Decoder-only TransformerとGPT系LLMの構造解説

OpenAIの論文『Language Models are Unsupervised Multitask Learners』を基に、Decoder-only Transformer アーキテクチャの仕組みとGPT系言語モデルの基本構造を技術的に整理しています。

• この技術メモはAlec RadfordらによるOpenAIの2019年論文を基礎としています。
• Decoder-only TransformerはGPT系LLMの中核アーキテクチャを構成しています。
• 論文は言語モデルが教師なし学習で多様なタスクに対応できることを示しています。

※ Claude Haiku 4.5 による自動要約です。原文を必ず確認してください。