このコースを商業プラットフォームに置けば、少なくとも2000ドルの価格になると見積もる人がいる。KarpathyはYouTubeに直接公開した。無料で。
Andrej Karpathy——元OpenAIディレクター、元Tesla AIディレクター——がYouTubeで3時間のLLMフルスタックコースを公開した。「10分でLLMを理解する」といった科普ビデオではなく、底层原理から最先端研究までの完全なテクニカルロードマップだ。
コースがカバーする内容
コンテンツ密度が高い。トピック別に整理すると：
Tokenization。 単なるBPEの概要ではなく、Tokenizationの設計トレードオフから始める——なぜsubwordを選ぶのか、異なるTokenizationスキームがモデルパフォーマンスにどう影響するか、多言語Tokenizationの落とし穴。
ニューラルネットワーク内部メカニズム。 Karpathyの招牌セグメント。フォワード層、アテンション層、正規化層がそれぞれ何をしているのか——活性化値分布、勾配フロー、訓練中の数値安定性の問題。
幻覚（Hallucinations）。 なぜモデルが幻覚を生むのか、幻覚の根源は訓練データの問題かアーキテクチャの問題か、現在の主流な緩和策とその限界。
ツール使用（Tool Use）。 モデルが外部ツールをどのように呼び出すか、function callingの実装メカニズム、ツール使用におけるセキュリティと信頼性の課題。
強化学習とRLHF。 PPOからDPOからRLHFへの進化パス、reward modelingの設計、実際の訓練におけるRLHFのエンジニアリング詳細。
DeepSeekとAlphaGo。 DeepSeekの推論戦略とAlphaGoの強化学習方法をケーススタディとして使い、学術概念と実際のシステムを結びつける。
なぜ注目すべきなのか
Karpathyには他と違う能力がある：複雑なテクニカル概念を直感的な方法で説明すること。「まず公式を定義してから導出する」アカデミックスタイルではなく、「まず直感を与えてから詳細に入る」エンジニアスタイルだ。
このコースの最大の価値は「新しい知識を学ぶ」ことではない——すでにこの分野で働いている人にとって、大半の内容はおそらく知っている。真の価値はシステム化にある。
LLM分野はあまりにも速く発展しており、大半の人の知識は断片的だ：いくつかの論文を読み、いくつかのブログを読み、いくつかのAPIを使ったことがある——しかし完全な知識フレームワークを持っていない。Karpathyのコースは底层から応用層までの完全なマップを提供し、断片をパノラマに組み立てるのを助ける。
誰に向いているか
以下のいずれかを行っている、または行う予定がある場合、3時間を費やす価値がある：
- AI/LLMに刚刚入行し、テクニカルフレームワークを素早く構築したい
- 伝統的MLからLLMへ転向し、知識の盲区を埋める必要がある
- エージェント開発を行っているが、底层メカニズムを理解しているか自信がない
- 面接準備——これらはLLMエンジニア面接で最も頻繁に聞かれるトピックだ
すでにLLM分野のシニア从业者である場合、このコースから多くの新しいことを学ぶことはおそらくない。しかし、Karpathyの説明視点とケース選択は依然として参考になる。
YouTubeで「Andrej Karpathy LLM」を検索すればコースが見つかる。
主要ソース：
- YouTube ビデオ
- X/Twitter コミュニティ議論