Кто-то оценил, что этот курс на коммерческой платформе стоил бы минимум 2000 долларов. Karpathy выложил его на YouTube. Бесплатно.
Andrej Karpathy — бывший директор OpenAI, бывший директор Tesla AI — опубликовал 3-часовой курс по LLM full-stack на YouTube. Это не видео «поймите LLM за 10 минут». Это полный технический роадмап от底层 принципов до前沿 исследований.
Что покрывает курс
Высокая плотность контента, разбитая по темам:
Токенизация. Не просто обзор BPE — начинается с дизайн-трейдофф токенизации: почему subword, как разные схемы токенизации влияют на производительность модели, подводные камни многоязычной токенизации.
Внутреннее устройство нейросетей. Фирменный сегмент Karpathy. Что делают слои feed-forward, attention и normalization — распределения активаций, поток градиентов, проблемы численной стабильности во время обучения.
Галлюцинации. Почему модели галлюцинируют, является ли корневая причиной тренировочные данные или архитектура, текущие mainstream подходы к смягчению и их ограничения.
Использование инструментов. Как модели вызывают внешние инструменты, механизмы реализации function calling, проблемы безопасности и надёжности при использовании инструментов.
Обучение с подкреплением и RLHF. Эволюционный путь от PPO к DPO к RLHF, дизайн reward modeling, инженерные детали RLHF в реальном обучении.
DeepSeek и AlphaGo. Использование стратегий推理 DeepSeek и методов обучения с подкреплением AlphaGo как case studies, связывающих академические концепции с реальными системами.
Почему это важно
У Karpathy есть одно выделяющее его качество: способность объяснять сложные технические концепции через интуицию. Он не «сначала определим формулы, потом выведем» академический тип. Он «сначала дадим интуицию, потом детали» инженерский стиль.
Наибольшая ценность этого курса не в «изучении новых знаний» — если вы уже работаете в этой области, вы probably знаете大部分 контента. Реальная ценность — систематизация.
Поле LLM развивается так быстро, что у большинства людей знания фрагментированы: прочитали несколько статей, несколько блогов, использовали несколько API — но не имеют полного фреймворка знаний. Курс Karpathy предоставляет полную карту от底层 до уровня применения, помогая собрать фрагменты в панораму.
Для кого
Если вы делаете или планируете делать что-либо из следующего, 3 часа стоят того:
- Только вошли в AI/LLM, хотите быстро построить технический фреймворк
- Переходите из традиционного ML в LLM, нужно заполнить пробелы в знаниях
- Создаёте агентов, но не уверены, понимаете ли底层 механизмы
- Подготовка к собеседованиям — это самые часто задаваемые темы на собеседованиях LLM-инженеров
Если вы уже senior практик в области LLM, этот курс, вероятно, не научит вас многому новому. Но перспектива объяснений Karpathy и выбор кейсов всё ещё值得参考。
Найдите курс, поискав «Andrej Karpathy LLM» на YouTube.
Основные источники:
- Видео на YouTube
- Обсуждения社区 X/Twitter