Как создают ChatGPT и Claude: лекция Stanford за 12 минут

2 Просмотры

Спасибо! Поделитесь с друзьями!

Вам не понравилось видео. Спасибо за то что поделились своим мнением!

Издатель Oct 11, 2026

Как из огромного массива интернет-текстов появляется AI-ассистент вроде ChatGPT или Claude?

В этом видео я разобрала лекцию Stanford CS229 о создании больших языковых моделей и собрала самые важные идеи в один понятный разбор примерно на 12 минут.

Вы увидите весь путь современной LLM:

Internet Data → Pretraining → Base LLM → Post-training → AI Assistant

Разберём:

— почему после pretraining модель ещё не является полноценным AI-ассистентом;
— как работает предсказание следующего токена;
— почему фраза «нейросеть обучили на интернете» сильно упрощает реальный процесс;
— зачем данные очищают, фильтруют и удаляют дубликаты;
— чем pretraining отличается от post-training;
— что такое SFT — supervised fine-tuning;
— как человеческие предпочтения используются в RLHF и DPO;
— почему оценщики могут непреднамеренно обучать модель писать более длинные ответы;
— как работает LLM-as-a-Judge, когда одна модель оценивает ответы другой;
— и почему поведение ChatGPT зависит не только от архитектуры нейросети.

Главная мысль: современный AI — это не одна модель и не один алгоритм. Это целая система из данных, вычислений, pretraining, post-training, человеческой обратной связи и evaluation.