Глубокое погружение в LLM | Большие Языковые Модели ChatGPT DeepSeek | Обучение ИИ | Андрей Карпаты

Это глубокое погружение в технологию больших языковых моделей (LLM) для широкой аудитории — технологию искусственного интеллекта, лежащую в основе ChatGPT и других подобных продуктов.

В лекции рассматривается полный цикл обучения и создания современных языковых моделей. Мы также сформируем интуитивное представление об их своеобразной «психологии»: как следует воспринимать работу LLM, в чём заключаются их сильные и слабые стороны и как наиболее эффективно использовать их в практических задачах.

Прошлое видео Андрея Карпаты «Введение в LLM» представляло собой всего лишь перезаписанную версию одного из его выступлений. Поэтому Карпаты вернулся к этой теме и сделал гораздо более полную и систематизированную версию.

Андрей Карпаты был одним из первых сотрудников OpenAI в 2015 году, а затем занимал должность старшего директора по искусственному интеллекту в Tesla с 2017 по 2022 год. Сейчас он является основателем Eureka Labs — проекта по созданию образовательной платформы, изначально построенной вокруг искусственного интеллекта.

Цель этой лекции — помочь людям лучше понять современное состояние искусственного интеллекта и научиться эффективно использовать самые передовые технологии в своей работе.

Ссылка на источник с оригиналом: https://youtu.be/7xTGNNLPyMI?si=GSX3jBqpTzLevHpO

Я делаю эти переводы в первую очередь потому, что сам хочу слушать на русском людей, которые прямо сейчас создают ИИ-индустрию и определяют её будущее. А раз перевожу для себя — почему бы не выкладывать и для вас. Без пересказов и чужих интерпретаций: просто первоисточник на русском. Если вам такое интересно — подписывайтесь на канал.

Больше про ИИ и новые модели: https://t.me/+OXkP1y5UPqNiMDI6
Мой авторский канал в Тг: https://t.me/+L6tbv8Puhug0OGVi

Мой Instagram - https://instagram.com/kos.ibragimov

#КосИбрагимов #нейросети #ии #андрейкарпаты #andrejkarpathy

00:00:00 — Введение
00:01:00 — Данные для предварительного обучения: интернет
00:07:47 — Токенизация
00:14:27 — Входные и выходные данные нейронной сети
00:20:11 — Внутреннее устройство нейронной сети
00:26:01 — Инференс: как модель генерирует ответы
00:31:09 — GPT-2: обучение и инференс
00:42:52 — Инференс базовой модели Llama 3.1
00:59:23 — От предварительного обучения к постобучению
01:01:06 — Данные для постобучения: диалоги
01:20:32 — Галлюцинации, использование инструментов, знания и рабочая память
01:41:46 — Знания модели о самой себе
01:46:56 — Моделям нужны токены, чтобы «думать»
02:01:11 — Снова о токенизации: почему моделям сложно работать с написанием слов
02:04:53 — «Неровный интеллект»: почему способности LLM настолько неоднородны
02:07:28 — От контролируемого дообучения к обучению с подкреплением
02:14:42 — Обучение с подкреплением (Reinforcement Learning)
02:27:47 — DeepSeek-R1
02:42:07 — AlphaGo
02:48:26 — Обучение с подкреплением на основе обратной связи от человека (RLHF)
03:09:39 — Что ждёт нас дальше
03:15:15 — Как следить за развитием больших языковых моделей
03:18:34 — Где искать и использовать LLM
03:21:46 — Большое подведение итогов

Ссылка на МОЙ канал - https://youtube.com/@kos.ibragimov?si=PKDQFQx57oMu0Gv7
Ссылка на ЭТО видео - https://youtu.be/yPK61_HZaU8

Подписывайтесь на канал и ставьте лайк — так YouTube поймёт, что такие видео стоит показывать чаще. А я пойму, что стоит делать их дальше.

Автор видео публично дал право свободно использовать это видео в образовательных целях и для внутреннего обучения. Преподаватели, студенты, школы, университеты, некоммерческие организации, компании и отдельные учащиеся могут бесплатно использовать этот материал на занятиях, в учебных курсах, программах внутреннего обучения и других образовательных активностях. Видео переведено и опубликован с целью свободного распространения на русскоязычную аудиторию, и не преследует цели коммерческой перепродажи, распространения, внешнего коммерческого использования, а также изменение материала ни коим образом не искажает его первоначальный смысл.