Раздел 49 · Агенты и LLM-разработка: типография «Оттиск»

Предобучение и масштаб

middle~30 мин

без входаВойди, чтобы отмечать прогресс, вести заметки и решать задачи в редакторе. войти

Сан Саныч полдня не выходил из цеха. Он задавал модели вопросы, как задают ученику на экзамене, и записывал ответы карандашом на обороте гранки.

В прошлом уроке мы считали, что модель видит в контексте: прайс, переписку, вопрос клиента. Но о бумаге она рассказала то, чего в контексте не было. Это знание сидит в параметрах, в тех самых девяти тысячах чисел у Литеры и миллиардах у больших моделей. Сегодня разберёмся, как оно туда попадает.

Ответ короткий: модель учили угадывать следующий токен на огромной куче текстов из интернета. Отсюда всё, что ты видишь в её ответах: знает то, что часто встречалось в этих текстах, не знает того, чего там не было (склада «Оттиска», например), и ничего не знает о том, что случилось после того, как тексты собрали. А в конце урока разберём спор о том, что выгоднее растить: модель или данные.

премиум-урок

Продолжение в премиуме: 1 200 ₽ в месяц или 10 000 ₽ в год. Вместе с ним серверные проверки задач и школьные токены AI-коуча.

Оплата пока не подключена: премиум и курсы открываются промокодом.