Раздел 49 · Агенты и LLM-разработка: типография «Оттиск»

SFT и RLHF

middle~25 мин

без входаВойди, чтобы отмечать прогресс, вести заметки и решать задачи в редакторе. войти

Вопрос Лёвы застал Сан Саныча за чаем. Он ставит кружку на подоконник, подальше от гранок, и долго смотрит на стеклянную дверь цеха, за которой Вера Андреевна разговаривает с клиентом.

Сан Саныч угадал почти дословно. В прошлом уроке модель прочитала интернет и научилась продолжать любой текст. Такая модель знает много, но приёмщиком не работает: на вопрос клиента она дописывает продолжение страницы, а не отвечает. Чтобы получился ассистент, после предобучения идут ещё две стадии: показать, как отвечать, и поправлять по оценкам.

Сегодня разберём обе: SFT на диалогах, модель награды и RLHF, а ещё RLAIF, где оценки ставит не человек, а модель по списку правил. Это объяснит три вещи, которые ты видишь в работе агента: почему он так вежлив, почему вежливость ничего не говорит о правоте и откуда у него привычка соглашаться.

премиум-урок

Продолжение в премиуме: 1 200 ₽ в месяц или 10 000 ₽ в год. Вместе с ним серверные проверки задач и школьные токены AI-коуча.

Оплата пока не подключена: премиум и курсы открываются промокодом.