Вопрос Лёвы застал Сан Саныча за чаем. Он ставит кружку на подоконник, подальше от гранок, и долго смотрит на стеклянную дверь цеха, за которой Вера Андреевна разговаривает с клиентом.
Сан Саныч угадал почти дословно. В прошлом уроке модель прочитала интернет и научилась продолжать любой текст. Такая модель знает много, но приёмщиком не работает: на вопрос клиента она дописывает продолжение страницы, а не отвечает. Чтобы получился ассистент, после предобучения идут ещё две стадии: показать, как отвечать, и поправлять по оценкам.
Сегодня разберём обе: SFT на диалогах, модель награды и RLHF, а ещё RLAIF, где оценки ставит не человек, а модель по списку правил. Это объяснит три вещи, которые ты видишь в работе агента: почему он так вежлив, почему вежливость ничего не говорит о правоте и откуда у него привычка соглашаться.
премиум-урок
Продолжение в премиуме: 1 200 ₽ в месяц или 10 000 ₽ в год. Вместе с ним серверные проверки задач и школьные токены AI-коуча.
Оплата пока не подключена: премиум и курсы открываются промокодом.