Раздел 49 · Агенты и LLM-разработка: типография «Оттиск»

Сэмплинг

middle~30 мин

без входаВойди, чтобы отмечать прогресс, вести заметки и решать задачи в редакторе. войти

Лёва ставит ноутбук на наборный стол прямо поверх гранок, и Сан Саныч морщится. На экране два окна чата рядом.

Не сломалась. В прошлом уроке модель оказалась функцией, только возвращает она не слово, а распределение: у каждого токена словаря своя вероятность. Слово из распределения выбирает код вокруг модели. Жадный выбор всегда берёт самое вероятное, но по умолчанию так почти никто не делает: токен тянут случайно, как жребий, и у этого жребия есть ручки.

Сегодня разберём эти ручки: температуру, top-k, top-p, min-p и сид. Покрутишь их в виджете, напишешь свой сэмплер в разминке и поймёшь, почему даже с температурой ноль на сервере одинаковый ответ не обещан. Это прямо касается тебя: от сэмплинга зависит, можно ли проверять код агента тестом и что значит «спросить модель ещё раз».

премиум-урок

Продолжение в премиуме: 1 200 ₽ в месяц или 10 000 ₽ в год. Вместе с ним серверные проверки задач и школьные токены AI-коуча.

Оплата пока не подключена: премиум и курсы открываются промокодом.