Раздел 49 · Агенты и LLM-разработка: типография «Оттиск»

Свой бенчмарк

middle~25 мин

без входаВойди, чтобы отмечать прогресс, вести заметки и решать задачи в редакторе. войти

Сан Саныч положил на стол журнал заказов: толстая амбарная книга, в каждой строке заказ, что просили, что ответили и чем кончилось. Вера Андреевна листает её и хмурится.

В прошлом уроке чужие бенчмарки оказались экзаменами, которые можно выучить, подогнать и пересказать в свою пользу. Против этого есть одно лекарство: свой экзамен из своих задач, которых нет в интернете и которые никто, кроме тебя, не видел. Авторы большого справочника по эвалам Hamel Husain и Shreya Shankar пишут прямо: публичные бенчмарки помогают выбрать модель для старта, а проверяют твой продукт только твои эвалы.

Сегодня соберёшь такой экзамен. Он маленький, поэтому называется микробенчмарк: от десяти до полусотни задач из журнала «Оттиска» и репозитория шаблона, у каждой известен итог и есть проверка кодом. Из него получится доля удачных попыток для формулы из урока 60 и таблица для босса модуля.

премиум-урок

Продолжение в премиуме: 1 200 ₽ в месяц или 10 000 ₽ в год. Вместе с ним серверные проверки задач и школьные токены AI-коуча.

Оплата пока не подключена: премиум и курсы открываются промокодом.