Сан Саныч положил на стол журнал заказов: толстая амбарная книга, в каждой строке заказ, что просили, что ответили и чем кончилось. Вера Андреевна листает её и хмурится.
В прошлом уроке чужие бенчмарки оказались экзаменами, которые можно выучить, подогнать и пересказать в свою пользу. Против этого есть одно лекарство: свой экзамен из своих задач, которых нет в интернете и которые никто, кроме тебя, не видел. Авторы большого справочника по эвалам Hamel Husain и Shreya Shankar пишут прямо: публичные бенчмарки помогают выбрать модель для старта, а проверяют твой продукт только твои эвалы.
Сегодня соберёшь такой экзамен. Он маленький, поэтому называется микробенчмарк: от десяти до полусотни задач из журнала «Оттиска» и репозитория шаблона, у каждой известен итог и есть проверка кодом. Из него получится доля удачных попыток для формулы из урока 60 и таблица для босса модуля.
премиум-урок
Продолжение в премиуме: 1 200 ₽ в месяц или 10 000 ₽ в год. Вместе с ним серверные проверки задач и школьные токены AI-коуча.
Оплата пока не подключена: премиум и курсы открываются промокодом.