Ирина Львовна откладывает карандаш и рассказывает то, чего от неё никто не ждал.
В прошлом уроке ты разобрал, что меряют агентные бенчмарки и почему одна модель набирает в разных таблицах разное. Там все расхождения были честными: другая программа, другие попытки, другой промпт. Сегодня про расхождения, где балл растёт, а умение нет.
У этого явления есть имя. Закон Гудхарта: когда мера становится целью, она перестаёт быть хорошей мерой. Контрольный текст Ирины Львовны мерил внимательность, пока его не стали заучивать. Бенчмарк мерит умение модели, пока под него не начали учить, отбирать и подкручивать. Механизмов четыре: утечка, подгонка, выбор проверки и самоотчёт. Для каждого разберём живой пример и то, что от него защищает.
премиум-урок
Продолжение в премиуме: 1 200 ₽ в месяц или 10 000 ₽ в год. Вместе с ним серверные проверки задач и школьные токены AI-коуча.
Оплата пока не подключена: премиум и курсы открываются промокодом.