Марк задал вопрос и ждёт: какому рейтингу верить про агентов, которые полдня работают в терминале. Лёва отвечает первым и уже открывает новую вкладку.
Марк права не даёт. Он спрашивает, кто «он»: какая модель, в какой программе и со скольких попыток. Лёва не знает. А вопрос правильный.
В прошлом уроке ты учился читать рейтинги моделей: версия, число задач, интервал, веса, кто запускал. У агентных бенчмарков к этому списку добавляются три вопроса, и все три Марк уже задал. Сегодня разберём три бенчмарка, на которые ссылаются чаще всего, когда говорят об агентах: SWE-bench Verified, Terminal-Bench и горизонт задач METR. Для каждого посмотрим, что он меряет, на каком harness и почему цифры разработчика модели и независимых расходятся.
премиум-урок
Продолжение в премиуме: 1 200 ₽ в месяц или 10 000 ₽ в год. Вместе с ним серверные проверки задач и школьные токены AI-коуча.
Оплата пока не подключена: премиум и курсы открываются промокодом.