Раздел 49 · Агенты и LLM-разработка: типография «Оттиск»

Бенчмарки агентов

middle~25 мин

без входаВойди, чтобы отмечать прогресс, вести заметки и решать задачи в редакторе. войти

Марк задал вопрос и ждёт: какому рейтингу верить про агентов, которые полдня работают в терминале. Лёва отвечает первым и уже открывает новую вкладку.

Марк права не даёт. Он спрашивает, кто «он»: какая модель, в какой программе и со скольких попыток. Лёва не знает. А вопрос правильный.

В прошлом уроке ты учился читать рейтинги моделей: версия, число задач, интервал, веса, кто запускал. У агентных бенчмарков к этому списку добавляются три вопроса, и все три Марк уже задал. Сегодня разберём три бенчмарка, на которые ссылаются чаще всего, когда говорят об агентах: SWE-bench Verified, Terminal-Bench и горизонт задач METR. Для каждого посмотрим, что он меряет, на каком harness и почему цифры разработчика модели и независимых расходятся.

премиум-урок

Продолжение в премиуме: 1 200 ₽ в месяц или 10 000 ₽ в год. Вместе с ним серверные проверки задач и школьные токены AI-коуча.

Оплата пока не подключена: премиум и курсы открываются промокодом.