В AG13 ты проверял ответы и набор писем, а в уроке про бенчмарки видел Terminal-Bench. Для агента, который меняет файлы, запускает команды и взаимодействует со средой, оценки последней фразы мало. Нужно дать ему задачу в воспроизводимом окружении и проверить, что после его работы стало с этим окружением.
Harbor помогает организовать такие прогоны. Он полезен и для сравнения готовых coding-агентов, и для собственного набора задач. Но запуск фреймворка не делает проверяющий код правильным: именно это будет главным предметом урока.
премиум-урок
Продолжение в премиуме: 1 200 ₽ в месяц или 10 000 ₽ в год. Вместе с ним серверные проверки задач и школьные токены AI-коуча.
Оплата пока не подключена: премиум и курсы открываются промокодом.