Раздел 49 · Агенты и LLM-разработка: типография «Оттиск»

Harbor: проверять агента в окружении

middle-senior~25 мин

без входаВойди, чтобы отмечать прогресс, вести заметки и решать задачи в редакторе. войти

В AG13 ты проверял ответы и набор писем, а в уроке про бенчмарки видел Terminal-Bench. Для агента, который меняет файлы, запускает команды и взаимодействует со средой, оценки последней фразы мало. Нужно дать ему задачу в воспроизводимом окружении и проверить, что после его работы стало с этим окружением.

Harbor помогает организовать такие прогоны. Он полезен и для сравнения готовых coding-агентов, и для собственного набора задач. Но запуск фреймворка не делает проверяющий код правильным: именно это будет главным предметом урока.

премиум-урок

Продолжение в премиуме: 1 200 ₽ в месяц или 10 000 ₽ в год. Вместе с ним серверные проверки задач и школьные токены AI-коуча.

Оплата пока не подключена: премиум и курсы открываются промокодом.