Раздел 49 · Агенты и LLM-разработка: типография «Оттиск»

Что делегировать агенту

middle~30 мин

без входаВойди, чтобы отмечать прогресс, вести заметки и решать задачи в редакторе. войти

Лист из блокнота заказов лежит на столе. Строки пронумерованы, почерк ровный. Рядом Вера Андреевна кладёт две пачки, перехваченные резинками: визитки и листовки.

На вопрос «что отдать агенту» обычно отвечают по ощущению. Лёва: «агент сделает всё». Сан Саныч: «машине ничего нельзя доверить». Оба ответа без счёта, и оба дорого стоят: первый браком, как у «ПечатьБота», второй работой, которую люди делают руками, хотя могли бы не делать.

В прошлом уроке ты увидел, как проверить код, который зовёт модель. Сегодня вопрос шире: какую работу вообще давать агенту. Вместо «я так чувствую» у тебя будут четыре вопроса к каждому делу: проверяемость результата, цена ошибки, обратимость и частота. Три из них опираются на источники, которые ты увидишь ниже, четвёртый это рабочее правило курса. Ты прогонишь через них дела «Оттиска» и увидишь, где агент окупается, где хватит обычной программы, а где нужен человек. И одно правило про код: код, который написал агент, это твой код.

Десять дел «Оттиска»

Вот лист Веры Андреевны:

  1. Отвечать на письма «сколько стоит» по прайсу.
  2. Разбирать утреннюю почту по папкам: заказ, вопрос, жалоба, реклама.
  3. Проверять макеты клиентов перед печатью: поля под обрез, разрешение картинок, цвет.
  4. Запускать тираж в печать.
  5. Писать тексты листовок по заметкам клиента.
  6. Поднять цены в прайсе после подорожания бумаги.
  7. Сверять оплаты из банка со счетами за месяц.
  8. Перевести калькулятор заказа на сайте на новую версию библиотеки.
  9. Отвечать на жалобы о браке.
  10. Чистить сервер от старых макетов клиентов.

Агент возьмётся за любое из них. Вопрос не в том, умеет ли он, а в том, что будет, когда он ошибётся.

Две ошибки агента

Сравни дела 2 и 4.

Почту агент разложил неправильно: жалоба попала в рекламу. Ты заметишь это, когда откроешь папку, и за минуту переложишь письмо. Никто не пострадал.

Тираж агент запустил не с тем макетом: пятьсот визиток с чужим телефоном уже напечатаны. Бумага и краска потрачены, клиент ждёт к пятнице, а переделку оплачивает типография.

Агент в обоих случаях ошибся одинаково: взял не то. Разница в том, что случилось после ошибки. Её и меряют четыре вопроса.

Четыре вопроса к каждому делу

Проверяемость результата. Можно ли проверить результат быстрее и дешевле, чем сделать самому? Anthropic опросила своих инженеров, что они отдают Claude, и услышала в том числе это: ИИ хорош там, где проверка требует меньше сил, чем сама работа. Бригитта Бёкелер из Thoughtworks в заметке «To vibe or not to vibe» называет ту же ось обнаружимостью: заметишь ли ты, что ИИ ошибся. Цену в письме проверить легко: одна строка прайса. Текст листовки проверить можно, но это вкус, и проверяет человек. Макет на поля под обрез проверяет программа или глаз технолога. Если проверка дороже работы, агент не экономит время, а добавляет работу.

Цена ошибки. Что будет, если агент ошибся, а ты не заметил, и кто это оплатит? У Бёкелер это последствия, и для них у неё есть вопрос-проверка: выпустил бы ты это, если сегодня ночью дежуришь сам? Инженеры Anthropic говорят то же с другой стороны: одноразовый код для отладки отдают сразу, а работу с высокими ставками проверяют пристально. Письмо не в той папке: минута. Неверная цена в письме: две тысячи убытка, как у Лёвы в первом уроке. Неверный тираж: бумага, краска, срок и клиент.

Обратимость. Можно ли откатить сделанное? Джефф Безос в письме акционерам Amazon за 2015 год делит решения на двери в одну сторону и двери в обе стороны: через вторую можно выйти обратно, поэтому её открывают быстро, а первую медленно и с обсуждением. Черновик письма, ветка в git, папка в почте это двери в обе стороны. Отправленное письмо, напечатанный тираж, удалённый файл без копии уже нет: это необратимые действия. В типографии самый необратимый шаг это тираж, и весь курс учит не давать агенту запускать его без человека.

Частота. Как часто дело повторяется? Этот вопрос курс добавил сам, готовой оси в источниках нет. Ближе всего то же исследование Anthropic: инженеры охотнее отдают повторяющуюся и скучную работу, а быструю делают сами. Правило курса такое: настройка агента, проверка и журнал стоят времени, и окупаются они на деле, которое повторяется. Ответы о цене идут десятками в день: настройка окупится за неделю. Калькулятор на новую библиотеку переводят раз в год: тут агент помогает как инструмент программиста, а не как сотрудник.

У Бёкелер есть и третья ось, которой здесь нет: вероятность, что ИИ ошибётся. Она зависит от инструмента, задачи и того, что модель видит в запросе, и ответ на неё начинается в следующем модуле.

Ползунок

Четыре ответа складываются не в «да» или «нет», а в положение ползунка автономии из второго урока. Андрей Карпатый в докладе «Software Is Changing (Again)» предлагает строить продукты с частичной автономией вокруг быстрого цикла «модель предлагает, человек проверяет». Его образ: костюм Железного человека, который усиливает человека, а не робот вместо него.

Для «Оттиска» у ползунка четыре положения, от меньшей самостоятельности к большей, и одно положение рядом с ним:

ПоложениеЧто делает агентЧто делает человекКогда
программа, не агентничего: работает обычный кодпишет и проверяет кодправила точные, проверка точная, выбирать нечего
не отдаватьничегоделает сампроверки нет, ошибка дорогая, дело редкое
черновикготовит результатпроверяет и отправляет самрезультат легко проверить, ошибка дорогая или необратимая
сам, кроме последнего шагаготовит всё до необратимого шагаподтверждает необратимый шагвсё обратимо, кроме одного шага
сам, с журналомделает и записывает, что сделалчитает журнал, проверяет выборочноошибка дешёвая и обратимая, дело частое

Первую строку не пропускай. «Иногда вообще без агента» это совет из статьи Anthropic «Building effective agents»: самостоятельность модели покупает качество ценой задержки и денег, поэтому начинать надо с самого простого решения. Цену по прайсу в шаблоне считает функция price, а не модель: умножить цену на тираж может код, и модель тут не нужна.

Похожую лестницу предложили исследователи Кевин Фэн, Дэвид Макдональд и Эми Чжан в статье «Levels of Autonomy for AI Agents». У них пять уровней по роли человека: оператор, соавтор, консультант, утверждающий и наблюдатель. Два наших положения у них описаны прямо. Утверждающего агент зовёт, только когда упёрся, в том числе чтобы подписать действие с последствиями. Наблюдатель смотрит журнал активности и может только выключить агента.

Положение «сам, кроме последнего шага» встретится в курсе ещё много раз. У него есть своё имя: подтверждение человека. В модуле AG17 ты построишь граф, который не пустит тираж в печать без «да» Веры Андреевны.

Положение ползунка подсказывает и режим из второго урока. Команда Claude Code в отчёте Anthropic советует отличать задачи, которые можно отпустить работать без присмотра (второстепенные функции, прототипы), от задач под присмотром (основная бизнес-логика, критичные исправления). Черновик и последний шаг чаще идут на поводке, журнал можно читать после прогона без присмотра.

Четыре дела на весах

Пройдём четыре дела из списка. Остальные шесть разложишь сам.

Ответ о цене, дело 1. Проверяемость высокая: число сверяется с прайсом. Цена ошибки средняя: клиент придёт платить по названной цене. Обратимость низкая: отправленное письмо не вернёшь. Частота высокая. Вывод: черновик. Агент читает письмо, зовёт price и пишет ответ, а отправляет Вера Андреевна. Когда сверку числа с прайсом сделает код, а журнал за месяц покажет ноль ошибок, ползунок можно сдвинуть дальше.

Запуск тиража, дело 4. Проверяемость низкая: брак видно только на оттиске. Цена ошибки высокая. Действие необратимо. Частота высокая. Вывод: сам, кроме последнего шага. Агент может подготовить задание на печать, проверить макет по списку требований и посчитать бумагу. Кнопку «в печать» нажимает человек. «ПечатьБот» отдал агенту этот шаг целиком, и двое клиентов принесли брак обратно.

Сверка оплат, дело 7. Проверяемость высокая, правила точные: номер счёта, сумма, дата. Цена ошибки высокая: деньги. Обратимость средняя: ошибку в таблице можно поправить, если её заметили. Частота раз в месяц. Вывод: программа, не агент. Сопоставить платёж со счётом по номеру и сумме это работа для кода с тестами, без случайности в ответе. Агент может помочь написать этот код, и тогда к нему относится следующий раздел.

Калькулятор на новой библиотеке, дело 8. Проверяемость высокая, если есть тесты. Цена ошибки высокая: неверные цены на сайте. Код откатывается через git, а заказы, принятые по неверной цене, нет. Частота раз в год. Вывод: черновик. Агент пишет код по брифу с проверкой, на поводке из второго урока, а в сайт код уходит только после твоего ревью диффа и тестов.

Код агента это твой код

Дело 8 отличается от остальных: результат это код, и жить ему годами. Лёва любит говорить «это агент написал». Клиенту, которому сайт насчитал неверную цену, всё равно, кто писал калькулятор. Отвечает тот, кто принял дифф.

Значит, к коду агента те же требования, что к твоему. Ты прочитал каждую строку. Ты можешь объяснить, как он работает. Ты знаешь, чем он проверен. Если объяснить не можешь, у кода нет хозяина, и когда он сломается, разбираться в нём придётся с нуля.

Насколько глубоко проверять, зависит от двух осей: цены ошибки и срока жизни кода. Кирилл Мокевнин в главе «Вайб-кодинг» ставит на эти оси три точки. Прототипу лендинга хватит короткой проверки. Страница оплаты требует полного процесса: требования, проверка поведения, ревью. А скрипт миграции запускается один раз, но проверять его надо тщательнее всех: ошибка заденет данные, которые уже есть. В «Оттиске» те же три точки: макет страницы осенней акции, калькулятор с ценами и скрипт, который переносит заказы из таблицы в базу.

Поэтому вопрос «отдать ли агенту калькулятор» поставлен неверно. Отдать можно. Вопрос в том, кто и как проверит то, что он написал.

На веру и на сверку

Лёва переключил агента на отправку писем без человека. Через три дня клиент получил ответ: «50 визиток стоят 450 ₽». Минимальный тираж визиток 100 штук, такой заказ «Оттиск» не принимает. Агент не выдумал число: price честно умножил 9 на 50. Проверки минимального тиража в price нет, загляни в src/reception.ts шаблона. Инструмент посчитал верно по своему коду, модель верно пересказала инструмент, а ответ клиенту всё равно неверный.

Приём: ползунок двигают по журналу, а не по вере. Так это и происходит у тех, кто работает с агентами давно. Anthropic посмотрела на сессии Claude Code: опытные пользователи постепенно чаще разрешают агенту работать без одобрения каждого шага, но и прерывают его чаще, потому что следят за ходом и вмешиваются, когда надо. А инженеры Anthropic в опросе рассказывают, что начинали с простых задач и сложные отдавали постепенно. Пока в price нет проверки минимального тиража и пока никто не прочитал сотню ответов агента, ответы уходят черновиком. Каждая пойманная ошибка становится проверкой в коде: price отвечает ошибкой на тираж меньше минимального. И только потом ползунок едет дальше.

Разложи сам

Практика

Дальше

Сан Саныч всё это время стоял в дверях цеха и слушал. Когда ты дошёл до сверки оплат, он хмыкнул: программа, а не машина, это ему понравилось. А на третьей оси Бёкелер, вероятности ошибки, он поднял палец.

Он открывает стеклянную дверь в старый наборный цех: кассы с металлическими литерами, верстатка, гранки на стене. В следующем уроке начинается модуль AG1: как модель видит текст, почему не буквами, а кусками, которые Сан Саныч назовёт литерами, и почему письмо на русском стоит дороже такого же на английском.