Раздел 16 · Архитектура и решения

Premortem: как найти тихий отказ до того, как он случится

middle-senior~40 мин

без входаВойди, чтобы отмечать прогресс, вести заметки и решать задачи в редакторе. войти

Premortem: как найти тихий отказ до того, как он случится

Сцена · отчёты не сходятся

Магазин принимает оплату через платёжного провайдера. Провайдер сообщает об успешном платеже вебхуком, сервис записывает платёж и отмечает заказ оплаченным. Тесты зелёные, мониторинг зелёный: ошибок нет, задержка в норме, жалоб нет.

Через полгода финансовый отдел закрывает полугодие и сверяет отчёты с банковскими выписками. Суммы не сходятся. Около восьмидесяти платежей из трёхсот шестидесяти тысяч записаны дважды, а ещё около сорока не записаны вовсе.

Причина находится за день. Иногда провайдер не дожидается ответа и повторяет вебхук, а обработчик не проверяет, видел ли он этот платёж раньше. Иногда обработчик отвечает «принято» и падает, не успев записать платёж в базу. Вместе оба случая редкие, примерно один на три тысячи, и ни один не оставляет ошибки в логах: дубль выглядит как два успешных платежа.

Починить обработчик можно за час. Разобрать полгода данных вручную, пересчитать выплаты партнёрам и подать уточнённую отчётность займёт месяцы. И никто перед запуском не задал вопрос: как эта система может сломаться так, чтобы мы этого не заметили?

Карта урока · что заберёшь

  • Чем громкий отказ отличается от тихого и почему тесты и мониторинг тихие не ловят.
  • Почему редкая ошибка хуже постоянной и как далеко уходит неверная запись.
  • Premortem Гэри Клейна по шагам.
  • Что известно о том, насколько он работает, и откуда взялись «30 процентов».
  • Как разложить провал деревом и ранжировать сценарии.
  • Как поручить агенту перечислить отказы и почему ранжировать должен человек.

Отказы, которые не видно на релизе

Отказы бывают двух видов. Громкий отказ виден сразу: сервис отвечает ошибкой, процесс падает, срабатывает алерт на задержку. Его чинят за часы, потому что о нём знают все.

Тихий отказ выглядит как здоровая система. Сервис отвечает, графики ровные, а данные неверны:

  • событие потерялось между базой и брокером;
  • повтор запроса создал дубль;
  • сумма округлилась на копейку;
  • операция применилась наполовину;
  • запись попала не в тот период из-за часового пояса;
  • отчёт собран раньше, чем пришли поздние события.

Тесты такие отказы пропускают: они проверяют известные сценарии, а тихие живут в таймаутах, повторах и падениях между двумя строками кода. Мониторинг их пропускает, потому что смотрит на доступность и скорость, а не на правильность данных. Сервис из сцены был доступен и быстр все полгода.

Откуда берутся потерянные события и дубли, разбирают урок про надёжную доставку и урок про паттерны отказоустойчивости. Этот урок про то, как найти такие места в своей системе до того, как их найдёт бухгалтерия.

Редкая ошибка хуже постоянной

Звучит странно: ошибка, которая случается всегда, лучше той, что случается редко? Да, если смотреть на цену.

Постоянную ошибку видно на первом же прогоне. Её ловит тест, демо или первый пользователь, и до релиза она не доживает. Редкая проходит тесты, демо и первую неделю. А потом копится.

Посчитаем сцену. Магазин принимает две тысячи платежей в день, сбой случается в одном вебхуке из трёх тысяч. Это две трети испорченной записи в день, около ста двадцати за полгода, спрятанных среди трёхсот шестидесяти тысяч правильных. Каждую по отдельности не видно. Вместе они дают расхождение, которое нельзя объяснить, не перебрав всё.

У редкой ошибки есть ещё два свойства, которых нет у постоянной. Её трудно воспроизвести: она зависит от таймингов и повторов, которых нет на ноутбуке разработчика. И она подрывает доверие ко всему: когда бухгалтерия нашла одно расхождение, она перестаёт верить и остальным отчётам, и к цене исправления добавляется ручная перепроверка того, что было правильным.

Масштаб последствий · куда уходит неверная запись

Для громкого отказа масштаб меряют запросами и минутами простоя. Для тихого он меряется тем, как далеко успела уйти неверная запись. В уроке про линзы границ это называлось радиусом поражения, и для данных он растёт по цепочке:

  1. одна запись в таблице платежей;
  2. баланс и статус заказа пользователя;
  3. отчёты внутри компании;
  4. бухгалтерия и налоговая отчётность;
  5. выплаты партнёрам и внешние системы.

Каждый шаг за пределы системы умножает цену исправления: в базе хватит одного UPDATE, поданную отчётность придётся уточнять, а выплаты партнёрам пересогласовывать.

Отсюда формула ущерба от тихого отказа: частота ошибки, умноженная на время до обнаружения и на то, как далеко запись успевает уйти. Частоту не всегда удаётся снизить до нуля, а вот время до обнаружения почти всегда в твоих руках. Сервис из сцены с ежедневной сверкой с банком нашёл бы первый дубль на следующий день, а не через полгода.

дальше после входа

Урок целиком открыт всем, кто вошёл. Войди по своему email, чтобы читать дальше.

Вход пока по приглашению. Если хочешь учиться, напиши Vassiliy.