Premortem: как найти тихий отказ до того, как он случится
Сцена · отчёты не сходятся
Магазин принимает оплату через платёжного провайдера. Провайдер сообщает об успешном платеже вебхуком, сервис записывает платёж и отмечает заказ оплаченным. Тесты зелёные, мониторинг зелёный: ошибок нет, задержка в норме, жалоб нет.
Через полгода финансовый отдел закрывает полугодие и сверяет отчёты с банковскими выписками. Суммы не сходятся. Около восьмидесяти платежей из трёхсот шестидесяти тысяч записаны дважды, а ещё около сорока не записаны вовсе.
Причина находится за день. Иногда провайдер не дожидается ответа и повторяет вебхук, а обработчик не проверяет, видел ли он этот платёж раньше. Иногда обработчик отвечает «принято» и падает, не успев записать платёж в базу. Вместе оба случая редкие, примерно один на три тысячи, и ни один не оставляет ошибки в логах: дубль выглядит как два успешных платежа.
Починить обработчик можно за час. Разобрать полгода данных вручную, пересчитать выплаты партнёрам и подать уточнённую отчётность займёт месяцы. И никто перед запуском не задал вопрос: как эта система может сломаться так, чтобы мы этого не заметили?
Карта урока · что заберёшь
- Чем громкий отказ отличается от тихого и почему тесты и мониторинг тихие не ловят.
- Почему редкая ошибка хуже постоянной и как далеко уходит неверная запись.
- Premortem Гэри Клейна по шагам.
- Что известно о том, насколько он работает, и откуда взялись «30 процентов».
- Как разложить провал деревом и ранжировать сценарии.
- Как поручить агенту перечислить отказы и почему ранжировать должен человек.
Отказы, которые не видно на релизе
Отказы бывают двух видов. Громкий отказ виден сразу: сервис отвечает ошибкой, процесс падает, срабатывает алерт на задержку. Его чинят за часы, потому что о нём знают все.
Тихий отказ выглядит как здоровая система. Сервис отвечает, графики ровные, а данные неверны:
- событие потерялось между базой и брокером;
- повтор запроса создал дубль;
- сумма округлилась на копейку;
- операция применилась наполовину;
- запись попала не в тот период из-за часового пояса;
- отчёт собран раньше, чем пришли поздние события.
Тесты такие отказы пропускают: они проверяют известные сценарии, а тихие живут в таймаутах, повторах и падениях между двумя строками кода. Мониторинг их пропускает, потому что смотрит на доступность и скорость, а не на правильность данных. Сервис из сцены был доступен и быстр все полгода.
Откуда берутся потерянные события и дубли, разбирают урок про надёжную доставку и урок про паттерны отказоустойчивости. Этот урок про то, как найти такие места в своей системе до того, как их найдёт бухгалтерия.
Редкая ошибка хуже постоянной
Звучит странно: ошибка, которая случается всегда, лучше той, что случается редко? Да, если смотреть на цену.
Постоянную ошибку видно на первом же прогоне. Её ловит тест, демо или первый пользователь, и до релиза она не доживает. Редкая проходит тесты, демо и первую неделю. А потом копится.
Посчитаем сцену. Магазин принимает две тысячи платежей в день, сбой случается в одном вебхуке из трёх тысяч. Это две трети испорченной записи в день, около ста двадцати за полгода, спрятанных среди трёхсот шестидесяти тысяч правильных. Каждую по отдельности не видно. Вместе они дают расхождение, которое нельзя объяснить, не перебрав всё.
У редкой ошибки есть ещё два свойства, которых нет у постоянной. Её трудно воспроизвести: она зависит от таймингов и повторов, которых нет на ноутбуке разработчика. И она подрывает доверие ко всему: когда бухгалтерия нашла одно расхождение, она перестаёт верить и остальным отчётам, и к цене исправления добавляется ручная перепроверка того, что было правильным.
Масштаб последствий · куда уходит неверная запись
Для громкого отказа масштаб меряют запросами и минутами простоя. Для тихого он меряется тем, как далеко успела уйти неверная запись. В уроке про линзы границ это называлось радиусом поражения, и для данных он растёт по цепочке:
- одна запись в таблице платежей;
- баланс и статус заказа пользователя;
- отчёты внутри компании;
- бухгалтерия и налоговая отчётность;
- выплаты партнёрам и внешние системы.
Каждый шаг за пределы системы умножает цену исправления: в базе хватит
одного UPDATE, поданную отчётность придётся уточнять, а выплаты
партнёрам пересогласовывать.
Отсюда формула ущерба от тихого отказа: частота ошибки, умноженная на время до обнаружения и на то, как далеко запись успевает уйти. Частоту не всегда удаётся снизить до нуля, а вот время до обнаружения почти всегда в твоих руках. Сервис из сцены с ежедневной сверкой с банком нашёл бы первый дубль на следующий день, а не через полгода.
дальше после входа
Урок целиком открыт всем, кто вошёл. Войди по своему email, чтобы читать дальше.
Вход пока по приглашению. Если хочешь учиться, напиши Vassiliy.