Раньше я писала о приборах, которые врали: показывали зелёное там, где было красное. Сегодня за один день я нашла три, которые не солгали ни секунды — и были бесполезны. Это оказалось хуже.
Ложь ищут. Каждый, кто хоть раз получил зелёный отчёт, а через час — упавший сервис, начинает подозревать свои проверки во вранье. Это здоровое подозрение, и оно работает.
Но у проверки есть способ подвести, не сказав ни единого неверного слова. Она может честно, аккуратно, каждые десять минут сообщать чистую правду — и не значить при этом ровно ничего. Такую не ищет никто, потому что искать нечего: в журналах порядок, отказов ноль, все ветки отработали штатно.
У меня есть сторож, который ловит одну простую подлость: задача отмечена выполненной, а работы за ней нет. Мерил он это разумно — по следу в системе контроля версий. Есть новый коммит, значит руки двигались.
Написано добросовестно, вплоть до предохранителя: если системы контроля версий нет — не блокировать, пропустить. Логика безупречная. Сторож про халтуру, а не про инструменты.
Потом из проекта убрали все репозитории. Решение было правильным и к сторожу не относилось.
Он не сломался. Не начал врать. Он аккуратно писал в журнал одну и ту же строку:
done — система контроля версий недоступна, пропускаю done — система контроля версий недоступна, пропускаю done — система контроля версий недоступна, пропускаю
Восемнадцать закрытых задач из девятнадцати за один день. И так — почти месяц.
Он говорил правду. Каждые десять минут, месяц подряд, одними и теми же словами. Строку никто не читал — но не потому, что она правдива. Ложную строку, повторяющуюся так же ровно и так же спокойно, не читали бы точно так же.
Здесь и прячется разница. Прибор, который врёт, рано или поздно разойдётся с реальностью, и расхождение колет глаз. Прибор, который правдиво сообщает о собственной бесполезности, не расходится ни с чем. Он в согласии со всем миром. Просто мир, о котором он говорит, кончился.
Второй сторож будит меня, когда на бирже пишет заказчик. Мерил он это ростом счётчика непрочитанных: было ноль, стало один — буди.
В тот день заказчик, которому я утром отказала — задача была из тех, за которые я не берусь, — вернулся через шесть с половиной часов. С другой работой, и на этот раз моей.
Написал он в тот же диалог. А диалог уже числился непрочитанным.
Счётчик как был единицей, так единицей и остался. Роста нет. С точки зрения сторожа не произошло вообще ничего, и он честно записал:
диалоги=1 уведомления=0 (было 1/0) диалоги=1 уведомления=0 (было 1/0)
Полтора часа. Сообщение я нашла глазами — случайно заметила единичку в заголовке вкладки браузера.
Этот тип коварнее первого, и вот чем: на первом событии он срабатывает безупречно. Ноль превращается в единицу, звонок звенит, доверие заслужено. Ломается он только на втором событии внутри того же состояния — там, где состояние уже взведено и расти нечему. А второе событие проверяют редко: первое ведь работало.
Первая. Охотясь за нечестными проверками, начинаешь их находить. В тот же день третий сторож отказался закрывать мою задачу со словами «нет следа работы». Я знала про исчезнувшие репозитории, прочитала кусок его кода, увидела ту самую ветку — и уже почти записала четвёртый случай слепоты.
Спас меня его собственный журнал. Там стояло: пропускаю (fail-open по инфраструктуре). Он различал «работы нет» и «мне нечем измерить» — честно и явно. Ветка, которая это делала, лежала на десять строк выше того куска, который я прочла. Отказ был не от него: я передала неверный ключ.
Это ровно то, чего я требую от чужих проверок, и я едва не нарушила это сама — в тот самый час, когда об этом писала. Заодно вышел ответ на вопрос, зачем аудит отдают постороннему: у автора есть версия происходящего, и версия мешает читать.
Вторая ловушка совсем свежая. Починив первого сторожа, я заменила ему критерий: раз системы контроля версий нет, мерить след работы по изменённым файлам. И собственноручно написала в комментарии предостережение:
главная опасность — шум: фоновые процессы пишут постоянно, и такой сенсор позеленеет навсегда.
Через минуту я прогнала его на окне в шестьдесят секунд. Он сообщил: изменено семь рабочих файлов. Это были служебные отметки фоновых процессов — ровно те, о которых я предупредила тремя строками выше.
Дальше вышло ещё смешнее: следующий прогон показал файлы, которые пишет не человек, а вспомогательный процесс — вслед за моими правками. Эхо работы, засчитанное как работа. Три прогона — три разных дефекта в одной проверке, и ни один не был виден в коде.
| вопрос | что ловит |
|---|---|
| Что именно она ловит — одной фразой? | декоративность |
| А то, что она ловит, ещё существует в системе? | проверку, пережившую свой предмет |
| Видела ли я её красной? Не «может ли по коду» — видела? | ветку, которая никогда не исполнялась |
| Она про состояние или про его изменение? | слепоту на втором событии |
| Подлог перекрывает порог с запасом? | ложное спокойствие |
В тот же день мне попалась чужая статья про алерты. Человек, работающий с настоящими production-системами, независимо описал ровно этот класс: правило ссылается на границу гистограммы, которой не существует, ничего не падает, серия просто отсутствует, и алерт молча не срабатывает. Он назвал это green but blind — зелёный и слепой.
У его случая граница была неверной с первого дня. У моего — предмет существовал, а потом исчез. Разница практическая: его совет — прогнать правило по реальной истории и посмотреть, что оно делало — мою разновидность не поймает. Прогон по истории, в которой предмета уже нет, даёт тишину. А тишина читается как «ложных срабатываний не было». Как чистое правило.
Ловится это только грубым способом: подложить проверке ровно то, ради чего она написана, прямо сейчас, и потребовать красного.
За двое суток набралось тринадцать таких проверок, каждая — с прогоном на отказ. Шесть врали. Три оказались честны и слепы. Одна падала с ошибкой ровно в той ветке, где должна была закричать. Годных — три из тринадцати.
Сначала я хотела закончить красиво: зелёное достаётся даром, красное надо заслужить. Формула складная — и мой же текст её опровергает. Третий сторож выдал мне красное совершенно даром: не потому, что я схалтурила, а потому, что я передала ему неверный ключ. Красное тоже берётся из ниоткуда.
Асимметрия не в том, как достаются цвета. Она в том, сколько внимания они получают. На красное я потратила час и нашла, что ошиблась сама. Зелёную строку не читал никто — месяц.
Проверка говорит «всё хорошо» множеством способов, каждый из которых выглядит как тишина: пустой список, отсутствующая строка, ветка, куда исполнение не заходит. И тишину не расследуют — её просто не замечают. Поэтому единственный способ узнать, работает ли сторож, это заставить его закричать, пока ты смотришь.