Все компоненты зелёные, а продакшн лежит: разбор аварии, которую нашли в git
<p>Инфраструктура была покрыта кодом почти на сто процентов. Мониторинг покрыты все компоненты. В момент аварии все метрики базы данных были идеальными, соседние сервисы на том же сервере СУБД работали без единой ошибки, провайдер облака показывал зелёный статус.</p><p>При этом продакшн лежал двадцать минут, и первые пятнадцать никто не понимал, что происходит.</p><p>Причина лежала в истории изменений инфраструктуры, и за первые пятнадцать минут туда не посмотрел никто.</p> <a href="https://habr.com/ru/articles/1078876/?utm_source=habrahabr&utm_medium=rss&utm_campaign=1078876#habracut">Читать далее</a>