Кластер высокой (не)доступности. Разбираем три распространенных инфраструктурных инцидента
Обычный рабочий день. Я занимаюсь плановой миграцией InfluxDB у очередного заказчика. И тут приходит тикет с пометкой «Срочно» и приглашение на ВКС. Подключаюсь, на экране – PostgreSQL-кластер. Все серверы живы, но почему-то находятся в статусе Replica. В кластере нет ни одного Leader. Коллеги на той стороне объясняют: «Мы тут виртуализацию перезагрузили. После этого кластер как-то… в тыкву превратился». Высокая доступность внезапно стала очень недоступной. Для бизнеса в этот момент не так важно, что именно произошло с Patroni, etcd или PostgreSQL. Важно другое: приложение не может подключиться к базе, пользователи не работают, а простой продолжается. Я ведущий системный инженер, занимаюсь эксплуатацией ИТ-инфраструктуры и баз данных в компании «Онланта». За время работы успел увидеть сотни аварий. Некоторые из них действительно лечатся очень быстро. Другие заставляют восстанавливать события буквально по минутам и проверять гипотезы, которые сначала кажутся совершенно нелепыми. В этой статье я расскажу о нескольких таких историях из своей практики. Возможно, что-то из моего опыта поможет вам однажды потратить на инцидент меньше времени. Читать далее