Depository of News

4 грабли в связке Laravel Echo + Kafka + микросервисы (event-driven архитектура)

habrahabr.ru · world

Разбор 4х интересных (ИМХО) инцидентов в работе связки Laravel Echo + Kafka (transactional outbox) + микросервисной event-driven архитектуры. В этой статье, как и обещал в прошлой, речь пойдёт об инцидентах, связанных с реалтайм-составляющей проекта, над которым я работал. Надеюсь, что кто-то научится на моих ошибках. Инциденто нумеро уно! В чате сообщения появляются только после перезагрузки страницы, хотя цепочка (очередь -> Kafka -> сервис -> Reverb -> слушатель) полностью зелёная. И причин в коде для подобных проблем нет. Согласитесь, неприятно. Я начал дотошно изучать, где может всё ломаться, и спустя N-ное кол-во сожжённых нервных клеток в логах nginx увидел аномально часто повторяющийся 101 Switching Protocols и иногда 502-е. Причина оказалась достаточно простой: в location /app, где вебсокет проксируется на Reverb, не были заданы таймауты proxy_read_timeout и proxy_send_timeout. И так как nginx ждёт 60 секунд по умолчанию, а Reverb ровно раз в те же 60 секунд отправляет ping, получается гонка: nginx убивает соединение чуть раньше, чем ping доходит. Браузер переподключается, и так по кругу. Исправилось всё достаточно просто: нужно было явно выставить таймауты, чтобы они были больше интервала ping. Выглядит это примерно так: Читать далее

Read full article →