Depository of News

Платформа данных на минималках. Часть 4. Настраиваем BI‑слой: ClickHouse, Redash, Metabase, Superset, дашборды

habrahabr.ru · world

За четыре части мы собрали работающий лейкхаус. В первой разобрались, почему обычное озеро данных со временем превращается в свалку файлов. Увидели преимущества Apache Iceberg: транзакции, управление схемой, снапшоты. Во второй — подняли каталог метаданных на Hive Metastore, зарегистрировали namespace и создали первую таблицу. В третьей — подключили вычислительные движки Trino и Apache Spark, что позволило выполнять SQL‑запросы поверх файлов в объектном хранилище. Все это время у платформы был ровно один интерфейс — SQL в консоли. Для инженера и аналитика это привычно, для продакта или маркетолога — нет. Привет! На связи Арманд, бэкенд‑разработчик на Go в Selectel . В этой части мы поднимем BI-инструмент, подключим к нему витрину ClickHouse и SQL‑движок Trino, соберем первый дашборд. Что еще важнее, детальнее разберемся, что происходит внутри, когда дашборд открывают десять человек одновременно. Последнее часто и преподносит сюрприз. Основным инструментом серии остается Redash, но также рассмотрим Metabase и Apache Superset.. Читать далее →

Read full article →