[Перевод] Delta Lake 4.3: Выборочная замена данных и API-интерфейсы каталога Unity Delta
<img src="https://habrastorage.org/getpro/habr/upload_files/6a4/038/8d8/6a40388d82a8ae8c8b9582124eb68880.webp" /><p><em>Методы replaceUsing и replaceOn обеспечивают более удобный способ перезаписи, а каталог теперь проверяет каждую операцию, а не только фиксацию.</em></p><p>Выпуск Delta Lake 4.3 состоялся в июне 2026 года, и он основан на Apache Spark 4.1.0 и 4.0.1. Если прочитать примечания к выпуску от начала до конца, вы увидите длинный список изменений, охватывающих Delta Spark, ядро, UniForm, Sharing и Flink, который легко принять за релиз с исправлениями, дополненный описанием каталога обновлений.</p><p>Два момента заслуживают вашего внимания, и они находятся на противоположных концах стека. Первый — небольшой и сразу полезный: <strong><code>replaceUsing</code>наконец <code>replaceOn</code>-то API DataFrame получает возможность выборочной перезаписи, которая не является <code>replaceWhere</code>.</strong> Второй — структурный: <strong>теперь каждая операция с таблицей, управляемой каталогом, проходит через API Unity Catalog Delta</strong> , а не только фиксация изменений. В Delta 4.2 фиксации изменений были скоординированы с каталогом. В Delta 4.3 остальная часть интерфейса, загрузка таблиц, <code>CREATE</code>, <code>CTAS</code>, <code>REPLACE</code>, и запись метаданных, объединены в один проверенный путь.</p><p>В этой статье рассматривается версия 4.3 с точки зрения разработчика конвейера: какие изменения в коде вы вносите, какие изменения происходят под вашим контролем и что следует проверить перед обновлением. Приводятся примеры <code>testing.default</code>для каталога и схемы, а также пример компании CH Enterprise. Ссылки на исходный код находятся внизу.</p> <a href="https://habr.com/ru/articles/1081750/?utm_source=habrahabr&utm_medium=rss&utm_campaign=1081750#habracut">Читать далее</a>