AWS Glue 6.0 выходит с ценой на 30% ниже и полной поддержкой Apache Iceberg v3

AWS Glue 6.0 выходит с ценой на 30% ниже и полной поддержкой Apache Iceberg v3. Фото: из архива компании

Прежде всего, стоимость использования снижена на 30% по сравнению с предыдущими версиями, а также обеспечена полная поддержка спецификации Apache Iceberg версии 3, построенной на основе Iceberg 1.11.0.

Новая версия базируется на полностью обновлённой среде выполнения Apache Spark 4.1, Python 3.12 и Scala 2.13, что уже само по себе обещает заметный прирост производительности.

Ключевой инновацией стало введение типа данных VARIANT с функцией измельчения, которая позволяет хранить и обрабатывать полуструктурированные данные, такие как JSON, логи и события, без необходимости преобразовывать их в плоские схемы.

Это не только исключает дублирование данных и необходимость в пользовательском коде для парсинга, но и делает конвейеры устойчивыми к изменениям схем на источнике. В дополнение к этому Iceberg v3 предлагает встроенные пространственные типы данных «Геометрия» и «География» для ГИС-аналитики, поддержку временных меток с наносекундной точностью для задач IoT и научных вычислений, а также механизм обработки неизвестных типов, который предотвращает сбои конвейеров при неожиданных изменениях данных.

В AWS Glue 6.0 появились и кардинальные улучшения на уровне самого Spark. Разработчики теперь могут использовать декларативные конвейеры, где достаточно объявить желаемое состояние данных, а оптимизацию движок берёт на себя, что резко упрощает создание ETL-процессов.

Выполнение пользовательских функций Python теперь поддерживается через Apache Arrow, что устраняет накладные расходы на сериализацию и ускоряет сложные преобразования в PySpark. Кроме того, для сценариев потоковой обработки без сохранения состояния представлен новый режим реального времени с задержкой в несколько миллисекунд, основанный на возможностях Spark 4.1.

Для перехода на новую версию не требуется менять API: достаточно указать параметр --glue-version 6.0 при создании или обновлении задания через AWS CLI, SDK, консоль Glue Studio или Amazon SageMaker Unified Studio. В AWS Glue Studio также доступны агент обновления Spark и функция автоматического обновления для существующих задач.

Новая версия уже доступна во всех регионах, где работает AWS Glue, а плата за вычислительные ресурсы взимается посекундно. Первый миллион объектов в Data Catalog и первый миллион обращений к ним остаются бесплатными, а подробности о ценах и миграции опубликованы в официальной документации.