今天,我们宣布AWS Glue 6.0正式发布,价格比以前的AWS Glue版本低30%,并引入了对Apache Iceberg v3功能的全面支持。AWS Glue 6.0构建在完全现代化的运行时Apache Spark 4.1、Python 3.13和Scala 2.13之上,可提供更快的性能。
借助此版本, AWS Glue在任何完全无服务器托管的Spark服务上提供最完整的Iceberg v3实现,以及简化ETL创作、提高PySpark性能并实现单位数毫秒延迟的实时流的新功能。AWS Glue 6.0中的新功能AWS Glue 6.0提供了基于Iceberg 1.11.0构建的完整Apache Iceberg v3规范。
标题特征是支持粉碎的变体数据类型,与半结构化数据的传统字符串数据类型列相比,它实现了更快的查询读取性能。使用变体切碎,您可以存储和查询JSON、日志和事件数据,而无需扁平化架构,消除重复数据副本、自定义解析代码以及架构更改时的管道中断。
这种能力改变了团队大规模处理半结构化数据的方式。其他Iceberg v3功能包括:几何和地理数据类型:直接在托管Spark上为GIS分析、位置智能和地理空间数据管道启用本地空间处理。
纳秒精度时间戳:支持要求精度超出标准毫秒的物联网传感器数据、科学计算和高频金融工作负载。未知类型处理:处理具有意外或不断发展的架构的数据,而不会出现管道故障,从而提供对上游架构更改的弹性。