跳到主要内容

StarRocks version 4.0

4.0.0-RC

发布日期:2025 年 9 月 9 日

数据湖分析

  • 统一了 BE 元数据的 Page Cache 和 Data Cache,并采用自适应策略进行扩展。#61640
  • 优化了 Iceberg 统计信息的元数据文件解析,避免重复解析。#59955
  • 优化了针对 Iceberg 元数据的 COUNT/MIN/MAX 查询,通过有效跳过数据文件扫描,显著提升了大分区表的聚合查询性能并减少资源消耗。#60385
  • 支持通过 Procedure rewrite_data_files 对 Iceberg 表进行 Compaction。
  • 支持带有隐藏分区(Hidden Partition)的 Iceberg 表,包括建表、写入和读取。#58914
  • 支持 Paimon Catalog 中的 TIME 数据类型。#58292

安全与认证

  • 在使用 JWT 认证和 Iceberg REST Catalog 的场景下,StarRocks 支持通过 REST Session Catalog 将用户登录信息透传到 Iceberg,用于后续数据访问认证。#59611 #58850
  • Iceberg Catalog 支持 Vended Credential。

存储优化与集群管理

  • 为存算分离集群中的云原生表引入了文件捆绑(File Bundling)优化,自动捆绑由导入、Compaction 或 Publish 操作生成的数据文件,从而减少因高频访问外部存储系统带来的 API 成本。#58316
  • Routine Load 支持 Kafka 4.0。
  • 支持在存算一体集群的主键表上使用全文倒排索引。
  • 支持对 Catalog、Database、Table、View 和物化视图的名称启用大小写不敏感处理。#61136
  • 支持在存算分离集群中对 Compute Node 进行黑名单管理。#60830
  • 支持全局连接 ID。#57256

查询与性能优化

  • 支持 DECIMAL256 数据类型,将精度上限从 38 扩展到 76 位。其 256 位存储可以更好地适应高精度金融与科学计算场景,有效缓解 DECIMAL128 在超大规模聚合与高阶运算中的精度溢出问题。#59645
  • 优化了 JOIN 与 AGG 算子性能。#61691
  • [Preview] 引入 SQL Plan Manager,允许用户将查询与查询计划绑定,避免因系统状态变化(如数据更新、统计信息更新)导致查询计划变更,从而稳定查询性能。#56310
  • 引入 Partition-wise Spillable Aggregate/Distinct 算子,替代原有基于排序型聚合的 Spill 实现,大幅提升复杂和高基数 GROUP BY 场景下的聚合性能,并降低读写开销。#60216
  • Flat JSON V2:
    • 支持在表级别配置 Flat JSON。#57379
    • 通过保留 V1 机制并新增 Page 级和 Segment 级索引(ZoneMap、Bloom Filter)、带有延迟物化的谓词下推、字典编码以及集成低基数全局字典,显著提升 JSON 列式存储的执行效率。#60953
  • 为 STRING 数据类型支持自适应 ZoneMap 索引创建策略。#61960

函数与 SQL 语法

  • 新增以下函数:
  • 提供以下语法扩展:
    • CREATE ANALYZE FULL TABLE 支持 IF NOT EXISTS 关键字。#59789
    • SELECT 支持 EXCLUDE 子句。#57411
    • 聚合函数支持 FILTER 子句,提升条件聚合的可读性和执行效率。#58937