StarRocks version 4.0
警告
ダウングレードに関する注意事項
-
StarRocks を v4.0 にアップグレードした後、v3.5.0 および v3.5.1 にダウングレードしないでください。そうするとメタデータの非互換性が発生し、FE がクラッシュする可能性があります。これらの問題を回避するには、クラスタを v3.5.2 以降にダウングレードする必要があります。
-
クラスターを v4.0.3 から v3.5.2～v3.5.10 にダウングレードする前に、以下のステートメントを実行してください。
SET GLOBAL enable_rewrite_simple_agg_to_meta_scan=false;
4.0.3
リリース日：2025 年 12 月 25 日
改善点
- STRUCT データ型に対する
ORDER BY句をサポートしました。#66035 - プロパティ付き Iceberg ビューの作成をサポートし、
SHOW CREATE VIEWの出力にプロパティを表示できるようになりました。#65938 ALTER TABLE ADD/DROP PARTITION COLUMNによる Iceberg テーブルのパーティション Spec の変更をサポートしました。#65922- フレーム付きウィンドウ（例：
ORDER BY/PARTITION BY）上でのCOUNT/SUM/AVG(DISTINCT)集約をサポートし、最適化オプションを追加しました。#65815 - 単一文字区切り文字に
memchrを使用することで、CSV パース性能を最適化しました。#63715 - ネットワークオーバーヘッド削減のため、Partial TopN を事前集約（Pre-Aggregation）フェーズにプッシュダウンするオプティマイザルールを追加しました。#61497
- Data Cache の監視機能を強化しました：
- OOM 発生時に迅速にメモリを解放できるよう、Sort および Aggregation オペレーターを最適化しました。#66157
- 共有データクラスターにおいて、CN が必要なスキーマをオンデマンドで取得できるよう、FE に
TableSchemaServiceを追加しました。#66142 - すべての依存する取り込みジョブが完了するまで履歴スキーマを保持するよう、Fast Schema Evolution を最適化しました。#65799
filterPartitionsByTTLを強化し、NULL パーティション値を正しく処理することで、全パーティションが誤って除外される問題を防止しました。#65923FusedMultiDistinctStateを最適化し、リセット時に関連する MemPool を解放するようにしました。#66073- Iceberg REST Catalog において、
ICEBERG_CATALOG_SECURITYプロパティのチェックを大文字・小文字を区別しないようにしました。#66028 - 共有データクラスター向けに、StarOS Service ID を取得する HTTP エンドポイント
GET /service_idを追加しました。#65816 - Kafka コンシューマー設定において、非推奨の
metadata.broker.listをbootstrap.serversに置き換えました。#65437 - Full Vacuum Daemon を無効化できる FE 設定 項目
lake_enable_fullvacuum（デフォルト：false）を追加しました。#66685 - lz4 ライブラリを v1.10.0 に更新しました。#67080
バグ修正
以下の問題を修正しました：
latest_cached_tablet_metadataにより、バッチ Publish 中にバージョンが誤ってスキップされる可能性がありました。#66558- 共有なしクラスター実行時に、
CatalogRecycleBin内のClusterSnapshotの相対チェックが引き起こす可能性のある問題。#66501 - Spill 処理中に、複雑なデータ型（ARRAY / MAP / STRUCT）を Iceberg テーブルへ書き込む際に BE がクラッシュする問題。#66209
- writer の初期化または初回書き込みが失敗した場合に、Connector Chunk Sink がハングする可能性がある問題。#65951
- Connector Chunk Sink において、
PartitionChunkWriterの初期化失敗により、クローズ時に Null Pointer 参照 が発生する問題。#66097 - 存在しないシステム変数を設定した際に、エラーが返されず成功してしまう問題。#66022
- Data Cache が破損している場合に、Bundle メタデータの解析が失敗する問題。#66021
- 結果が空の場合に、MetaScan が count 列に対して 0 ではなく NULL を返す問題。#66010
- 旧バージョンで作成されたリソースグループに対し、
SHOW VERBOSE RESOURCE GROUP ALLがdefault_mem_poolではなく NULL を表示する問題。#65982 flat_jsonテーブル設定を無効化した後、クエリ実行中にRuntimeExceptionが発生する問題。#65921- 共有データクラスターにおいて、Schema Change 後に
min/max統計を MetaScan に書き換える際に発生する型不一致の問題。#65911 PARTITION BYおよびORDER BYが指定されていない場合に、ランキングウィンドウ最適化によって BE がクラッシュする問題。#67093- 実行時フィルター統合時の
can_use_bf判定が不正確で、誤った結果やクラッシュを引き起こす可能性がある問題。#67062 - 実行時 bitset フィルターをネストした OR 述語にプッシュダウンした際に、結果が不正になる問題。#67061
- DeltaWriter 完了後の書き込みや flush 処理により、データ競合やデータ損失が発生する可能性がある問題。#66966
- 単純集約を MetaScan に書き換える際、nullable 属性の不一致により実行エラーが発生する問題。#67068
- MetaScan 書き換えルールにおける行数計算が正しくない問題。#66967
- Tablet メタデータキャッシュの不整合により、バッチ Publish 中にバージョンが誤ってスキップされる可能性がある問題。#66575
- HyperLogLog 処理において、メモリ割り当て失敗時のエラーハンドリングが不適切な問題。#66827
4.0.2
リリース日：2025年12月4日
新機能
- 新しいリソースグループ属性
mem_poolを追加しました。複数のリソースグループが同じメモリプールを共有し、そのプールに対して共同のメモリ上限を適用できます。本機能は後方互換性があります。mem_poolが指定されていない場合はdefault_mem_poolが使用されます。#64112
改善点
- File Bundling 有効時の Vacuum におけるリモートストレージアクセスを削減しました。#65793
- File Bundling 機能が最新のタブレットメタデータをキャッシュするようになりました。#65640
- 長い文字列を扱うシナリオでの安全性と安定性を向上しました。#65433 #65148
SplitTopNAggregateRuleのロジックを最適化し、性能劣化を回避しました。#65478- Iceberg/DeltaLake と同様のテーブル統計収集戦略を他の外部データソースに適用し、単一テーブルの場合に不要な統計収集を行わないよう改善しました。#65430
- Data Cache HTTP API
api/datacache/app_statに Page Cache 指標を追加しました。#65341 - ORC ファイルの分割をサポートし、大規模 ORC ファイルの並列スキャンが可能になりました。#65188
- 最適化エンジンに IF 述語の選択率推定を追加しました。#64962
- FE が
DATEおよびDATETIME型に対するhour、minute、secondの定数評価をサポートしました。#64953 - 単純な集計を MetaScan に書き換える機能をデフォルトで有効化しました。#64698
- 共有データクラスタにおける複数レプリカ割り当ての処理を改善し、信頼性を強化しました。#64245
- 監査ログおよびメトリクスでキャッシュヒット率を公開しました。#63964
- HyperLogLog またはサンプリングにより、ヒストグラムのバケットごとの重複除外数（NDV）推定を実施し、述語や JOIN に対してより正確な NDV を提供します。#58516
- SQL 標準セマンティクスに準拠した FULL OUTER JOIN USING をサポートしました。#65122
- オプティマイザのタイムアウト時にメモリ情報を出力して診断を支援します。#65206
バグ修正
以下の問題を修正しました：
- DECIMAL56 の
mod演算に関する問題。#65795 - Iceberg のスキャンレンジ処理に関する問題。#65658
- 一時パーティションおよびランダム bucket における MetaScan 書き換え問題。#65617
- 透明なマテリアライズドビュー書き換え後に
JsonPathRewriteRuleが誤ったテーブルを参照する問題。#65597 partition_retention_conditionが生成列を参照している場合のマテリアライズドビューのリフレッシュ失敗。#65575- Iceberg の min/max 値の型に関する問題。#65551
enable_evaluate_schema_scan_rule=trueの場合に異なるデータベースを跨いでinformation_schema.tablesおよびviewsをクエリする際の問題。#65533- JSON 配列比較における整数オーバーフロー。#64981
- MySQL Reader が SSL をサポートしていない問題。#65291
- SVE ビルド非互換性による ARM ビルド問題。#65268
- bucket-aware 実行に基づくクエリが bucketed Iceberg テーブルでハングする可能性がある問題。#65261
- OLAP テーブルスキャンでメモリ制限 チェックが不足していたことによるエラー伝播およびメモリ安全性の問題。#65131
動作の変更
- マテリアライズドビューが非アクティブ化されると、その依存マテリアライズドビューも再帰的に非アクティブ化されます。#65317
- SHOW CREATE の生成時に、コメントやフォーマットを含む元のマテリアライズドビュー定義 SQL を使用します。#64318
4.0.1
リリース日：2025年11月17日
改善点
- TaskRun セッション変数の処理を最適化し、既知の変数のみを処理するようにしました。 #64150
- デフォルトで Iceberg および Delta Lake テーブルの統計情報をメタデータから収集できるようになりました。 #64140
- bucket および truncate パーティション変換を使用する Iceberg テーブルの統計情報収集をサポートしました。 #64122
- デバッグのために FE
/procプロファイルの確認をサポートしました。 #63954 - Iceberg REST カタログでの OAuth2 および JWT 認証サポートを強化しました。 #63882
- バンドルタブレットのメタデータ検証およびリカバリ処理を改善しました。 #63949
- スキャン範囲のメモリ見積もりロジックを改善しました。 #64158
バグ修正
以下の問題を修正しました：
- バンドルタブレットを公開する際にトランザクションログが削除される問題を修正しました。 #64030
- join 後にソートプロパティがリセットされないため、join アルゴリズムがソート特性を保持できない問題を修正しました。 #64086
- 透過的なマテリアライズドビューのリライトに関連する問題を修正しました。 #63962
動作変更
- Iceberg カタログに
enable_iceberg_table_cacheプロパティを追加し、Iceberg テーブルキャッシュを無効化して常に最新データを読み込むように設定可能にしました。 #64082 INSERT ... SELECT実行前に外部テーブルをリフレッシュし、最新のメタデータを読み取るようにしました。 #64026- ロックテーブルスロット数を 256 に増加し、スロー・ロックログに
ridフィールドを追加しました。 #63945 - イベントベースのスケジューリングとの非互換性により、
shared_scanを一時的に無効化しました。 #63543 - Hive カタログのキャッシュ TTL のデフォルト値を 24 時間に変更し、未使用のパラメータを削除しました。 #63459
- セッション変数および挿入列数に基づいて Partial Update モードを自動判定するようにしました。 #62091
4.0.0
リリース日：2025年10月17日
データレイク分析
- BE メタデータ用の Page Cache と Data Cache を統合し、スケーリングに適応的な戦略を採用。#61640
- Iceberg 統計情報のメタデータファイル解析を最適化し、繰り返し解析を回避。#59955
- Iceberg メタデータに対する COUNT/MIN/MAX クエリを最適化し、データファイルスキャンを効率的にスキップすることで、大規模パーティションテーブルの集約クエリ性能を大幅に向上させ、リソース消費を削減。#60385
- プロシージャ
rewrite_data_filesにより Iceberg テーブルの Compaction をサポート。 - 隠しパーティション（Hidden Partition）を持つ Iceberg テーブルをサポー ト（作成、書き込み、読み取りを含む）。#58914
- Iceberg テーブル作成時のソートキー設定をサポートします。
- Iceberg テーブル向けのシンクパフォーマンスを最適化します。
- Iceberg テーブルのバケット対応実行を強化し、バケット化テーブルの並行処理能力と分散処理能力を向上させました。#61756
- Paimon カタログで TIME データ型をサポート。#58292
- Iceberg バージョンを 1.10.0 にアップグレード。#63667
セキュリティと認証
- JWT 認証と Iceberg REST Catalog を利用するシナリオで、StarRocks は REST Session Catalog を介してユーザーログイン情報を Iceberg に透過し、その後のデータアクセス認証をサポート。#59611 #58850
- Iceberg カタログ用の Vended Credential をサポート。
- Group Provider 経由で取得した外部グループへの StarRocks 内部ロールの付与をサポート。#63385 #63258
- 外部テーブルのリフレッシュ権限を制御するため、外部テーブルに REFRESH 権限を追加しました。#63385
ストレージ最適化とクラスタ管理
- 共有データクラスタのクラウドネイティブテーブルにファイルバンド ル（File Bundling）最適化を導入。ロード、Compaction、Publish 操作によって生成されるデータファイルを自動的にバンドルし、外部ストレージシステムへの高頻度アクセスによる API コストを削減。ファイルバンドリングは、v4.0 以降で作成されたテーブルに対してデフォルトで有効化されています。#58316
- 複数テーブル間の Write-Write トランザクション（Multi-Table Write-Write Transaction）をサポートし、INSERT、UPDATE、DELETE 操作のアトミックコミットを制御可能。Stream Load および INSERT INTO インターフェイスをサポートし、ETL やリアルタイム書き込みシナリオにおけるクロステーブルの一貫性を保証。#61362
- Routine Load で Kafka 4.0 をサポート。
- 共有なしクラスタの主キーテーブルに対する全文インバーテッドインデックスをサポート。
- 集約テーブルの集約キーの変更をサポート。#62253s
- カタログ、データベース、テーブル、ビュー、マテリアライズドビューの名前に対して大文字小文字を区別しない処理を有効化可能。#61136
- 共有データクラスタにおける Compute Node のブラックリスト化をサポート。#60830
- グローバ ル接続 ID をサポート。#57256
- 復元可能な削除済みメタデータを表示するため、Information Schema に
recyclebin_catalogsメタデータビューを追加しました。#51007
クエリと性能改善
- DECIMAL256 データ型をサポートし、精度の上限を 38 ビットから 76 ビットに拡張。256 ビットのストレージにより、高精度が求められる金融や科学計算シナリオに柔軟に対応し、大規模集約や高次演算での DECIMAL128 の精度オーバーフロー問題を効果的に緩和。#59645
- 基本演算子のパフォーマンスを改善しました。#61691 #61632 #62585 #61405 #61429
- JOIN および AGG 演算子の性能を最適化。#61691
- [Preview] SQL Plan Manager を導入し、クエリとクエリプランをバインド可能に。これにより、システム状態（データ更新や統計更新）の変化によるクエリプランの変動を防止し、クエリ性能を安定化。#56310
- Partition-wise Spillable Aggregate/Distinct 演算子を導入し、従来のソートベース集約による Spill 実装を置き換え。複雑かつ高カーディナリティの GROUP BY シナリオで集約性能を大幅に改善し、読み書き負荷を削減。#60216
- Flat JSON V2：
- STRING データ型向けに適応型 ZoneMap インデックス作成戦略をサポート。#61960
- クエリ可視性の強化:
- マテリアライズドビューの再作成では、元のテーブルの分散キーとソートキーを考慮し、最適なマテリアライズドビューの選択を改善。#62830
関数と SQL 構文
- 以下の関数を追加：
- 以下の構文拡張を提供：
動作変更
- マテリアライズドビューのパラメータ
auto_partition_refresh_numberのロジックを調整し、自動リフレッシュか手動リフレッシュかにかかわらず、リフレッシュ対象のパーティション数を制限します。#62301 - Flat JSON がデフォルトで有効化されました。#62097
- システム変数
enable_materialized_view_agg_pushdown_rewriteのデフォルト値がtrueに設定され、マテリアライズドビューのクエリ書き換えにおける集計プッシュダウンがデフォルトで有効化されました。#60976 information_schema.materialized_views内のいくつかの列の型を変更し、対応するデータとの整合性を高めました。#60054split_part関数は区切り文字が一致しない場合に NULL を返すように変更。#56967- CTAS/CREATE MATERIALIZED VIEW で固定長 CHAR を STRING に置き換え、誤った列長推論によるマテリアライズドビュー更新失敗を回避。#63114 #63114 #62476
- データキャッシュ関連の構成が簡素化されました。#61640
datacache_mem_sizeおよびdatacache_disk_sizeが有効になりました。storage_page_cache_limit、block_cache_mem_size、block_cache_disk_sizeは非推奨となりました。
- Hive および Iceberg のメタデータキャッシュに使用するメモリリソースを制限する新しいカタログプロパティを追加（Hive 用
remote_file_cache_memory_ratio、Iceberg 用iceberg_data_file_cache_memory_usage_ratioおよびiceberg_delete_file_cache_memory_usage_ratio）。デフォルト値を0.1（10%）に設定。メタデータキャッシュの TTL を24時間に調整。#63459 #63373 #61966 #62288 - SHOW DATA DISTRIBUTION は、同じバケットシーケンス番号を持つすべての マテリアライズドインデックスの統計情報を統合しなくなりました。マテリアライズドインデックスレベルでのデータ分散のみを表示します。#59656
- 自動バケットテーブルのデフォルトバケットサイズを4GBから1GBに変更し、パフォーマンスとリソース利用率を改善しました。#63168
- システムは対応するセッション変数と INSERT 文の列数に基づいて部分更新モードを決定します。#62091
- Information Schema 内の
fe_tablet_schedulesビューを最適化しました。#62073 #59813TABLET_STATUS列をSCHEDULE_REASONに、CLONE_SRC列をSRC_BE_IDに、CLONE_DEST列をDEST_BE_IDに名称変更しました。CREATE_TIME、SCHEDULE_TIMEおよびFINISH_TIME列のデータ型をDOUBLEからDATETIMEに変更しました。
- 一部の FE メトリクスに
is_leaderラベルを追加しました。#63004 - Microsoft Azure Blob Storage および Data Lake Storage Gen 2 をオブジェクト ストレージとし て使用する共有データクラスターは、v4.0 へのアップグレード後にデータキャッシュの障害が発生します。システムは自動的にキャッシュを再読み込みします。
