Releases of StarRocks Connector for Spark
Notifications
ユーザーガイド:
ソースコード: starrocks-connector-for-apache-spark
JAR ファイルの命名形式: starrocks-spark-connector-${spark_version}_${scala_version}-${connector_version}.jar
JAR ファイルの取得方法:
- Maven Central Repository から直接 Spark connector JAR ファイルをダウンロードします。
- Maven プロジェクトの
pom.xmlファイルに Spark connector を依存関係として追加し、ダウンロードします。具体的な手順については、ユーザーガイド を参照してください。 - ソースコードをコンパイルして Spark connector JAR ファイルを作成します。具体的な手順については、ユーザーガイド を参照してください。
バージョン要 件:
| Spark コネクタ | Spark | StarRocks | Java | Scala |
|---|---|---|---|---|
| 1.1.4 | 4.0, 4.1 | 2.5 以降 | 17 | 2.13 |
| 1.1.4 | 3.3, 3.4, 3.5 | 2.5 以降 | 8 | 2.12 |
| 1.1.3 | 3.2, 3.3, 3.4, 3.5 | 2.5 以降 | 8 | 2.12 |
| 1.1.2 | 3.2, 3.3, 3.4, 3.5 | 2.5 以降 | 8 | 2.12 |
| 1.1.1 | 3.2, 3.3, または 3.4 | 2.5 以降 | 8 | 2.12 |
| 1.1.0 | 3.2, 3.3, または 3.4 | 2.5 以降 | 8 | 2.12 |
リリースノート
1.1
1.1.4
このリリースでは、いくつかの新機能と改善を含んでいます。
新機能
- StarRocks catalog をサポートしました。#109
bitmap_hash64をサポートしました。#130- Struct、Array、Map などのネストされたフィールドをサポートしま した。#152
- Spark catalog を介したデータの読み取りおよび書き込みをサポートしました。#140
- Spark 4.0 および Scala 2.13 をサポートしました。#154
改善
- セキュリティポリシーを追加しました。#139
バグ修正
- DataSource V2 におけるフィルタープッシュダウンの処理を修正しました。#141
1.1.3
このリリースでは、いくつかの新機能と改善を含んでいます。
新機能
- Sink が LZ4 圧縮をサポートしました。#110
改善
- マイクロ秒を含む StarRocks の DATETIME 型の読み書きに対応しました。#123
- 書き込み処理のソケットタイムアウトを設定できるようになりました。#122
jackson-coreの最大文字列長を拡張しました。#129
バグ修正
- カラム名にキーワードが使用されたことで発生する解析エラーを修正しました。（修正後、BuildScan ではカラム名に引用符が付加されます。）#103
java.lang.Stringが DATE/TIMESTAMP の有効な外部型でないことによって発生する例外を修正しました。#111- JSON 型の書き込みに関する誤りを修正しました。#115
1.1.2
機能
- Spark v3.5 をサポートします。#89
- Spark SQL を使用して StarRocks からデータを読み取る際に
starrocks.filter.queryパラメータをサポートします。#92 - StarRocks から JSON 型のカラムを読み取ることをサポートします。#100
改善
- エラーメッセージを最適化しました。Spark connector が StarRocks からデータを読み取る際に、
starrocks.columnsパラメータで指定されたカラムが StarRocks テーブルに存在しない場合、返されるエラーメッセージに存在しないカラム名が明示的に表示されます。#97 - Spark connector が HTTP 経由で StarRocks FE からクエリプランを要求する際に例外が発生した場合、FE は例外情報を HTTP ステータスとエンティティを通じて Spark connector に返します。#98
1.1.1
このリリースには、主に StarRocks へのデータロードに関するいくつかの機能と改善が含まれています。
注意
Spark connector をこのバージョンにアップグレードする際のいくつかの変更に注意してください。詳細については、Spark connector のアップグレード を参照してください。
機能
- シンクがリトライをサポートします。#61
- BITMAP および HLL カラムへのデータロードをサポートします。#67
- ARRAY 型データのロードをサポートします。#74
- バッファされた行数に基づいてフラッシュすることをサポートします。#78
改善
- 不要な依存関係を削除し、Spark connector JAR ファイルを軽量化しました。#55 #57
- fastjson を jackson に置き換えました。#58
- 欠落していた Apache ライセンスヘッダーを追加しました。#60
- MySQL JDBC ドライバーを Spark connector JAR ファイルにパッケージしないようにしました。#63
- タイムゾーンパラメータを設定し、Spark Java8 API の日時と互換性を持たせることをサポートします。#64
- CPU コストを削減するために行文字列コンバーターを最適化しました。#68
starrocks.fe.http.urlパラメータが http スキームを追加することをサポートします。#71- インターフェース BatchWrite#useCommitCoordinator が DataBricks 13.1 で動作するように実装されました。#79
- エラーログに権限とパラメータを確認するヒントを追加しました。#81
バグ修正
- CSV 関連パラメータ
column_separatorおよびrow_delimiterのエスケープ文字を解析します。#85
ドキュメント
- ドキュメントをリファクタリングしました。#66
- BITMAP および HLL カラムへのデータロードの例を追加しました。#70
- Python で書かれた Spark アプリケーションの例を追加しました。#72
- ARRAY 型データのロードの例を追加しました。#75
- 主キーテーブルでの部分更新と条件付き更新を実行する例を追加しました。#80
1.1.0
機能
- StarRocks にデータをロードすることをサポートします。
1.0
機能
- StarRocks からデータをアンロードすることをサポートします。
