データロード

🗃️ ロード概要

4項目

🗃️ オブジェクトストレージからのロード

8項目

📄️ ローカルファイルシステムからデータをロードする

StarRocks はローカルファイルシステムからデータをロードするための2つの方法を提供しています。

📄️ HDFS からデータをロードする

StarRocks は、HDFS からデータをロードするために以下のオプションを提供します。

🗃️ Apache Kafka からのデータロード

2項目

🗃️ Apache Spark からのデータロード

2項目

📄️ INSERTを使用したデータロード

このトピックでは、SQLステートメント - INSERT を使用してStarRocksにデータをロードする方法について説明します。

📄️ Stream Load トランザクションインターフェースを使用したデータのロード

バージョン 2.4 以降、StarRocks は Stream Load トランザクションインターフェースを提供し、Apache Flink® や Apache Kafka® などの外部システムからデータをロードするトランザクションに対して 2 フェーズコミット (2PC) を実装します。Stream Load トランザクションインターフェースは、高度に並行したストリームロードのパフォーマンスを向上させます。

📄️ MySQL からのリアルタイム同期

StarRocks は、MySQL から StarRocks へのデータをリアルタイムで同期するための複数の方法をサポートしており、大量データの低遅延リアルタイム分析を実現します。

📄️ Apache Flink® からのデータの継続的なロード

StarRocks は、Apache Flink® 用に開発されたコネクタである StarRocks Connector for Apache Flink®（以下、Flink コネクタ）を提供しており、Flink を使用して StarRocks テーブルにデータをロードするのに役立ちます。基本的な原理は、データを蓄積し、STREAM LOAD を通じて一度にすべてのデータを StarRocks にロードすることです。

📄️ ロードによるデータ変更

StarRocks が提供する Primary Key tables を使用すると、Stream Load、Broker Load、または Routine Load ジョブを実行して StarRocks テーブルにデータ変更を加えることができます。これらのデータ変更には、挿入、更新、削除が含まれます。ただし、Primary Key tables は Spark Load または INSERT を使用したデータ変更をサポートしていません。

📄️ ロード時のデータ変換

StarRocks はロード時のデータ変換をサポートしています。

📄️ ツールを使用したデータロード

StarRocks とそのエコシステムパートナーは、StarRocks を外部データベースとシームレスに統合するための以下のツールを提供しています。

📄️ Strict mode

Strict mode は、データロードのために設定できるオプションのプロパティです。これは、ロードの動作と最終的にロードされるデータに影響を与えます。