loading_tools_integration

ツールを使用したデータロード

StarRocks とそのエコシステムパートナーは、StarRocks を外部データベースとシームレスに統合するための以下のツールを提供しています。

SMT

SMT (StarRocks Migration Tool) は、StarRocks が提供するデータ移行ツールで、複雑なデータロードパイプラインを最適化するために設計されています。ソースデータベース（MySQL、Oracle、PostgreSQL など） ---> Flink ---> 目的の StarRocks クラスターという流れです。主な機能は以下の通りです。

• StarRocks でのテーブル作成を簡素化: 外部データベースとターゲット StarRocks クラスターの情報に基づいて、StarRocks でテーブルを作成するためのステートメントを生成します。
• データパイプラインにおけるフルまたは増分データ同期プロセスを簡素化: Flink の SQL クライアントで実行可能な SQL ステートメントを生成し、データ同期のための Flink ジョブを提出します。

以下のフローチャートは、ソースデータベース MySQL から Flink を経由して StarRocks にデータをロードするプロセスを示しています。

DataX

DataX はオフラインデータ同期のためのツールで、Alibaba によってオープンソース化されています。DataX は、リレーショナルデータベース（MySQL、Oracle など）、HDFS、Hive を含むさまざまな異種データソース間でデータを同期できます。DataX は、DataX がサポートするデータソースから StarRocks へのデータ同期を行うための StarRocks Writer プラグインを提供します。

CloudCanal

CloudCanal Community Edition は、ClouGence Co., Ltd によって公開された無料のデータ移行および同期プラットフォームで、スキーマ移行、フルデータ移行、検証、修正、リアルタイム増分同期を統合しています。CloudCanal のビジュアルインターフェースで直接 StarRocks をデータソースとして追加し、ソースデータベース（例: MySQL、Oracle、PostgreSQL）から StarRocks へのデータを自動的に移行または同期するタスクを作成できます。

Kettle connector

Kettle は、視覚的なグラフィカルインターフェースを持つ ETL (Extract, Transform, Load) ツールで、ユーザーがコンポーネントをドラッグしてパラメータを設定することでデータ処理ワークフローを構築できます。この直感的な方法は、データ処理とロードのプロセスを大幅に簡素化し、ユーザーがより便利にデータを扱えるようにします。さらに、Kettle は豊富なコンポーネントライブラリを提供しており、ユーザーはニーズに応じて適切なコンポーネントを選択し、さまざまな複雑なデータ処理タスクを実行できます。

StarRocks は、Kettle と統合するための Kettle Connector を提供しています。Kettle の強力なデータ処理と変換機能を StarRocks の高性能データストレージと分析能力と組み合わせることで、より柔軟で効率的なデータ処理ワークフローを実現できます。