SHOW LOAD
説明
データベース内のすべてのロードジョブまたは指定されたロードジョブの情報を表示します。このステートメントは、Broker Load、Spark Load、または INSERT を使用して作成されたロードジョブのみを表示できます。curl コマンドを使用してロードジョブの情報を表示することもできます。詳細については、HDFS またはクラウドストレージからデータをロードする、Apache Spark™ を使用したバルクロード、および INSERT を使用したデータロード を参照してください。
上記のロード方法に加えて、StarRocks は Stream Load と Routine Load を使用したデータロードをサポートしています。Stream Load は同期操作であり、Stream Load ジョブの情報を直接返します。Routine Load は非同期操作であり、SHOW ROUTINE LOAD ステートメントを使用して Routine Load ジョブの情報を表示できます。
構文
SHOW LOAD [ FROM db_name ]
[
WHERE [ LABEL { = "label_name" | LIKE "label_matcher" } ]
[ [AND] STATE = { "PENDING" | "ETL" | "LOADING" | "FINISHED" | "CANCELLED" } ]
]
[ ORDER BY field_name [ ASC | DESC ] ]
[ LIMIT { [offset, ] limit | limit OFFSET offset } ]
注意
ステートメントに
\Gオプションを追加することで、通常の横方向のテーブル形式ではなく、縦方向に出力を表示できます（例:SHOW LOAD WHERE LABEL = "label1"\G;）。詳細については、例 1 を参照してください。
パラメータ
| パラメータ | 必須 | 説明 |
|---|---|---|
| db_name | いいえ | データベース名。このパラメータが指定されていない場合、現在のデータベースがデフォルトで使用されます。 |
| LABEL = "label_name" | いいえ | ロードジョブのラベル。 |
| LABEL LIKE "label_matcher" | いいえ | このパラメータが指定されている場合、ラベルに label_matcher を含むロードジョブの情報が返されます。 |
| AND | いいえ |
|
| STATE | いいえ | ロードジョブの状態。状態はロード方法に基づいて異なります。
STATE パラメータが指定されていない場合、すべての状態のロードジョブの情報がデフォルトで返されます。STATE パラメータが指定されている場合、指定された状態のロードジョブの情報のみが返されます。例: STATE = "PENDING" は PENDING 状態のロードジョブの情報を返します。 |
| ORDER BY field_name [ASC | DESC] | いいえ | このパラメータが指定されている場合、フィールドに基づいて昇順または降順で出力がソートされます。サポートされているフィールドは次のとおりです: JobId, Label, State, Progress, Type, EtlInfo, TaskInfo, ErrorMsg, CreateTime, EtlStartTime, EtlFinishTime, LoadStartTime, LoadFinishTime, URL, および JobDetails。
JobId の昇順でソートされます。 |
| LIMIT limit | いいえ | 表示が許可されるロードジョブの数。このパラメータが指定されていない場合、フィルタ条件に一致するすべてのロードジョブの情報が表示されます。このパラメータが指定されている場合、例: LIMIT 10、フィルタ条件に一致する 10 個のロードジョブの情報のみが返されます。 |
| OFFSET offset | いいえ | offset パラメータはスキップされるロードジョブの数を定義します。例: OFFSET 5 は最初の 5 つのロードジョブをスキップし、残りを返します。offset パラメータの値はデフォルトで 0 です。 |
出力
+-------+-------+-------+----------+------+---------+----------+----------+------------+--------------+---------------+---------------+----------------+-----+------------+
| JobId | Label | State | Progress | Type | Priority | EtlInfo | TaskInfo | ErrorMsg | CreateTime | EtlStartTime | EtlFinishTime | LoadStartTime | LoadFinishTime | URL | JobDetails |
+-------+-------+-------+----------+------+---------+----------+----------+------------+--------------+---------------+---------------+----------------+-----+------------+
このステートメントの出力は、ロード方法に基づいて異なります。
| フィールド | Broker Load | Spark Load | INSERT |
|---|---|---|---|
| JobId | StarRocks がロードジョブを識別するために割り当てた一意の ID。 | Spark Load ジョブでは、Broker Load ジョブと同じ意味を持ちます。 | INSERT ジョブでは、Broker Load ジョブと同じ意味を持ちます。 |
| Label | ロードジョブのラベル。ロードジョブのラベルはデータベース内で一意ですが、異なるデータベース間で重複することがあります。 | Spark Load ジョブでは、Broker Load ジョブと同じ意味を持ちます。 | INSERT ジョブでは、Broker Load ジョブと同じ意味を持ちます。 |
| State | ロードジョブの状態。
| ロードジョブの状態。
| ロードジョブの状態。
|
| Progress | ロードジョブのステージ。Broker Load ジョブには LOAD ステージのみがあり、ステージの進行状況を 0% から 100% で表します。ロードジョブが LOAD ステージに入ると、State パラメータには LOADING が返されます。Broker Load ジョブには ETL ステージはありません。ETL パラメータは Spark Load ジョブにのみ有効です。注意
| ロードジョブのステージ。Spark Load ジョブには 2 つのステージがあります:
ETL ステージに入ると、State パラメータには ETL が返されます。ロードジョブが LOAD ステージに移行すると、State パラメータには LOADING が返されます。注意 は Broker Load と同じです。 | ロードジョブのステージ。INSERT ジョブには LOAD ステージのみがあり、ステージの進行状況を 0% から 100% で表します。ロードジョブが LOAD ステージに入ると、State パラメータには LOADING が返されます。INSERT ジョブには ETL ステージはありません。ETL パラメータは Spark Load ジョブにのみ有効です。注意 は Broker Load と同じです。 |
| Type | ロードジョブの方法。このパラメータのデフォルト値は BROKER です。 | ロードジョブの方法。このパラメータのデフォルト値は SPARK です。 | ロードジョブの方法。このパラメータのデフォルト値は INSERT です。 |
| Priority | ロードジョブの優先度。有効な値: LOWEST, LOW, NORMAL, HIGH, HIGHEST。 | - | - |
| EtlInfo | ETL に関連するメトリクス。
max-filter-ratio パラメータの値を超える不合格データの割合を計算できます: dpp.abnorm.ALL/(unselected.rows + dpp.abnorm.ALL + dpp.norm.ALL)。 | Spark Load ジョブでは、Broker Load ジョブと同じ意味を持ちます。 | ETL に関連するメトリクス。INSERT ジョブには ETL ステージがありません。そのため、NULL が返されます。 |
| TaskInfo | ロードジョブを作成する際に指定されたパラメータ。
| ロードジョブを作成する際に指定されたパラメータ。
| ロードジョブを作成する際に指定されたパラメータ。
|
| ErrorMsg | ロードジョブが失敗したときに返されるエラーメッセージ。ロードジョブの状態が PENDING、LOADING、または FINISHED の場合、ErrorMsg フィールドには NULL が返されます。ロードジョブの状態が CANCELLED の場合、ErrorMsg フィールドに返される値は type と msg の 2 つの部分で構成されます。
| ロードジョブが失敗したときに返されるエラーメッセージ。ロードジョブの状態が PENDING、LOADING、または FINISHED の場合、ErrorMsg フィールドには NULL が返されます。ロードジョブの状態が CANCELLED の場合、ErrorMsg フィールドに返される値は type と msg の 2 つの部分で構成されます。
| ロードジョブが失敗したときに返されるエラーメッセージ。ロードジョブの状態が FINISHED の場合、ErrorMsg フィールドには NULL が返されます。ロードジョブの状態が CANCELLED の場合、ErrorMsg フィールドに返される値は type と msg の 2 つの部分で構成されます。
|
| CreateTime | ロードジョブが作成された時間。 | Spark Load ジョブでは、Broker Load ジョブと同じ意味を持ちます。 | INSERT ジョブでは、Broker Load ジョブと同じ意味を持ちます。 |
| EtlStartTime | Broker Load ジョブには ETL ステージがありません。そのため、このフィールドの値は LoadStartTime フィールドの値と同じです。 | ETL ステージが開始された時間。 | INSERT ジョブには ETL ステージがありません。そのため、このフィールドの値は LoadStartTime フィールドの値と同じです。 |
| EtlFinishTime | Broker Load ジョブには ETL ステージがありません。そのため、このフィールドの値は LoadStartTime フィールドの値と同じです。 | ETL ステージが終了した時間。 | INSERT ジョブには ETL ステージがありません。そのため、このフィールドの値は LoadStartTime フィールドの値と同じです。 |
| LoadStartTime | LOAD ステージが開始された時間。 | Spark Load ジョブでは、Broker Load ジョブと同じ意味を持ちます。 | INSERT ジョブでは、Broker Load ジョブと同じ意味を持ちます。 |
| LoadFinishTime | ロードジョブが終了した時間。 | Spark Load ジョブでは、Broker Load ジョブと同じ意味を持ちます。 | INSERT ジョブでは、Broker Load ジョブと同じ意味を持ちます。 |
| URL | ロードジョブで検出された不合格データにアクセスするために使用される URL。curl または wget コマンドを使用して URL にアクセスし、不合格データを取得できます。不合格データが検出されない場合、NULL が返されます。 | Spark Load ジョブでは、Broker Load ジョブと同じ意味を持ちます。 | INSERT ジョブでは、Broker Load ジョブと同じ意味を持ちます。 |
| JobDetails | ロードジョブに関連するその他の情報。
| Spark Load ジョブでは、Broker Load ジョブと同じ意味を持ちます。 | INSERT ジョブでは、Broker Load ジョブと同じ意味を持ちます。 |
使用上の注意
-
SHOW LOAD ステートメントによって返される情報は、ロードジョブの
LoadFinishTimeから 3 日間有効です。3 日後、情報は表示できなくなります。label_keep_max_secondパラメータを使用してデフォルトの有効期間を変更できます。ADMIN SET FRONTEND CONFIG ("label_keep_max_second" = "value"); -
LoadStartTimeフィールドの値が長時間N/Aの場合、ロードジョブが大量に積み重なっていることを意味します。ロードジョブの作成頻度を減らすことをお勧めします。 -
ロードジョブに消費される総時間 =
LoadFinishTime-CreateTime。 -
LOADステージでロードジョブに消費される総時間 =LoadFinishTime-LoadStartTime。
例
例 1: 現在のデータベース内のすべてのロードジョブを縦方向に表示します。
SHOW LOAD\G;
*************************** 1. row ***************************
JobId: 976331
Label: duplicate_table_with_null
State: FINISHED
Progress: ETL:100%; LOAD:100%
Type: BROKER
Priority: NORMAL
EtlInfo: unselected.rows=0; dpp.abnorm.ALL=0; dpp.norm.ALL=65546
TaskInfo: resource:N/A; timeout(s):300; max_filter_ratio:0.0
ErrorMsg: NULL
CreateTime: 2022-10-17 19:35:00
EtlStartTime: 2022-10-17 19:35:04
EtlFinishTime: 2022-10-17 19:35:04
LoadStartTime: 2022-10-17 19:35:04
LoadFinishTime: 2022-10-17 19:35:06
URL: NULL
JobDetails: {"Unfinished backends":{"b90a703c-6e5a-4fcb-a8e1-94eca5be0b8f":[]},"ScannedRows":65546,"TaskNumber":1,"All backends":{"b90a703c-6e5a-4fcb-a8e1-94eca5be0b8f":[10004]},"FileNumber":1,"FileSize":548622}
例 2: 現在のデータベース内でラベルに文字列 null を含む 2 つのロードジョブを表示します。
SHOW LOAD
WHERE LABEL LIKE "null"
LIMIT 2;
+-------+---------------------------+----------+---------------------+--------+---------------------------------------------------------+---------------------------------------------------------------------------------------------------------+----------+---------------------+---------------------+---------------------+---------------------+---------------------+--------------------------------------------------------------------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| JobId | Label | State | Progress | Type | EtlInfo | TaskInfo | ErrorMsg | CreateTime | EtlStartTime | EtlFinishTime | LoadStartTime | LoadFinishTime | URL | JobDetails |
+-------+---------------------------+----------+---------------------+--------+---------------------------------------------------------+---------------------------------------------------------------------------------------------------------+----------+---------------------+---------------------+---------------------+---------------------+---------------------+--------------------------------------------------------------------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| 10082 | duplicate_table_with_null | FINISHED | ETL:100%; LOAD:100% | BROKER | unselected.rows=0; dpp.abnorm.ALL=0; dpp.norm.ALL=65546 | resource:N/A; timeout(s):300; max_filter_ratio:0.0 | NULL | 2022-08-02 14:53:27 | 2022-08-02 14:53:30 | 2022-08-02 14:53:30 | 2022-08-02 14:53:30 | 2022-08-02 14:53:31 | NULL | {"Unfinished backends":{"4393c992-5da1-4e9f-8b03-895dc0c96dbc":[]},"ScannedRows":65546,"TaskNumber":1,"All backends":{"4393c992-5da1-4e9f-8b03-895dc0c96dbc":[10002]},"FileNumber":1,"FileSize":548622} |
| 10103 | unique_table_with_null | FINISHED | ETL:100%; LOAD:100% | SPARK | unselected.rows=0; dpp.abnorm.ALL=0; dpp.norm.ALL=65546 | resource:test_spark_resource_07af473a_1230_11ed_b483_00163e0e550b; timeout(s):300; max_filter_ratio:0.0 | NULL | 2022-08-02 14:56:06 | 2022-08-02 14:56:19 | 2022-08-02 14:56:41 | 2022-08-02 14:56:41 | 2022-08-02 14:56:44 | http://emr-header-1.cluster-49091:20888/proxy/application_1655710334658_26391/ | {"Unfinished backends":{"00000000-0000-0000-0000-000000000000":[]},"ScannedRows":65546,"TaskNumber":1,"All backends":{"00000000-0000-0000-0000-000000000000":[-1]},"FileNumber":1,"FileSize":8790855} |
+-------+---------------------------+----------+---------------------+--------+---------------------------------------------------------+---------------------------------------------------------------------------------------------------------+----------+---------------------+---------------------+---------------------+---------------------+---------------------+--------------------------------------------------------------------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
例 3: example_db 内でラベルに文字列 table を含むロードジョブを表示します。さらに、返されるロードジョブは LoadStartTime フィールドの降順で表示されます。
SHOW LOAD FROM example_db
WHERE LABEL Like "table"
ORDER BY LoadStartTime DESC;
+-------+---------------------------+----------+---------------------+--------+---------------------------------------------------------+---------------------------------------------------------------------------------------------------------+----------+---------------------+---------------------+---------------------+---------------------+---------------------+--------------------------------------------------------------------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| JobId | Label | State | Progress | Type | EtlInfo | TaskInfo | ErrorMsg | CreateTime | EtlStartTime | EtlFinishTime | LoadStartTime | LoadFinishTime | URL | JobDetails |
+-------+---------------------------+----------+---------------------+--------+---------------------------------------------------------+---------------------------------------------------------------------------------------------------------+----------+---------------------+---------------------+---------------------+---------------------+---------------------+--------------------------------------------------------------------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| 10103 | unique_table_with_null | FINISHED | ETL:100%; LOAD:100% | SPARK | unselected.rows=0; dpp.abnorm.ALL=0; dpp.norm.ALL=65546 | resource:test_spark_resource_07af473a_1230_11ed_b483_00163e0e550b; timeout(s):300; max_filter_ratio:0.0 | NULL | 2022-08-02 14:56:06 | 2022-08-02 14:56:19 | 2022-08-02 14:56:41 | 2022-08-02 14:56:41 | 2022-08-02 14:56:44 | http://emr-header-1.cluster-49091:20888/proxy/application_1655710334658_26391/ | {"Unfinished backends":{"00000000-0000-0000-0000-000000000000":[]},"ScannedRows":65546,"TaskNumber":1,"All backends":{"00000000-0000-0000-0000-000000000000":[-1]},"FileNumber":1,"FileSize":8790855} |
| 10082 | duplicate_table_with_null | FINISHED | ETL:100%; LOAD:100% | BROKER | unselected.rows=0; dpp.abnorm.ALL=0; dpp.norm.ALL=65546 | resource:N/A; timeout(s):300; max_filter_ratio:0.0 | NULL | 2022-08-02 14:53:27 | 2022-08-02 14:53:30 | 2022-08-02 14:53:30 | 2022-08-02 14:53:30 | 2022-08-02 14:53:31 | NULL | {"Unfinished backends":{"4393c992-5da1-4e9f-8b03-895dc0c96dbc":[]},"ScannedRows":65546,"TaskNumber":1,"All backends":{"4393c992-5da1-4e9f-8b03-895dc0c96dbc":[10002]},"FileNumber":1,"FileSize":548622} |
+-------+---------------------------+----------+---------------------+--------+---------------------------------------------------------+---------------------------------------------------------------------------------------------------------+----------+---------------------+---------------------+---------------------+---------------------+---------------------+--------------------------------------------------------------------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
例 4: example_db 内でラベルが duplicate_table_with_null で状態が FINISHED のロードジョブを表示します。
SHOW LOAD FROM example_db
WHERE LABEL = "duplicate_table_with_null" AND STATE = "FINISHED";
+-------+---------------------------+----------+---------------------+--------+---------------------------------------------------------+----------------------------------------------------+----------+---------------------+---------------------+---------------------+---------------------+---------------------+------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| JobId | Label | State | Progress | Type | EtlInfo | TaskInfo | ErrorMsg | CreateTime | EtlStartTime | EtlFinishTime | LoadStartTime | LoadFinishTime | URL | JobDetails |
+-------+---------------------------+----------+---------------------+--------+---------------------------------------------------------+----------------------------------------------------+----------+---------------------+---------------------+---------------------+---------------------+---------------------+------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| 10082 | duplicate_table_with_null | FINISHED | ETL:100%; LOAD:100% | BROKER | unselected.rows=0; dpp.abnorm.ALL=0; dpp.norm.ALL=65546 | resource:N/A; timeout(s):300; max_filter_ratio:0.0 | NULL | 2022-08-02 14:53:27 | 2022-08-02 14:53:30 | 2022-08-02 14:53:30 | 2022-08-02 14:53:30 | 2022-08-02 14:53:31 | NULL | {"Unfinished backends":{"4393c992-5da1-4e9f-8b03-895dc0c96dbc":[]},"ScannedRows":65546,"TaskNumber":1,"All backends":{"4393c992-5da1-4e9f-8b03-895dc0c96dbc":[10002]},"FileNumber":1,"FileSize":548622} |
+-------+---------------------------+----------+---------------------+--------+---------------------------------------------------------+----------------------------------------------------+----------+---------------------+---------------------+---------------------+---------------------+---------------------+------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
例 5: 最初のロードジョブをスキップし、次の 2 つのロードジョブを表示します。さらに、これらの 2 つのロードジョブは昇順でソートされます。
SHOW LOAD FROM example_db
ORDER BY CreateTime ASC
LIMIT 2 OFFSET 1;
または
SHOW LOAD FROM example_db
ORDER BY CreateTime ASC
LIMIT 1,2;
上記のステートメントの出力は次のとおりです。
+-------+---------------------------------------------+----------+---------------------+--------+---------------------------------------------------------+---------------------------------------------------------------------------------------------------------+----------+---------------------+---------------------+---------------------+---------------------+---------------------+--------------------------------------------------------------------------------+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| JobId | Label | State | Progress | Type | EtlInfo | TaskInfo | ErrorMsg | CreateTime | EtlStartTime | EtlFinishTime | LoadStartTime | LoadFinishTime | URL | JobDetails |
+-------+---------------------------------------------+----------+---------------------+--------+---------------------------------------------------------+---------------------------------------------------------------------------------------------------------+----------+---------------------+---------------------+---------------------+---------------------+---------------------+--------------------------------------------------------------------------------+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| 10103 | unique_table_with_null | FINISHED | ETL:100%; LOAD:100% | SPARK | unselected.rows=0; dpp.abnorm.ALL=0; dpp.norm.ALL=65546 | resource:test_spark_resource_07af473a_1230_11ed_b483_00163e0e550b; timeout(s):300; max_filter_ratio:0.0 | NULL | 2022-08-02 14:56:06 | 2022-08-02 14:56:19 | 2022-08-02 14:56:41 | 2022-08-02 14:56:41 | 2022-08-02 14:56:44 | http://emr-header-1.cluster-49091:20888/proxy/application_1655710334658_26391/ | {"Unfinished backends":{"00000000-0000-0000-0000-000000000000":[]},"ScannedRows":65546,"TaskNumber":1,"All backends":{"00000000-0000-0000-0000-000000000000":[-1]},"FileNumber":1,"FileSize":8790855} |
| 10120 | insert_3a57b595-1230-11ed-b075-00163e14c85e | FINISHED | ETL:100%; LOAD:100% | INSERT | NULL | resource:N/A; timeout(s):3600; max_filter_ratio:0.0 | NULL | 2022-08-02 14:56:26 | 2022-08-02 14:56:26 | 2022-08-02 14:56:26 | 2022-08-02 14:56:26 | 2022-08-02 14:56:26 | | {"Unfinished backends":{},"ScannedRows":0,"TaskNumber":0,"All backends":{},"FileNumber":0,"FileSize":0} |
+-------+---------------------------------------------+----------+---------------------+--------+---------------------------------------------------------+---------------------------------------------------------------------------------------------------------+----------+---------------------+---------------------+---------------------+---------------------+---------------------+--------------------------------------------------------------------------------+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+