ファイルマネージャー
ファイルマネージャーを使用すると、外部データソースにアクセスするために使用されるファイル、例えば公開鍵ファイル、秘密鍵ファイル、証明書ファイルなどを作成、表示、削除することができます。作成したファイルはコマンドを使用して参照またはアクセスできます。
基本概念
ファイル: StarRocks に作成および保存されるファイルを指します。ファイルが StarRocks に作成および保存されると、StarRocks はそのファイルに一意の ID を割り当てます。データベース名、catalog、ファイル名に基づいてファイルを見つけることができます。データベース内では、管理者ユーザーのみがファイルを作成および削除でき、データベースにアクセスする権限を持つすべてのユーザーがそのデータベースに属するファイルを使用できます。
始める前に
- 各 FE に対して次のパラメータを設定します。
small_file_dir: アップロードされたファイルが保存されるパス。デフォルトのパスはsmall_files/で、FE の実行時ディレクトリにあります。このパラメータを fe.conf ファイルで指定し、変更を有効にするために FE を再起動する必要があります。max_small_file_size_bytes: 単一ファイルの最大サイズ。このパラメータのデフォルト値は 1 MB です。ファイルのサイズがこのパラメータの値を超える場合、ファイルは作成できません。このパラメータは ADMIN SET CONFIG ステートメントを使用して指定できます。max_small_file_number: クラスター内で作成できるファイルの最大数。このパラメータのデフォルト値は 100 です。作成したファイルの数がこのパラメータの値に達した場合、ファイルの作成を続行できません。このパラメータは ADMIN SET CONFIG ステートメントを使用して指定できます。
注: 2 つのパラメータの値を増やすと、FE のメモリ使用量が増加します。そのため、必要がない限り、2 つのパラメータの値を増やさないことをお勧めします。
- 各 BE に対して次のパラメータを設定します。
small_file_dir: ダウンロードされたファイルが保存されるパス。デフォルトのパスは lib/small_files/ で、BE の実行時ディレクトリにあります。このパラメータは be.conf ファイルで指定できます。
ファイルの作成
CREATE FILE ステートメントを実行してファイルを作成できます。詳細については、CREATE FILE を参照してください。ファイルが作成されると、そのファイルは StarRocks にアップロードされ、永続化されます。
ファイルの表示
SHOW FILE ステートメントを実行して、データベースに保存されているファイルの情報を表示できます。詳細については、SHOW FILE を参照してください。
ファイルの削除
DROP FILE ステートメントを実行してファイルを削除できます。詳細については、DROP FILE を参照してください。
FE と BE がファイルを使用する方法
- FE: SmallFileMgr クラスは、FE の指定されたディレクトリにファイルに関連するデータを保存します。その後、SmallFileMgr クラスは、FE がファイルを使用するためのローカルファイルパスを返します。
- BE: BE は /api/get_small_file API (HTTP) を呼び出して、ファイルを指定されたディレクトリにダウンロードし、ファイルの情報を記録します。BE がファイルを使用する要求をすると、BE はファイルがダウンロードされているかどうかを確認し、ファイルを検証します。ファイルが検証に合格すると、ファイルのパスが返されます。ファイルが検証に失敗した場合、ファイルは削除され、FE から再ダウンロードされます。BE が再起動すると、ダウンロードされたファイルをメモリにプリロードします。