存算一体
本教程涵盖了以下内容:
- 使用 Docker Compose 部署 StarRocks 存算一体集群。
- 导入数据集,并在导入过程中进行基本的数据转换。
- 查询分析数据。
本教程中使用的数据由 NYC OpenData 和 NOAA 的 National Centers for Environmental Information 提供。教程仅截取了数据集的部分字段。
前提条件
Docker
- 安装 Docker。
- 为 Docker 分配 4 GB RAM。
- 为 Docker 分配 10 GB 的空闲磁盘空间。
SQL 客户端
您可以使用 Docker 环境中提供的 MySQL Client,也可以使用其他兼容 MySQL 的客户端,包括本教程中涉及的 DBeaver 和 MySQL Workbench。
curl
curl
命令用于向 StarRocks 中导入数据以及下载数据集。您可以通过在终端运行 curl
或 curl.exe
来检查您的操作系统是否已安装 curl。如果未安装 curl,请点击此处获取 curl。
术语
FE
FE 节点负责元数据管理、客户端连接管理、查询计划和查询调度。每个 FE 在其内存中存储和维护完整的元数据副本,确保每个 FE 都能提供无差别的服务。
CN
CN 节点在存算分离或存算一体集群中负责执行查询。
BE
BE 节点在存算一体集群中负责数据存储和执行查询。
备注
当前教程不包含 CN 节点,以上内容仅供您了解 BE 和 CN 之间的区别。
启动 StarRocks
运行以下命令启动 StarRocks 存算一体集群。
docker run -p 9030:9030 -p 8030:8030 -p 8040:8040 -itd \
--name quickstart starrocks/allin1-ubuntu
下载数据集
将教程所需的数据集下载到您的主机上,无需在容器内下载。
下载纽约市交通事故数据
curl -O https://raw.githubusercontent.com/StarRocks/demo/master/documentation-samples/quickstart/datasets/NYPD_Crash_Data.csv
下载天气数据
curl -O https://raw.githubusercontent.com/StarRocks/demo/master/documentation-samples/quickstart/datasets/72505394728.csv
SQL 客户端
当前教程可以使用以下客户端进行测试,您只需选择其中一个:
- MySQL Client:您可以从 Docker 环境或您的本机运行 MySQL Client。
- DBeaver(社区版或专业版)
- MySQL Workbench
配置客户端
- MySQL Client
- DBeaver
- MySQL Workbench
您可以从 StarRocks 容器 quickstart
中直接运行 MySQL Client:
docker exec -it quickstart \
mysql -P 9030 -h 127.0.0.1 -u root --prompt="StarRocks > "
提示
所有 docker compose
命令必须从包含 docker-compose.yml
文件的目录中运行。
如果您需要安装 MySQL Client,请点击展开以下 安装 MySQL 客户端 部分:
安装 MySQL 客户端
- macOS:如果您使用 Homebrew 并且不需要安装 MySQL 服务器,请运行
brew install mysql
安装 MySQL Client。 - Linux:请检查您的
mysql
客户端的 Repository。例如,运行yum install mariadb
。 - Microsoft Windows:安装 MySQL Community Server 后,运行提供的客户端,或在 WSL 中运行
mysql
。
- 安装 DBeaver 并连接 StarRocks。
- 配置端口、IP 地址和用户名,并点击 Test Connection 测试连接。如果测试成功,请点击 Finish 完成配置。
- 安装 MySQL Workbench 并连接 StarRocks。
- 配置端口、IP 地址和用户名,并点击 Test Connection 测试连接。
- 在 Workbench 检查 MySQL 版本时,会弹出以下警告。您可以忽略这些警告,并选择不再提示:
使用 SQL 客户端连接到 StarRocks
客户端配置完成后,连接至 StarRocks。