用 Docker 手动部署

用 Docker 手动部署

本文描述了如何用 Docker 运行 HStreamDB 集群。

注意

本教程只展示了用 Docker 启动 HStreamDB 集群的主要过程。参数的配置没有考虑到任何安全问题，所以请请不要在部署时直接使用它们

设置一个 ZooKeeper 集群

HServer 和 HStore 需要 ZooKeeper 来存储一些元数据，所以首先我们需要配置一个 ZooKeeper 集群。

你可以在网上找到关于如何建立一个合适的 ZooKeeper 集群的教程。

这里我们只是通过 docker 快速启动一个单节点的 ZooKeeper 为例。

1. docker run --rm -d --name zookeeper --network host zookeeper

在存储节点上创建数据文件夹

存储节点会把数据存储分片（Shard）中。通常情况下，每个分片映射到不同的物理磁盘。假设你的数据盘被挂载（mount）在/mnt/data0 上

1. # creates the root folder for data
2. sudo mkdir -p /data/logdevice/

4. # writes the number of shards that this box will have
5. echo 1 | sudo tee /data/logdevice/NSHARDS

7. # creates symlink for shard 0
8. sudo ln -s /mnt/data0 /data/logdevice/shard0

10. # adds the user for the logdevice daemon
11. sudo useradd logdevice

13. # changes ownership for the data directory and the disk
14. sudo chown -R logdevice /data/logdevice/
15. sudo chown -R logdevice /mnt/data0/

See Create data folders (opens new window) for details

创建配置文件

这里是一个配置文件的最小示例。

在使用它之前，请根据你的情况进行修改。

1. {
2. "server_settings": {
3. "enable-nodes-configuration-manager": "true",
4. "use-nodes-configuration-manager-nodes-configuration": "true",
5. "enable-node-self-registration": "true",
6. "enable-cluster-maintenance-state-machine": "true"
7. },
8. "client_settings": {
9. "enable-nodes-configuration-manager": "true",
10. "use-nodes-configuration-manager-nodes-configuration": "true",
11. "admin-client-capabilities": "true"
12. },
13. "cluster": "logdevice",
14. "internal_logs": {
15. "config_log_deltas": {
16. "replicate_across": {
17. "node": 3
18. }
19. },
20. "config_log_snapshots": {
21. "replicate_across": {
22. "node": 3
23. }
24. },
25. "event_log_deltas": {
26. "replicate_across": {
27. "node": 3
28. }
29. },
30. "event_log_snapshots": {
31. "replicate_across": {
32. "node": 3
33. }
34. },
35. "maintenance_log_deltas": {
36. "replicate_across": {
37. "node": 3
38. }
39. },
40. "maintenance_log_snapshots": {
41. "replicate_across": {
42. "node": 3
43. }
44. }
45. },
46. "metadata_logs": {
47. "nodeset": [],
48. "replicate_across": {
49. "node": 3
50. }
51. },
52. "zookeeper": {
53. "zookeeper_uri": "ip://10.100.2.11:2181",
54. "timeout": "30s"
55. }
56. }

如果你有一个多节点的 ZooKeeper，修改 zookeeper_uri部分为 ZooKeeper 集群的节点和端口列表：

1. "zookeeper": { 2. "zookeeper_uri": "ip://10.100.2.11:2181,10.100.2.12:2181,10.100.2.13:2181", 3. "timeout": "30s" 4. } - 所有属性的详细解释可以在集群配置 (opens new window) 文档中找到。

存储配置文件

你可以将配置文件存储在 ZooKeeper 中，或存储在每个存储节点上。

在 ZooKeeper 中存储配置文件

假设你的一个 ZooKeeper 节点上有一个路径为 ~/logdevice.conf 的配置文件。

通过运行以下命令将配置文件保存到 ZooKeeper 中：

1. docker exec zookeeper zkCli.sh create /logdevice.conf "`cat ~/logdevice.conf`"

通过以下命令验证创建是否成功：

1. docker exec zookeeper zkCli.sh get /logdevice.conf

配置 HStore 集群

对于存储在 ZooKeeper 中的配置文件，假设配置文件中 zookeeper_uri 字段的值是 "ip:/10.100.2.11:2181" ，ZooKeeper中配置文件的路径是 /logdevice.conf 。

对于存储在每个节点上的配置文件，假设你的文件路径是 `/data/logdevice/logdevice.conf’。

在单个节点上启动 admin 服务器

配置文件存储在 ZooKeeper 中：

1. docker run --rm -d --name storeAdmin --network host -v /data/logdevice:/data/logdevice \ 2. hstreamdb/hstream:v0.11.0 /usr/local/bin/ld-admin-server \ 3. --config-path zk:10.100.2.11:2181/logdevice.conf \ 4. --enable-maintenance-manager \ 5. --maintenance-log-snapshotting \ 6. --enable-safety-check-periodic-metadata-update

如果你有一个多节点的 ZooKeeper，请将--config-path替换为： --config-path zk:10.100.2.11:2181,10.100.2.12:2181,10.100.2.13:2181/logdevice.conf
存储在每个节点的配置文件：

更改 --config-path 参数为 --config-path /data/logdevice/logdevice.conf

在每个节点上启动 logdeviced

存储在 ZooKeeper 中的配置文件：

1. docker run --rm -d --name hstore --network host -v /data/logdevice:/data/logdevice \ 2. hstreamdb/hstream:v0.11.0 /usr/local/bin/logdeviced \ 3. --config-path zk:10.100.2.11:2181/logdevice.conf \ 4. --name store-0 \ 5. --address 192.168.0.3 \ 6. --local-log-store-path /data/logdevice

对于每个节点，你应该将--name更新为一个不同的值，并将--address更新为该节点的 IP 地址。
存储在每个节点的配置文件：

更改 --config-path 参数为 --config-path /data/logdevice/logdevice.conf

Bootstrap 集群

在启动管理服务器和每个存储节点的 logdeviced 之后，现在我们可以 bootstrap 我们的集群。

在管理服务器节点上，运行。

1. docker exec storeAdmin hadmin store nodes-config bootstrap --metadata-replicate-across 'node:3'

你应该看到像这样的信息：

1. Successfully bootstrapped the cluster, new nodes configuration version: 7
2. Took 0.019s

你可以通过运行以下命令来检查集群的状态：

1. docker exec storeAdmin hadmin store status

而结果应该是：

1. +----+---------+----------+-------+-----------+---------+---------------+
2. | ID |  NAME   | PACKAGE  | STATE |  UPTIME   |  SEQ.   | HEALTH STATUS |
3. +----+---------+----------+-------+-----------+---------+---------------+
4. | 0  | store-0 | 99.99.99 | ALIVE | 2 min ago | ENABLED | HEALTHY       |
5. | 1  | store-2 | 99.99.99 | ALIVE | 2 min ago | ENABLED | HEALTHY       |
6. | 2  | store-1 | 99.99.99 | ALIVE | 2 min ago | ENABLED | HEALTHY       |
7. +----+---------+----------+-------+-----------+---------+---------------+
8. Took 7.745s

现在我们完成了对 HStore 集群的设置。

配置 HServer 集群

要启动一个单一的 HServer 实例，你可以修改启动命令以适应你的情况。

1. docker run -d --name hstream-server --network host \
2. hstreamdb/hstream:v0.11.0 /usr/local/bin/hstream-server \
3. --bind-address $SERVER_HOST \
4. --advertised-address $SERVER_HOST \
5. --seed-nodes $SERVER_HOST \
6. --metastore-uri zk://$ZK_ADDRESS \
7. --store-config zk:$ZK_ADDRESS/logdevice.conf \
8. --store-admin-host $ADMIN_HOST \
9. --replicate-factor 3 \
10. --server-id 1

$SERVER_HOST：你的服务器节点的主机 IP 地址，例如 192.168.0.1。
metastore-uri: 你的元信息存储 HMeta 地址，例如使用 zk://$ZK_ADDRESS 指定 zookeeper 存储元数据。同时实现性支持使用 rqlite rq://$RQ_ADDRESS。
$ZK_ADDRESS ：你的 ZooKeeper 集群地址列表，例如 10.100.2.11:2181,10.100.2.12:2181,10.100.2.13:2181。
--store-config：你的 HStore 配置文件的路径。应该与启动 HStore 集群 --config-path 参数的值一致。
--store-admin-host：HStore Admin Server 节点的 IP 地址。
--server-id：你应该为每个服务器实例设置一个的唯一标识符

你可以以同样的方式在不同的节点上启动多个服务器实例。