Recyler 是 Doris 存算分离组件,作为清理过期元数据。DorisDisaggregatedMetaService 中配置字段为 recyler。

Recyler 服务属于无状态服务,通常采用主备模式部署。最简单配置如下:

1. spec:
2. recycler:
3. image: {recylerImage}
4. replicas: 2

其中 {recylerImage} 为部署 Recyler 服务的 image,Recyler 和 MS 是元数据管理服务同一程序的不同启动方式。Recycler 没有单独的 image 名称,请填写 MS 的 image。

将修改好的配置更新到需要部署的存算分离元数据管理资源中。

配置资源

为 Recycler 服务添加资源使用限制。以 4c 4Gi 配置为例:

1. spec:
2. recyler:
3. requests:
4. cpu: 4
5. memory: 4Gi
6. limits:
7. cpu: 4
8. memory: 4Gi

将修改好的配置更新到需要部署的存算分离元数据管理资源中。

定制化配置文件

K8s 上通过 ConfigMap 挂载配置文件。Doris-Operator 对于存算分离组件之间相互感知的配置进行了自动化处理,在部署 MS 服务使用定制化配置文件时,FDB 的相关的配置请不要配置。

使用 ConfigMap 挂载配置文件部署 Recycler 服务:

ConfigMap:

1. apiVersion: v1
2. data:
3. doris_cloud.conf: |
4. brpc_listen_port = 5000
5. brpc_num_threads = -1
6. brpc_idle_timeout_sec = 30
7. http_token = greedisgood9999

9. # // doris txn config
10. label_keep_max_second = 259200
11. expired_txn_scan_key_nums = 1000

13. # // logging
14. log_dir = ./log/
15. # info warn error
16. log_level = info
17. log_size_mb = 1024
18. log_filenum_quota = 10
19. log_immediate_flush = false
20. # log_verbose_modules = *
21. # // recycler config
22. recycle_interval_seconds = 3600
23. retention_seconds = 259200
24. recycle_concurrency = 16
25. kind: ConfigMap
26. metadata:
27. name: doris-metaservice

使用上述 ConfigMap 的 Recycler 配置如下:

1. spec:
2. recyler:
3. image: {recylerImage}
4. configMaps:
5. - name: doris-metaservice
6. mountPath: /etc/doris

实际部署中,按照需要配置 ConfigMap 的名称以及命名空间,并将配置信息按照上述样例格式配置到需要部署的存算分离元数据管理资源中。Recycler 服务使用的启动配置文件名称 doris_cloud.conf , 因此挂载启动配置的 ConfigMap 的 key 也必须是 doris_cloud.conf 。启动配置必须挂载到 /etc/doris 目录下,即 mountPath 为 /etc/doris 。

配置 Recycler 部署 - 图1提示

Recyler 服务需要使用 FDB 作为后端元数据存储,部署 Recyler 服务必须部署 FDB 服务。