Telegraf 写入

Telegraf 是一款十分流行的指标采集开源软件。在数据采集和平台监控系统中，Telegraf 可以采集多种组件的运行信息，而不需要自己手写脚本定时采集，降低数据获取的难度。

只需要将 Telegraf 的输出配置增加指向 taosAdapter 对应的 url 并修改若干配置项即可将 Telegraf 的数据写入到 TDengine 中。将 Telegraf 的数据存在到 TDengine 中可以充分利用 TDengine 对时序数据的高效存储查询性能和集群处理能力。

前置条件

要将 Telegraf 数据写入 TDengine 需要以下几方面的准备工作。

  • TDengine 集群已经部署并正常运行
  • taosAdapter 已经安装并正常运行。具体细节请参考 taosAdapter 的使用手册
  • Telegraf 已经安装。安装 Telegraf 请参考官方文档
  • Telegraf 默认采集系统运行状态数据。通过使能输入插件方式可以输出其他格式的数据到 Telegraf 再写入到 TDengine中。

配置步骤

在 Telegraf 配置文件（默认位置 /etc/telegraf/telegraf.conf） 增加 outputs.http 输出模块配置：

1. [[outputs.http]]
2. url = "http://<taosAdapter's host>:<REST service port>/influxdb/v1/write?db=<database name>"
3. ...
4. username = "<TDengine's username>"
5. password = "<TDengine's password>"
6. ...

其中 <taosAdapter’s host> 请填写运行 taosAdapter 服务的服务器域名或 IP 地址，<REST service port> 请填写 REST 服务的端口（默认为 6041），<TDengine’s username> 和 <TDengine’s password> 请填写当前运行的 TDengine 实际配置，<database name> 请填写希望在 TDengine 保存 Telegraf 数据的数据库名。

示例如下：

1. [[outputs.http]]
2. url = "http://127.0.0.1:6041/influxdb/v1/write?db=telegraf"
3. method = "POST"
4. timeout = "5s"
5. username = "root"
6. password = "taosdata"
7. data_format = "influx"

验证方法

重启 Telegraf 服务：

1. sudo systemctl restart telegraf

使用 TDengine CLI 验证从 Telegraf 向 TDengine 写入数据并能够正确读出：

1. taos> show databases;
2. name              |
3. =================================
4. information_schema             |
5. performance_schema             |
6. telegraf                       |
7. Query OK, 3 rows in database (0.010568s)

9. taos> use telegraf;
10. Database changed.

12. taos> show stables;
13. name              |
14. =================================
15. swap                           |
16. cpu                            |
17. system                         |
18. diskio                         |
19. kernel                         |
20. mem                            |
21. processes                      |
22. disk                           |
23. Query OK, 8 row(s) in set (0.000521s)

25. taos> select * from telegraf.system limit 10;
26. ts               |           load1           |           load5           |          load15           |        n_cpus         |        n_users        |        uptime         | uptime_format |              host
27. |
28. =============================================================================================================================================================================================================================================
29. 2022-04-20 08:47:50.000000000 |               0.000000000 |               0.050000000 |               0.070000000 |                     4 |                     1 |                  5533 |  1:32         | shuduo-1804
30. |
31. 2022-04-20 08:48:00.000000000 |               0.000000000 |               0.050000000 |               0.070000000 |                     4 |                     1 |                  5543 |  1:32         | shuduo-1804
32. |
33. 2022-04-20 08:48:10.000000000 |               0.000000000 |               0.040000000 |               0.070000000 |                     4 |                     1 |                  5553 |  1:32         | shuduo-1804
34. |
35. Query OK, 3 row(s) in set (0.013269s)
Telegraf - 图1note
  • TDengine 接收 influxdb 格式数据默认生成的子表名是根据规则生成的唯一 ID 值。 用户如需指定生成的表名，可以通过在 taos.cfg 里配置 smlChildTableName 参数来指定。如果通过控制输入数据格式，即可利用 TDengine 这个功能指定生成的表名。 举例如下：配置 smlChildTableName=tname 插入数据为 st,tname=cpu1,t1=4 c1=3 1626006833639000000 则创建的表名为 cpu1。如果多行数据 tname 相同，但是后面的 tag_set 不同，则使用第一行自动建表时指定的 tag_set，其他的行会忽略）。TDengine 无模式写入参考指南