gs_check

背景信息

gs_check改进增强，统一化当前系统中存在的各种检查工具，例如gs_check、gs_checkos等，帮助用户在openGauss运行过程中，全量的检查openGauss运行环境、操作系统环境、网络环境及数据库执行环境，也有助于在openGauss重大操作之前对各类环境进行全面检查，有效保证操作执行成功。

注意事项

• 必须指定-i或-e参数，-i会检查指定的单项，-e会检查对应场景配置中的多项。
• 如果-i参数中不包含root类检查项或-e场景配置列表中没有root类检查项，则不需要交互输入root权限的用户及其密码。
• 可使用–skip-root-items跳过检查项中包含的root类检查，以免需要输入root权限用户及密码。
• MTU值不一致时可能导致检查缓慢或进程停止响应，当巡检工具出现提示时请修改各节点MTU值一致后再进行巡检。
• 交换机不支持当前设置的MTU值时，即使MTU值一致也会出现通信问题引起进程停止响应，需要根据交换机调整MTU大小。

语法

• 单项检查：

1. gs_check -i ITEM [...] [-U USER] [-L] [-l LOGFILE] [-o OUTPUTDIR] [--skip-root-items][--set][--routing] - 场景检查：

1. gs_check -e SCENE_NAME [-U USER] [-L] [-l LOGFILE] [-o OUTPUTDIR] [--skip-root-items] [--time-out=SECS][--set][--routing][--skip-items] - 显示帮助信息：

1. gs_check -? | --help - 显示版本号信息：

1. gs_check -V | --version

参数说明

• -U

运行openGauss的用户名称。

取值范围：运行openGauss的用户名称。 - -L

本地执行。 - -i

指定检查项。格式-i CheckXX详细的检查项请参见表1 openGauss状态检查表。 - -e

场景检查项。默认的场景有inspect（例行巡检）、upgrade（升级前巡检）、binary_upgrade（就地升级前巡检）、health（健康检查巡检）、install（安装）等，用户可以根据需求自己编写场景。 - -l

指定日志文件路径，指定路径时需添加.log后缀。 - -o

指定检查结果输出文件夹路径。 - –skip-root-items

跳过需要root权限执行的检查项。 - –skip-items

跳过指定的检查项。 - –format

设置结果报告的格式。 - –set

修复支持设置的Abnormal项。 - –cid

检查ID，仅被内部check进程使用。 - –time-out

设置超时时间。单位为秒，默认为1500s，若用户自定义超时时间不得少于1500s。 - –routing

指定业务IP的网段，格式为IP地址:子网掩码。 - –disk-threshold=“PERCENT”

检查磁盘占用时可选指定告警阈值，可指定1-99之间的整数，不输入则默认为90。检查其他项时不需要该参数。 - -?, –help

显示帮助信息。 - -V, –version

显示版本号信息。

表 1 openGauss状态检查表

说明： CheckNetSpeed检查项：

• CheckNetSpeed不支持-L本地检查模式，-L模式无法构造网络压力，检查的结果不准确。
• 在节点数小于6时，speed_test构造的网络压力可能无法跑满带宽，可能会造成检查结果不准确。

用户自定义场景

1. 以操作系统用户omm登录数据库主节点。
2. 在script/gspylib/inspection/config路径下新建场景配置文件scene_XXX.xml。
3. 将检查项写进场景配置文件中，书写格式为：

1. <?xml version="1.0" encoding="utf-8" ?> 2. <scene name="XXX" desc="check cluster parameters before XXX."> 3. <configuration/> 4. <allowitems> 5. <item name="CheckXXX"/> 6. <item name="CheckXXX"/> 7. </allowitems> 8. </scene>

item name为检查项名称

注：用户需自行保证自定义xml的正确性 4. 在home/package/script/gspylib/inspection/config执行如下命令，将此文件分发至执行检查的各个节点

1. scp scene_upgrade.xml SIA1000068994：home/package/script/gspylib/inspection/config/

说明：

home/package/script/gspylib/inspection/config就是新建的场景配置文件的绝对路径。 5. 换至omm用户，执行以下命令查看检查结果。

1. gs_check -e XXX

用户自定义检查项

1. 新增巡检项配置，修改script/gspylib/inspection/config/items.xml文件，格式如下：

1. <checkitem id="10010" name="CheckCPU"> 2. <title> 3. <zh>检查CPU占用率</zh> 4. <en>Check CPU Idle and I/O wait</en> 5. </title> 6. <threshold> 7. StandardCPUIdle=30; 8. StandardWIO=30 9. </threshold> 10. <suggestion> 11. <zh>如果idle不足 CPU负载过高，请扩容CPU节点，如果iowait过高，则磁盘为瓶颈，更换高性能磁盘</zh> 12. </suggestion> 13. <standard> 14. <zh>检查主机CPU占用率，如果idle大于30%并且iowait小于30%，则检查项通过，否则检查项不通过</zh> 15. </standard> 16. <category>os</category> 17. <permission>user</permission> 18. <scope>all</scope> 19. <analysis>default</analysis> 20. </checkitems>

• id：巡检项id。
• name：巡检项脚本名， 和巡检项脚本文件名相同。

• title: 巡检项描述名称 （支持多语言）。

  <zh>：中文版检查内容。

  <en>：英文版检查内容。 - standard：巡检项标准说明（支持多语言）。 - suggestion： 巡检项修复建议说明（支持多语言）。 - threshold：巡检项阈值定义，多值之间使用分号隔开，示例Key1=Value1;Key2=Value2。 - category： 巡检项分类，可选参数：os，device，network，cluster，database，other。 - permission： 巡检项需要的执行权限，可选参数：root，user默认为user（普通用户）。 - scope：巡检项执行的节点范围，可选参数：cn-仅在数据库主节点执行，local-仅在当前节点执行，all-在openGauss所有节点执行，默认为all。 - analysis：巡检项执行结果分析方式，default-检查每个节点的结果，所有节点检查项通过，则最终检查通过，consistent-openGauss内所有节点一致性检查，单节点仅返回结果，各个节点结果一致则判定检查通过，custom-自定义结果分析方式，默认为default。

注：用户需保证自定义xml的正确性 2. 新建检查脚本，脚本名称格式遵循CheckXXXX.py，必须以Check开头，脚本放置在script/gspylib/inspection/items目录下，该目录下脚本安装巡检项分类组织，每个分类一个单独的文件夹，巡检项脚本放置在对应的分类文件夹中。格式如下：

``` 1. class CheckCPU(BaseItem): 2. def init(self): 3. super(CheckCPU, self).init(self.class.name) 4. self.idle = None 5. self.wio = None 6. self.standard = None

1. def preCheck(self):

2. check the threshold was set correctly

3. if (not self.threshold.has_key('StandardCPUIdle')
4. or not self.threshold.has_key('StandardWIO')):
5. raise Exception("threshold can not be empty")
6. self.idle = self.threshold['StandardCPUIdle']

7. self.wio = self.threshold['StandardWIO']

8. format the standard by threshold

9. self.standard = self.standard.format(idle=self.idle, iowait=self.wio)

10. def doCheck(self):

11. cmd = "sar 1 5 2>&1"
12. output = SharedFuncs.runShellCmd(cmd)
13. self.result.raw = output

14. check the result with threshold

15. d = next(n.split() for n in output.splitlines() if "Average" in n)
16. iowait = d[-3]
17. idle = d[-1]
18. rst = ResultStatus.OK
19. vals = []
20. if (iowait > self.wio):
21. rst = ResultStatus.NG
22. vals.append("The %s actual value %s is greater than expected value %s" % ("IOWait", iowait, self.wio))
23. if (idle < self.idle):
24. rst = ResultStatus.NG
25. vals.append("The %s actual value %s is less than expected value %s" % ("Idle", idle, self.idle))
26. self.result.rst = rst
27. if (vals):
28. self.result.val = "\n".join(vals) ```

所有脚本基于BaseItem基类开发，基类定义的通用的检查流程，通用的检查结果分析方法，默认的结果输出格式。可扩展方法：

• doCheck: 该方法包含该检查项具体的检查方法，检查结果格式如下：

  result.rst — 检查结果状态，可选参数:

  • OK – 检查项完成，结果通过。
  • NA – 当前节点不涉及该检查项。
  • NG – 检查项完成，结果不通过。
  • WARNING – 检查项完成，结果警告。
  • ERROR – 检查项发生内部错误，未完成检查。
  • preCheck: 检查前条件判定，内置两种实现：cnPreCheck – 用于检查当前执行节点是否包含数据库主节点实例，localPreCheck – 用于检查当前执行节点是否指定节点。可通过巡检项配置文件中的scope参数进行配置。 可重载该方法实现自定义的前置检查
  • postAnalysis：检查结果分析方法，内置两种实现：default、consistent。可通过巡检项配置文件中的analysis参数进行配置。可重载该方法实现自定义的结果分析。

注：用户自定义的检查项名称不得与已有检查项名称相同，同时用户需保证自定义检查项脚本的规范性。 3. 将此脚本分发至所有的执行节点。 4. 以omm用户登录，执行以下命令，查看结果。

本地执行：

1. gs_check -i CheckXXX -L

非本地执行：

1. gs_check -i CheckXXX

操作系统参数

表 2 操作系统参数

文件系统参数

• soft nofile

说明：soft nofile表示软限制，用户使用的文件句柄数量可以超过该限制，但是如果超过会有告警信息。

推荐取值：1000000 - hard nofile

说明：hard nofile表示硬限制，是一个严格的限制，用户使用的文件句柄数量一定不能超过该设置。

推荐取值：1000000 - stack size

说明：线程堆栈大小。

推荐值：3072

示例

执行单项检查结果：

1. perfadm@lfgp000700749:/opt/huawei/perfadm/tool/script> gs_check -i CheckCPU
2. Parsing the check items config file successfully
3. Distribute the context file to remote hosts successfully
4. Start to health check for the cluster. Total Items:1 Nodes:3

6. Checking...               [=========================] 1/1
7. Start to analysis the check result
8. CheckCPU....................................OK
9. The item run on 3 nodes.  success: 3

11. Success. All check items run completed. Total:1  Success:1  Failed:0
12. For more information please refer to /opt/huawei/wisequery/script/gspylib/inspection/output/CheckReport_201902193704661604.tar.gz

本地执行结果：

1. perfadm@lfgp000700749:/opt/huawei/perfadm/tool/script> gs_check -i CheckCPU -L

3. 2017-12-29 17:09:29 [NAM] CheckCPU
4. 2017-12-29 17:09:29 [STD] 检查主机CPU占用率，如果idle 大于30%并且iowait 小于 30%.则检查项通过，否则检查项不通过
5. 2017-12-29 17:09:29 [RST] OK

7. 2017-12-29 17:09:29 [RAW]
8. Linux 4.4.21-69-default (lfgp000700749)  12/29/17  _x86_64_

10. 17:09:24        CPU     %user     %nice   %system   %iowait    %steal     %idle
11. 17:09:25        all      0.25      0.00      0.25      0.00      0.00     99.50
12. 17:09:26        all      0.25      0.00      0.13      0.00      0.00     99.62
13. 17:09:27        all      0.25      0.00      0.25      0.13      0.00     99.37
14. 17:09:28        all      0.38      0.00      0.25      0.00      0.13     99.25
15. 17:09:29        all      1.00      0.00      0.88      0.00      0.00     98.12
16. Average:        all      0.43      0.00      0.35      0.03      0.03     99.17

执行场景检查结果：

1. [perfadm@SIA1000131072 Check]$ gs_check -e inspect
2. Parsing the check items config file successfully
3. The below items require root privileges to execute:[CheckBlockdev CheckIOConfigure CheckMTU CheckRXTX CheckMultiQueue CheckFirewall CheckSshdService CheckSshdConfig CheckCrondService CheckMaxProcMemory CheckBootItems CheckFilehandle CheckNICModel CheckDropCache]
4. Please enter root privileges user[root]:
5. Please enter password for user[root]:
6. Check root password connection successfully
7. Distribute the context file to remote hosts successfully
8. Start to health check for the cluster. Total Items:57 Nodes:3
9. Checking...               [=========================] 57/57
10. Start to analysis the check result
11. CheckClusterState...........................OK
12. The item run on 3 nodes.  success: 3
13. CheckDBParams...............................OK
14. .........................................................................
15. CheckMpprcFile..............................OK
16. The item run on 3 nodes.  success: 3

18. Analysis the check result successfully
19. Failed. All check items run completed. Total:57   Success:49   Warning:5   NG:3   Error:0
20. For more information please refer to /opt/huawei/wisequery/script/gspylib/inspection/output/CheckReport_inspect_201902207129254785.tar.gz

相关命令

gs_checkos，gs_checkperf