Hive 引擎

Hive 引擎

本文主要介绍在Linkis1.X 中，Hive引擎的配置、部署和使用。

1.Hive引擎使用前的环境配置

如果您希望在您的服务器上使用hive引擎，您需要保证以下的环境变量已经设置正确并且引擎的启动用户是有这些环境变量的。

强烈建议您在执行hive任务之前，检查下执行用户的这些环境变量。

环境变量名	环境变量内容	备注
JAVA_HOME	JDK安装路径	必须
HADOOP_HOME	Hadoop安装路径	必须
HADOOP_CONF_DIR	Hadoop配置路径	必须
HIVE_CONF_DIR	Hive配置路径	必须

表1-1 环境配置清单

2.Hive引擎的配置和部署

2.1 Hive版本的选择和编译

Hive的版本是支持hive1.x和hive2.x，默认是支持hive on MapReduce，如果您想改成Hive on Tez，需要您按照此pr进行一下修改。

<https://github.com/apache/incubator-linkis/pull/541>

默认支持的hive版本是1.2.1,如果您想修改hive的版本，比如想要修改成2.3.3，您可以找到linkis-engineplugin-hive模块，将\<hive.version>标签进行改成2.3.3，然后单独编译此模块即可

2.2 hive engineConn部署和加载

如果您已经编译完了您的hive引擎的插件已经编译完成，那么您需要将新的插件放置到指定的位置中才能加载，具体可以参考下面这篇文章

EngineConnPlugin引擎插件安装

2.3 hive引擎的标签

Linkis1.X是通过标签来进行的，所以需要在我们数据库中插入数据，插入的方式如下文所示。

EngineConnPlugin引擎插件安装 > 2.2 管理台Configuration配置修改（可选）

3.hive引擎的使用

准备操作，队列设置

hive的MapReduce任务是需要用到yarn的资源，所以需要您在一开始就设置队列

图3-1 队列设置

您也可以通过在提交参数的StartUpMap里面添加队列的值：startupMap.put("wds.linkis.rm.yarnqueue", "dws")

3.1 通过Linkis SDK进行使用

Linkis提供了Java和Scala 的SDK向Linkis服务端提交任务. 具体可以参考 JAVA SDK Manual. 对于Hive任务你只需要修改Demo中的EngineConnType和CodeType参数即可:

1. Map<String, Object> labels = new HashMap<String, Object>();
2. labels.put(LabelKeyConstant.ENGINE_TYPE_KEY, "hive-2.3.3"); // required engineType Label
3. labels.put(LabelKeyConstant.USER_CREATOR_TYPE_KEY, "hadoop-IDE");// required execute user and creator
4. labels.put(LabelKeyConstant.CODE_TYPE_KEY, "hql"); // required codeType

3.2 通过Linkis-cli进行任务提交

Linkis 1.0后提供了cli的方式提交任务，我们只需要指定对应的EngineConn和CodeType标签类型即可，Hive的使用如下：

1. sh ./bin/linkis-cli -engineType hive-2.3.3 -codeType hql -code "show tables"  -submitUser hadoop -proxyUser hadoop

具体使用可以参考： Linkis CLI Manual.

3.3 Scriptis的使用方式

Scriptis的使用方式是最简单的，您可以直接进入Scriptis，右键目录然后新建hive脚本并编写hivesql代码

hive引擎的实现方式通过实例化hive的Driver实例，然后由Driver来提交任务，并获取结果集并展示。

图3-2 hivesql的执行效果截图

4.Hive引擎的用户设置

除了以上引擎配置，用户还可以进行自定义的设置，包括hive Driver进程的内存大小等。

图4-1 hive的用户自定义配置管理台

5.Hive修改日志展示

默认的日志界面是不显示application_id以及task完成数量的,用户可以根据需要输出该日志引擎内的log4j2-engineconn.xml/log4j2.xml配置文件中需要修改的代码块如下 1.appenders组件下需要添加

1. <Send name="SendPackage" >
2. <PatternLayout pattern="%d{yyyy-MM-dd HH:mm:ss.SSS} %-5level [%t] %logger{36} %L %M - %msg%xEx%n"/>
3. </Send>

2.root组件下需要添加

1. <appender-ref ref="SendPackage"/>

3.loggers组件下需要添加

1. <logger name="org.apache.hadoop.hive.ql.exec.StatsTask" level="info" additivity="true">
2. <appender-ref ref="SendPackage"/>
3. </logger>

进行如上相关修改后日志可以增加任务task进度信息，显示为如下样式

1. 2022-04-08 11:06:50.228 INFO  [Linkis-Default-Scheduler-Thread-3] SessionState 1111 printInfo - Status: Running (Executing on YARN cluster with App id application_1631114297082_432445)
2. 2022-04-08 11:06:50.248 INFO  [Linkis-Default-Scheduler-Thread-3] SessionState 1111 printInfo - Map 1: -/-  Reducer 2: 0/1
3. 2022-04-08 11:06:52.417 INFO  [Linkis-Default-Scheduler-Thread-3] SessionState 1111 printInfo - Map 1: 0/1  Reducer 2: 0/1
4. 2022-04-08 11:06:55.060 INFO  [Linkis-Default-Scheduler-Thread-3] SessionState 1111 printInfo - Map 1: 0(+1)/1  Reducer 2: 0/1
5. 2022-04-08 11:06:57.495 INFO  [Linkis-Default-Scheduler-Thread-3] SessionState 1111 printInfo - Map 1: 1/1  Reducer 2: 0(+1)/1
6. 2022-04-08 11:06:57.899 INFO  [Linkis-Default-Scheduler-Thread-3] SessionState 1111 printInfo - Map 1: 1/1  Reducer 2: 1/1

完整xml配置文件范例如下：

1. <!--
2. ~ Copyright 2019 WeBank
3. ~
4. ~ Licensed under the Apache License, Version 2.0 (the "License");
5. ~ you may not use this file except in compliance with the License.
6. ~ You may obtain a copy of the License at
7. ~
8. ~ http://www.apache.org/licenses/LICENSE-2.0
9. ~
10. ~ Unless required by applicable law or agreed to in writing, software
11. ~ distributed under the License is distributed on an "AS IS" BASIS,
12. ~ WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
13. ~ See the License for the specific language governing permissions and
14. ~ limitations under the License.
15. -->

17. <configuration status="error" monitorInterval="30">
18. <appenders>
19. <Console name="Console" target="SYSTEM_OUT">
20. <ThresholdFilter level="INFO" onMatch="ACCEPT" onMismatch="DENY"/>
21. <PatternLayout pattern="%d{yyyy-MM-dd HH:mm:ss.SSS} %-5level [%t] %logger{36} %L %M - %msg%xEx%n"/>
22. </Console>

25. <Send name="Send" >
26. <Filters>
27. <ThresholdFilter level="WARN" onMatch="ACCEPT" onMismatch="DENY" />
28. </Filters>
29. <PatternLayout pattern="%d{yyyy-MM-dd HH:mm:ss.SSS} %-5level [%t] %logger{36} %L %M - %msg%xEx%n"/>
30. </Send>

33. <Send name="SendPackage" >
34. <PatternLayout pattern="%d{yyyy-MM-dd HH:mm:ss.SSS} %-5level [%t] %logger{36} %L %M - %msg%xEx%n"/>
35. </Send>

38. <Console name="stderr" target="SYSTEM_ERR">
39. <ThresholdFilter level="ERROR" onMatch="ACCEPT" onMismatch="DENY" />
40. <PatternLayout pattern="%d{HH:mm:ss.SSS} %-5level %class{36} %L %M - %msg%xEx%n"/>
41. </Console>
42. </appenders>

45. <loggers>
46. <root level="INFO">
47. <appender-ref ref="stderr"/>
48. <appender-ref ref="Console"/>
49. <appender-ref ref="Send"/>
50. <appender-ref ref="SendPackage"/>
51. </root>
52. <logger name="org.apache.hadoop.hive.ql.exec.StatsTask" level="info" additivity="true">
53. <appender-ref ref="SendPackage"/>
54. </logger>
55. <logger name="org.springframework.boot.diagnostics.LoggingFailureAnalysisReporter" level="error" additivity="true">
56. <appender-ref ref="stderr"/>
57. </logger>
58. <logger name="com.netflix.discovery" level="warn" additivity="true">
59. <appender-ref ref="Send"/>
60. </logger>
61. <logger name="org.apache.hadoop.yarn" level="warn" additivity="true">
62. <appender-ref ref="Send"/>
63. </logger>
64. <logger name="org.springframework" level="warn" additivity="true">
65. <appender-ref ref="Send"/>
66. </logger>
67. <logger name="org.apache.linkis.server.security" level="warn" additivity="true">
68. <appender-ref ref="Send"/>
69. </logger>
70. <logger name="org.apache.hadoop.hive.ql.exec.mr.ExecDriver" level="fatal" additivity="true">
71. <appender-ref ref="Send"/>
72. </logger>
73. <logger name="org.apache.hadoop.hdfs.KeyProviderCache" level="fatal" additivity="true">
74. <appender-ref ref="Send"/>
75. </logger>
76. <logger name="org.spark_project.jetty" level="ERROR" additivity="true">
77. <appender-ref ref="Send"/>
78. </logger>
79. <logger name="org.eclipse.jetty" level="ERROR" additivity="true">
80. <appender-ref ref="Send"/>
81. </logger>
82. <logger name="org.springframework" level="ERROR" additivity="true">
83. <appender-ref ref="Send"/>
84. </logger>
85. <logger name="org.reflections.Reflections" level="ERROR" additivity="true">
86. <appender-ref ref="Send"/>
87. </logger>

90. <logger name="org.apache.hadoop.ipc.Client" level="ERROR" additivity="true">
91. <appender-ref ref="Send"/>
92. </logger>

95. </loggers>
96. </configuration>