EXPORT

description

1. 该语句用于将指定表的数据导出到指定位置。
2. 该功能通过 broker 进程实现。对于不同的目的存储系统,需要部署不同的 broker。可以通过 SHOW BROKER 查看已部署的 broker。
3. 这是一个异步操作,任务提交成功则返回。执行后可使用 SHOW EXPORT 命令查看进度。

5. 语法:
6. EXPORT TABLE table_name
7. [PARTITION (p1[,p2])]
8. [WHERE [expr]]
9. TO export_path
10. [opt_properties]
11. [broker|S3];

13. 1. table_name
14. 当前要导出的表的表名,目前支持engine为olap和mysql的表的导出。

16. 2. partition
17. 可以只导出指定表的某些指定分区

19. 3. expr
20. 导出满足 where 条件的行,选填。不填则默认导出所有行。

22. 4. export_path
23. 导出的路径,需为目录。支持导出到本地,hdfs,百度bos,s3协议的其他存储系统。

25. 5. opt_properties
26. 用于指定一些特殊参数。
27. 语法:
28. [PROPERTIES ("key"="value", ...)]

30. 可以指定如下参数:
31. label: 指定一个自定义作业标识。后续可以使用这个标识查看作业状态。
32. column_separator: 指定导出的列分隔符,默认为\t。支持不可见字符,比如 '\x07'。
33. column: 指定待导出的列,使用英文逗号隔开,如果不填这个参数默认是导出表的所有列。
34. line_delimiter: 指定导出的行分隔符,默认为\n。支持不可见字符,比如 '\x07'。
35. exec_mem_limit: 导出在单个 BE 节点的内存使用上限,默认为 2GB,单位为字节。
36. timeout:导入作业的超时时间,默认为1天,单位是秒。
37. tablet_num_per_task:每个子任务能分配的最大 Tablet 数量。

39. 6. broker|s3
40. 指定使用broker导出或者通过S3协议导出
41. 语法:
42. WITH [BROKER broker_name | S3] ("key"="value"[,...])
43. 这里需要指定具体的broker name, 以及所需的broker属性, 如果使用S3协议则无需指定broker name

45. 对于不同存储系统对应的 broker,这里需要输入的参数不同。具体参数可以参阅:`help broker load` 中 broker 所需属性。
46. 导出到本地时,不需要填写这部分。

48. 7. hdfs
49. 指定导出到hdfs
50. 语法:
51. WITH HDFS ("key"="value"[,...])

53. 可以指定如下参数:
54. fs.defaultFS: 指定HDFS的fs,格式为:hdfs://ip:port
55. hdfs_user:指定写入HDFS的user

example

1. 1. 将 testTbl 表中的所有数据导出到 hdfs 上
2. EXPORT TABLE testTbl TO "hdfs://hdfs_host:port/a/b/c" WITH BROKER "broker_name" ("username"="xxx", "password"="yyy");

4. 2. 将 testTbl 表中的分区p1,p2导出到 hdfs 上
5. EXPORT TABLE testTbl PARTITION (p1,p2) TO "hdfs://hdfs_host:port/a/b/c" WITH BROKER "broker_name" ("username"="xxx", "password"="yyy");

7. 3. 将 testTbl 表中的所有数据导出到 hdfs 上,以","作为列分隔符,并指定label
8. EXPORT TABLE testTbl TO "hdfs://hdfs_host:port/a/b/c" PROPERTIES ("label" = "mylabel", "column_separator"=",") WITH BROKER "broker_name" ("username"="xxx", "password"="yyy");

10. 4. 将 testTbl 表中 k1 = 1 的行导出到 hdfs 上。
11. EXPORT TABLE testTbl TO "hdfs://hdfs_host:port/a/b/c" WHERE k1=1 WITH BROKER "broker_name" ("username"="xxx", "password"="yyy");

13. 5. 将 testTbl 表中的所有数据导出到本地。
14. EXPORT TABLE testTbl TO "file:///home/data/a";

16. 6. 将 testTbl 表中的所有数据导出到 hdfs 上,以不可见字符 "\x07" 作为列或者行分隔符。
17. EXPORT TABLE testTbl TO "hdfs://hdfs_host:port/a/b/c" PROPERTIES ("column_separator"="\\x07", "line_delimiter" = "\\x07") WITH BROKER "broker_name" ("username"="xxx", "password"="yyy")

19. 7. 将 testTbl 表的 k1, v1 列导出到本地。
20. EXPORT TABLE testTbl TO "file:///home/data/a" PROPERTIES ("columns" = "k1,v1");

22. 8. 将 testTbl 表中的所有数据导出到 hdfs 上,以不可见字符 "\x07" 作为列或者行分隔符。
23. EXPORT TABLE testTbl TO "hdfs://hdfs_host:port/a/b/c" PROPERTIES ("column_separator"="\\x07", "line_delimiter" = "\\x07") WITH HDFS ("fs.defaultFS"="hdfs://hdfs_host:port", "hdfs_user"="yyy")

keyword

1. EXPORT