HLL

description

1. HLL是基于HyperLogLog算法的工程实现，用于保存HyperLogLog计算过程的中间结果，它只能作为表的value列类型
2. 通过聚合来不断的减少数据量，以此来实现加快查询的目的，基于它到的是一个估算结果，误差大概在1%左右
3. hll列是通过其它列或者导入数据里面的数据生成的，导入的时候通过hll_hash函数来指定数据中哪一列用于生成hll列
4. 它常用于替代count distinct，通过结合rollup在业务上用于快速计算uv等

6. 相关函数:

8. HLL_UNION_AGG(hll)
9. 此函数为聚合函数，用于计算满足条件的所有数据的基数估算。此函数还可用于分析函数，只支持默认窗口，不支持window从句。

11. HLL_RAW_AGG(hll)
12. 此函数为聚合函数，用于聚合hll类型字段，并且返回的还是hll类型。

14. HLL_CARDINALITY(hll)
15. 此函数用于计算单条hll列的基数估算

17. HLL_HASH(column_name)
18. 生成HLL列类型，用于insert或导入的时候，导入的使用见相关说明

20. EMPTY_HLL()
21. 生成空HLL列，用于insert或导入的时候补充默认值，导入的使用见相关说明

example

1. 1. 首先创建一张含有hll列的表
2. create table test(
3. dt date,
4. id int,
5. name char(10),
6. province char(10),
7. os char(1),
8. set1 hll hll_union,
9. set2 hll hll_union)
10. distributed by hash(id) buckets 32;

12. 2. 导入数据，导入的方式见相关help curl

14. a. 使用表中的列生成hll列
15. curl --location-trusted -uname:password -T data -H "label:load_1" -H "columns:dt, id, name, province, os, set1=hll_hash(id), set2=hll_hash(name)"
16. http://host/api/test_db/test/_stream_load
17. b. 使用数据中的某一列生成hll列
18. curl --location-trusted -uname:password -T data -H "label:load_1" -H "columns:dt, id, name, province, sex, cuid, os, set1=hll_hash(cuid), set2=hll_hash(os)"
19. http://host/api/test_db/test/_stream_load

21. 3. 聚合数据，常用方式3种：（如果不聚合直接对base表查询，速度可能跟直接使用approx_count_distinct速度差不多）

23. a. 创建一个rollup，让hll列产生聚合，
24. alter table test add rollup test_rollup(dt, set1);

26. b. 创建另外一张专门计算uv的表，然后insert数据）

28. create table test_uv(
29. dt date,
30. uv_set hll hll_union)
31. distributed by hash(dt) buckets 32;

33. insert into test_uv select dt, set1 from test;

35. c. 创建另外一张专门计算uv的表，然后insert并通过hll_hash根据test其它非hll列生成hll列

37. create table test_uv(
38. dt date,
39. id_set hll hll_union)
40. distributed by hash(dt) buckets 32;

42. insert into test_uv select dt, hll_hash(id) from test;

44. 4. 查询，hll列不允许直接查询它的原始值，可以通过配套的函数进行查询

46. a. 求总uv
47. select HLL_UNION_AGG(uv_set) from test_uv;

49. b. 求每一天的uv
50. select dt, HLL_CARDINALITY(uv_set) from test_uv;

52. c. 求test表中set1的聚合值
53. select dt, HLL_CARDINALITY(uv) from (select dt, HLL_RAW_AGG(set1) as uv from test group by dt) tmp;
54. select dt, HLL_UNION_AGG(set1) as uv from test group by dt;

keyword

1. HLL