分词器测试

函数ts_debug允许简单测试文本搜索分词器。

1. ts_debug([ config regconfig, ] document text,
2. OUT alias text,
3. OUT Description text,
4. OUT token text,
5. OUT dictionaries regdictionary[],
6. OUT dictionary regdictionary,
7. OUT lexemes text[])
8. returns setof record

ts_debug显示document的每个token信息，token是由解析器生成，由指定的词典进行处理。如果忽略对应参数，则使用config指定的分词器或者default_text_search_config指定的分词器。

ts_debug为文本解析器标识的每个token返回一行记录。记录中的列分别是：

• alias：text类型，token的别名。
• Description：text类型，token的描述。
• token：text类型，token的文本内容。
• dictionaries：regdictionary数组类型，是分词器为token选定的词典。
• dictionary：regdictionary类型，用来识别token的词典。如果为空，则不做识别。
• lexemes：text数组类型，词典识别token时生成的词素。如果为空，则不生成词素。空数组（{}）意味着token将被识别成停用词。

一个简单的例子：

1. openGauss=# SELECT * FROM ts_debug('english','a fat  cat sat on a mat - it ate a fat rats');
2. alias   |   Description   | token |  dictionaries  |  dictionary  | lexemes
3. -----------+-----------------+-------+----------------+--------------+---------
4. asciiword | Word, all ASCII | a     | {english_stem} | english_stem | {}
5. blank     | Space symbols   |       | {}             |              |
6. asciiword | Word, all ASCII | fat   | {english_stem} | english_stem | {fat}
7. blank     | Space symbols   |       | {}             |              |
8. asciiword | Word, all ASCII | cat   | {english_stem} | english_stem | {cat}
9. blank     | Space symbols   |       | {}             |              |
10. asciiword | Word, all ASCII | sat   | {english_stem} | english_stem | {sat}
11. blank     | Space symbols   |       | {}             |              |
12. asciiword | Word, all ASCII | on    | {english_stem} | english_stem | {}
13. blank     | Space symbols   |       | {}             |              |
14. asciiword | Word, all ASCII | a     | {english_stem} | english_stem | {}
15. blank     | Space symbols   |       | {}             |              |
16. asciiword | Word, all ASCII | mat   | {english_stem} | english_stem | {mat}
17. blank     | Space symbols   |       | {}             |              |
18. blank     | Space symbols   | -     | {}             |              |
19. asciiword | Word, all ASCII | it    | {english_stem} | english_stem | {}
20. blank     | Space symbols   |       | {}             |              |
21. asciiword | Word, all ASCII | ate   | {english_stem} | english_stem | {ate}
22. blank     | Space symbols   |       | {}             |              |
23. asciiword | Word, all ASCII | a     | {english_stem} | english_stem | {}
24. blank     | Space symbols   |       | {}             |              |
25. asciiword | Word, all ASCII | fat   | {english_stem} | english_stem | {fat}
26. blank     | Space symbols   |       | {}             |              |
27. asciiword | Word, all ASCII | rats  | {english_stem} | english_stem | {rat}
28. (24 rows)