分词器 (pg_tokenizer)
pg_tokenizer 完整指南：文本分析器、字符/词元过滤器、预训练与自定义词表模型，以及多语言分词。
pg_tokenizer（由 Pigsty 在 pgsty/pg_tokenizer 维护）是 vchord_bm25 (pgsty/vchord_bm25) 的配套 PostgreSQL 分词扩展，提供全文分析器与词表模型，可将原始文本转换为整数词元 ID 数组（INT[]）及稀疏 bm25vector 向量。
了解文本分析器（Text Analyzer）与词表模型（Model）如何协同工作，将原始文本转化为词元 ID。
配置字符过滤器、预分词器（Unicode、正则、结巴 Jieba）、词干提取器（支持 30 种语言）、停用词、同义词与 N-gram。
使用内置预训练模型（llmlingua2、bert_base_uncased、wiki_tocken、gemma2b）、训练自定义语料模型，或导入 HuggingFace 与 Lindera 模型。
面向英文、中文（Jieba）、日文（Lindera）及特定领域自定义语料库的开箱即用配置方案。
理解 pg_tokenizer 的两阶段流水线：文本分析器（Text Analyzer）与分词模型（Tokenization Model）。
pg_tokenizer 中字符过滤器、预分词器与词元过滤器的完整配置参考手册。
预训练模型（llmlingua2、bert_base_uncased、wiki_tocken、gemma2b）、自定义语料训练模型、HuggingFace 分词器与 Lindera 模型。
面向英文、中文（结巴 Jieba）、日文（Lindera）的完整生产级分词配置方案及已知使用限制。