# pg_tokenizer 文档

> pg_tokenizer 完整指南：安装部署、文本分析器、字符/词元过滤器、预训练与自定义词表模型、多语言分词以及 SQL 参考手册。

---

LLMS 索引： [llms.txt](/zh/llms.txt)

---

**`pg_tokenizer`**（由 Pigsty 在 [`pgsty/pg_tokenizer`](https://github.com/pgsty/pg_tokenizer) 维护）是一个使用 Rust（`pgrx`）构建的独立 PostgreSQL 多语言分词扩展。它提供可定制的文本分析器、字符与词元过滤器以及词表模型，可将原始文本转换为整数词元 ID 数组（`INT[]`）及供 [`vchord_bm25`](/zh/docs/bm25/) 使用的稀疏 `bm25vector` 向量。


  - [安装指南](/zh/docs/tokenizer/installation/) — 通过 Pigsty 原生 Linux 软件包、Docker 镜像、Debian/ZIP 归档包或源码编译安装 pg_tokenizer。
  - [架构与基本用法](/zh/docs/tokenizer/overview/) — 了解文本分析器（Text Analyzer）与词表模型（Model）如何协同工作，将原始文本转化为词元 ID。
  - [文本分析器与过滤器](/zh/docs/tokenizer/text-analyzer/) — 配置字符过滤器、预分词器（Unicode、正则、结巴 Jieba）、词干提取器（支持 30 种语言）、停用词、同义词与 N-gram。
  - [分词词表模型](/zh/docs/tokenizer/models/) — 使用内置预训练模型（llmlingua2、bert_base_uncased、wiki_tocken、gemma2b）、训练自定义语料模型，或导入 HuggingFace 与 Lindera 模型。
  - [多语言分词配方与限制](/zh/docs/tokenizer/multilingual/) — 面向英文、中文（Jieba）、日文（Lindera）及特定领域自定义语料库的开箱即用配置方案。
  - [SQL 与 TOML 参考](/zh/docs/tokenizer/reference/) — 完整的 tokenizer_catalog SQL 函数签名与 TOML 配置参数参考手册。

---

本节页面：

- [安装指南](/zh/docs/tokenizer/installation/): 通过 Pigsty 原生 Linux 软件包、Docker 镜像、Debian/ZIP 归档包或 cargo-pgrx 源码安装 pg_tokenizer。
- [分词器架构与基本用法](/zh/docs/tokenizer/overview/): 理解 pg_tokenizer 的两阶段流水线：文本分析器（Text Analyzer）与分词模型（Tokenization Model）。
- [文本分析器与过滤器](/zh/docs/tokenizer/text-analyzer/): pg_tokenizer 中字符过滤器、预分词器与词元过滤器的完整配置参考手册。
- [分词词表模型](/zh/docs/tokenizer/models/): 预训练模型（llmlingua2、bert_base_uncased、wiki_tocken、gemma2b）、自定义语料训练模型、HuggingFace 分词器与 Lindera 模型。
- [多语言分词配方与限制](/zh/docs/tokenizer/multilingual/): 面向英文、中文（结巴 Jieba）、日文（Lindera）的完整生产级分词配置方案及已知使用限制。
- [SQL 与 TOML 参考](/zh/docs/tokenizer/reference/): pg_tokenizer 中全部 tokenizer_catalog SQL 函数与 TOML 配置选项的完整参考手册。

---

反链：

- [一站式 VectorChord 套件：直接在 PostgreSQL 中构建生产就绪的 RAG 解决方案](/zh/blog/post/all-in-one-vectorchord-suite-building-production-ready-rag-solutions-directly-in-postgresql/)
- [在 PostgreSQL 中利用上下文检索优化 RAG](/zh/blog/post/optimize-rag-with-contextual-retrieval-in-postgresql/)
- [VectorChord-BM25：推出独立的多语言高级搜索分词器 pg_tokenizer](/zh/blog/post/vectorchord-bm25-introducing-pgtokenizera-standalone-multilingual-tokenizer-for-advanced-search/)
- [VectorChord-BM25：用 BM25 排序彻底革新 PostgreSQL 搜索——速度比 ElasticSearch 快 3 倍](/zh/blog/post/vectorchord-bm25-revolutionize-postgresql-search-with-bm25-ranking-3x-faster-than-elasticsearch/)
- [文档](/zh/docs/)
- [关于](/zh/docs/about/)
- [pg_bestmatch](/zh/docs/bestmatch/)
- [SQL 参考](/zh/docs/bestmatch/reference/)
- [vchord_bm25](/zh/docs/bm25/)
- [架构概览](/zh/docs/bm25/getting-started/overview/)
- [快速开始](/zh/docs/bm25/getting-started/quick-start/)
- [vchord](/zh/docs/vchord/)
- [安装与快速上手](/zh/docs/vector/getting-started/)
- [查询与过滤检索](/zh/docs/vector/querying/)