跳转到主要内容

xieydd

TensorChord 核心工程师 · 混合检索、vchordg 图索引测试与云基础设施作者 (@xieydd)

TensorChord 核心工程师,专注于 PostgreSQL 混合检索、多模态 RAG 与云原生基础设施。GitHub:@xieydd。

  • VectorChord 0.5:全新的 RaBitQ 赋能 DiskANN 索引与持续召回率评估

    xieydd 发布于 版本发布 2891 字 6 分钟

    xieyddreleasepostgresqlvectorchord

    VectorChord 0.5:全新的 RaBitQ 赋能 DiskANN 索引与持续召回率评估

    我们非常激动地宣布发布 VectorChord 0.5!此次发布标志着我们在提供更灵活、更强大、更可控的向量搜索能力这一使命上迈出了重要一步。在 0.5 版本中,我们引入了两项重大更新:对 DiskANN 图索引的实验性支持,以及全新的用于主动监控 IVF+RaBitQ 索引健康状况的召回率评估工具。 全新索引预览:RaBitQ 赋能的 DiskANN 索引 从第一天起,VectorChord 的核心索引方案就建立在一个强大的组合之上:基于聚类的 IVF 算法与 RaBitQ 量化——也就是我们 …

    我们非常激动地宣布发布 VectorChord 0.5!此次发布标志着我们在提供更灵活、更强大、更可控的向量搜索能力这一使命上迈出了重要一步。在 0.5 版本中,我们引入了两项重大更新:对 DiskANN 图索引的实验性支持,以及全新的用于主动监控 IVF+RaBitQ 索引健康状况的召回率评估工具。 全新索引预览:RaBitQ 赋能的 DiskANN 索引 从第一天起,VectorChord 的核心索引方案就建立在一个强大的组合之上:基于聚类的 IVF 算法与 RaBitQ 量化——也就是我们 …

  • 一站式 VectorChord 套件:直接在 PostgreSQL 中构建生产就绪的 RAG 解决方案

    xieydd 发布于 工程实践 2278 字 5 分钟

    xieyddpostgresqlvectorchord

    一站式 VectorChord 套件:直接在 PostgreSQL 中构建生产就绪的 RAG 解决方案

    检索增强生成(Retrieval-Augmented Generation, RAG)正在彻底改变我们与海量数据集及语言模型的交互方式。通过在生成回答之前先检索相关信息,RAG 系统能够提供更准确、更具上下文感知能力且实时更新的答案。然而,构建稳健、可扩展且高效的 RAG 流水线依然面临诸多挑战,在生产环境中更是如此。 许多解决方案采用了复杂的架构,分别为向量搜索、关键词搜索和主数据存储使用不同的数据库。这通常会导致数据同步难题、更高的基础设施复杂度以及高昂的运维成本。 如果可以直接在你信赖的 …

    检索增强生成(Retrieval-Augmented Generation, RAG)正在彻底改变我们与海量数据集及语言模型的交互方式。通过在生成回答之前先检索相关信息,RAG 系统能够提供更准确、更具上下文感知能力且实时更新的答案。然而,构建稳健、可扩展且高效的 RAG 流水线依然面临诸多挑战,在生产环境中更是如此。 许多解决方案采用了复杂的架构,分别为向量搜索、关键词搜索和主数据存储使用不同的数据库。这通常会导致数据同步难题、更高的基础设施复杂度以及高昂的运维成本。 如果可以直接在你信赖的 …

  • 超越文本:使用 Modal 与 VectorChord 在 PostgreSQL 中解锁免 OCR 的 RAG

    xieydd 发布于 工程实践 4124 字 9 分钟

    xieyddocrvectorchord

    超越文本:使用 Modal 与 VectorChord 在 PostgreSQL 中解锁免 OCR 的 RAG

    为文档构建高效的检索增强生成(RAG)系统,往往让人感觉像是在与杂乱复杂的流水线搏斗。尤其是在处理 PDF 或扫描图像时,传统方法高度依赖光学字符识别(OCR)和版面分析。这些步骤不仅耗时、容易出错,而且经常会丢失表格、图表和排版格式等至关重要的视觉上下文信息。但如果可以直接根据文档的“视觉外观”进行查询,而不仅仅依赖提取出来的纯文本呢? 本文将手把手带你构建这样一个系统:直接在你熟悉的 PostgreSQL 数据库中构建一套免 OCR 的 RAG 系统。我们将结合 ColQwen2 视觉语言模 …

    为文档构建高效的检索增强生成(RAG)系统,往往让人感觉像是在与杂乱复杂的流水线搏斗。尤其是在处理 PDF 或扫描图像时,传统方法高度依赖光学字符识别(OCR)和版面分析。这些步骤不仅耗时、容易出错,而且经常会丢失表格、图表和排版格式等至关重要的视觉上下文信息。但如果可以直接根据文档的“视觉外观”进行查询,而不仅仅依赖提取出来的纯文本呢? 本文将手把手带你构建这样一个系统:直接在你熟悉的 PostgreSQL 数据库中构建一套免 OCR 的 RAG 系统。我们将结合 ColQwen2 视觉语言模 …

  • PostgreSQL 向量搜索:内存与磁盘方案对比分析

    Junyu Chen、xieydd 发布于 工程实践 4702 字 10 分钟

    Junyu Chenxieyddvectorchord

    PostgreSQL 向量搜索:内存与磁盘方案对比分析

    引言:真实场景中的挑战 并非所有场景都需要专用的向量数据库。借助 pgvector、pgvectorscale、VectorChord(演进自 pgvecto.rs)等 PostgreSQL 扩展,您可以在无需额外基础设施的情况下同时获得向量搜索与关系型数据库的能力。但实际落地并非总是顺风顺水,以下是真实用户的反馈: 首次查询耗时 30 秒,而重复查询只需 100 毫秒。问题出在极其缓慢的 I/O 上。 为 1,200 万行 75 维向量构建索引需要 3 个小时,这正常吗? 在为 2 亿条 75 …

    引言:真实场景中的挑战 并非所有场景都需要专用的向量数据库。借助 pgvector、pgvectorscale、VectorChord(演进自 pgvecto.rs)等 PostgreSQL 扩展,您可以在无需额外基础设施的情况下同时获得向量搜索与关系型数据库的能力。但实际落地并非总是顺风顺水,以下是真实用户的反馈: 首次查询耗时 30 秒,而重复查询只需 100 毫秒。问题出在极其缓慢的 I/O 上。 为 1,200 万行 75 维向量构建索引需要 3 个小时,这正常吗? 在为 2 亿条 75 …

  • 基于 Postgres 原生 BM25 与 VectorChord 的混合搜索

    xieydd 发布于 工程实践 3701 字 8 分钟

    xieyddpostgresqlvectorchord

    基于 Postgres 原生 BM25 与 VectorChord 的混合搜索

    在 RAG(检索增强生成)时代,如何从海量数据集中高效检索相关数据,对企业和开发者而言至关重要。传统的基于关键词的检索方法(例如使用 BM25 作为评分机制的方法)擅长根据词频和精确关键词匹配对文档进行排序,因此对于结构化查询和关键词密集型内容非常有效。然而,它们在理解同义词、上下文细微差别和语义意图方面往往力不从心。相反,基于向量的检索能够捕捉深层语义,在多样化查询上具备更好的泛化能力,但有时会在精确关键词匹配上牺牲准确性。混合搜索(Hybrid Search)通过将 BM25 的精确性与向量 …

    在 RAG(检索增强生成)时代,如何从海量数据集中高效检索相关数据,对企业和开发者而言至关重要。传统的基于关键词的检索方法(例如使用 BM25 作为评分机制的方法)擅长根据词频和精确关键词匹配对文档进行排序,因此对于结构化查询和关键词密集型内容非常有效。然而,它们在理解同义词、上下文细微差别和语义意图方面往往力不从心。相反,基于向量的检索能够捕捉深层语义,在多样化查询上具备更好的泛化能力,但有时会在精确关键词匹配上牺牲准确性。混合搜索(Hybrid Search)通过将 BM25 的精确性与向量 …

  • 为 PGVecto.rs Cloud 引入 Terraform 支持

    xieydd 发布于 工程实践 2849 字 6 分钟

    xieyddpostgresql

    为 PGVecto.rs Cloud 引入 Terraform 支持

    我们非常高兴地宣布发布适用于 PGVecto.rs Cloud 的 Terraform Provider。这一全新 Provider 旨在简化我们云服务上的资源管理流程,让用户能够通过基础设施即代码(IaC)工具 Terraform,以直观、高效的方式管理 Postgres 集群的部署与运维。对于尚不熟悉 Terraform 的读者,它是一款开源工具,用于安全、高效地构建、变更和版本化管理基础设施。它支持用户将基础设施定义为代码,从而以编程方式调配和管理各类资源。 关于 …

    我们非常高兴地宣布发布适用于 PGVecto.rs Cloud 的 Terraform Provider。这一全新 Provider 旨在简化我们云服务上的资源管理流程,让用户能够通过基础设施即代码(IaC)工具 Terraform,以直观、高效的方式管理 Postgres 集群的部署与运维。对于尚不熟悉 Terraform 的读者,它是一款开源工具,用于安全、高效地构建、变更和版本化管理基础设施。它支持用户将基础设施定义为代码,从而以编程方式调配和管理各类资源。 关于 …