RAG 学习笔记：向量嵌入技术详解

2026年4月25日

RAGEmbedding向量检索NLP

RAG 学习笔记：向量嵌入技术详解

前言

向量嵌入（Embedding）是现代 RAG 系统的基石，它将文本、图像等复杂数据转换为机器可理解的数学向量。本文将系统性地介绍向量嵌入的核心概念、技术演进以及在 RAG 中的关键作用。

一、为什么需要学习向量嵌入？

核心原因

原因	说明	影响
语义检索基础	RAG 的检索环节依赖于向量相似度计算	决定了检索质量和最终答案准确性
跨模态理解	将文本、图像等不同模态映射到统一空间	支持多模态 RAG 应用
知识表示	将离散的符号信息转换为连续的向量表示	使机器能够理解语义关系

直观理解

想象一下，我们将每一个词、每一段话都放在一个巨大的多维空间里，并给它一个独一无二的坐标。这个坐标就是一个向量，它”嵌入”了原始数据的所有关键信息。语义上相似的对象，其向量在空间中的距离会更近。

二、向量嵌入基础概念

2.1 什么是 Embedding

定义：向量嵌入是一种将真实世界中复杂、高维的数据对象转换为数学上易于处理的、低维、稠密的连续数值向量的技术。

核心组件：

数据对象 → Embedding 模型 → 输出向量
   ↓              ↓            ↓
"你好世界"    深度学习模型   [0.16, 0.29, -0.88, ...]

2.2 向量空间的语义表示

核心原则：在 Embedding 构建的向量空间中，语义上相似的对象，其对应的向量在空间中的距离会更近。

关键度量方法：

度量方法	计算方式	适用场景
余弦相似度	计算两个向量夹角的余弦值	最常用，值越接近 1 越相似
点积	计算两个向量的乘积和	向量归一化后等价于余弦相似度
欧氏距离	计算空间中的直线距离	距离越小越相似

三、Embedding 在 RAG 中的作用

3.1 语义检索的核心流程

离线索引构建          在线查询检索
     ↓                    ↓
文档切分 → 向量化    问题 → 向量化
     ↓                    ↓
存入向量数据库  ←→  相似度计算
                         ↓
                    召回 Top-K 文档块
                         ↓
                    送入 LLM 生成答案

3.2 决定检索质量的关键

高质量 Embedding 的价值：

✅ 精准捕捉问题和文档之间的深层语义联系
✅ 即使表述不完全一致也能正确召回
✅ 提供给 LLM 高质量的上下文

劣质 Embedding 的风险：

❌ 无法理解语义，召回不相关信息
❌ “污染” LLM 的上下文
❌ 导致最终答案质量低下

四、Embedding 技术发展历程

4.1 静态词嵌入时代（2013-2017）

代表模型：Word2Vec, GloVe

核心原理：为词汇表中的每个单词生成一个固定的、与上下文无关的向量。

经典示例：

国王 - 男人 + 女人 ≈ 王后

局限性：

❌ 无法处理一词多义问题
❌ “苹果公司”和”吃苹果”中的”苹果”向量完全相同

4.2 动态上下文嵌入时代（2017-至今）

技术突破：Transformer 架构 + 自注意力机制

代表模型：BERT（2018）

核心优势：

✅ 同一个词在不同语境中生成不同的向量
✅ 有效解决一词多义难题
✅ 深度上下文相关的嵌入

4.3 RAG 对嵌入技术的新要求

要求	说明	挑战
领域自适应	专业领域（法律、医疗）的精准理解	通用模型在专业领域表现不佳
长文本处理	支持长文档的完整语义表示	计算复杂度和内存占用
多模态融合	统一文本、图像、音频等模态	跨模态对齐问题

五、主流 Embedding 模型对比

5.1 模型特性对比

模型	维度	语言支持	特点	适用场景
BGE-M3	1024	100+ 语言	多语言、多功能、多粒度	跨语言检索、长文档
OpenAI text-embedding-3	1536/3072	多语言	高质量、易用	通用场景
E5	768/1024	多语言	开源、高性能	学术研究、定制化
Cohere	1024/4096	多语言	企业级、多语言	生产环境

5.2 选择建议

场景决策树：
├─ 需要跨语言支持？
│  ├─ 是 → BGE-M3, OpenAI text-embedding-3
│  └─ 否 → 单语言模型即可
├─ 需要处理长文档？
│  ├─ 是 → BGE-M3（支持 8192 token）
│  └─ 否 → 标准模型即可
└─ 预算限制？
   ├─ 是 → 开源模型（BGE, E5）
   └─ 否 → 商业 API（OpenAI, Cohere）

六、实践要点

6.1 最佳实践

实践	说明	重要性
模型一致性	索引和查询使用同一个 Embedding 模型	⭐⭐⭐⭐⭐
维度选择	平衡性能和存储成本	⭐⭐⭐⭐
批量处理	批量编码提升效率	⭐⭐⭐⭐
向量归一化	使用余弦相似度时归一化向量	⭐⭐⭐

6.2 常见误区

❌ 误区 1：认为维度越高越好

实际：维度过高会增加存储和计算成本，且不一定提升效果

❌ 误区 2：忽视模型更新

实际：定期评估和更新 Embedding 模型以获得更好效果

❌ 误区 3：不关注领域适配

实际：专业领域应考虑微调或使用领域特定模型

七、学习收获

核心认知

Embedding 是 RAG 的基石：向量质量直接决定检索效果和最终答案质量
技术演进清晰：从静态词嵌入到动态上下文嵌入，再到多模态嵌入
选型需权衡：在性能、成本、语言支持等多个维度进行权衡

下一步计划

实践使用 BGE-M3 模型进行文本嵌入
对比不同 Embedding 模型在特定任务上的表现
探索领域特定的 Embedding 微调方法
学习多模态嵌入技术

结语

向量嵌入是连接人类语言和机器理解的桥梁。掌握 Embedding 技术，是构建高质量 RAG 系统的第一步。建议读者在实践中不断尝试不同的模型，找到最适合自己应用场景的解决方案。

关键要点：选择合适的 Embedding 模型，保持模型一致性，关注领域适配，这是构建高质量 RAG 系统的基础。