Rag
3 articles
2025
RAG:知识库分段
在构建知识库时,分段(Chunking)是一个至关重要的步骤,尤其是在与大型语言模型(LLM)结合使用,例如在检索增强生成(RAG)系统中。分段的目的是将长文本分割成较小的、可管理的块,以便:
适应LLM的上下文窗口限制: LLM有输入Token数量的限制,过长的文本需要被切分。 …
Read more