爆款背后的秘密：2024年B站最火RAG视频是怎样炼成的？

用向量数据库实现鲁迅说没说

原标题：爆款背后的秘密：2024年B站最火RAG视频是怎样炼成的？
文章来源：AI小岛
内容字数：21047字

用向量数据库和大型语言模型构建鲁迅语录鉴定器

近年来，随着人工智能技术的飞速发展，大型语言模型(LLM)和向量数据库在信息检索和知识问答领域展现出巨大的潜力。本文将介绍一个基于开源向量数据库Milvus和大型语言模型的鲁迅语录鉴定应用，它能够有效地判断一句文字是否出自鲁迅先生之手。

一、问题的提出

鲁迅先生的作品对中国文学和思想产生了深远的影响，他的许多名句广为流传。然而，网络上也充斥着大量伪造的鲁迅语录，误导读者。传统的搜索方法由于关键词匹配的局限性，难以有效区分真伪。因此，我们需要一种更精准、更智能的语义搜索方法来解决这个问题。

二、技术方案

本应用的核心技术在于结合向量数据库Milvus和大型语言模型的能力。我们首先将鲁迅先生的全部作品进行向量化，并将这些向量存储在Milvus数据库中。当用户输入一句待鉴定的文字时，系统会对其进行向量化，并在Milvus中进行语义相似度搜索，找到与输入文字语义最相似的鲁迅作品片段。最后，将搜索结果和用户输入一同传递给大型语言模型，由模型判断该文字是否出自鲁迅先生。

三、技术细节

3.1 数据准备与向量化

本应用使用了公开的鲁迅作品集，并对其进行了预处理，使其符合向量数据库的输入格式。为了提高搜索效率和准确率，文章被分割成多个语义片段（chunk），每个片段被单独向量化。文中探讨了三种分块方法：固定字数分块、基于标点符号分块以及基于句子分块，并比较了它们的效果。实验结果表明，基于句子的分块方法在保证语义完整性的同时，能够取得最佳的搜索效果。

3.2 向量数据库Milvus的应用

Milvus作为高效的开源向量数据库，负责存储和检索高维向量。本应用利用Milvus的语义搜索功能，快速找到与输入文字语义相似的鲁迅作品片段，为大型语言模型提供可靠的上下文信息。

3.3 大型语言模型的调用

本应用使用了DeepSeek大型语言模型，其API与OpenAI兼容。通过精心设计的提示词，引导模型根据Milvus搜索结果判断输入文字的真伪，并生成清晰、准确的回答。提示词的设计是保证模型输出质量的关键。

四、实验结果与分析

文章中选取了三个示例句子进行测试，并比较了不同分块方法的RAG(检索增强生成)效果。实验结果表明，基于句子的分块方法在保证语义完整性的同时，能够取得最佳的搜索效果，并生成更准确的判断结果。虽然这种方法需要更多的存储空间，但其准确率的提升是值得的。

五、未来展望

本应用只是一个初步的尝试，未来可以进一步改进和完善。例如，可以探索更先进的分块方法，提高语义理解的准确性；可以尝试使用更强大的大型语言模型，提升判断的准确性和效率；还可以扩展应用的功能，例如提供鲁迅作品智能问答和推荐等。

六、总结

本应用成功地利用向量数据库Milvus和大型语言模型构建了一个鲁迅语录鉴定器，有效地解决了网络上伪造鲁迅语录的问题。该应用的技术方案具有普适性，可以推广到其他文学作品或知识领域的真伪鉴定。

联系作者

文章来源：AI小岛
作者微信：
作者简介：简单学 AI，看清未来！