AnythingLLM

AnythingLLM官网

AnythingLLM是一个全栈应用程序，您可以使用现成的商业大语言模型或流行的开源大语言模型，再结合向量数据库解决方案构建一个私有ChatGPT，不再受制于人：您可以本地运行，也可以远程托管，并能够与您提供的任何文档智能。

AnythingLLM将您的文档划分为称为workspaces (工作区）的对象。工作区的功能类似于线程，同时增加了文档的容器化。工作区可以共享文档，但工作区之间的内容不会互相干扰或污染，因此您可以保持每个工作区的上下文清晰。

AnythingLLM的功能特点

• 多用户实例支持和权限管理
• 工作区内的智能体Agent（浏览网页、运行代码等）
• 为您的网站定制的可嵌入窗口
• 支持多种文档类型（PDF、TXT、DOCX等）
• 通过简单的用户界面管理向量数据库中的文档
• 两种对话模式：和查询。模式保留先前的对话记录。查询模式则是是针对您的文档做简单问答
• 中会提供所引用的相应文档内容
• 100%云部署就绪。
• “部署你自己的LLM模型”。
• 管理超大文档时高效、低耗。只需要一次就可以嵌入（Embedding)一个庞大的文档或文字记录。比其他文档机器人解决方案节省90%的成本。
• 全套的开发人员API，用于自定义集成！

支持的 LLM、嵌入模型和向量数据库

• LLM：包括任何开源的 llama.cpp 兼容模型、OpenAI、Azure OpenAI、Anthropic ClaudeV2、LM Studio 和 LocalAi。
• 嵌入模型：AnythingLLM 原生嵌入器、OpenAI、Azure OpenAI、LM Studio 和 LocalAi。
• 向量数据库：LanceDB（默认）、Pinecone、Chroma、Weaviate 和 QDrant。

AnythingLLM的技术概览

• 整个项目设计为单线程结构，主要由三部分组成:收集器、前端和服务器。
• collector：Python 工具，可快速将在线资源或本地文档转换为 LLM 可用格式。
• frontend：ViteJS + React 前端，用于创建和管理 LLM 可使用的所有内容。
• server：NodeJS + Express 服务器，处理所有向量数据库管理和 LLM 交互。

AnythingLLM官网入口：

• AnythingLLM官网：https://anythingllm.com/
  github：https://github.com/Mintplex-Labs/anything-llm