text-generation-webui

text-generation-webui官网

text-generation-webui 是一款开源的大语言模型 Web 界面工具，使用 Python（Gradio）构建，俗称「oobabooga」，支持在

text-generation-webui 核心亮点

text-generation-webui，一款基于 Python（Gradio）构建的开源大型语言模型（LLM）Web 界面工具，俗称“oobabooga”，旨在让用户在本地浏览器环境中便捷地运行与测试各类开源 LLM。它支持多种推理后端，如 Transformers、llama.cpp、GPTQ、AWQ，以及 ExLlamaV2，可谓是本地 LLM 推理与调试的得力助手。

text-generation-webui 的多重推理后端支持

text-generation-webui 提供了统一的界面来管理多种推理后端，包括但不限于 Transformers、llama.cpp、ExLlamaV2 等，该工具能够根据模型格式自动选用最优的引擎，极大地简化了用户的配置过程，使其能够更专注于模型的实际应用。

text-generation-webui 的丰富交互模式

该工具支持多种多样的交互模式，涵盖单轮对话、多轮、角色扮演（配备了系统提示模板）以及笔记本模式等，满足用户在不同场景下的多样化需求，无论是进行轻松的，还是深入的角色扮演，抑或是进行代码生成，都能游刃有余。

text-generation-webui 的 OpenAI 兼容 API

text-generation-webui 内置了兼容 OpenAI Chat Completions 格式的 HTTP 接口，这使得下游应用能够无缝对接，方便地替换原有 OpenAI SDK 的调用内容，从而利用本地 LLM 实现与 OpenAI API 相似的功能，为开发带来了极大的灵活性。

text-generation-webui 的扩展功能集成

text-generation-webui 的内置扩展系统允许接入语音识别、TTS 语音输出、Stable Diffusion 集成等功能模块，进一步丰富了其功能性，用户可以根据自身需求扩展工具的能力，实现更全面的 AI 应用场景。

text-generation-webui官方网站入口网址：

text-generation-webui官网：https://github.com/oobabooga/text-generation-webui

OpenI小编发现text-generation-webui网站非常受用户欢迎，请访问text-generation-webui官网网址入口试用。