在笔记本电脑上使用 LLMs 的 5 种方法

AIGC动态欢迎阅读

原标题：在笔记本电脑上使用 LLMs 的 5 种方法
关键字：模型,笔记本电脑,应用程序,工具,上下文
文章来源：AI范儿
内容字数：3564字

内容摘要：

点击上方蓝字关注我们在网上使用 ChatGPT 很简单，只需有网络连接和好的浏览器即可。但这样做可能会泄露您的隐私和数据。OpenAI 存储了您的提示和其他元数据以重新训练模型。对于一些人来说可能不成问题，但注重隐私的人可能更愿意在本地使用这些模型，不受外部跟踪的影响。
本文将介绍五种在本地使用大型语言模型（LLMs）的方法。这些软件大多兼容所有主要操作系统，并且可以轻松下载安装。通过在笔记本电脑上使用LLMs，您可以选择模型，只需从 HuggingFace hub 下载模型即可开始使用。此外，您还可以授权这些应用程序访问您的项目文件夹，并生成上下文感知的响应。
1. GPT4AllGPT4All 是一款先进的开源软件，允许用户轻松下载和安装最先进的开源模型。
只需从网站下载并在系统上安装 GPT4ALL。接下来，从面板中选择适合您需求的模型即可开始使用。如果您安装了 CUDA（Nvidia GPU），GPT4ALL 将自动开始使用您的 GPU 生成每秒最多 30 个标记的快速响应。
您可以授予对包含重要文件和代码的多个文件夹的访问权限，GPT4ALL 将使用检索增强生成生成响应。

原文链接：在笔记本电脑上使用 LLMs 的 5 种方法