您数字货币与 Web3的直通车

在笔记本电脑上本地运行人工智能聊天机器人的简单方法

技术

人们现在在日常生活中使用各种人工智能驱动的应用程序。在计算机上本地运行 LLM 比使用 HuggingFace 等 Web 界面有很多好处。其一，在本地运行 LLM 而不通过 Web 界面发送数据可以让用户生成具有更多隐私的数据。大多数允许使用 LLM 的网络服务都会不断提醒用户不要通过 LLM 发送任何敏感信息，因为开发人员会监视对话，并且任何数量的人都可以看到您的数据。

广告

有些人比其他人更注重保护自己的数据，并且更愿意在不受监控的更私密的环境中尝试这些服务。 GPT4ALL 等本地 LLM 界面允许用户运行模型，而无需通过公司门户发送提示和回复，并且可以在测试和自定义模型时给予他们更大的自由。以下是如何在任何支持的设备上安装 GPT4ALL 和本地 LLM。

GPT4ALL是Nomic AI开发的开源大语言模型接口，允许您通过提供的接口在本地运行您选择的LLM。该应用程序与主要 LLM 的所有主要发行版兼容，例如 ChatGPT、Llama 和 Mistral。它甚至还具有搜索功能，允许您直接在界面中查找 LLM 实现和文档集以安装到 GPT4ALL。

广告

您可以直接从 GPT4ALL 应用程序内部安装、管理和连接到各种 LLM，包括不同模型的用户库。此外，GPT4ALL 使用您的计算机资源，不需要像其他实现那样需要强大的 GPU 来在本地运行模型。这是因为集成到 GPT4ALL 中的模型被量化为更小的整体尺寸，以减少法学硕士所需的处理能力。 GPT4ALL 的目标是改善公众对人工智能工具和语言模型的访问。

GPT4ALL 的图形用户界面 (GUI) 正式支持 Windows、macOS 和 Ubuntu。 Nomic 提供了针对不同操作系统编译的安装文件。但是，非 Ubuntu 发行版的 Linux 用户可能需要完成其他步骤才能运行该程序。要在 Windows 或 macOS 上安装该应用程序，只需下载并运行安装程序文件即可。然后，按照说明进行操作。安装应用程序后，您可以运行它，它将打开聊天界面，该界面的设计看起来与其他 LLM 界面类似。

广告

想要安装该应用程序的 Linux 用户可以从 Ubuntu 安装程序安装该应用程序（如果它与其发行版兼容）。还可以使用命令行在 Python 中构建程序。要在 Linux 中使用命令行通过 Python 安装应用程序，您应该在终端中运行以下命令：

pip install gpt4all

在 GPT4ALL 上安装 LLM 非常简单。该应用程序有一个兼容的法学硕士列表，您可以在界面中搜索并直接安装。该列表甚至可以帮助您按照运行每个模型需要多少 内存、模型基于什么、模型大小以及可能决定用户因素的其他参数进行排序。所有这些信息都可以在 GPT4ALL 的界面中轻松获得，从而允许用户选择最适合其特定需求的模型。

广告

一些可以通过 GPT4ALL 使用的模型需要 API 密钥才能访问。这些不是 GPT4ALL 团队决定的。相反，如果模型需要 API 密钥，则这是设计和训练模型的公司发出的指令。 GPT-4 等模型和一些官方 Mistral 发行版都需要 API 密钥才能使用，无论您是在本地还是通过 Web 界面运行它们。因此，不幸的是，如果您想使用 OpenAI 服务，那么使用 GPT4ALL 并不能避免支付 OpenAI 密钥的费用。