五个简单好用的本地运行大年夜模型的方法

像ChatGPT、Claude.ai和phind这样的谈天机器人非常有用，但可能并不总是希望的问题或敏感数据由外部运用程序处理。
在平台上尤其如此，在这些平台上，你的互动可能会被人类审查，并以其他办法用于帮助演习未来的模型。

一种办理方案是下载一个大型措辞模型（LLM）并在自己的机器上运行它。
这样一来，外部公司就永久无法访问的数据。
这也是考试测验一些新专业模型的一个快速选择，如Meta最近宣告的Code Llama系列模型，这些模型经由了编码调度，以及Seamless M4T，旨在实现文本到语音和措辞翻译。

运行自己的LLM听起来可能很繁芜，但有了精确的工具，它会出奇地随意马虎。
而且许多型号的硬件哀求并没有想象中那么猖獗。
我已经在两个别系上测试了本文中供应的选项：一个是带有英特尔i9处理器、64GB RAM和英伟达GeForce 12GB GPU（可能没有参与运行该软件的大部分事情）的戴尔PC，另一个是只有16GB RAM的M1芯片的Mac。

请把稳，可能须要一点研究才能找到一个在的任务中运行良好并在桌面硬件上运行的模型。
而且，很少有人能像你习气的ChatGPT（尤其是GPT-4）或Claude.ai这样的工具那样好。
命令行工具LLM的创建者Simon Willison在上个月的一次演示中认为，纵然本地模型的相应是缺点的，运行它也是值得的：

在你的条记本电脑上运行的[一些]会产生猖獗的幻觉——我认为这实际上是运行它们的一个很好的情由，由于在你的电脑上运行弱型号是理解这些东西如何事情及其局限性的一种更快的办法。

同样值得把稳的是，开源模型可能会不断改进，一些行业不雅观察人士估量，它们与商业领袖之间的差距会缩小。

如果你想要一个在本地运行、不会在其他地方发送数据的谈天机器人，ﾠGPT4Allﾠ供应了一个易于设置的桌面客户端供下载。
它包括在自己的系统上运行的型号的选项，还有Windows、macOS和Ubuntu的版本。

当第一次打开GPT4All桌面运用程序时，将看到下载大约10个（截至本文撰写之时）可以在本地运行的模型的选项。
个中包括Meta AI的模型Llama-2-7B谈天。
如果你有API密钥，你也可以设置OpenAI的GPT-3.5和GPT-4（如果你有访问权限）供非本地利用。

GPT4All接口的模型下载部分一开始有点令人困惑。
在我下载了几个模型后，我仍旧可以选择全部下载。
这表明下载不起浸染。
然而，当我检讨下载路径时，模型就在那里。

图片

GPT4All中模型下载接口的一部分。
一旦我打开运用程序的利用部分，我下载的模型就会自动涌现。

一旦建立了模型，谈天机器人界面本身就很干净，易于利用。
方便的选项包括将谈天复制到剪贴板并天生相应。

GPT4All谈天界面简洁易用

还有一个新的测试版LocalDocs插件，可以让你在本地与自己的文档“谈天”。
可以在中启用Settings > Plugins 选项卡，将看到“LocalDocs插件（BETA）设置”标题和在特定文件夹路径创建凑集的选项。

该插件正在进行中，并且ﾠ文档ﾠ 警告说，纵然LLM可以访问添加的专家书息，它仍可能“产生幻觉”（编造）。
只管如此，这是一个有趣的功能，随着开源模型变得更加强大，它可能会得到改进。

除了谈天机器人运用程序，GPT4All还绑定了Python、Node和命令行界面（CLI）。
还有一种做事器模式，可以让你通过一个构造非常像OpenAI的HTTP API与本地LLM交互。
目标是通过变动几行代码，让你用本地LLM交流OpenAI的LLM。

Simon Willison的LLM是我见过的在自己的机器受骗地下载和利用开源LLM的更大略的方法之一。
虽然确实须要安装Python来运行它，但不应该打仗任何Python代码。
如果你在Mac电脑上利用Homebrew，只需利用：

复制

brew install llm1.

如果在Windows打算机上，请利用最喜好的安装Python库的办法，例如：

复制

pip install llm1.

LLM默认利用OpenAI模型，但可以利用插件在本地运行其他模型。
例如，如果安装gpt4all插件，将可以从gpt4all访问其他本地模型。
还有用于llama、MLC项目和MPT-30B的插件，以及其他远程模型。

在命令行上安装一个插件，名称为llm Install model：

复制

llm install llm-gpt4all1.

可以利用命令llm-models-list查看所有可用的型号——远程和已安装的型号，包括每种型号的简要信息。

图片

当哀求LLM列出可用型号时显示。

要将查询发送到本地LLM，语法如下：

复制

llm -m the-model-name "Your query"1.

如何选择精确的模型？可以前往ﾠGPT4All主页ﾠ并向下滚动到与GPT4All兼容的模型的模型资源管理器。
falcon-q4_0选项是一款评级较高的相对较小的型号，具有许可商业利用的容许证，以是我从那里开始。

然后，我问了它一个类似于ChatGPT的问题，但没有发出单独的命令下载模型：

复制

llm -m ggml-model-gpt4all-falcon-q4_0 "Tell me a joke about computer programming"1.

这是LLM用户体验如此优雅的一点：如果本地系统上不存在GPT4All模型，LLM工具会在运行查询之前自动为下载它。
下载模型时，将在终端中看到进度条。

图片

这里有一个笑话：“程序员为什么关掉电脑？由于他想看看它是否还在事情！
”——但事实上，这个查询确实起了浸染。
如果结果令人失落望，那是由于模型性能或用户提示不敷，而不是LLM工具。

还可以为LLM中的模型设置别名，以便可以利用较短的名称来引用它们：

复制

llm aliases set falcon ggml-model-gpt4all-falcon-q4_01.

要查看所有可用的别名，请输入：llm aliases。

这个ﾠMeta的Llama模型的LLM插件ﾠ须要比GPT4All多一点的设置。
阅读上的详细信息ﾠLLM插件的GitHub回购。
请把稳，通用llama-2-7b-chat确实设法在我的事情Mac上运行了M1 Pro芯片，只有16GB的RAM。
与为没有GPU的小型机器优化的GPT4All型号比较，它运行得相称慢，在我更健壮的家用电脑上表现更好。

LLM还有其他功能，例如argument标志，使可以从以前的谈天中连续，并能够在Python脚本中利用它。
9月初，该运用程序得到了ﾠ用于天生文本嵌入的工具，可用于搜索干系文档的文本含义的数字表示。
可以在LLM网站上看到更多信息。
Willison是盛行的Python Django框架的联合创建者，他希望社区中的其他人能为LLM生态系统贡献更多插件。

Ollama是一种比LLM更随意马虎下载和运行模型的方法。
然而，该项目仅限于macOS和Linux，直到2月中旬，Windows的预览版终于问世。
我测试了Mac版本。

图片

通过点击安装是一种优雅的体验。
只管Ollama是一个命令行工具，但只有一个命令具有以下语法ollama run model-name名称。
与LLM一样，如果模型还没有在的系统上，它将自动下载。

可以在上查看可用型号的列表ﾠhttps://ollama.ai/library，截至本文撰写之时，它包括基于Llama的模型的几个版本，如通用Llama 2、Code Llama、针对某些编程任务进行微调的DeepSE的CodeUp，以及针对回答医学问题进行微调的meddlama2。

这个ﾠOllama GitHub repo's README 文件包括一些型号规格的有用列表和建议，“你该当至少有8GB的RAM来运行3B型号，16GB来运行7B型号，32GB来运行13B型号。
”在我的16GB RAM Mac上，7B Code Llama的性能出奇地快。
它将回答有关的问题ﾠbash/zshﾠshell命令以及Python和JavaScript等编程措辞。

在Ollama终端窗口中运行Code Llama的外不雅观

只管它是家族中最小的模型，但如果不完美地回答了一个R编码问题，这会让一些更大的模型感到困惑，那它还是很好的：“为ggplot2图写R代码，个中的条形图是钢蓝色的。
”代码是精确的，只是个中两行代码中有两个额外的右括号，这很随意马虎在我的IDE中找到。
我疑惑更大的Code Llama本可以做得更好。

Ollama还有一些附加功能，例如ﾠLangChainﾠ集成和利用PrivateGPT运行的能力，除非检讨ﾠGitHub repo的教程页面。

如果你在Mac电脑上，想利用Code Llama，你可以在终端窗口中运行它，每次有问题时都会把它拉出来。
我期待着在我的家用电脑上利用Ollama Windows版本。

H2O.aiﾠ一段韶光以来，该公司一贯致力于自动化机器学习，因此很自然地进入了谈天LLM领域。
它的一些工具最好由熟习该领域的人利用，但安装其测试版本的解释ﾠh20GPTﾠ谈天桌面运用程序快速而直接，纵然对付机器学习新手来说也是如此。

你可以访问web上的演示版本（显然不是利用系统本地的LLM），网址：ﾠgpt.h2o.ai。

本地LLaMa模型基于VS代码文档回答问题

无需添加自己的文件，就可以将该运用程序用作通用谈天机器人。
或者，可以上传一些文档并讯问有关这些文件的问题。
兼容的文件格式包括PDF、Excel、CSV、Word、文本、标记等。
测试运用程序在我的16GB Mac上运行良好，只管较小型号的结果无法与带GPT-4的付费ChatGPT比较（一如既往，这是型号的函数，而不是运用程序的函数）。
H2OGPT UI为知道自己在做什么的用户供应了一个专家选项卡，个中包含许多配置选项。
这为更有履历的用户供应了考试测验改进其结果的选项。

图片

如果你想对流程进行更多掌握，并为更多型号供应选项，请下载完全的运用程序。
对付带有GPU或仅带有CPU的系统，有适用于Windows和macOS的一键安装程序。
请把稳，我的Windows防病毒软件对Windows版本不满意，由于它没有署名。
我熟习H2O.ai的其他软件，代码在GitHub上也有，以是我乐意下载并安装它。

Rob Mulla，现在在H2O.ai，发布了一个ﾠYouTube视频ﾠ关于在Linux上安装该运用程序。
只管该视频已经发布了几个月，运用程序用户界面彷佛也发生了变革，但该视频仍然有有用的信息，包括关于H2O.ai LLM的有用阐明。

PrivateGPTﾠ还设计用于让利用自然措辞查询自己的文档，并得到天生的人工智能相应。
此运用程序中的文档可以包括几十种不同的格式。
README确保数据“100%私有，任何时候都不会有数据离开的实行环境。
可以在没有互联网连接的情形下获取文档并提出问题！
”

PrivateGPT的特点是脚本可以摄取数据文件，将其分割成块，创建“embeddings”（文本含义的数字表示），并将这些嵌入存储在本地Chroma矢量存储中。
当你提出问题时，该运用程序会搜索干系文档，并将其发送给LLM以天生答案。

如果熟习Python以及如何设置Python项目，可以克隆完全的PrivateGPT存储库并在本地运行它。

想理解更多AIGC的内容，请访问：

51CTO AI.x社区

https://www.51cto.com/aigc/

来源： 51CTO技能栈