实测在Mac上运用Ollama与AI对话的过程 模型选择安装集成运用

Dolphin-2.5-Mixtral-8x7B的推出

Eric Hartford在mixtral-8x7b根本上微调推出了dolphin-2.5-mixtral-8x7b，这个模型非常聪明，善于编程，且不受限定。
它将相应所有用户提示，而不是判断。
它不会将道德强加给你，并且会显示可用的所有信息。

在Mac上安装Dolphin-2.5-Mixtral-8x7B

以下以Mac电脑为例，演示通过Ollama来安装dolphin-2.5-mixtral-8x7b。

Ollama建议安装电脑须要48G+内存。

Eric Hartford建议32G以上。

Ollama github地址：

https://github.com/jmorganca/ollama

安装模型很大略

Ollama还链接了很多UI和插件，利用起来很方便。

Ollama关于这个模型的地址：

https://ollama.ai/library/dolphin-mixtral/tags

运行中的寻衅与办理方案

我的电脑是M1 max 32G，一开始我运行8x7b-v2.5-q4_K_M，

ollama run dolphin-mixtral:8x7b-v2.5-q4_K_M

报错，显示：Error: llama runner process has terminated

我输入：cat ~/.ollama/logs/server.log，将log发给GPT，原来是内存不敷。

后我该为运行 ollama run dolphin-mixtral:8x7b-v2.5-q3_K_M

这次运行成功了。

客户端Ollamac的体验

我在ollama的github仓库里找到了一个客户端Ollamac

github地址：https://github.com/kevinhermawan/Ollamac

下载安装后，就可以选择模型，直接对话了。

这里，模型涌现了幻觉。

我还测了英文写邮件，回答问题，英文下回答还行，中文试了下，会天生奇怪的内容。

要不是我用过together ai网上的mixtral:8x7b，可能要对mixtral:8x7b失落望，我以为可能是我下载的模型太小了，精度不足。

模型在运行过程中，约占我电脑20G的内存。

回到文章开头，不知道大家是否把稳到，我特意标出了Yi-34B-Chat，这个评分也很高，而且据之前的媒体，这款对中文支持比较好，01.ai的"大众年夜众号发布了下图。

此外，01.ai"大众年夜众号引用李立鸿这段话：

我很好奇，于是下载安装了Yi-34B-Chat。

Ollama地址：https://www.ollama.ai/library/yi/tags

天生速率和电脑配置有很大关系，此外，如果输入文本较长，它的反应就会慢些。

初步体验，Yi-34B-Chat推理、写作中文输出能力都不错，比我用过的Grok、Mixtral-8x7B-Instruct-v0.1要好很多。
Yi-34B还有一个能处理高达40万汉字的超长文本版本，支持200K的超长高下文，为那些须要在更长的高下文中进行微调的开拓者打开了新的大门。

前文提到的Eric Hartford利用Yi-34B-200k来演习其他模型。

集成运用与快捷操作

我还将Ollama集成到Raycast，设定快捷键就可以快速引发了。

插件请在Raycast商店里搜索。

Ollamac里每开一个新对话，是可以选择不同模型的。

探索更多模型

我还下载体验了ollama run llava:13b，效果只能说还行。

地址：https://ollama.ai/library/llava/tags

在我考试测验了从Mixtral-8x7b到Yi-34B-ChatAI模型之后，深刻感想熏染到了AI技能的强大与多样性。

我建议Mac用户试试Ollama平台，不仅可以本地运行多种模型，还能根据须要对模型进行个性化微调，以适应特界说务。

让我们一起期待着AI未来会带给我们的更多惊喜。