一、序言先容
7月16日- H2O.AI最近开源了两个可以在智好手机设备上运行的大模型(LLM)：h2o-danube3-4b-base和h2o-danube3-4b-chat。这两个模型都是在开源的[H2O LLM Studio]上进行演习和微调，个中带base后缀的为根本模型，chat后缀是针对谈天场景进行微调的模型。H2O-Danube技能对Llama2开源模型构造的调度后把参数压缩到4b，利用Mistral tokenizer技能把词汇量压缩到32,000，模型到高下文长度为8,192。
7月18日- OpenAI宣告免费对所有人开放GPT-4o mini，作为 GPT-3.5 Turbo的平替，OpenAI号称是其最具性价比的小型模型。其 API 价格每百万输入 token 仅为 15 美分，比 GPT-3.5 Turbo 便宜 60% 以上。
7月18日 -OpenAI开拓min的同一天，mistral.ai联合英伟达打造的小型模型Mistral NeMo开源。参数量为 120 亿（12B），高下文窗口为 128k，在Apache 2.0容许下发布。
仅仅几天，就开源了多个大措辞模型。可以看出，大模型的竞争已经进入到白日化，而轻量化、隐私保护变得尤为主要，这样它们可以在移动设备上进行私有化支配。设想一个AI助手，它能够深入剖析你的各种数据，并且完备在你的设备上运行，无需将数据传输到网络中，这无疑会极大提升用户对其的信赖度。比较之下，那些仅存在于企业云真个AI，只管功能更为强大，但在安全性和可靠性方面却可能存在隐患。
那么，如何在手机上支配本地化大模型呢？本文将手把手教完玉成部过程的支配，让你无时无刻的体验AI带来的超炫体验。
二、电脑支配
支配之前我们不得不说说开源大模型管理工具Ollama，Ollama险些支持所有的开源模型，包括最新出来的mathstral模型：
Ollama开源代码如下：
https://github.com/ollama/ollama
Ollama工具支持在Windows、MacOS和Linux、docker虚拟机等系统上运行，也支持Library(js/python)的办法利用，非常的强大、灵巧。在windows上支配很大略。
(1)下载Ollama.exe安装
https://ollama.com/download/OllamaSetup.exe
(2)设置环境变量
C:\Users\xx\AppData\Local\Programs\Ollama
(3)下载大模型
下面的命令可以下载，llama3 8B和小模型mathstral
ollama listollama run llama3ollama run mathstral
(4)支配AI助理:open-webui（这里推举这个）
git clone https://github.com/open-webui/open-webuicd open-webuidocker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
(5)运行网页：
登录网址：http://localhost:3000/，然后选择本地模型,然后就可以对话谈天了。
三、手机支配
在Android手机上支配大模型，事理和电脑一样，不同的地方手机须要一个可以运行Linux命令的环境。以是手机支配大模型，我们用到两个app，一个可以运行Linux命令的APP为：Ternux，另一个可以运行大模型的前端运用APP：maid
手机配置情形：
项目
配置情形
手机型号
ROG phone5
Android版本
Android11
CPU
2.8GHz 8核
Memory
12GB
存储空间
512GB
(1)下载安装开源APP：Ternux。下载地址为
https://github.com/termux/termux-app/releases
安装Ternux后的界面如下
(2)安装Linux环境：在Termux中利用proot-distro安装一个Linux系统。
// first install proot-distropkg install proot-distro//using proot-distro install debian os systemproot-distro install debian// loginproot-distro login debian
(3)安装Ollama：利用Termux安装Ollama，Linux命令如下：
curl -fsSL https://ollama.com/install.sh | sh #安装ollamaollama -v #版本情形nohup ollama serve & #后台运行ollama做事，这样就可以通过ollama命令运行大模型ollama run mathstral #运行大模型，如果不存在，则下载此大模型
(4)安装客户端运用:maid-android-arm64-v8a.apk
https://github.com/Mobile-Artificial-Intelligence/maid
(5)配置maid选择大模型：
Ollama+mathstral:latest(模型)，之后在手机离线状态下，我们依然可以和本地AI Agent进行对话了。
四、总结
本文通过在PC侧和手机侧利用Ollama支配本地化大模型，同时还搭建本地AI助理运用，来先容了AI大模型的利用的一些基本思路方法。
上风：
(1)本文先容的工具，均为开源工具，我们可以很方便的修正或者定制化自己的产品。
(2)通过Ollama可以很方便在手机或者PC搭建一个CS架构的AI本地化大模型，一键安装，命令大略。
(3)Ollama相称于一个大模型管理和做事工具。通过Ollama支配之后，我们可以安装不同的UI来访问本地化的AI大模型。
不敷之处：
(1)在手机侧无法很好利用GPU和DSP等硬件资源，导致模型运行速率比较卡顿，体验上还有很大优化空间。
(2)maid中文prompt输入，回答输出依然是英文，中文的支持还须要定制化修正，幸亏maid为开源的软件，用户可以自己定制化自己的措辞。
(3)手机侧须要通过Termux仿照工具来安装Ollama，当前还没有能直接安装在手机上的Ollama运用。
参考文章：《ollama-open-source-llms-anywhere》https://www.exxactcorp.com/blog/deep-learning/ollama-open-source-llms-anywhere
敲码不易，欢迎转发和点赞！