Ollama是一个开源的大型措辞模型做事工具，它帮助用户快速在本地运行大模型，通过大略的安装指令，可以让用户实行一条命令就在本地运行开源大型措辞模型，例如 Llama2。这个框架简化了在Docker容器内支配和管理LLM的过程，使得用户能够快速地在本地运行大型措辞模型。
Ollama 将模型权重、配置和数据捆绑到一个包中，定义成 Modelfile。它优化了设置和配置细节，包括 GPU 利用情形。
二、Ollama的优点
1、易于利用
Ollama供应了一个大略的API，使得纵然是没有履历的用户也可以轻松利用。此外，它还供应了类似ChatGPT的谈天界面，用户无需开拓即可直接与模型进行谈天交互。
2、轻量级
Ollama的代码简洁明了，运行时占用资源少。这使得它能够在本地高效地运行，不须要大量的打算资源。
3、可扩展
Ollama支持多种模型架构，并可以扩展以支持新的模型。它还支持热加载模型文件，无需重新启动即可切换不同的模型，这使得它非常灵巧多变。
library
4、预构建模型库
Ollama供应了一个预构建模型库，可以用于各种任务，如文本天生、翻译、问答等。这使得在本地运行大型措辞模型变得更加随意马虎和方便。
三、Linux环境下安装Ollama
方案一：
直策应用官网供应的安装命令（Download Ollama on Linux）
curl -fsSL https://ollama.com/install.sh | sh
命令操作的确大略，但是官网高下载有个问题，便是网络传输的问题，有时远程下载会很慢，常常导致下载失落败。
方案二：
利用Docker办法构建支配Ollama做事
1、创建安装脚本文件
vi install-ollama-centos7.sh
写入下面的内容：
#!/bin/bash
info(){
echo -e "\033[34m 【`date \'+%Y-%m-%d %H:%M:%S\'`】\033[0m" "\033[35m$1\033[0m "
}
## 安装docker做事
install_docker(){
#!/bin/bash
info "安装依赖..."
yum -y install gcc
yum -y install gcc-c++
##验证gcc版本
gcc -v
info "安装Docker（指定版本：23.0.6）"
wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O/etc/yum.repos.d/docker-ce.repo
##更新yum软件包索引
yum makecache fast
## 安装docker ce cli
# 查看可安装版本：yum list docker-ce --showduplicates | sort -r
yum -y install docker-ce-23.0.6-1.el7 docker-ce-cli-23.0.6-1.el7
info "启动Docker并验证"
systemctl enable docker && systemctl start docker
docker version
# 增加海内镜像配置
cd /etc/docker
if [ ! -f "$daemon.json" ]; then
touch "$daemon.json"
else
rm -rf daemon.json
touch "$daemon.json"
fi
tee /etc/docker/daemon.json <<-'EOF'
{
"registry-mirrors": [
"https://hub.uuuadc.top",
"https://docker.anyhub.us.kg",
"https://dockerhub.jobcher.com",
"https://dockerhub.icu",
"https://docker.ckyl.me",
"https://docker.awsl9527.cn"
]
}
EOF
systemctl daemon-reload
systemctl restart docker
info "Docker（23.0.6）安装完毕！
"
}
# 安装 Ollama
install_Ollama(){
info "参考IP地址："$(hostname -I)
read -p "叨教，您当前做事器的内网IP地址是？:" inner_ip
inner_ip="${inner_ip:-127.0.0.1}"
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama --restart always ollama/ollama
info "ollama支配完毕，开始下载gemma大模型..."
docker exec -it ollama ollama run gemma “你好”
#docker exec -it ollama ollama run qwen2 “你好”
info "gemma大模型加载完成，开始支配webui界面..."
docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=http://${inner_ip}:11434 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.nju.edu.cn/open-webui/open-webui:main
eip=$(curl ifconfig.me/ip)
info "支配完毕，正在启动WEBUI界面，大约5分钟后，请访问：http://${eip}:3000"
}
# 方法调用
install_docker
install_Ollama
配置解释，该脚本会同时安装docker做事和ollama做事，以是用户不须要提前准备docker环境，如果客户做事器上已经有docker做事，则可把末了面的install_docker 调用注释掉即可。
这边已经配置了海内镜像地址了：
{
"registry-mirrors": [
"https://hub.uuuadc.top",
"https://docker.anyhub.us.kg",
"https://dockerhub.jobcher.com",
"https://dockerhub.icu",
"https://docker.ckyl.me",
"https://docker.awsl9527.cn"
]
}
镜像干系解释可以参考这个文档：
镜像配置解释
2、付与实行权限
chmod +x install-ollama-centos7.sh
3、实行安装程序
./install-ollama-centos7.sh
把稳不雅观察实行日志，有时会由于网络问题会导致容器镜像下载失落败，造成部分做事安装失落败了。安装失落败须要重新实行安装，实行前须要把已经起来的容器做事删除掉，在重新操作即可。
4、容器的干系操作
查看当前容器运行的做事列表
docker ps
停滞指定容器做事
docker stop 容器ID
删除指定容器做事
docker rm 容器ID
查看容器日志
docker logs -f open-webui
5、Ollama的模型下载
去Ollama的镜像库查找须要模型，然后实行下面的语句进行本地安装模型
library
docker exec -it ollama ollama run xxxx(模型名称) “你好”
至此关于Ollama在Linux上的安装操作已经全部先容完毕，大家在实际利用过程中如果有创造其他问题，可以留言进行沟通谈论。感谢大家不雅观看，如果觉得有帮助，记得点赞、收藏加关注。后续会持续更新这块干系内容，大家敬请期待。。。。