Ollama是一个开源的大型措辞模型做事工具,它帮助用户快速在本地运行大模型,通过大略的安装指令,可以让用户实行一条命令就在本地运行开源大型措辞模型,例如 Llama2。这个框架简化了在Docker容器内支配和管理LLM的过程,使得用户能够快速地在本地运行大型措辞模型。
Ollama 将模型权重、配置和数据捆绑到一个包中,定义成 Modelfile。它优化了设置和配置细节,包括 GPU 利用情形。
二、Ollama的优点
1、易于利用
Ollama供应了一个大略的API,使得纵然是没有履历的用户也可以轻松利用。此外,它还供应了类似ChatGPT的谈天界面,用户无需开拓即可直接与模型进行谈天交互。
2、轻量级
Ollama的代码简洁明了,运行时占用资源少。这使得它能够在本地高效地运行,不须要大量的打算资源。
3、可扩展
Ollama支持多种模型架构,并可以扩展以支持新的模型。它还支持热加载模型文件,无需重新启动即可切换不同的模型,这使得它非常灵巧多变。
library
4、预构建模型库
Ollama供应了一个预构建模型库,可以用于各种任务,如文本天生、翻译、问答等。这使得在本地运行大型措辞模型变得更加随意马虎和方便。
三、Linux环境下安装Ollama
方案一:
直策应用官网供应的安装命令(Download Ollama on Linux)
curl -fsSL https://ollama.com/install.sh | sh
命令操作的确大略,但是官网高下载有个问题,便是网络传输的问题,有时远程下载会很慢,常常导致下载失落败。
方案二:
利用Docker办法构建支配Ollama做事
1、创建安装脚本文件
vi install-ollama-centos7.sh
写入下面的内容:
#!/bin/bash
info(){
echo -e "\033[34m 【`date \'+%Y-%m-%d %H:%M:%S\'`】\033[0m" "\033[35m$1\033[0m "
}
## 安装docker做事
install_docker(){
#!/bin/bash
info "安装依赖..."
yum -y install gcc
yum -y install gcc-c++
##验证gcc版本
gcc -v
info "安装Docker(指定版本:23.0.6)"
wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O/etc/yum.repos.d/docker-ce.repo
##更新yum软件包索引
yum makecache fast
## 安装docker ce cli
# 查看可安装版本:yum list docker-ce --showduplicates | sort -r
yum -y install docker-ce-23.0.6-1.el7 docker-ce-cli-23.0.6-1.el7
info "启动Docker并验证"
systemctl enable docker && systemctl start docker
docker version
# 增加海内镜像配置
cd /etc/docker
if [ ! -f "$daemon.json" ]; then
touch "$daemon.json"
else
rm -rf daemon.json
touch "$daemon.json"
fi
tee /etc/docker/daemon.json <<-'EOF'
{
"registry-mirrors": [
"https://hub.uuuadc.top",
"https://docker.anyhub.us.kg",
"https://dockerhub.jobcher.com",
"https://dockerhub.icu",
"https://docker.ckyl.me",
"https://docker.awsl9527.cn"
]
}
EOF
systemctl daemon-reload
systemctl restart docker
info "Docker(23.0.6)安装完毕!
"
}
# 安装 Ollama
install_Ollama(){
info "参考IP地址:"$(hostname -I)
read -p "叨教,您当前做事器的内网IP地址是?:" inner_ip
inner_ip="${inner_ip:-127.0.0.1}"
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama --restart always ollama/ollama
info "ollama支配完毕,开始下载gemma大模型..."
docker exec -it ollama ollama run gemma “你好”
#docker exec -it ollama ollama run qwen2 “你好”
info "gemma大模型加载完成,开始支配webui界面..."
docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=http://${inner_ip}:11434 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.nju.edu.cn/open-webui/open-webui:main
eip=$(curl ifconfig.me/ip)
info "支配完毕,正在启动WEBUI界面,大约5分钟后,请访问:http://${eip}:3000"
}
# 方法调用
install_docker
install_Ollama
配置解释,该脚本会同时安装docker做事和ollama做事,以是用户不须要提前准备docker环境,如果客户做事器上已经有docker做事,则可把末了面的install_docker 调用注释掉即可。
这边已经配置了海内镜像地址了:
{
"registry-mirrors": [
"https://hub.uuuadc.top",
"https://docker.anyhub.us.kg",
"https://dockerhub.jobcher.com",
"https://dockerhub.icu",
"https://docker.ckyl.me",
"https://docker.awsl9527.cn"
]
}
镜像干系解释可以参考这个文档:
镜像配置解释
2、付与实行权限
chmod +x install-ollama-centos7.sh
3、实行安装程序
./install-ollama-centos7.sh
把稳不雅观察实行日志,有时会由于网络问题会导致容器镜像下载失落败,造成部分做事安装失落败了。安装失落败须要重新实行安装,实行前须要把已经起来的容器做事删除掉,在重新操作即可。
4、容器的干系操作
查看当前容器运行的做事列表
docker ps
停滞指定容器做事
docker stop 容器ID
删除指定容器做事
docker rm 容器ID
查看容器日志
docker logs -f open-webui
5、Ollama的模型下载
去Ollama的镜像库查找须要模型,然后实行下面的语句进行本地安装模型
library
docker exec -it ollama ollama run xxxx(模型名称) “你好”
至此关于Ollama在Linux上的安装操作已经全部先容完毕,大家在实际利用过程中如果有创造其他问题,可以留言进行沟通谈论。感谢大家不雅观看,如果觉得有帮助,记得点赞、收藏加关注。后续会持续更新这块干系内容,大家敬请期待。。。。