Ollama是一个开源的大型措辞模型做事工具,它帮助用户快速在本地运行大模型,通过大略的安装指令,可以让用户实行一条命令就在本地运行开源大型措辞模型,例如 Llama2。
这个框架简化了在Docker容器内支配和管理LLM的过程,使得用户能够快速地在本地运行大型措辞模型。

Ollama 将模型权重、配置和数据捆绑到一个包中,定义成 Modelfile。
它优化了设置和配置细节,包括 GPU 利用情形。

二、Ollama的优点

1、易于利用

Linux安装Ollama实现本地AI做事的搭建

Ollama供应了一个大略的API,使得纵然是没有履历的用户也可以轻松利用。
此外,它还供应了类似ChatGPT的谈天界面,用户无需开拓即可直接与模型进行谈天交互。

2、轻量级

Ollama的代码简洁明了,运行时占用资源少。
这使得它能够在本地高效地运行,不须要大量的打算资源。

3、可扩展

Ollama支持多种模型架构,并可以扩展以支持新的模型。
它还支持热加载模型文件,无需重新启动即可切换不同的模型,这使得它非常灵巧多变。

library

4、预构建模型库

Ollama供应了一个预构建模型库,可以用于各种任务,如文本天生、翻译、问答等。
这使得在本地运行大型措辞模型变得更加随意马虎和方便。

三、Linux环境下安装Ollama

方案一:

直策应用官网供应的安装命令(Download Ollama on Linux)

curl -fsSL https://ollama.com/install.sh | sh

命令操作的确大略,但是官网高下载有个问题,便是网络传输的问题,有时远程下载会很慢,常常导致下载失落败。

方案二:

利用Docker办法构建支配Ollama做事

1、创建安装脚本文件

vi install-ollama-centos7.sh

写入下面的内容:

#!/bin/bash

info(){

echo -e "\033[34m 【`date \'+%Y-%m-%d %H:%M:%S\'`】\033[0m" "\033[35m$1\033[0m "

}

## 安装docker做事

install_docker(){

#!/bin/bash

info "安装依赖..."

yum -y install gcc

yum -y install gcc-c++

##验证gcc版本

gcc -v

info "安装Docker(指定版本:23.0.6)"

wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O/etc/yum.repos.d/docker-ce.repo

##更新yum软件包索引

yum makecache fast

## 安装docker ce cli

# 查看可安装版本:yum list docker-ce --showduplicates | sort -r

yum -y install docker-ce-23.0.6-1.el7 docker-ce-cli-23.0.6-1.el7

info "启动Docker并验证"

systemctl enable docker && systemctl start docker

docker version

# 增加海内镜像配置

cd /etc/docker

if [ ! -f "$daemon.json" ]; then

touch "$daemon.json"

else

rm -rf daemon.json

touch "$daemon.json"

fi

tee /etc/docker/daemon.json <<-'EOF'

{

"registry-mirrors": [

"https://hub.uuuadc.top",

"https://docker.anyhub.us.kg",

"https://dockerhub.jobcher.com",

"https://dockerhub.icu",

"https://docker.ckyl.me",

"https://docker.awsl9527.cn"

]

}

EOF

systemctl daemon-reload

systemctl restart docker

info "Docker(23.0.6)安装完毕!
"

}

# 安装 Ollama

install_Ollama(){

info "参考IP地址:"$(hostname -I)

read -p "叨教,您当前做事器的内网IP地址是?:" inner_ip

inner_ip="${inner_ip:-127.0.0.1}"

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama --restart always ollama/ollama

info "ollama支配完毕,开始下载gemma大模型..."

docker exec -it ollama ollama run gemma “你好”

#docker exec -it ollama ollama run qwen2 “你好”

info "gemma大模型加载完成,开始支配webui界面..."

docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=http://${inner_ip}:11434 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.nju.edu.cn/open-webui/open-webui:main

eip=$(curl ifconfig.me/ip)

info "支配完毕,正在启动WEBUI界面,大约5分钟后,请访问:http://${eip}:3000"

}

# 方法调用

install_docker

install_Ollama

配置解释,该脚本会同时安装docker做事和ollama做事,以是用户不须要提前准备docker环境,如果客户做事器上已经有docker做事,则可把末了面的install_docker 调用注释掉即可。

这边已经配置了海内镜像地址了:

{

"registry-mirrors": [

"https://hub.uuuadc.top",

"https://docker.anyhub.us.kg",

"https://dockerhub.jobcher.com",

"https://dockerhub.icu",

"https://docker.ckyl.me",

"https://docker.awsl9527.cn"

]

}

镜像干系解释可以参考这个文档:

镜像配置解释

2、付与实行权限

chmod +x install-ollama-centos7.sh

3、实行安装程序

./install-ollama-centos7.sh

把稳不雅观察实行日志,有时会由于网络问题会导致容器镜像下载失落败,造成部分做事安装失落败了。
安装失落败须要重新实行安装,实行前须要把已经起来的容器做事删除掉,在重新操作即可。

4、容器的干系操作

查看当前容器运行的做事列表

docker ps

停滞指定容器做事

docker stop 容器ID

删除指定容器做事

docker rm 容器ID

查看容器日志

docker logs -f open-webui

5、Ollama的模型下载

去Ollama的镜像库查找须要模型,然后实行下面的语句进行本地安装模型

library

docker exec -it ollama ollama run xxxx(模型名称) “你好”

至此关于Ollama在Linux上的安装操作已经全部先容完毕,大家在实际利用过程中如果有创造其他问题,可以留言进行沟通谈论。
感谢大家不雅观看,如果觉得有帮助,记得点赞、收藏加关注。
后续会持续更新这块干系内容,大家敬请期待。