由于我的运用很多都是调用ollama的,如果能在AiStudio上跑ollama做事,那么用起来该当是非常的方便。
于是我就考试测验了一下在AiStudio话你就能够上安装支配ollama。

ollama的支配指南:https://github.com/ollama/ollama/blob/main/docs/linux.md

首先试了一下推举的自动安装方法:

curl -fsSL https://ollama.com/install.sh | sh

失落败了。

在AiStudio上跑Ollama让免费GPU本钱用起来更方便

于是采取手动安装,首先建一个终端:

下载:https://ollama.com/download/ollama-linux-amd64

保存到work目录下。
然后进行改名,增加实行权限:

mv ollama-linux-amd64 ollamachmod +x ollama

然后在work目录下实行:

./ollama serve &

看到类似如下提示便是启动成功。

想用哪个模型,就再建立一个终端,在里面直接ollama pull即可,命令如下:

./ollama pull qwen

如下图所示,成功下载模型

然后实行代码:

from openai import OpenAIclient = OpenAI( base_url = 'http://localhost:11434/v1', api_key='ollama', # required, but unused)response = client.chat.completions.create( model="qwen", messages=[ {"role": "system", "content": "你是一个智能助手."}, {"role": "user", "content": "请先容一下北京"}, ])print(response.choices[0].message.content)

返回如下:

北京是中国的一个主要城市。
北京有着悠久的历史,被誉为“古都”。
北京是一个繁华的城市,拥有浩瀚的商业举动步伐和娱乐场所。
北京是一个多元化的城市,拥有着独特的人文风情。

成功。