过去一周真是惊喜连连。AI社区发布了多款备受瞩目的新模型：
StableLM-2–12BWizardLM-2–7B ♂️Meta-Llama-3–8B 和 70B可能是由于 StableLM 的架构相对更繁芜，至今还未推出其量化版本……但是，对付 WizardLM-2 和 Llama-3，我们在 Hugging Face 上已经可以看到 GGUF 模型二进制文件。
你须要准备什么
我们将利用 llama.cpp 库和 python 在本地快速启动模型。这只是一个初步的测试设置，虽然只有文本界面……但担保百分之百可行。
须要安装的依赖我们只需安装两个库：
python -m venv venvvenv\\Scripts\\activate # 激活虚拟环境
现在你已经拥有了一个干净的 Python 环境，我们将安装 llama-cpp-python 和 OpenAI 库：
pip install llama-cpp-python[server]==0.2.62pip install openai
把稳：之以是须要安装 OpenAI 库，是由于我们将利用 llama-cpp 附带的兼容 OpenAPI 做事器。这将为你未来的 Streamlit 或 Gradio 运用做好准备。
如果你有 Nvidia GPU如果你拥有 NVidia GPU，在实行 pip 命令前，你须要设置编译器标志：$env:CMAKE_ARGS="-DLLAMA_CUBLAS=on"pip install llama-cpp-python[server]==0.2.62pip install openai
这才是你真正须要的：以GGUF格式压缩的模型权重。
我考试测验了几个版本，但截至目前，唯一一个配备了固定分词器和谈天模板的版本是这个库：
Meta-Llama-3-8B-Instruct-GGUF：https://huggingface.co/QuantFactory/Meta-Llama-3-8B-Instruct-GGUF
前往HuggingFace的这个链接，点击“文件和版本”并选择Q2_K（仅3Gb）或Q4_K_M（4.9Gb）。第一个虽然不那么精确但速率更快，第二个在速率和精度上达到了较好的平衡。
在你的主项目目录中创建一个名为model的文件夹，并将GGUF文件下载到该文件夹内。
双终端策略
这里有个小技巧。最大略的方法是在一个终端窗口（激活虚拟环境后）运行 llama-cpp-server，在另一个终端窗口（同样激活虚拟环境后）运行与 API 交互的 python 文件。
因此，在主目录中打开另一个终端窗口并激活虚拟环境 venv。
Python文件我们的 Python 文件（我称之为 Llama3-ChatAPI ）是一个文本界面程序。它吸收我们的提示输入，并向API做事器发送/吸收指令，然后获取相应。
这很方便，由于它完备独立于你正在利用的模型。让我们来看一看：
# 在你的终端与智能助手谈天from openai import OpenAI# 指向本地做事器client = OpenAI(base_url="<http://localhost:8000/v1>", api_key="not-needed")
这里我们调用了 OpenAI 库，该库内置了标准API调用的类，我们实例化了客户端。
然后我们用第一对格式化历史：Python 字典的第一个条款是系统，第二个是用户提示，哀求模型先容自己。
history = [ {"role": "system", "content": "你是一个智能助手。你总是供应既精确又有用的经由寻思熟虑的回答。"}, {"role": "user", "content": "你好，请向第一次打开这个程序的人先容一下自己。请简洁明了。"},]print("\\033[92;1m")
这个奇怪的打印语句是一个ANSI转义码，用来改变终端颜色（如果你想理解更多，可以阅读这里：https://blog.stackademic.com/how-to-quickly-test-a-new-llm-without-wasting-time-17d1aa0ef858）。
现在我们开始一个while循环：基本上，我们总是要求用户的提示，并从我们的Meta-Llama-3–7B-instruct模型天生回答，直到我们说退出或退出。
while True: completion = client.chat.completions.create( model="local-model", # 这个字段目前未利用 messages=history, temperature=0.7, stream=True, ) new_message = {"role": "assistant", "content": ""} for chunk in completion: if chunk.choices[0].delta.content: print(chunk.choices[0].delta.content, end="", flush=True) new_message["content"] += chunk.choices[0].delta.content history.append(new_message) print("\\"\\033[91;1m" userinput = input("> ") if userinput.lower() in ["quit", "exit"]: print("\\033[0mBYE BYE!") break history.append({"role": "user", "content": userinput}) print("\\033[92;1m")
首次调用是为了完成谈天：实际上，我们已经有了一个关于模型的问题
“你好，请向第一次打开这个程序的人先容一下自己。请简洁明了。”
我们利用了 Stream 方法，因此 Python 将在 API 调用发送相应令牌的同时开始逐个显示相应。
把稳：如果你没有 GPU，这可能须要几秒钟的韶光，详细取决于提示的长度
末了，我们要求用户输入以准备开始新一轮：我们将新的提示添加到现有的谈天历史（history）中，以便Llama3可以开始处理它。
开始运行
在第一个终端窗口，激活虚拟环境后运行以下命令：
# 仅利用CPUpython -m llama_cpp.server --host 0.0.0.0 --model .\\model\\Meta-Llama-3-8B-Instruct.Q2_K.gguf --n_ctx 2048# 如果你有NVidia GPUpython -m llama_cpp.server --host 0.0.0.0 --model .\\model\\Meta-Llama-3-8B-Instruct.Q2_K.gguf --n_ctx 2048 --n_gpu_layers 28
这将启动与 OpenAI 标准兼容的 FastAPI 做事器。你该当会看到类似这样的东西：
做事器准备就绪时，Uvicorn会用俏丽的绿色灯光关照你：
把稳：我在这里只设置了2048个令牌作为高下文：实际上Llama3能够处理高达8192个令牌的高下文，但这同样也会花费RAM或VRAM，以是我们暂时保持较低的设置（以免GPU崩溃）
把稳2：这个8B参数模型实际上有33层，但我只将个中28层设置为GPU。试试看你自己能在不崩溃的情形下卸载多少层。
把稳3：在这个例子中我利用的是Q2版本Meta-Llama-3–8B-Instruct.Q2_K.gguf。改换为Q4_K_M文件名以运行4位量化版本
创建其余一个终端，该窗口用于激活虚拟环境后运行
python .\\Llama3-ChatAPI.py
现在，你已经准备好了。为所欲为地提出任何问题。
这是我与 Meta-Llama-3–8b-Instruct 的对话...
额外福利 — 你可以在Hugging Face Chat上免费运行它
如果你以为麻烦或想考试测验70B模型版本，你可以直接在HuggingFace Hub Chat这里进行：
HuggingChat：https://huggingface.co/chat/
资源：
Meta-Llama-3-8B-Instruct-GGUF：https://huggingface.co/QuantFactory/Meta-Llama-3-8B-Instruct-GGUFANSI转义码，用来改变终端颜色：https://blog.stackademic.com/how-to-quickly-test-a-new-llm-without-wasting-time-17d1aa0ef858HuggingChat：https://huggingface.co/chat/点赞关注 二师兄 talk 获取更多资讯，并在 头条 上阅读我的短篇技能文章