Hermes-Agent部署Ollama本地大模型

SSC008

Hermes-Agent部署Ollama本地大模型
注意：Hermes-Agent限制还是很多。如Gemma不支持调用工具所以无法接入Hermes。Hermes Agent 强制要求模型至少 64K 上下文，所以很多本地模型也用不了。

---

建议选择：
1. qwen2.5:7b-instruct（通义千问 7B）
上下文：128K ✅ 完美满足 Hermes 要求速度快、不吃显存、笔记本完美运行
2. llama3.1:8b-instruct-q8_0
上下文：128K ✅ 完美满足

---

下载Ollama执行文件：
https://modelscope.cn/models/Lixiang/ollama-release/summary
安装：
apt install python3-pip
pip install modelscope -Umodelscope download --model=Lixiang/ollama-release --local_dir . --revision v0.11.4
sudo chmod 777
./linux-install.sh
下载模型：
格式：ollama run （模型名）

Model	Parameters	Size	Download
Gemma 3	1B	815MB	ollama run gemma3:1b
Gemma 3	4B	3.3GB	ollama run gemma3
Gemma 3	12B	8.1GB	ollama run gemma3:12b
Gemma 3	27B	17GB	ollama run gemma3:27b
QwQ	32B	20GB	ollama run qwq
DeepSeek-R1	7B	4.7GB	ollama run deepseek-r1
DeepSeek-R1	671B	404GB	ollama run deepseek-r1:671b
Llama 4	109B	67GB	ollama run llama4:scout
Llama 4	400B	245GB	ollama run llama4:maverick
Llama 3.3	70B	43GB	ollama run llama3.3
Llama 3.2	3B	2.0GB	ollama run llama3.2
Llama 3.2	1B	1.3GB	ollama run llama3.2:1b
Llama 3.2 Vision	11B	7.9GB	ollama run llama3.2-vision
Llama 3.2 Vision	90B	55GB	ollama run llama3.2-vision:90b
Llama 3.1	8B	4.7GB	ollama run llama3.1
Llama 3.1	405B	231GB	ollama run llama3.1:405b
Phi 4	14B	9.1GB	ollama run phi4
Phi 4 Mini	3.8B	2.5GB	ollama run phi4-mini
Mistral	7B	4.1GB	ollama run mistral
Moondream 2	1.4B	829MB	ollama run moondream
Neural Chat	7B	4.1GB	ollama run neural-chat
Starling	7B	4.1GB	ollama run starling-lm
Code Llama	7B	3.8GB	ollama run codellama
Llama 2 Uncensored	7B	3.8GB	ollama run llama2-uncensored
LLaVA	7B	4.5GB	ollama run llava
Granite-3.3	8B	4.9GB	ollama run granite3.3

安装完成后可与Ollama模型聊天：
ollama run （模型名）
对接Hermes-Agent
1、安装依赖pip install ollama
2、更改hermes模型hermes model
选择Custom提示输入url：http://127.0.0.1:11434/v1
自动识别模型一路回车

对接成功：

其他命令：
1、Ollama进程 ollama ps
2、删除ollama模型 ollama rm 模型名
3、停止模型 ollama stop 模型名
4、开启模型 ollama run 模型名
5、下载模型（可直接使用4）ollama pull 模型名