ollama CLI MCP

ollama_cli-mcp

一个轻量级的Python桥，将基于Ollama CLI的本地LLM与简单的MCP（模型上下文协议）服务器连接起来。支持实时工具调用、用户退出前的交互式对话以及关机时的自动VRAM清理。

该项目旨在与通过Ollama CLI运行的本地LLM模型结合MCP（模型上下文协议）服务器一起使用。\ 这是一个实验项目，旨在验证在Ollama上运行的AI模型是否可以与MCP服务器有效通信。

特性

• 使MCP能够运行通过Ollama CLI安装的任何本地模型
• 向本地Ollama HTTP API发送MCP客户端请求
• 支持交互式聊天，直到手动停止
• 包括可选 keep_alive=0 请求在网桥停止时卸载模型并释放GPU VRAM
• 完全本地——模型下载后不需要互联网连接
• 使用Python和Ollama进行最小设置
• 集成MCP工具：获取当前时间、列出文件夹中的文件、读取文件（包括PDF）和执行网络搜索

需求

• Windows 11/macOS/Linux（在Windows 11上测试）
• Python 3.10+
• Ollama CLI已安装
• MCP兼容客户端

如何使用

1.安装Ollama并下载模型

• 安装 奥拉马 适用于您的操作系统
• 下载所需模型（示例： gpt-oss:20b):

ollama pull gpt-oss:20b

2.克隆 ollama_cli_mcp

选项1：以ZIP格式下载

• 点击 “代码” → “下载ZIP”
• 解压缩下载的ZIP

选项2：使用Git进行克隆

git clone https://github.com/AIMIZING/ollama_cli_mcp.git
cd ollama_cli_mcp

3.设置Python环境

创建并激活虚拟环境：

python -m venv .venv
# Windows (PowerShell)
.venv\Scripts\activate.ps1
# Windows (Command Prompt)
.venv\Scripts\activate
# macOS / Linux
source .venv/bin/activate

安装必要的Python包以支持MCP：

使用提供的 requirements.txt 所有依赖项的文件：

pip install -r requirements.txt

如果您更喜欢手动安装：

pip install mcp fastmcp requests pypdf2 duckduckgo-search

4.配置环境变量（可选）

设置以下环境变量以自定义行为：

• OLLAMA_HOST：ollama服务器URL（默认值： http://127.0.0.1:11434)
• OLLAMA_MODEL：型号名称（默认值： gpt-oss:20b)
• DEBUG：启用调试日志记录（设置为 1 对于详细输出，默认值为： 0)

示例（Windows PowerShell）：

$env:OLLAMA_HOST="http://127.0.0.1:11434"
$env:OLLAMA_MODEL="gpt-oss:20b"
$env:DEBUG="1"

5.运行桥接（MCP+Ollama HTTP API）

bridge_http.py 将启动MCP服务器并将其连接到本地Ollama HTTP API。 直接运行它：

python bridge_http.py

当你关闭这座桥时，它会发出 keep_alive=0 请求Ollama卸载模型并释放VRAM。

交互示例

运行后，您可以提出利用MCP工具的问题：

“现在是什么时间？”

该请求将被发送到MCP服务器，该服务器与Ollama驱动的本地AI模型通信。\ 该模型将处理请求并以当前时间进行响应。

其他示例：

• 列出“asset”文件夹中的文件
• “阅读‘asset/apple_research.pdf’的内容。”
• “在网上搜索‘Python教程’。”

______________________________________________________________________

备注

• 在启动桥之前，确保Ollama正在运行(ollama serve).
• 模型必须通过以下方式提取 ollama pull 使用前。
• 退出时VRAM会自动释放，但您也可以运行 ollama stop 手动卸载。
• 如果您遇到模块错误（例如。， ModuleNotFoundError)，确保所有包裹来自 requirements.txt 安装在虚拟环境中。
• 对于故障排除，启用 DEBUG=1 查看详细日志。
• 如果希望模型以英语响应，请在中修改SYSTEM_PROMPT bridge_http.py 请求英文回复。