本地llm-mcp集成
本地LLM部署使用Docker、Ollama和自定义MCP服务器，并集成基于REST的API。
______________________________________________________________________
堆栈
- Python 3.11
- 快速API
- Uvicorn
- Docker&Docker编写
- 奥利玛（米斯特拉尔）
- REST API
- OpenAPI/Swagger
______________________________________________________________________
建筑
FastAPI MCP服务器→ 奥拉玛→ 西北风模型→ JSON响应
MCP服务器公开了结构化的工具端点，这些端点通过Ollama与本地部署的LLM进行内部通信。
______________________________________________________________________
项目结构
.
├── mcp_server.py
├── requirements.txt
├── Dockerfile
├── docker-compose.yml
├── index.html
├── images/
└── README.md______________________________________________________________________
端点
GET /health–健康检查GET /tools–列出可用工具POST /call-tool–执行工具GET /test/{tool_name}–工具测试终点GET /docs–Swagger用户界面
______________________________________________________________________
运行项目
docker compose up --build启动后：
FastAPI：\ http://localhost:8000
Swagger用户界面：\ http://localhost:8000/docs
API Ollama：\ http://localhost:11434
______________________________________________________________________
服务器正在运行
______________________________________________________________________
Swagger API
______________________________________________________________________
健康检查
______________________________________________________________________
Docker容器
______________________________________________________________________
通过Curl进行LLM测试
______________________________________________________________________
Web测试客户端
______________________________________________________________________
这个项目展示了什么
- 本地LLM部署
- 集装箱化人工智能基础设施
- 基于REST的MCP服务器实现
- FastAPI后端集成
- 基于工具的架构设计
- 通过OpenAPI公开结构化API
- 健康监控和容器编排
______________________________________________________________________
作者
大学项目-本地法学硕士基础设施和MCP集成