ML Lab MCP

ML实验室MCP

一个全面的MCP（模型上下文协议）服务器，用于ML模型训练、微调和实验。将您的AI助手转化为完整的机器学习工程环境。

特性

统一凭证管理

• API密钥的加密保险库（Lambda Labs、RunPod、Mistral、OpenAI、Together AI等）
• 基于AES加密的PBKDF2密钥推导
• 从不以明文形式存储凭据

数据集管理

• 从本地文件或客户端提供的内容（JSONL、CSV、Parquet）注册数据集
• 直接上传数据集，无需服务器文件系统访问
• 自动模式推理和统计
• 列车/验证/测试拆分
• 基于模板的转换

实验跟踪

• SQLite支持的实验存储
• 版本控制和比较
• 通过修改配置进行分叉实验
• 完整的指标历史记录

多后端培训

• 本地：transformers+peft+trl用于本地GPU训练
• API米斯特拉尔：Mistral型号的原生微调
• 一起AI：托管微调服务
• 开放人工智能：GPT模型微调

云GPU配置

• Lambda实验室：H100、A100实例
• RunPod：定点和按需GPU
• 跨提供商的自动价格比较
• 基于成本和可用性的智能路由

远程VPS支持

• 使用任何SSH可访问的机器（Hetzner、Hostinger、OVH、家庭服务器、大学集群）
• 自动环境设置
• 通过rsync同步数据集
• 训练在tmux中运行（在断开连接时持续运行）
• 从月费中摊销的小时成本计算

成本估算

• 所有供应商的预培训成本估算
• 实时定价查询
• 基于模型和数据集大小的时间估计

Olama集成

• 将微调的GGUF模型部署到Ollama
• 从Ollama注册表中提取模型
• 直接从MCP进行聊天/推理测试
• 模型管理（列表、删除、复制）

打开WebUI集成

• 使用系统提示创建模型预设
• 知识库管理（RAG）
• 通过Open WebUI聊天（应用配置+知识）
• 无缝Olama↔ 打开WebUI工作流

安装

pip install ml-lab-mcp

# With training dependencies
pip install ml-lab-mcp[training]

# With cloud provider support
pip install ml-lab-mcp[cloud]

# Everything
pip install ml-lab-mcp[training,cloud,dev]

快速开始

1.初始化和创建Vault

ml-lab init
ml-lab vault create

2.添加提供商凭据

ml-lab vault unlock
ml-lab vault add --provider lambda_labs --api-key YOUR_KEY
ml-lab vault add --provider mistral --api-key YOUR_KEY

3.使用克劳德代码/克劳德桌面进行配置

添加到MCP配置中：

{
  "mcpServers": {
    "ml-lab": {
      "command": "ml-lab",
      "args": ["serve"]
    }
  }
}

MCP工具

凭证

数据集

实验

训练

基础设施

远程VPS

奥拉玛

打开WebUI

安全

法典整合（执行者LLM）

建筑：情报与执行的分离：

• 规划师法学硕士（克劳德）：推理、架构、权衡
• 执行者法学硕士（食品法典委员会）：精确的代码编辑+CLI工作
• 世界工具（ML实验室）：数据、培训、基础设施、部署

深度思维分析（Ollama推理模型）

分析类型:

• training -分析损失曲线、收敛性、超参数
• experiment -比较实验，提出改进建议
• activity -审查审计日志中的模式/异常
• cost -成本效益分析和建议
• dataset -数据质量和培训适用性

计划频率:

• after_training -训练完成时自动分析
• hourly / daily / weekly -定期审查

报告存储在 ~/.cache/ml-lab/reports/ 供历史参考。

工作流示例

User: Fine-tune Llama 3.1 8B on my customer support data

Claude: I'll help you fine-tune Llama 3.1 8B. Let me first check your data.

[Uses dataset_register to load ./support_data.jsonl]

Found 15,000 samples. Let me estimate the costs:

[Uses train_estimate]

| Provider      | Time   | Cost   | Availability |
|---------------|--------|--------|--------------|
| vps:hetzner-01| ~4h    | $0.28* | Idle         |
| Local (4090)  | ~12h   | $0     | Ready        |
| Lambda H100   | ~2h    | $5.50  | 3 available  |
| Together API  | ~4h    | $12    | Queued       |

*amortized from $200/mo

Which would you prefer?

User: Use Lambda Labs

Claude: [Uses experiment_create, then train_launch with backend=lambda]

Training started! Run ID: abc123
I'll monitor progress and let you know when it completes.

建筑

src/ml_lab/
├── server.py           # MCP server entry point (61 tools)
├── credentials.py      # Encrypted credential vault
├── cli.py              # Command-line interface
├── backends/
│   ├── base.py         # Training backend interface
│   ├── local.py        # Local GPU training
│   ├── mistral_api.py  # Mistral fine-tuning API
│   ├── together_api.py # Together AI API
│   ├── openai_api.py   # OpenAI fine-tuning API
│   └── vertex_api.py   # Google Vertex AI (Gemini)
├── cloud/
│   ├── base.py         # Cloud provider interface
│   ├── lambda_labs.py  # Lambda Labs integration
│   ├── runpod.py       # RunPod integration
│   ├── modal_provider.py # Modal integration
│   └── remote_vps.py   # Generic SSH VPS support (+ Tailscale)
├── storage/
│   ├── datasets.py     # Dataset management
│   └── experiments.py  # Experiment tracking
├── inference/
│   ├── ollama.py       # Ollama integration
│   ├── openwebui.py    # Open WebUI integration
│   └── thinking.py     # Deep thinking analysis (DeepSeek R1, QwQ)
├── integrations/
│   └── codex.py        # Codex CLI integration (executor LLM)
├── security/
│   └── audit.py        # Audit logging
└── evals/
    └── benchmarks.py   # Evaluation suite

安全

• 使用Fernet加密的凭据（AES-128-CBC）
• PBKDF2-SHA256密钥推导（480000次迭代）
• Vault文件权限设置为600（仅限所有者读/写）
• API密钥从未记录或未加密传输
• 审核日志记录：所有敏感操作都记录到 ~/.cache/ml-lab/audit.log
• 凭证过期：带轮换提醒的自动跟踪
• 尾秤支持：VPS连接的可选VPN要求
• SSH密钥轮换：自动旋转，故障时回滚

支持的提供商

计算提供商

• Lambda实验室（H100、A100、A10）
• RunPod（H100、A100、RTX 4090）
• Modal（无服务器GPU功能）

微调API

• Mistral AI（Mistral、Mixtral、Codestral）
• 一起AI（Llama、Mistral、Qwen）
• OpenAI（GPT-4o、GPT-3.5）
• 谷歌顶点AI（双子座1.5 Pro，双子座1.5 Flash）

模型中心

• 拥抱脸部中心
• 复制
• Ollama（当地GGUF型号）

贡献

欢迎投稿！请阅读CONTRIBUTING.md了解指南。

许可证

PolyForm Noncommercial 1.0.0-个人免费使用，联系获取商业许可。

看 许可证 了解详情。