quid (Coach Steff)

Quid MCP-通用内容访问平台

   

什么 （拉丁语：“什么？”）-一个模块化平台，供人工智能助手访问搜索引擎、登录墙和付费墙后面的内容。思考 “受保护文件的困惑”.

最初是为VITO EMIS环境门户网站构建的，现在发展成为一个基于插件架构的通用内容访问层。

视觉

在尊重身份验证、安全性和道德界限的同时，实现从受保护来源检索信息的民主化。使Claude和其他AI助手能够通过统一的界面访问不同的内容平台。

主要特点

✅ 插件架构 -每个内容源都是一个自包含的、可安装的插件\ ✅ 多种身份验证场景 -简单表单、API密钥、OAuth 2.0、CAPTCHA、2FA/MFA\ ✅ 多样化的内容类型 -HTML、PDF、表格、JSON API、Markdown\ ✅ 多个接口 -用于人工智能助手的CLI、REST API和MCP服务器\ ✅ 伦理框架 -内置负责任的内容访问指南\ ✅ 开源 -麻省理工学院授权、社区驱动的插件生态系统\ ✅ 会话管理 -具有适当并发处理的持久会话\ ✅ 向后兼容的 -现有的EMIS集成仍然有效

用例

• 🏥 医疗/制药：medicines.org.uk，美国食品药品监督管理局数据库，临床试验
• ⚖️ 法律/合规：Staatsblad Monitor、EUR Lex、法律数据库
• 🔬 研究：学术期刊、科学数据库、预印本服务器
• 🌍 环境的：环境管理信息系统门户，环境机构数据
• 💼 商业智能：行业报告、市场研究平台
• 📚 技术文档：API文档、开发人员门户网站

可用插件

• 机器信息系统的生态系统 -VITO环境信息系统（比利时）
• 模板 -创建新插件的入门模板

*更多插件即将推出！欢迎捐款。*

入门指南

Quid新手？ 从这里开始： 入门指南 🚀

先决条件

• 已安装Python 3.9+
• Docker和Docker Compose（可选-用于容器化部署）
• 目标站点的凭据（例如，EMIS门户电子邮件和密码）

安装

简易设置（推荐）：

为了获得最简单的安装体验，请使用我们特定于平台的设置脚本来指导您完成整个过程：

macOS：

# Double-click in Finder or run:
open macos/setup-quid.command

窗户：

REM Double-click in File Explorer or run:
windows\setup-quid.bat

安装脚本将提示您在以下选项之间进行选择：

• 虚拟环境 （Python venv）-更快，最适合开发，在91060端口上运行
• 码头工人 （容器化）-隔离环境，没有Python问题，在端口8906上运行

然后，它将自动：

1. 检查先决条件（Python或Docker）
2. 设置环境
3. 提示输入凭据
4. 为您配置一切

手动安装（高级）：

如果您更喜欢手动设置：

1. 导航到后端目录：

   cd backend

1. 创建虚拟环境：

   python3 -m venv venv
   source venv/bin/activate  # On Windows: venv\Scripts\activate

1. 安装依赖项：

   pip install -r requirements.txt
   playwright install chromium

1. 设置凭据：

   cp .env.example .env
   # Edit .env and add your credentials:
   # EMIS_EMAIL=your_email@example.com
   # EMIS_PASSWORD=your_password
   # PORT=91060

启动后端

轻松启动（推荐）：

如果您使用了安装脚本，启动也同样简单：

macOS：

# Double-click in Finder or run:
open macos/start-quid-backend.command

窗户：

REM Double-click in File Explorer or run:
windows\start-quid-backend.bat

Docker（如果你在安装过程中选择了Docker）：

docker-compose up
# Or run in background: docker-compose up -d

端口：

• 虚拟环境： http://localhost:91060
• Docker： http://localhost:8906

手动启动（高级）：

选项1：命令行

cd backend
python app.py

选项2：辅助脚本

cd backend
./start.sh

要停止后端：

• 虚拟环境： 按 Ctrl+C 在终端中，或运行： pkill -f "python.*app.py"
• Docker： docker-compose down
• macOS/Windows图形用户界面： 关闭终端/命令提示符窗口

验证安装

测试运行状况检查端点（使用适合您部署的端口）：

虚拟环境：

curl http://localhost:91060/

Docker：

curl http://localhost:8906/

您应该看到：

{"status": "ok", "service": "Quid MCP API", "version": "2.0.0"}

用法

1.命令行界面（CLI）

测试和使用刮刀的最简单方法：

# List available sites
./scrape list

# Query a site
./scrape query emis "BBT water treatment"

# Different output formats
./scrape query emis "water" --format json
./scrape query emis "water" --format table
./scrape query emis "water" --raw

# Check credentials
./scrape check emis

# View configuration
./scrape config emis

看 docs/user/CLI_USAGE.md 获取完整的CLI文档。

2.REST API

启动API服务器（见上文），然后使用（替换 PORT 使用您的部署端口： 91060 对于venv或 8906 Docker）：

# Health check
curl http://localhost:PORT/

# List legacy sites
curl http://localhost:PORT/sites

# List plugins
curl http://localhost:PORT/plugins

# Get plugin details
curl http://localhost:PORT/plugins/emis

# Enable/disable plugin
curl -X POST http://localhost:PORT/plugins/emis/enable
curl -X POST http://localhost:PORT/plugins/emis/disable

# Query default site (EMIS)
curl -X POST http://localhost:PORT/query \
  -H "Content-Type: application/json" \
  -d '{"query": "BBT water treatment"}'

# Query specific site (plugin or legacy)
curl -X POST http://localhost:PORT/query/your_site \
  -H "Content-Type: application/json" \
  -d '{"query": "search term"}'

示例：

# Virtual Environment (port 91060)
curl http://localhost:91060/plugins
curl http://localhost:91060/plugins/emis

# Docker (port 8906)
curl http://localhost:8906/plugins
curl http://localhost:8906/plugins/emis

3.MCP服务器

通过模型上下文协议连接，实现AI代理与Claude Desktop的集成。

快速设置：

1. 启动后端（见上文）
2. macOS：双击 macos/generate-mcp-config.command\

视窗：双击 windows\generate-mcp-config.bat

1. 将配置添加到Claude Desktop设置中
2. 重新启动克劳德桌面

看 MCP设置指南 有关详细的设置说明。

添加新网站

1. 创建配置 (backend/sites/your_site.yaml):

   site_id: your_site
   name: Your Website
   base_url: https://example.com

   auth:
     type: form_based
     login_url: https://example.com/login
     selectors:
       email_field: 'input[name="email"]'
       password_field: 'input[name="password"]'
       submit_button: 'button[type="submit"]'
     success_indicators:
       - type: url_change
         pattern: "!login"

   extraction:
     strategies:
       - type: table
         selector: 'table.results'
       - type: content
         selector: 'main'

1. 设置凭据:

   export YOUR_SITE_EMAIL=user@example.com
   export YOUR_SITE_PASSWORD=password

1. 测试IT:

   ./scrape check your_site
   ./scrape query your_site "test search"

看 docs/advanced/通用框架.md 获取完整的框架文档。

项目结构

emis/
├── backend/                    # Core scraping framework
│   ├── core/                  # Framework components
│   │   ├── scraper.py        # Generic scraper
│   │   ├── session_manager.py # Session handling
│   │   └── config_loader.py  # Config management
│   ├── auth/                  # Authentication strategies
│   │   ├── base.py
│   │   └── strategies/
│   ├── extractors/            # Data extraction
│   │   ├── table.py
│   │   └── content.py
│   ├── sites/                 # Site configurations
│   │   ├── emis.yaml
│   │   └── example.yaml
│   ├── cli.py                # Command-line interface
│   ├── app.py                # REST API server
│   └── scrape                # CLI wrapper script
├── mcp-server/               # MCP integration
├── macos/                     # macOS setup scripts (.command files)
├── windows/                   # Windows setup scripts (.bat files)
├── docs/                      # Documentation
│   ├── user/                 # User guides
│   ├── advanced/             # Advanced features
│   ├── troubleshooting/      # Troubleshooting guides
│   ├── testing/              # Testing scenarios
│   └── development/          # Developer docs
├── examples/                  # Example scripts and configs
├── LICENSE                    # MIT License
├── CONTRIBUTING.md            # Contribution guidelines
├── SECURITY.md                # Security policy
└── CHANGELOG.md               # Version history

快速测试

使用CLI进行测试

cd backend

# List sites
./scrape list

# Test query
./scrape query emis "test"

# Verbose output
./scrape -v query emis "test"

测试API

# Start server
python app.py

# In another terminal
curl http://localhost:38153/sites
curl -X POST http://localhost:38153/query/emis \
  -H "Content-Type: application/json" \
  -d '{"query": "test"}'

调试模式

# Watch browser in action
HEADLESS=false ./scrape query emis "test"

# Slow motion
PLAYWRIGHT_SLOW_MO=2000 ./scrape query emis "test"

文档

📚 基本指南

• 入门指南 -完整的初学者指南（从这里开始！）
• 快速参考 -命令备忘单
• 路线图 -发展路线图和未来计划
• 更新日志 -版本历史和更新

🔌 插件开发

• 插件模板 -创建自己的插件
• EMIS插件 -插件文档示例
• 道德准则 -负责任的使用框架

📖 用户指南

• CLI使用情况 -完整的CLI指南及其示例
• MCP设置 -为Claude Desktop设置MCP服务器
• 故障排除 -常见问题和解决方案

🛠️ 开发者指南

• 通用框架 -添加新站点并扩展框架
• 高级功能 -高级配置和定制
• 测试 -测试场景和最佳实践

安全说明

• 永不承诺 .env 文件或凭据
• 会话数据存储在本地 backend/data/sessions/
• 后端使用带有隐形插件的Playwright来避免被检测到
• 所有抓取都遵守速率限制，并使用类似人类的延迟

贡献

欢迎投稿！请看 贡献.md 作为指导方针。

贡献方式：

• 添加新站点配置
• 报告错误或请求功能
• 改进文档
• 添加新的身份验证/提取策略

许可证

此项目根据MIT许可证获得许可-请参阅 许可证 文件以获取详细信息。

致谢

• 内置于 剧作家 用于浏览器自动化
• 最初是为VITO EMIS门户网站开发的
• 演变为Quid MCP——一个通用的内容访问平台
• 受人工智能助手信息访问民主化需求的启发
• 社区驱动，欢迎捐款

支持

• 文档：参见 docs/ 目录
• 问题:
• 讨论:
• 安全：参见 安全.md 用于报告漏洞

______________________________________________________________________

⭐ 如果你觉得这个存储库有用，请为其加星！