Hn Candidate MCP

HackerNews职位抓取器

一个基于Python的职位抓取器，从HackerNews的“Who's Hiring”线程中提取职位发布，并通过MCP（模型上下文协议）服务器将其公开，以便与Claude Desktop集成。

特性

• HackerNews爬虫：从HN线程中提取招聘信息并将其转换为结构化JSON
• MCP服务器：通过Claude Desktop的模型上下文协议公开抓取的数据
• 缓存：基于文件的缓存系统，避免重复请求
• 搜索：按关键字搜索招聘信息
• 作业详细信息：获取具体职位发布的完整详细信息

快速开始

1.设置环境

# Create and activate virtual environment
python3 -m venv venv
source venv/bin/activate  # On Windows: venv\Scripts\activate

# Install dependencies
pip install -r requirements.txt

2.测试刮板

# Run the scraper directly
python scraper.py

这将抓取默认的HackerNews线程，并显示找到了多少职位发布。

3.配置克劳德桌面

将以下内容添加到您的Claude Desktop设置中（通常在 ~/Library/Application Support/Claude/claude_desktop_config.json):

{
  "mcpServers": {
    "hn-job-scraper": {
      "command": "python3",
      "args": ["/path/to/your/project/mcp_server.py"],
      "env": {
        "PYTHONPATH": "/path/to/your/project"
      }
    }
  }
}

重要：替换 /path/to/your/project 带有此项目目录的实际路径。

4.开始使用Claude Desktop

配置后，您可以在Claude Desktop中使用这些工具：

• 搜索职位: search_jobs -按关键字搜索招聘信息（例如，“python”、“remote”、“senior”）
• 获取作业详细信息: get_job_details -获取特定职位发布的完整详细信息
• 刷新作业: refresh_jobs -清除缓存并获取新的作业数据

使用示例

命令行用法

# Activate virtual environment
source venv/bin/activate

# Run scraper
python scraper.py

# Start MCP server (usually called by Claude Desktop)
python mcp_server.py

Claude桌面集成

配置后，您可以询问Claude Desktop：

• “在最新的HackerNews招聘帖子中搜索Python工作”
• “寻找远程工作机会”
• “显示高级开发人员职位”
• “获取职位发布ID 12345的详细信息”

项目结构

hackernews-jobscraper/
├── scraper.py              # Core scraping functionality
├── mcp_server.py           # MCP server implementation
├── requirements.txt        # Python dependencies
├── claude_desktop_config.json  # Example Claude Desktop config
├── cache/                  # Cached job data (created automatically)
└── README.md              # This file

运作原理

1. 抓取：scraper从HackerNews的“谁在招聘”帖子中获取招聘信息
2. 缓存：结果在本地缓存以避免重复请求（1小时缓存）
3. MCP服务器：通过模型上下文协议公开数据
4. 克劳德集成：Claude Desktop可以搜索和分析招聘信息

配置

默认HackerNews线程

刮刀默认为线程ID 44434574。您可以通过修改 scrape_job_postings() 打电话 scraper.py.

缓存设置

缓存文件存储在 cache/ 目录，1小时后过期。这可以在 HackerNewsScraper 类。

故障排除

克劳德桌面找不到服务器

1. 确保路径 claude_desktop_config.json 是绝对路径
2. 确保虚拟环境已激活
3. 检查是否安装了所有依赖项
4. 配置更改后重新启动Claude Desktop

未找到职位发布

1. 检查您的互联网连接
2. 验证HackerNews线程ID是否有效
3. 尝试使用刷新作业数据 refresh_jobs 工具

发展

运行测试

# Test scraper functionality
python scraper.py

# Test MCP server (requires Claude Desktop or MCP client)
python mcp_server.py

添加新功能

该项目设计为可扩展的。你可以：

• 添加新的抓取源
• 实施其他搜索筛选器
• 增强职位发布元数据
• 添加数据导出功能

hn_candidate_mcp