Olostep MCP服务器
一种模型上下文协议（MCP）服务器实现，与 Olostep 用于网络抓取、内容提取和搜索功能。 要设置Olostep MCP服务器，您需要一个API密钥。您可以通过在 Olostep网站.
特性
- 以HTML、Markdown、JSON或纯文本形式抓取网站内容（带可选解析器）
- 基于解析器的结构化结果网络搜索
- 带有引用和可选JSON格式输出的AI答案
- 批量抓取多达10k个URL
- 从起始URL自动抓取网站
- 网站URL发现和映射（带包含/排除过滤器）
- 针对特定国家的地理定位内容请求路由
- JavaScript密集型网站的可配置等待时间
- 全面的错误处理和报告
- 简单的API密钥配置
安装
有多种方法可以连接到Olostep MCP服务器。选择最适合您工作流程的一个。
☁️ 远程端点（推荐）
最简单的方法是不需要本地安装。直接连接到我们托管的MCP服务器：
https://mcp.olostep.com/mcp身份验证是通过 Bearer 令牌在 Authorization 使用Olostep API密钥的标头。请参阅 客户端设置 以下部分为配置示例。
🐳 Docker 中心
拉取并运行官方Docker镜像：
docker pull olostep/mcp-server
docker run -i --rm \
-e OLOSTEP_API_KEY="your-api-key" \
olostep/mcp-server🔧 本地Docker构建
如果您更喜欢从源代码自己构建映像：
git clone https://github.com/olostep/olostep-mcp-server.git
cd olostep-mcp-server
npm install
npm run build
docker build -t olostep/mcp-server:local .
docker run -i --rm -e OLOSTEP_API_KEY="your-api-key" olostep/mcp-server:local📦 npx
使用npx无需任何安装即可运行：
env OLOSTEP_API_KEY=your-api-key npx -y olostep-mcp在Windows（PowerShell）上：
$env:OLOSTEP_API_KEY = "your-api-key"; npx -y olostep-mcp在Windows（CMD）上：
set OLOSTEP_API_KEY=your-api-key && npx -y olostep-mcp或全局安装：
npm install -g olostep-mcp客户端设置
光标
最简单的方法是使用远程端点。创建或编辑 .cursor/mcp.json 在项目根目录中：
{
"mcpServers": {
"olostep": {
"url": "https://mcp.olostep.com/mcp",
"headers": {
"Authorization": "Bearer YOUR_API_KEY_HERE"
}
}
}
}备选方案（当地）： 转到光标设置>功能>MCP服务器，单击“+添加新MCP服务器”：
- 姓名：
olostep - 类型：
command - 命令：
env OLOSTEP_API_KEY=your-api-key npx -y olostep-mcp
克劳德桌面版
将此添加到您的 claude_desktop_config.json:
{
"mcpServers": {
"mcp-server-olostep": {
"command": "npx",
"args": ["-y", "olostep-mcp"],
"env": {
"OLOSTEP_API_KEY": "YOUR_API_KEY_HERE"
}
}
}
}替代方案（Docker）：
{
"mcpServers": {
"olostep": {
"command": "docker",
"args": [
"run", "-i", "--rm",
"-e", "OLOSTEP_API_KEY=YOUR_API_KEY_HERE",
"olostep/mcp-server"
]
}
}
}或者通过设备终端中的Smithery CLI进行安装：
npx -y @smithery/cli install @olostep/olostep-mcp-server --client claude克劳德代码
将远程端点添加到Claude Code MCP配置中：
{
"mcpServers": {
"olostep": {
"url": "https://mcp.olostep.com/mcp",
"headers": {
"Authorization": "Bearer YOUR_API_KEY_HERE"
}
}
}
}备选方案（当地）：
{
"mcpServers": {
"olostep": {
"command": "npx",
"args": ["-y", "olostep-mcp"],
"env": {
"OLOSTEP_API_KEY": "YOUR_API_KEY_HERE"
}
}
}
}帆板运动
将此添加到您的 ./codeium/windsurf/model_config.json:
{
"mcpServers": {
"olostep": {
"serverUrl": "https://mcp.olostep.com/mcp",
"headers": {
"Authorization": "Bearer YOUR_API_KEY_HERE"
}
}
}
}备选方案（当地）：
{
"mcpServers": {
"mcp-server-olostep": {
"command": "npx",
"args": ["-y", "olostep-mcp"],
"env": {
"OLOSTEP_API_KEY": "YOUR_API_KEY_HERE"
}
}
}
}VS Code
将此添加到您的 .vscode/mcp.json:
{
"servers": {
"olostep": {
"type": "http",
"url": "https://mcp.olostep.com/mcp",
"headers": {
"Authorization": "Bearer YOUR_API_KEY_HERE"
}
}
}
}备选方案（当地）：
{
"servers": {
"olostep": {
"type": "stdio",
"command": "npx",
"args": ["-y", "olostep-mcp"],
"env": {
"OLOSTEP_API_KEY": "YOUR_API_KEY_HERE"
}
}
}
}梅托里亚尔
选项1：一键安装（推荐）
- 打开 梅托里亚尔 仪表盘
- 导航到MCP服务器目录
- 搜索“Olostep”
- 单击“安装”并输入您的API密钥
选项2：手动配置
将此添加到Metorial MCP服务器配置中：
{
"olostep": {
"command": "npx",
"args": ["-y", "olostep-mcp"],
"env": {
"OLOSTEP_API_KEY": "YOUR_API_KEY_HERE"
}
}
}Olostep工具将在您的Metorial AI聊天中可用。
配置
环境变量
OLOSTEP_API_KEY：您的Olostep API密钥（必需）ORBIT_KEY：使用Orbit路由请求的可选键。
可用工具
1.废弃网站(scrape_website)
从单个URL提取内容。支持多种格式和JavaScript呈现。
{
"name": "scrape_website",
"arguments": {
"url_to_scrape": "https://example.com",
"output_format": "markdown",
"country": "US",
"wait_before_scraping": 1000,
"parser": "@olostep/amazon-product"
}
}参数：
url_to_scrape：您要抓取的网站的URL（必填）output_format：选择格式(html,markdown,json，或text)-默认值：markdowncountry：用于特定位置抓取的可选国家代码（例如美国、英国、加利福尼亚州）wait_before_scraping：刮擦前的等待时间（毫秒）（0-10000）parser：用于专门提取的可选解析器ID
响应（示例）：
{
"content": [
{
"type": "text",
"text": "{\n \"id\": \"scrp_...\",\n \"url\": \"https://example.com\",\n \"markdown_content\": \"# ...\",\n \"html_content\": null,\n \"json_content\": null,\n \"text_content\": null,\n \"status\": \"succeeded\",\n \"timestamp\": \"2025-11-14T12:34:56Z\",\n \"screenshot_hosted_url\": null,\n \"page_metadata\": { }\n}"
}
]
}2.搜索网络(search_web)
在网络上搜索给定的查询并获得结构化结果（非人工智能，基于解析器）。
{
"name": "search_web",
"arguments": {
"query": "your search query",
"country": "US"
}
}参数：
query：搜索查询（必填）country：本地化结果的可选国家代码（默认值：US)
答复：
- 结构化JSON（作为文本）表示基于解析器的结果
3.答案（AI）(answers)
搜索网络，以您想要的JSON结构返回人工智能驱动的答案，包括来源和引用。
{
"name": "answers",
"arguments": {
"task": "Who are the top 5 competitors to Acme Inc. in the EU?",
"json": "Return a list of the top 5 competitors with name and homepage URL"
}
}参数：
task：使用网络数据回答的问题或任务（必填）json：可选JSON模式/对象或所需输出形状的简短描述
答复包括：
answer_id,object,task,result（JSON，如果提供的话），sources,created
4.批量报废URL(batch_scrape_urls)
同时删除多达10000个网址。非常适合大规模数据提取。
{
"name": "batch_scrape_urls",
"arguments": {
"urls_to_scrape": [
{"url": "https://example.com/a", "custom_id": "a"},
{"url": "https://example.com/b", "custom_id": "b"}
],
"output_format": "markdown",
"country": "US",
"wait_before_scraping": 500,
"parser": "@olostep/amazon-product"
}
}答复包括：
batch_id,status,total_urls,created_at,formats,country,parser,urls
5.创建爬行(create_crawl)
开始 异步 抓取，通过跟踪链接自主发现和抓取整个网站。返回a crawl_id --爬行在后台运行 不 返回此响应中的内容。然后你必须打电话 get_crawl_results 随着 crawl_id 轮询状态并检索抓取的页面（与 batch_scrape_urls + get_batch_results).
{
"name": "create_crawl",
"arguments": {
"start_url": "https://example.com/docs",
"max_pages": 25,
"follow_links": true,
"output_format": "markdown",
"country": "US",
"parser": "@olostep/doc-parser"
}
}答复包括：
crawl_id,object,status,start_url,max_pages,follow_links,created,formats,country,parser
将此呼叫与配对get_crawl_results--做 不 通过一个crawl_id到get_batch_results（爬网和批处理是单独的资源）。
6.创建地图(create_map)
获取网站上的所有URL。提取所有URL以进行发现和分析。
{
"name": "create_map",
"arguments": {
"website_url": "https://example.com",
"search_query": "blog",
"top_n": 200,
"include_url_patterns": ["/blog/**"],
"exclude_url_patterns": ["/admin/**"]
}
}答复包括：
map_id,object,url,total_urls,urls,search_query,top_n
7.获取网页内容(get_webpage_content)
以干净的markdown格式检索网页内容，并支持JavaScript渲染。
{
"name": "get_webpage_content",
"arguments": {
"url_to_scrape": "https://example.com",
"wait_before_scraping": 1000,
"country": "US"
}
}参数：
url_to_scrape：要抓取的网页的URL（必填）wait_before_scraping：开始抓取之前等待的时间（毫秒）（默认值：0）country：加载请求的居住国家（例如美国、加利福尼亚州、英国）（可选）
答复：
{
"content": [
{
"type": "text",
"text": "# Example Website\n\nThis is the markdown content of the webpage..."
}
]
}8.获取网站URL(get_website_urls)
从网站上搜索和检索相关网址，按与您的查询的相关性排序。
{
"name": "get_website_urls",
"arguments": {
"url": "https://example.com",
"search_query": "your search term"
}
}参数：
url：要映射的网站的URL（必填）search_query：用于对URL进行排序的搜索查询（必填）
答复：
{
"content": [
{
"type": "text",
"text": "Found 42 URLs matching your query:\n\nhttps://example.com/page1\nhttps://example.com/page2\n..."
}
]
}9.获取批量结果(get_batch_results)
使用其 batch_id.
{
"name": "get_batch_results",
"arguments": {
"batch_id": "batch_abc123"
}
}参数：
batch_id：从返回的批次IDbatch_scrape_urls（必填）
答复包括：
batch_id,status(processing或completed),total_urls,completed_urls,items（每个URL的抓取结果数组url,custom_id,markdown_content,html_content,json_content,text_content,status,page_metadata)
10.获取爬行结果(get_crawl_results)
检索从开始的异步爬网的状态和抓取页面 create_crawl。这是必需的伴侣 create_crawl — create_crawl 只启动工作并返回 crawl_id；此工具是您实际获取发现的页面及其内容的方式。
{
"name": "get_crawl_results",
"arguments": {
"crawl_id": "crawl_abc123",
"formats": ["markdown"],
"items_limit": 20,
"cursor": 0
}
}参数：
crawl_id：从返回的爬网IDcreate_crawl（必填）formats：每页检索的格式数组--markdown,html,json,text（默认值：["markdown"])items_limit：检索内容的最大页数，1-100（默认值：20）cursor：将光标分页到已发现的页面列表中（默认值：0）search_query：可选筛选器，用于根据与查询的相关性对页面进行排名/选择
答复包括：
- 在进行过程中：
crawl_id,status(in_progress),pages_completed,pages_total和amessage提示您在大约10秒后再次拨打电话。 - 完成后：
crawl_id,status(completed),pages_returned,next_cursor,has_more和apages每个条目的数组url,custom_id，以及请求的内容字段(markdown_content,html_content,json_content,text_content).
错误处理
服务器提供强大的错误处理：
- API问题的详细错误消息
- 网络错误报告
- 身份验证失败处理
- 费率限制信息
错误响应示例：
{
"isError": true,
"content": [
{
"type": "text",
"text": "Olostep API Error: 401 Unauthorized. Details: {\"error\":\"Invalid API key\"}"
}
]
}分布
Docker镜像
MCP服务器可以作为Docker镜像使用：
- Docker Hub：
[olostep/mcp-server](https://hub.docker.com/r/olostep/mcp-server) - Docker MCP官方注册表：
mcp/olostep（即将推出-通过签名和SBOM增强安全性） - GitHub容器注册表：
ghcr.io/olostep/olostep-mcp-server
Docker桌面MCP工具包
Olostep MCP服务器正在添加到Docker Desktop的官方MCP工具包中，这意味着用户将能够：
- 在Docker桌面的MCP工具包UI中发现它
- 一键安装
- 直观地配置它
- 与任何MCP兼容的客户端（Claude Desktop、Cursor等）一起使用
状态：正在向提交
支持平台
linux/amd64linux/arm64
在当地建设
# Clone the repository
git clone https://github.com/olostep/olostep-mcp-server.git
cd olostep-mcp-server
# Build the image
npm install
npm run build
docker build -t olostep/mcp-server .
# Run locally
docker run -i --rm -e OLOSTEP_API_KEY="your-key" olostep/mcp-server许可证
ISC许可证
