LLM As Judge MCP Server


llm作为mcp服务器的评判者

LLM作为判断MCP服务器使LLM的用户能够对LLM的响应获得第二意见。MCP工具将用户的问题、LLM的响应和评估的可选焦点发送给第二个LLM进行评估。第二种意见可用于改进LLM的响应，并为用户提供有关原始LLM响应的另一种视角。

安装

您可以使用以下命令运行此MCP服务器 node 使用以下命令。这也可以在MCP配置文件中使用，可以在下面的设置部分看到。

npx -y @jgsheppa/llm-as-judge-mcp-server

您还可以下载一个与您的机器架构相匹配的二进制文件来开始使用 llm-as-judge-mcp-server.

设置

要设置 llm-as-judge-mcp-server，您可以在JSON文件中定义MCP服务器，只要您的LLM可以访问MCP服务器。

{
  "mcpServers": {
    "llm-as-judge": {
      "command": "npx",
      "args": [
        "-y",
        "@jgsheppa/llm-as-judge-mcp-server",
        "stdio",
        "-p", 
        "gemini", 
        ],
      "env": {
        "GEMINI_API_KEY": "your-api-key",
      }
    },
  }
}

要自定义模型和提示，您的配置如下：

{
  "mcpServers": {
    "llm-as-judge": {
      "command": "npx",
      "args": [
        "-y",
        "@jgsheppa/llm-as-judge-mcp-server",
        "stdio",
        "-p", 
        "gemini", 
        "-m", 
        "gemini-2.5-flash", 
        "--prompt-path",
        "/Users/firstlast/Desktop/PROMPT.md"
        ],
      "env": {
        "GEMINI_API_KEY": "your-api-key",
      }
    },
  }
}

要定义您的提供者和模型，您可以将它们作为参数传递给MCP服务器。虽然LLM作为判断者有一个默认提示，但您也可以通过提供完整的文件路径来传递自己的自定义提示 --prompt-path 争论。

特性

提供商

目前有三个提供商可用于此MCP服务器：

• Anthropic
• 双子座
• 奥拉玛
• 开放人工智能

未来可以而且将会增加更多的提供商。

模型

前面提到的提供者提供的任何模型都可以用作LLM评委。由您决定哪种模型最适合您的用例，但更大的前沿模型不一定是评估另一个前沿模型响应的最佳选择。更小、更便宜的型号也是不错的选择。

违约模型

为了尝试改进使用此MCP服务器的体验，每个提供商都有默认模型。选择这些模型是因为它们最具成本效益。这些可能会在未来发生变化，但由于它们是可定制的，因此目前看起来是不错的选择。

提示词

此MCP服务器为LLM提供了一个默认提示，用于评估另一个LLM的响应，但您也可以提供自己的提示以进行进一步的自定义。