Atla MCP 服务器

一个提供标准化接口的MCP服务器实现，使大语言模型（LLM）能够与Atla API交互，以评估最先进的LLMJ评估。

了解更多信息，请访问此处。了解更多关于模型上下文协议的内容，请访问此处。

可用工具

• evaluate_llm_response：根据给定的评估标准，评估大语言模型对提示的响应。此函数使用底层的Atla评估模型，返回一个包含模型响应得分和文本反馈（包含对模型响应的意见）的字典。
• evaluate_llm_response_on_multiple_criteria：从多个评估标准的角度，评估大语言模型对提示的响应。此函数使用底层的Atla评估模型，返回一个列表，其中每个元素都是一个字典，包含某个标准的评估得分和反馈。

使用说明

要使用MCP服务器，您需要一个Atla API密钥。您可以在此处找到现有密钥，或在此处创建新密钥。

安装

我们推荐使用uv来管理Python环境。请参阅此处安装说明。

手动运行服务器

安装好uv后，并获取Atla API密钥，您可以手动运行MCP服务器：

ATLA_API_KEY=<your-api-key> uvx atla-mcp-server

连接到服务器

遇到问题或需要帮助连接到其他客户端？欢迎提出问题或联系我们！此处。

OpenAI 代理 SDK

有关使用OpenAI 代理 SDK与MCP服务器交互的更多细节，请参阅官方文档。

1. 安装OpenAI 代理 SDK：

pip install openai-agents

2. 使用OpenAI 代理 SDK连接到服务器：

import os

from agents import Agent
from agents.mcp import MCPServerStdio

async with MCPServerStdio(
        params={
            "command": "uvx",
            "args": ["atla-mcp-server"],
            "env": {"ATLA_API_KEY": os.environ.get("ATLA_API_KEY")}
        }
    ) as atla_mcp_server:
    ...

Claude Desktop

有关在Claude Desktop中配置MCP服务器的更多细节，请参阅官方快速入门指南。

1. 将以下内容添加到claude_desktop_config.json文件中：

{
  "mcpServers": {
    "atla-mcp-server": {
      "command": "uvx",
      "args": ["atla-mcp-server"],
      "env": {
        "ATLA_API_KEY": "<your-atla-api-key>"
      }
    }
  }
}

2. 重启Claude Desktop以应用更改。

现在，您应该会在可用的MCP工具列表中看到atla-mcp-server选项。

Cursor

有关在Cursor中配置MCP服务器的更多细节，请参阅官方文档。

1. 将以下内容添加到~/.config/cursor.json文件中：

{
  "mcpServers": {
    "atla-mcp-server": {
      "command": "uvx",
      "args": ["atla-mcp-server"],
      "env": {
        "ATLA_API_KEY": "<your-atla-api-key>"
      }
    }
  }
}

贡献

欢迎为该项目做出贡献！请访问此处查看如何参与。

许可证

此项目受MIT License的保护。