🚀 mcp-server-fetch-python

mcp-server-fetch-python 是一个 MCP 服务器，用于抓取网络内容并将其转换为各种格式。它提供了全面的工具，可从网页中提取内容，支持使用 JavaScript 渲染的内容和媒体文件，为网络内容处理提供了强大的支持。

✨ 主要特性

工具

该服务器提供了四个专业工具，满足不同场景下的内容提取需求：

• get-raw-text：无需浏览器渲染，直接从 URL 提取原始文本内容。

  • 参数：
    • url：目标网页的 URL（必需）
  • 适用场景：最适合处理结构化数据格式或需要快速访问的情况。

• get-rendered-html：使用无头浏览器获取完全渲染的 HTML 内容。

  • 参数：
    • url：目标网页的 URL（必需）
  • 适用场景：对于现代网络应用和单页面应用（SPA），此工具必不可少。

• get-markdown：将网页内容转换为格式美观的 Markdown。

  • 参数：
    • url：目标网页的 URL（必需）
  • 优势：在保持结构元素的同时提供干净、可读的文本输出。

• get-markdown-from-media：对媒体文件进行 AI 驱动的内容提取。

  • 参数：
    • url：目标媒体文件的 URL（图像、视频）（必需）
  • 技术支持：利用计算机视觉和 OCR 技术进行内容分析。
  • 注意事项：需要设置有效的 OPENAI_API_KEY 环境变量；如果未设置 API 密钥或处理媒体文件时出现问题，将返回错误消息。

📦 安装指南

本地安装

您可以本地安装并运行该服务器，具体步骤如下：

git clone https://github.com/tatn/mcp-server-fetch-python.git
cd mcp-server-fetch-python
uv sync
uv build

💻 使用示例

Claude Desktop

要在 Claude Desktop 上使用，请添加服务器配置：

• MacOS：~/Library/Application\ Support/Claude/claude_desktop_config.json
• Windows：%APPDATA%/Claude/claude_desktop_config.json

"mcpServers": {
  "mcp-server-fetch-python": {
    "command": "uvx",
    "args": [
      "mcp-server-fetch-python"
    ]
  }
}

本地安装后配置

将以下配置添加到 Claude Desktop 配置文件中：

"mcpServers": {
  "mcp-server-fetch-python": {
    "command": "uv",
    "args": [
      "--directory",
      "path\\to\\mcp-server-fetch-python",  # 请替换为实际的克隆仓库路径
      "run",
      "mcp-server-fetch-python"
    ]
  }
}

🔧 技术细节

环境变量

可以配置以下环境变量：

• OPENAI_API_KEY：用于get-markdown-from-media工具，需要设置有效的 OpenAI API 密钥。
• PYTHONIOENCODING：设置为"utf-8"以解决输出中的字符编码问题。
• MODEL_NAME：指定使用的模型名称，默认为"gpt-4o"。

"mcpServers": {
  "mcp-server-fetch-python": {
    "command": "uvx",
    "args": [
      "mcp-server-fetch-python"
    ],
    "env": {
        "OPENAI_API_KEY": "sk-****",
        "PYTHONIOENCODING": "utf-8",
        "MODEL_NAME": "gpt-4o",        
    }
  }
}

调试

您可以使用npx启动 MCP Inspector：

npx @modelcontextprotocol/inspector uvx mcp-server-fetch-python

npx @modelcontextprotocol/inspector uv --directory path\\to\\mcp-server-fetch-python run mcp-server-fetch-python