Mozilla 可读性解析器 MCP 服务器

一个基于 Python 的 Model Context Protocol (MCP) 服务器实现，用于将网页内容提取并转换为适合 LLM 处理的干净 Markdown 格式。

目录

• 功能
• 为何不直接抓取？
• 安装
• 快速开始
• 工具参考
• 依赖项
• 许可证

功能

• 移除广告、导航栏、页脚和其他非必要内容
• 将干净的 HTML 转换为格式良好的 Markdown
• 平滑处理错误
• 优化 LLM 处理流程
• 轻量且快速

为何不直接抓取？

与简单的抓取请求相比，此服务器：

• 使用可读性算法提取相关内容
• 消除噪声如广告、弹出窗口和导航菜单
• 通过移除不必要的 HTML/CSS 减少令牌使用
• 提供一致的 Markdown 格式以改善 LLM 处理
• 处理包含动态内容的复杂网页

安装

1. 克隆仓库：

git clone https://github.com/jmh108/MCP-server-readability-python.git
cd MCP-server-readability-python

2. 创建并激活虚拟环境：

python -m venv venv
source venv/bin/activate  # 在 Windows 上使用：venv\Scripts\activate

3. 安装依赖项：

pip install -r requirements.txt

快速开始

1. 启动服务器：

fastmcp run server.py

2. 示例请求：

curl -X POST http://localhost:8000/tools/extract_content \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com/article"}'

工具参考

extract_content

抓取并转换网页内容为干净的 Markdown。

参数：

{
  "url": {
    "type": "string",
    "description": "要解析的网站 URL",
    "required": true
  }
}

返回值：

{
  "content": "Markdown 内容..."
}

MCP 服务器配置

要在 MCP 设置文件中配置该服务器，请添加以下内容：

{
  "mcpServers": {
    "readability": {
      "command": "fastmcp",
      "args": ["run", "server.py"],
      "env": {}
    }
  }
}

然后可以通过 parse 工具启动并访问该服务器。

依赖项

• readability-lxml - 内容提取
• html2text - HTML 到 Markdown 转换
• beautifulsoup4 - 网页解析
• lxml - XML 处理

许可证

本项目使用 MIT 许可证。有关详细信息，请参阅 LICENSE 文件。