Mozilla 可读性解析器 MCP 服务器

基于 Python 的 Model Context Protocol (MCP) 服务器实现，用于将网页内容提取并转换为适合大语言模型处理的干净 Markdown 格式。

目录

• 功能
• 为什么不用直接抓取？
• 安装
• 快速开始
• 工具参考
• 依赖项
• 许可证

功能

• 删除广告、导航栏、页脚和其他非必要内容
• 将干净的 HTML 转换为格式良好的 Markdown
• 温和处理错误
• 优化用于大语言模型（LLM）处理
• 轻量级且快速

为什么不用直接抓取？

与简单的抓取请求不同，此服务器：

• 使用可读性算法提取仅相关内容
• 消除广告、弹出窗口和导航菜单等噪音
• 通过去除不必要的 HTML/CSS 减少 token 使用
• 提供一致的 Markdown 格式以提升 LLM 处理效果
• 处理包含动态内容的复杂网页

安装

1. 克隆仓库：

git clone https://github.com/jmh108/MCP-server-readability-python.git
cd MCP-server-readability-python

2. 创建并激活虚拟环境：

python -m venv venv
source venv/bin/activate  # 在 Windows 上使用：venv\Scripts\activate

3. 安装依赖项：

pip install -r requirements.txt

快速开始

1. 启动服务器：

fastmcp run server.py

2. 示例请求：

curl -X POST http://localhost:8000/tools/extract_content \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com/article"}'

工具参考

extract_content

抓取并转换网页内容为干净的 Markdown。

参数：

{
  "url": {
    "类型": "字符串",
    "描述": "要解析的网站 URL",
    "必需": true
  }
}

返回值：

{
  "content": "Markdown 内容..."
}

MCP 服务器配置

要在 MCP 设置文件中配置此服务器，请添加以下内容：

{
  "mcpServers": {
    "readability": {
      "command": "fastmcp",
      "args": ["run", "server.py"],
      "env": {}
    }
  }
}

然后可以通过 MCP 协议启动该服务器并使用 parse 工具进行访问。

依赖项

• readability-lxml - 内容提取
• html2text - HTML 转换为 Markdown
• beautifulsoup4 - DOM 解析
• requests - HTTP 请求

许可证

MIT License - 详情请参阅 LICENSE