拉取MCP服务器

一个提供网络内容抓取功能的模型上下文协议（Model Context Protocol）服务器，利用浏览器自动化、OCR技术和多种提取方法。此服务器使大型语言模型（LLMs）能够从互联网页面检索并处理内容，即使这些页面需要JavaScript渲染或使用防简单抓取的技术。

可用工具

• fetch - 使用浏览器自动化和多方法提取（包括OCR）从互联网抓取URL。
  • url (字符串，必需)：要抓取的URL
  • raw (布尔值，可选)：获取实际HTML内容，而不是简化后的内容（默认：false）

服务器使用多种方法提取内容：

1. 使用undetected-chromedriver的浏览器自动化
2. 使用pytesseract和布局检测的OCR
3. 使用requests/BeautifulSoup的HTML提取
4. 文档解析（PDF、DOCX、PPTX）
5. 原始Markdown转换方法

服务器使用 sophisticated scoring system 选择最佳结果，考虑以下因素：

1. 基础内容分数（满分50分）

   • 根据内容长度授予积分（每100字符1分，最高50分）
   • 对于极短内容（<100字符）进行扣分

2. 结构奖励（满分20分）

   • 为结构良好的内容授予积分
   • 内容段落越多，表示组织越好

3. 质量惩罚

   • 检测并惩罚错误消息
   • 对包含错误指示器的内容进行降分
   • 验证内容结构和可读性

评分系统确保无论使用哪种提取方法，都能选择最可靠和高质量的内容。提供调试日志以跟踪评分决策。

提示

• fetch
  • 抓取URL并将其内容提取为Markdown格式，使用浏览器自动化

参数：

• url (字符串，必需)：要抓取的URL

安装

使用Docker

要使用Docker安装和运行mcp-server-fetch，请按照以下步骤操作：

1. 构建Docker镜像：

   docker build -t mcp-server-fetch .
   

2. 运行Docker容器：

   docker run --rm -i mcp-server-fetch
   

配置

配置Roo Code或Claude App

将以下内容添加到您的Claude设置中：

{
  "mcpServers": {
    "fetch": {
      "command": "docker",
      "args": [
        "run",
        "--rm",
        "-i",
        "mcp-server-fetch"
      ],
      "disabled": false,
      "alwaysAllow": []
    }
  }
}

自定义 - 用户代理

默认情况下，根据请求是否来自模型（通过工具）或用户发起（通过提示），服务器将使用以下用户代理：

ModelContextProtocol/1.0 (Autonomous; +https://github.com/modelcontextprotocol/servers)

或

ModelContextProtocol/1.0 (User-Specified; +https://github.com/modelcontextprotocol/servers)

通过在args列表中添加参数--user-agent，可以自定义用户代理字符串。

浏览器自动化设置

如果需要配置浏览器自动化，请参考以下示例：

{
  "mcpServers": {
    "fetch": {
      "command": "docker",
      "args": [
        "run",
        "--rm",
        "-i",
        "mcp-server-fetch"
      ],
      "customHeaders": {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.121 Safari/537.36"
      },
      "disableCache": true,
      "screenshots": {
        "enabled": true,
        "path": "/screenshots"
      }
    }
  }
}

高级配置

您可以使用以下高级选项：

• proxy：设置代理
• timeout：设置请求超时时间
• maxRedirects：设置最大重定向次数
• retry：设置重试次数
• delay：设置抓取延迟

贡献

我们欢迎社区贡献！请参考贡献指南。

许可证

本项目受MIT License许可：

MIT License

Copyright (c) 2023 Your Name

Permission is hereby granted, free of charge, to any person obtaining a copy
of this software and associated documentation files (the "Software"), to deal
in the Software without restriction, including without limitation the rights
to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
copies of the Software, and to permit persons to whom the Software is
furnished to do so, subject to the following conditions:

The above copyright notice and this permission notice shall be included in all
copies or substantial portions of the Software.

THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
SOFTWARE.

联系方式

• 邮件：contact@example.com
• GitHub：您的GitHub链接

感谢使用Fetch MCP服务器！如果有任何问题或建议，请随时联系我们。