mcp-playwright-scraper

一个模型上下文协议（MCP）服务器，用于抓取网页内容并将其转换为Markdown格式。

概览

此MCP服务器提供了一个简单的工具，用于从网页抓取内容并将内容转换为Markdown格式。它使用以下技术：

• Playwright：用于无头浏览器自动化，处理现代网页，包括JavaScript密集型网站
• BeautifulSoup：用于HTML解析和清理
• Pypandoc：用于高质量的HTML到Markdown转换

工具实现

该服务器实现了以下工具：

• scrape_to_markdown：从URL抓取内容并将其转换为Markdown格式
  • 必要参数：url（字符串）- 要抓取的URL
  • 可选参数：verify_ssl（布尔值）- 是否验证SSL证书（默认值：true）

安装

使用uv（推荐）

当使用uv时，无需进行任何特定安装。我们将直接使用uvx运行 mcp-playwright-scraper。

使用pip

或者，您可以通过pip安装mcp-playwright-scraper：

pip install mcp-playwright-scraper

安装完成后，您可以作为脚本运行：

python -m mcp_playwright_scraper

先决条件

安装此服务器之前，请确保安装Playwright浏览器依赖：

playwright install --with-deps chromium

配置

在Claude Desktop中配置

要将MCP服务器添加到Claude Desktop，请按照以下步骤操作：

1. 打开Claude Desktop的设置菜单。
2. 选择“AI”选项卡。
3. 点击“添加自定义模型”按钮。
4. 填写以下信息：
   • 名称：mcp-playwright-scraper
   • 类型：MCP Server
   • 可执行文件路径：your/custom/path/to/mcp-playwright-scraper/executable

在Claude Code中配置

在Claude Code中使用时，请将以下内容添加到mcp-servers.json：

{
  "mcp-playwright-scraper": {
    "type": "MCP Server",
    "executablePath": "/path/to/mcp_playwright_scraper_executable"
  }
}

在Zed中配置

要在Zed中使用，请将以下内容添加到mcp-servers.json：

{
  "mcp-playwright-scraper": {
    "type": "MCP Server",
    "executablePath": "/path/to/mcp_playwright_scraper_executable"
  }
}

在Cursor中配置

要在Cursor中使用，请将以下内容添加到mcp-servers.json：

{
  "mcp-playwright-scraper": {
    "type": "MCP Server",
    "executablePath": "/path/to/mcp_playwright_scraper_executable"
  }
}

使用

添加MCP服务器

在Claude Desktop中添加MCP服务器：

1. 打开设置菜单。
2. 转到“AI”选项卡。
3. 点击“+ 添加自定义模型”按钮。
4. 填写以下信息：
   • 名称：mcp-playwright-scraper
   • 类型：MCP Server
   • 可执行文件路径：/path/to/mcp_playwright_scraper_executable

使用命令行添加

您也可以使用以下命令将服务器添加到mcp-servers.json：

uv add mcp-playwright-scraper --type MCP\ Server --config executablePath="/path/to/executable"

调试

要调试MCP服务器，请运行以下命令启动Inspector：

uv inspect run mcp-playwright-scraper

启动后，您将在控制台中看到一个URL。将此URL复制到浏览器中以开始调试。

开发

构建和发布

准备发行版本：

1. 同步依赖并更新锁定文件：

   uv sync
   

2. 构建发行版：

   uv build
   

3. 发布到PyPI：

   uv publish
   

注意：您需要设置PyPI凭据，可以通过环境变量或命令行参数完成：

• 令牌：--token 或 UV_PUBLISH_TOKEN
• 用户名/密码：--username/UV_PUBLISH_USERNAME 和 --password/UV_PUBLISH_PASSWORD

许可证

此MCP服务器根据Apache License Version 2.0授权。您有权自由使用、修改和分发软件，但需遵守Apache License 2.0的条款和条件。有关详细信息，请访问LICENSE文件或访问 http://www.apache.org/licenses/LICENSE-2.0。