Playwright Scraper

一个基于Playwright的网页内容抓取并转换为Markdown的MCP服务

开发者工具研究与数据 #网页抓取 #Markdown转换 #无头浏览器 #内容提取 .Python

评分 : 2.5分

下载量 : 14.6K

更新时间 : 2025-04-28

打开站点

什么是MCP网页内容抓取与Markdown转换服务器？

这是一个基于Model Context Protocol（MCP）的服务器工具，专门用于抓取网页内容并将其转换为易于编辑的Markdown格式。它利用现代浏览器技术和HTML解析工具来处理复杂的网页内容。

如何使用MCP网页内容抓取与Markdown转换服务器？

您只需提供一个URL地址，服务器会自动抓取该网页的内容并将其转换为Markdown格式。无需复杂的配置，非常适合需要快速获取网页内容的用户。

适用场景

此工具适用于需要将网页内容快速整理为Markdown格式的场景，例如博客文章创作、资料整理、数据分析报告生成等。

主要功能

网页抓取功能

支持从任何公开网页抓取内容，无论是静态还是动态页面。

Markdown转换功能

将抓取到的内容自动转换为高质量的Markdown格式，便于后续编辑和分享。

SSL证书验证

支持自定义是否对SSL证书进行验证，确保抓取过程的安全性。

优势

无需手动复制粘贴，自动化抓取和转换提高效率。

支持多种类型的网页内容，包括复杂的JavaScript页面。

高质量的Markdown输出，便于进一步编辑和分享。

局限性

对于受保护或私密的网页可能无法抓取。

需要安装额外的依赖项（如Python和Pandoc）才能运行。

不支持抓取登录后的内容（需登录的网站）。

如何使用

安装MCP服务器

确保已安装Python 3.11及以上版本，并安装Playwright和Pandoc依赖。

启动MCP服务器

使用命令启动服务器，例如：python -m mcp_playwright_scraper。

执行抓取任务

在客户端输入抓取命令，例如：'抓取并转换https://example.com的网页内容'。

使用案例

抓取新闻网站内容

抓取CNN网站的最新新闻内容并转换为Markdown格式。

转换复杂网页为Markdown

将包含大量JavaScript交互的网页内容转换为Markdown。

常见问题

MCP服务器支持哪些类型的网页内容？

如何确保抓取过程的安全性？

是否可以抓取受密码保护的网页？

🚀 mcp-playwright-scraper

mcp-playwright-scraper 是一个模型上下文协议（MCP）服务器，可用于抓取网页内容并将其转换为 Markdown 格式，为网页内容处理提供了便捷的解决方案。

🚀 快速开始

mcp-playwright-scraper 是一个强大的 MCP 服务器，能够帮助您轻松抓取网页内容并转换为 Markdown 格式。以下将为您详细介绍其使用方法。

✨ 主要特性

先进技术集成：此 MCP 服务器集成了多种优秀技术。使用 Playwright 进行无头浏览器自动化，可轻松处理现代网页，包括 JavaScript 密集型网站；借助 BeautifulSoup 进行 HTML 解析和清理；利用 Pypandoc 实现高质量的 HTML 到 Markdown 转换。
功能实用工具：服务器实现了 scrape_to_markdown 工具，可从指定 URL 抓取内容并转换为 Markdown 格式。该工具使用简单，必要参数仅需 url（字符串），同时还提供可选参数 verify_ssl（布尔值），可根据需求选择是否验证 SSL 证书（默认值为 true）。

📦 安装指南

使用 uv（推荐）

当使用uv时，无需进行任何特定安装。我们将直接使用uvx运行 mcp-playwright-scraper。

使用 pip

或者，您可以通过 pip 安装 mcp-playwright-scraper：

pip install mcp-playwright-scraper

安装完成后，您可以作为脚本运行：

python -m mcp_playwright_scraper

先决条件

安装此服务器之前，请确保安装 Playwright 浏览器依赖：

playwright install --with-deps chromium

💻 使用示例

基础用法

使用 scrape_to_markdown 工具从指定 URL 抓取内容并转换为 Markdown 格式：

# 假设已经安装并导入了相应的库
# 调用 scrape_to_markdown 工具，传入必要的 url 参数
# 这里的 url 请替换为实际要抓取的网页地址
result = scrape_to_markdown(url="https://example.com")
print(result)

高级用法

在使用 scrape_to_markdown 工具时，可根据需求设置可选参数 verify_ssl：

# 假设已经安装并导入了相应的库
# 调用 scrape_to_markdown 工具，传入 url 参数和 verify_ssl 参数
# 这里的 url 请替换为实际要抓取的网页地址
# verify_ssl 设置为 False 表示不验证 SSL 证书
result = scrape_to_markdown(url="https://example.com", verify_ssl=False)
print(result)

📚 详细文档

配置

在 Claude Desktop 中配置

要将 MCP 服务器添加到 Claude Desktop，请按照以下步骤操作：

打开 Claude Desktop 的设置菜单。
选择“AI”选项卡。
点击“添加自定义模型”按钮。
填写以下信息：
- 名称：mcp-playwright-scraper
- 类型：MCP Server
- 可执行文件路径：your/custom/path/to/mcp-playwright-scraper/executable

在 Claude Code 中配置

在Claude Code中使用时，请将以下内容添加到 mcp-servers.json：

{
  "mcp-playwright-scraper": {
    "type": "MCP Server",
    "executablePath": "/path/to/mcp_playwright_scraper_executable"
  }
}

在 Zed 中配置

要在Zed中使用，请将以下内容添加到 mcp-servers.json：

{
  "mcp-playwright-scraper": {
    "type": "MCP Server",
    "executablePath": "/path/to/mcp_playwright_scraper_executable"
  }
}

在 Cursor 中配置

要在Cursor中使用，请将以下内容添加到 mcp-servers.json：

{
  "mcp-playwright-scraper": {
    "type": "MCP Server",
    "executablePath": "/path/to/mcp_playwright_scraper_executable"
  }
}

使用

添加 MCP 服务器

在 Claude Desktop 中添加 MCP 服务器：

打开设置菜单。
转到“AI”选项卡。
点击“+ 添加自定义模型”按钮。
填写以下信息：
- 名称：mcp-playwright-scraper
- 类型：MCP Server
- 可执行文件路径：/path/to/mcp_playwright_scraper_executable

使用命令行添加

您也可以使用以下命令将服务器添加到 mcp-servers.json：

uv add mcp-playwright-scraper --type MCP\ Server --config executablePath="/path/to/executable"

调试

要调试 MCP 服务器，请运行以下命令启动 Inspector：

uv inspect run mcp-playwright-scraper

启动后，您将在控制台中看到一个 URL。将此 URL 复制到浏览器中以开始调试。

开发

构建和发布

准备发行版本：

同步依赖并更新锁定文件：
```
uv sync
```
构建发行版：
```
uv build
```
发布到 PyPI：
```
uv publish
```

注意：您需要设置 PyPI 凭据，可以通过环境变量或命令行参数完成：

令牌：--token 或 UV_PUBLISH_TOKEN
用户名/密码：--username/UV_PUBLISH_USERNAME 和 --password/UV_PUBLISH_PASSWORD

📄 许可证

此 MCP 服务器根据 Apache License Version 2.0 授权。您有权自由使用、修改和分发软件，但需遵守 Apache License 2.0 的条款和条件。有关详细信息，请访问 LICENSE 文件或访问 http://www.apache.org/licenses/LICENSE-2.0。