网站到PDF/Markdown MCP服务器

此MCP服务器可以抓取网站（包括受身份验证保护的网站）并将其转换为PDF或Markdown文档。它还可以遍历网页上的链接，并将生成的文档包含在内，或返回发现的URL。

功能

• 将单个网页转换为PDF
• 将网页转换为Markdown格式
• 遍历网页上的链接并将多个页面转换为一个PDF或Markdown文件
• 支持通过用户名和密码进行身份验证
• 可配置的最大页面限制（用于链接遍历）
• 遍历网站链接并返回发现的URL而不进行转换

设置

1. 克隆此仓库
2. 安装依赖项：

   npm install
   

3. 复制示例环境文件：

   cp .env.example .env
   

4. 启动服务器：

   npm start
   

API端点

将网站转换为PDF

POST /api/convert

请求正文：

{
  "url": "https://example.com",
  "username": "optional-username",
  "password": "optional-password",
  "traverseLinks": true,
  "maxPages": 10
}

参数：

• url：（必填）要转换为PDF的URL
• username：（可选）用于身份验证的用户名
• password：（可选）用于身份验证的密码
• traverseLinks：（可选）是否遍历网页上的链接（默认值：false）
• maxPages：（可选）遍历链接时处理的最大页面数（默认值：10）

响应：

响应将是一个PDF文档，带有适当的Content-Type头：

Content-Type: application/pdf
Content-Disposition: attachment; filename="example_com.pdf"

二进制的PDF内容直接在响应正文返回。

将网站转换为Markdown

POST /api/to-markdown

请求正文：

{
  "url": "https://example.com",
  "username": "optional-username",
  "password": "optional-password"
}

参数：

与/api/convert相同。

响应：

响应将是一个Markdown文档，带有适当的Content-Type头：

Content-Type: text/markdown

Markdown内容直接在响应正文返回。

遍历网站并获取URL

POST /api/get-urls

请求正文：

{
  "url": "https://example.com",
  "username": "optional-username",
  "password": "optional-password"
}

参数：

与/api/convert相同。

响应：

响应将是一个JSON数组，包含所有发现的URL：

[
  "https://example.com/page1",
  "https://example.com/page2",
  ...
]

使用说明

对于本地开发，你可以使用工具如ngrok将本地服务器暴露到互联网：

npm start
# 在另一个终端
ngrok http 3000

然后在Claude中设置MCP时使用ngrok URL。

通过此MCP服务器，你可以在与Claude的对话中直接使用以下功能：

1. 将example.com转换为PDF
2. 将example.com转换为Markdown
3. 获取example.com的所有URL
4. 使用用户名“myuser”和密码“mypass”进行身份验证