MCP Url Fetcher

🚀 MCP URL 格式转换器

MCP URL 格式转换器是一个模型上下文协议（MCP）服务器，可从任意 URL 获取内容，并将其转换为所需的输出格式，为网络内容处理提供了便捷高效的解决方案。

🚀 快速开始

MCP URL 格式转换器提供了从任意来源获取内容并将其转换为多种格式（HTML、JSON、Markdown 或纯文本）的工具，无论原始内容类型如何。它设计用于与任何 MCP 兼容的客户端一起使用，包括适用于桌面的Claude，使大型语言模型能够以一致的格式访问、转换和分析网络内容。

✨ 主要特性

• 🔄 格式转换：将任意网络内容转换为 HTML、JSON、Markdown 或纯文本。
• 🌐 通用输入支持：处理网站、API、原始文件等。
• 🔍 智能内容识别：自动检测源格式。
• 🧰 强大的库支持：
  • 使用 Cheerio 进行 HTML 解析。
  • 使用 Marked 处理 Markdown。
  • 使用 Fast-XML-Parser 处理 XML。
  • 使用 CSVtoJSON 转换 CSV。
  • 使用 SanitizeHTML 进行内容 sanitization。
  • 使用 Turndown 进行 HTML 转 Markdown。
• 🔧 高级格式处理：
  • HTML 解析和元数据提取。
  • JSON 美化打印和结构保留。
  • Markdown 渲染和样式应用。
  • CSV 到表格转换。
  • XML 到 JSON 转换。
• 📜 历史记录跟踪：维护最近访问的 URL 日志。
• 🛡️ 安全重点：内容 sanitization 防 XSS 攻击。

📦 安装指南

先决条件

• Node.js 16.x 或更高版本。
• npm 或 yarn。

快速开始

1. 克隆仓库：

git clone https://github.com/yourusername/mcp-url-converter.git
cd mcp-url-converter

2. 安装依赖项：

npm install

3. 启动服务器：

node index.js

💻 使用示例

基础用法

该工具允许用户从任意 URL 获取内容，并将其转换为所需的格式。支持的格式包括 HTML、JSON、Markdown 和纯文本。

# 示例：将 HTML 转换为 JSON
curl -X POST http://localhost:3000/convert \
     --data-raw '{"url":"https://example.com","format":"json"}'

📚 详细文档

工具列表

安全措施

该工具采取了多项安全措施：

• 使用 SanitizeHTML 进行内容 sanitization，防止 XSS 攻击。
• 内容验证和处理前的安全检查。
• 错误处理和默认安全设置。
• 输入参数验证（使用 Zod）。
• 输出编码的安全性。

测试

您可以通过 MCP 检查器测试该工具：

npm run test

常见问题

1. 连接错误

如果出现连接错误，请检查 URL 是否正确且可以访问。

2. 转换错误

某些复杂内容可能无法顺利转换为所需格式。

3. 跨域問題

某些网站可能会阻止来自未知源的请求。

4. 调试模式

需要更多调试信息时，设置 DEBUG 环境变量：

DEBUG=mcp:* npm start

📄 许可证

该项目在 MIT 许可证下发布，详情请参见 LICENSE 文件。

致谢

• 使用 模型上下文协议 构建。
• 采用现代、维护活跃且注重安全的库。
• 内容 sanitization 基于 OWASP 建议。

更新日期：2025 年 3 月 29 日