MCP 网页扫描服务器

一个用于网页内容抓取、分析和信息提取的 Model Context Protocol (MCP) 服务器。该服务器提供工具，用于获取、分析和提取网页中的信息。

功能

• 页面抓取：将网页转换为 Markdown 格式，便于分析
• 链接提取：从网页中提取并分析链接
• 网站爬取：递归爬取网站内容以发现信息
• 错误处理：全面的错误处理（无效参数、网络错误、内容解析错误、URL 验证）

安装说明

使用 Smithery 安装

# 保持代码块不变，添加中文注释：
# 使用Smithery进行安装的命令

构建

npm run build

开发模式

npm run dev

项目结构图

├── src/
│   ├── initialize.ts
│   └── index.ts    # 主服务器入口文件
├── build/          # 编译后的 JavaScript（已更正）
├── node_modules/
├── .clinerules
├── .gitignore
├── Dockerfile
├── LICENSE
├── mcp-consistant-servers-guide.md
├── package.json
├── package-lock.json
├── README.md
├── RFC-2025-001-Refactor.md
├── smithery.yaml
└── tsconfig.json

使用方法

安装说明

使用 Smithery 安装

# 保持代码块不变，添加中文注释：
# 使用Smithery进行安装的命令

手动安装

1. 克隆仓库：git clone <repository-url>
2. 进入目录：cd mcp-webscan-server
3. 安装依赖：npm install

服务器启动

node index.ts

功能描述

工具列表

1. fetch-page：

   • 用途：将网页转换为 Markdown 格式。
   • 参数：URL（必填）。
   • 返回值：提取的 Markdown 内容。

2. extract-links：

   • 用途：从网页中提取所有链接。
   • 参数：URL（必填）。
   • 返回值：提取的所有链接列表。

3. crawl-site：

   • 用途：递归爬取网站内容。
   • 参数：起始 URL（必填）、深度限制（可选）。
   • 返回值：爬取到的所有网页链接列表。

错误处理

• 无效参数
• 网络错误
• 内容解析错误
• URL 验证失败

所有错误均根据 MCP 规范进行格式化输出。

贡献指南

1. 步骤：

   • Fork 仓库
   • 创建功能分支（例如：git checkout -b feature/amazing-feature）
   • 提交更改（例如：git commit -m 'Add some amazing feature'）
   • 推送到分支（例如：git push origin feature/amazing-feature）
   • 提交 Pull Request

2. 代码规范：

   • 遵循项目现有的编码风格
   • 确保新增功能通过现有测试用例
   • 提供详细的提交说明

许可证

MIT License - 详情请参阅 LICENSE 文件