Web Content Pick
W

Web Content Pick

一个用于从网页提取结构化内容的强大工具,支持自定义选择器和爬取选项
2.5分
8.6K

什么是 Model Context Protocol (MCP) 服务器?

Model Context Protocol (MCP) 是一个强大的工具,旨在从网页中提取结构化的数据。它允许用户通过自定义选择器来精准定位所需内容,并支持递归爬取以深入挖掘更多相关信息。

如何使用 MCP 服务器?

首先安装 MCP 工具,然后在配置文件中设置相关参数,最后运行命令即可开始提取网页内容。

适用场景

适用于需要从互联网上抓取特定信息的情景,例如新闻聚合、产品评论收集或市场调研。

主要功能

网页内容提取
能够自动识别并提取网页中的结构化内容。
自定义选择器
支持通过 CSS 选择器指定目标内容。
递归爬取
可以按照设定深度逐步爬取多个页面。
自动重试机制
当请求失败时会尝试重新发送请求。
高效处理
快速完成大规模数据采集任务。
清晰输出格式
生成易于解析的结果报告。
优势
支持高度定制化的需求。
具备强大的数据处理能力。
简单易用且稳定可靠。
内置智能重试逻辑提升成功率。
局限性
可能受到目标网站反爬虫策略限制。
对于复杂布局的网页解析效果有限。
需要一定的网络知识才能完全发挥其潜力。

如何使用

安装 MCP 工具
全局安装 MCP Web Content Pick 工具:`npm install -g mcp-web-content-pick`。
配置环境
编辑 `claude_desktop_config.json` 文件添加如下配置: ```json { "mcpServers": { "web_content_search": { "command": "npx", "args": [ "-y", "mcp-web-content-pick" ] } } } ```
执行命令
根据需求指定 URL 或配置文件运行命令。

使用案例

新闻文章摘要
从新闻网站提取文章标题、发布时间及正文内容。
电商平台商品评价
从电商网站爬取某款商品的所有用户评价。

常见问题

MCP 是否支持多语言网页?
如果遇到网络中断怎么办?
是否可以限制爬取深度?

相关资源

官方文档
获取更多关于 MCP 的详细信息。
GitHub 代码仓库
查看源码并参与开发。
演示视频
观看 MCP 如何工作的视频教程。

安装

复制以下命令到你的Client进行配置
{
  "mcpServers": {
    "web_content_search": {
      "command": "npx",
      "args": [
        "-y",
        "mcp-web-content-pick"
      ]
    }
  }
}
注意:您的密钥属于敏感信息,请勿与任何人分享。

替代品

R
Rsdoctor
Rsdoctor 是一款专为 Rspack 生态系统打造的构建分析工具,全面兼容 webpack,提供可视化构建分析、多维度性能诊断及智能优化建议,帮助开发者提升构建效率与工程质量。
TypeScript
8.9K
5分
N
Next Devtools MCP
Next.js开发工具MCP服务器,为Claude、Cursor等AI编程助手提供Next.js开发工具和实用程序,包括运行时诊断、开发自动化和文档访问功能。
TypeScript
9.5K
5分
T
Testkube
Testkube是一个面向云原生应用的测试编排与执行框架,提供统一平台来定义、运行和分析测试,支持现有测试工具和Kubernetes基础设施。
Go
6.2K
5分
M
MCP Windbg
一个MCP服务器,将AI模型与WinDbg/CDB集成,用于分析Windows崩溃转储文件和进行远程调试,支持自然语言交互执行调试命令。
Python
8.7K
5分
R
Runno
Runno是一个JavaScript工具包集合,用于在浏览器和Node.js等环境中安全地运行多种编程语言的代码,通过WebAssembly和WASI实现沙盒化执行,支持Python、Ruby、JavaScript、SQLite、C/C++等语言,并提供Web组件、MCP服务器等集成方式。
TypeScript
7.6K
5分
P
Praisonai
PraisonAI是一个生产就绪的多AI智能体框架,具有自反思功能,旨在创建AI智能体来自动化解决从简单任务到复杂挑战的各种问题。它通过将PraisonAI智能体、AG2和CrewAI集成到一个低代码解决方案中,简化了多智能体LLM系统的构建和管理,强调简单性、定制化和有效的人机协作。
Python
7.3K
5分
N
Netdata
Netdata是一个开源实时基础设施监控平台,提供每秒级指标收集、可视化、机器学习驱动的异常检测和自动化告警,无需复杂配置即可实现全栈监控。
Go
9.7K
5分
M
MCP Server
Mapbox MCP服务器是一个Node.js实现的模型上下文协议服务器,为AI应用提供Mapbox地理空间API的访问能力,包括地理编码、兴趣点搜索、路线规划、等时线分析和静态地图生成等功能。
TypeScript
8.8K
4分
D
Duckduckgo MCP Server
已认证
DuckDuckGo搜索MCP服务器,为Claude等LLM提供网页搜索和内容抓取服务
Python
76.8K
4.3分
F
Figma Context MCP
Framelink Figma MCP Server是一个为AI编程工具(如Cursor)提供Figma设计数据访问的服务器,通过简化Figma API响应,帮助AI更准确地实现设计到代码的一键转换。
TypeScript
69.6K
4.5分
F
Firecrawl MCP Server
Firecrawl MCP Server是一个集成Firecrawl网页抓取能力的模型上下文协议服务器,提供丰富的网页抓取、搜索和内容提取功能。
TypeScript
133.0K
5分
B
Baidu Map
已认证
百度地图MCP Server是国内首个兼容MCP协议的地图服务,提供地理编码、路线规划等10个标准化API接口,支持Python和Typescript快速接入,赋能智能体实现地图相关功能。
Python
46.6K
4.5分
E
Edgeone Pages MCP Server
EdgeOne Pages MCP是一个通过MCP协议快速部署HTML内容到EdgeOne Pages并获取公开URL的服务
TypeScript
30.5K
4.8分
M
Minimax MCP Server
MiniMax Model Context Protocol (MCP) 是一个官方服务器,支持与强大的文本转语音、视频/图像生成API交互,适用于多种客户端工具如Claude Desktop、Cursor等。
Python
59.0K
4.8分
E
Exa Web Search
已认证
Exa MCP Server是一个为AI助手(如Claude)提供网络搜索功能的服务器,通过Exa AI搜索API实现实时、安全的网络信息获取。
TypeScript
50.8K
5分
C
Context7
Context7 MCP是一个为AI编程助手提供实时、版本特定文档和代码示例的服务,通过Model Context Protocol直接集成到提示中,解决LLM使用过时信息的问题。
TypeScript
96.1K
4.7分
AIBase
智启未来,您的人工智能解决方案智库