Web Content Pick
W

Web Content Pick

一个用于从网页提取结构化内容的强大工具,支持自定义选择器和爬取选项
2.5分
6.7K

什么是 Model Context Protocol (MCP) 服务器?

Model Context Protocol (MCP) 是一个强大的工具,旨在从网页中提取结构化的数据。它允许用户通过自定义选择器来精准定位所需内容,并支持递归爬取以深入挖掘更多相关信息。

如何使用 MCP 服务器?

首先安装 MCP 工具,然后在配置文件中设置相关参数,最后运行命令即可开始提取网页内容。

适用场景

适用于需要从互联网上抓取特定信息的情景,例如新闻聚合、产品评论收集或市场调研。

主要功能

网页内容提取
能够自动识别并提取网页中的结构化内容。
自定义选择器
支持通过 CSS 选择器指定目标内容。
递归爬取
可以按照设定深度逐步爬取多个页面。
自动重试机制
当请求失败时会尝试重新发送请求。
高效处理
快速完成大规模数据采集任务。
清晰输出格式
生成易于解析的结果报告。
优势
支持高度定制化的需求。
具备强大的数据处理能力。
简单易用且稳定可靠。
内置智能重试逻辑提升成功率。
局限性
可能受到目标网站反爬虫策略限制。
对于复杂布局的网页解析效果有限。
需要一定的网络知识才能完全发挥其潜力。

如何使用

安装 MCP 工具
全局安装 MCP Web Content Pick 工具:`npm install -g mcp-web-content-pick`。
配置环境
编辑 `claude_desktop_config.json` 文件添加如下配置: ```json { "mcpServers": { "web_content_search": { "command": "npx", "args": [ "-y", "mcp-web-content-pick" ] } } } ```
执行命令
根据需求指定 URL 或配置文件运行命令。

使用案例

新闻文章摘要
从新闻网站提取文章标题、发布时间及正文内容。
电商平台商品评价
从电商网站爬取某款商品的所有用户评价。

常见问题

MCP 是否支持多语言网页?
如果遇到网络中断怎么办?
是否可以限制爬取深度?

相关资源

官方文档
获取更多关于 MCP 的详细信息。
GitHub 代码仓库
查看源码并参与开发。
演示视频
观看 MCP 如何工作的视频教程。

安装

复制以下命令到你的Client进行配置
{
  "mcpServers": {
    "web_content_search": {
      "command": "npx",
      "args": [
        "-y",
        "mcp-web-content-pick"
      ]
    }
  }
}
注意:您的密钥属于敏感信息,请勿与任何人分享。

替代品

C
Contracts Wizard
OpenZeppelin Contracts Wizard是一个交互式智能合约构建工具,允许用户通过选择合约类型、参数和功能来生成基于OpenZeppelin组件的合约代码。支持多种编程语言,并提供API和嵌入功能。
TypeScript
5.8K
4分
A
Apple Health MCP
一个用于通过SQL查询苹果健康数据的MCP服务器,基于DuckDB实现高效分析,支持自然语言查询和自动报告生成。
TypeScript
8.2K
4.5分
Z
Zen MCP Server
Zen MCP是一个多模型AI协作开发服务器,为Claude和Gemini CLI等AI编码助手提供增强的工作流工具和跨模型上下文管理。它支持多种AI模型的无缝协作,实现代码审查、调试、重构等开发任务,并能保持对话上下文在不同工作流间的延续。
Python
13.7K
5分
C
Container Use
Container Use是一个开源工具,为编码代理提供容器化隔离环境,支持多代理并行开发且互不干扰。
Go
9.4K
5分
S
Search1api
Search1API MCP Server是一个基于Model Context Protocol (MCP)的服务器,提供搜索和爬取功能,支持多种搜索服务和工具。
TypeScript
18.5K
4分
D
Duckduckgo MCP Server
已认证
DuckDuckGo搜索MCP服务器,为Claude等LLM提供网页搜索和内容抓取服务
Python
39.7K
4.3分
M
MCP Server Airbnb
已认证
Airbnb房源搜索与详情查询的MCP服务
TypeScript
15.0K
4分
M
MCP Alchemy
已认证
MCP Alchemy是一个连接Claude Desktop与多种数据库的工具,支持SQL查询、数据库结构分析和数据报告生成。
Python
16.8K
4.2分
F
Firecrawl MCP Server
Firecrawl MCP Server是一个集成Firecrawl网页抓取能力的模型上下文协议服务器,提供丰富的网页抓取、搜索和内容提取功能。
TypeScript
63.7K
5分
D
Duckduckgo MCP Server
已认证
DuckDuckGo搜索MCP服务器,为Claude等LLM提供网页搜索和内容抓取服务
Python
39.7K
4.3分
F
Figma Context MCP
Framelink Figma MCP Server是一个为AI编程工具(如Cursor)提供Figma设计数据访问的服务器,通过简化Figma API响应,帮助AI更准确地实现设计到代码的一键转换。
TypeScript
44.1K
4.5分
E
Exa Web Search
已认证
Exa MCP Server是一个为AI助手(如Claude)提供网络搜索功能的服务器,通过Exa AI搜索API实现实时、安全的网络信息获取。
TypeScript
30.4K
5分
B
Baidu Map
已认证
百度地图MCP Server是国内首个兼容MCP协议的地图服务,提供地理编码、路线规划等10个标准化API接口,支持Python和Typescript快速接入,赋能智能体实现地图相关功能。
Python
30.9K
4.5分
C
Context7
Context7 MCP是一个为AI编程助手提供实时、版本特定文档和代码示例的服务,通过Model Context Protocol直接集成到提示中,解决LLM使用过时信息的问题。
TypeScript
45.9K
4.7分
E
Edgeone Pages MCP Server
EdgeOne Pages MCP是一个通过MCP协议快速部署HTML内容到EdgeOne Pages并获取公开URL的服务
TypeScript
20.6K
4.8分
M
Minimax MCP Server
MiniMax Model Context Protocol (MCP) 是一个官方服务器,支持与强大的文本转语音、视频/图像生成API交互,适用于多种客户端工具如Claude Desktop、Cursor等。
Python
35.2K
4.8分
AIbase
智启未来,您的人工智能解决方案智库