开始使用MCP服务器抓取器

该项目允许你从glama.ai抓取并提取MCP网络服务器。按照以下步骤设置和运行抓取器。

📦 先决条件

• Node.js
• npm

🔧 安装

1. 克隆仓库:

   git clone https://github.com/Neche-Stephen/mcp_web_scrapper
   cd mcp_web_scrapper
   

2. 安装依赖项:

   npm install
   

🗃 检查现有数据

在运行新的抓取之前：

1. 检查servers-json文件夹是否存在。

2. 如果存在并且包含文件，则表示之前已经抓取过数据。

3. 要运行新的批次，删除servers-json文件夹:

   rm -rf servers-json
   

第一步：抓取MCP服务器链接

运行抓取器以收集所有MCP服务器链接：

node scraper.js

• 抓取器将启动无头浏览器并开始收集数据。
• 请耐心等待——这可能需要几分钟时间。
• 抓取完成后，你会看到“关闭浏览器”的消息。

输出：在servers-json文件夹中生成一个名为server-links.json的文件，其中包含所有抓取的链接。

第二步：处理并提取服务器数据

现在，从每个服务器链接获取详细信息：

node process-links.js

• 脚本读取server-links.json并访问每个链接以抓取必要的数据。
• 在终端中显示进度报告。
• 抓取完成后，你会看到成功消息。

所有抓取的数据将存储在servers-json目录中的不同文件中，文件名为相应的MCP服务器名称。