多线程抓取 - 项目文档

简介

mult-fetch 是一个多线程网络抓取库，支持Node.js和浏览器模式的切换。它提供了强大的配置选项和扩展能力，适用于复杂的网页抓取任务。

核心特点

• 多线程运行：支持同时启动多个抓取线程。
• 智能模式切换：默认使用Node.js fetch，失败后自动切换到BrowserFetcher（基于Puppeteer）。
• 丰富配置选项：提供代理、调试、浏览器设置等详细配置项。
• 内容处理能力：内置内容提取功能，可过滤广告和无用信息。

快速上手

安装依赖

npm install mult-fetch chrome-driver

示例代码

const fetch = require('mult-fetch');
 
// 创建一个默认配置对象
const defaultConfig = {
  // 是否启用浏览器模式，默认false
  useBrowser: false,
  // 是否自动检测并切换模式，默认true
  autoDetectMode: true,
  // 等待页面加载的超时时间，默认5000ms
  waitForTimeout: 5000,
  // 代理配置，按优先级从高到低依次为：
  proxy: {
    server: 'http://localhost:1080' // SOCKS5代理示例
  }
};

// 创建一个实例
const fetcher = new fetch.MultiFetcher(defaultConfig);

// 执行抓取任务
fetcher.fetch('https://example.com', (err, resp, body) => {
  if (err) {
    console.error('[FETCH]', err.message);
    return;
  }

  // 处理响应内容
  const $ = cheerio.load(body);
  // 提取文章内容
  const content = $('article').text();
  console.log('Content:', content);
});

配置选项

网络配置

// 代理优先级：
1. 命令行指定的代理（如果有的话）
2. 请求中明确设置的proxy参数
3. 当useSystemProxy为true时，从环境变量获取
4. 当useSystemProxy为true时，读取git config中的配置

注意：当proxy被显式设置时，useSystemProxy将自动设为false。

浏览器模式配置

// 浏览器相关配置：
{
  // 是否等待特定选择器出现，默认'body'
  waitForSelector: string | null,
  // 等待超时时间，默认5000ms
  waitForTimeout: number,
  // 是否滚动到底部，默认false
  scrollToBottom: boolean,
  // 是否保存cookies，默认true
  saveCookies: boolean,
  // 抓取完成后是否关闭浏览器，默认false
  closeBrowser: boolean
}

内容处理选项

{
  // 是否启用内容提取功能，默认false
  extractContent: boolean,
  // 提取内容时是否包含元数据，默认false
  includeMetadata: boolean,
  // 当extractContent为true时，失败重试次数，默认3次
  extractRetries: number
}

调试信息

日志输出格式

[LOG]    - 正常日志信息
[INFO]   - 系统提示信息
[DEBUG]  - 调试相关信息（需启用debug模式）
[ERROR]  - 错误信息
[FETCH] - 抓取相关操作

日志前缀说明

• [MAIN]: 主进程日志
• [CHILD]: 子进程日志
• [FETCH]: 单个抓取任务日志
• [EXTRACT]: 内容提取模块日志

环境变量配置

# 启用调试模式
DEBUG=mult-fetch:*

# 设置默认线程数量
MAX_THREADS=10

# 配置代理地址
FETCH_PROXY=http://localhost:1080

许可证

本项目遵循MIT开源协议，更多内容请查看LICENSE文件。

附录

错误代码说明

• ECONNREFUSED: 连接被拒绝
• ETIMEDOUT: 请求超时
• ENOTFOUND: 域名未找到
• EBADURL: 非法的URL格式

事件监听

// 监听全局错误事件
process.on('uncaughtException', (err) => {
  console.error('Caught an error:', err);
});

// 监听进程退出事件
process.on('exit', () => {
  console.log('Process is exiting...');
});

内部工具函数

// 获取所有运行中的线程信息
fetcher.getThreadsInfo();

// 强制终止所有线程
fetcher.terminate();

更多文档

请参考官方文档：mult-fetch.github.io