短视频生成工具

项目简介

短视频生成器是一款开源的自动化视频制作工具，能够根据简单的文本输入生成高质量的短视频。该工具集成了多种先进技术，包括文字转语音（TTS）、语音识别、背景视频选择和音乐配搭等功能。

主要功能

1. 文字转语音：使用Kokoro TTS将文本转换为自然流畅的语音。
2. 语音识别：通过Whisper CPP生成准确的文字字幕。
3. 背景视频选取：从Pexels平台挑选与内容相关的高质量视频片段。
4. 视频合成：利用Remotion框架完成视频元素的编排和渲染，输出专业级视频。

使用指南

安装要求

• 硬件配置：

  • CPU：建议双核及以上
  • 内存：至少4GB RAM
  • 硬盘空间：需预留至少10GB用于存储生成的视频和临时文件

• 软件依赖：

  • Node.js（推荐版本：LTS）
  • FFmpeg（版本要求：>=2.1.3）
  • Pexels API密钥

运行方式

方式一：使用NPX命令行工具

直接运行以下命令即可启动服务：

npx short-video-maker

方式二：基于Docker部署

构建并运行Docker容器：

docker build -t short-video-maker .
docker run -p 3123:3123 short-video-maker

环境变量配置

在项目根目录创建.env文件，添加以下配置项：

• PORT=3123（可选，默认为3123）
• PEXELS_API_KEY=your_api_key
• WHISPER_MODEL=model_name

示例使用

请求示例

{
  "scenes": [
    {
      "text": "欢迎来到短视频生成器，让我们一起探索人工智能的无限可能",
      "searchTerms": ["科技","未来"]
    }
  ],
  "config": {
    "paddingBack": 3000,
    "music": "科幻"
  }
}

请求方式

通过Postman或curl工具发送POST请求：

curl -X POST http://localhost:3123/api/short-video \
-H "Content-Type: application/json" \
-d '{"scenes":[{"text":"示例文本","searchTerms":["关键词"]],"config":{"paddingBack":3000,"music":"类型"}}'

项目架构

• 前端：基于React构建的可视化编辑界面（即将发布）
• 后端：使用Node.js开发RESTful API
• 核心模块：
  • 视频生成器：负责视频合成与渲染
  • 字幕生成器：提供高精度语音识别功能
  • 资源管理器：实现Pexels视频资源的高效管理和调度

接口文档

REST API

1. GET /api/short-video/:id：获取指定ID的视频文件
2. POST /api/short-video：创建新视频（支持批量处理）
3. DELETE /api/short-video/:id：删除指定视频文件
4. GET /api/music-tags：获取可用音乐标签列表

MCP协议

• GET /mcp/sse：订阅实时事件流
• POST /mcp/messages：发送控制指令到MCP服务器

项目许可

本项目遵循MIT License开源协议，详细信息请见LICENSE文件。

致谢

感谢以下项目的贡献：

• Remotion：提供强大的视频生成框架
• Whisper.cpp：优秀的语音识别工具
• Pexels：丰富的视频资源库
• FFmpeg：功能强大的音视频处理工具
• Kokoro.js：先进的TTS引擎