🚀 Qdrant 开发容器用于文件嵌入

本项目提供了一个专门用于运行 Qdrant 进行文件嵌入的开发环境配置。借助该环境，可利用向量相似性搜索技术，对文本文档进行索引和搜索。

🚀 快速开始

此项目旨在为运行 Qdrant 提供便捷的开发环境，以下是快速开始的步骤：

1. 确保系统上正在运行 Docker Desktop。
2. 在 VS Code 中打开此文件夹。
3. 点击右下角的绿色“重新在容器中打开”按钮；或者按下F1并输入"Dev Containers: Reopen in Container"。

✨ 主要特性

• Qdrant 向量数据库：可在后台稳定运行。
• 自动文件索引：借助 sentence-transformers 实现文件的自动索引。
• Python 环境完备：配备所有必需依赖项。
• VS Code 扩展预装：提前安装好 VS Code Python 扩展。

📦 安装指南

先决条件

• 启动开发容器前，需运行 Docker Desktop。
• 需使用安装了 Remote - Containers 扩展的 VS Code。
• 需有互联网连接，用于下载依赖项。

💻 使用示例

基础用法

1. 将您的文本文件放在data/目录中。
2. 容器会自动启动 Qdrant 服务。
3. 容器构建完成后，您可以通过http://localhost:6333访问 Qdrant。
4. 从容器内部手动运行加载脚本：

python ingest.py

🔧 技术细节

• 端口运行方式：Qdrant 使用动态分配的端口运行，可在容器构建输出面板中查看端口信息。
• 文本嵌入模型：使用all-MiniLM-L6-v2进行文本嵌入。
• 集合创建：创建一个名为"local-docs"的集合，使用余弦相似度。
• 支持文件类型：支持文本文件（.txt）、Markdown 文件（.md）和 PDF 文件（.pdf）在数据目录中。

❓ 故障排除

容器无法启动

• 确保 Docker Desktop 正在运行。
• 检查是否有其他进程占用动态分配的端口。
• 验证所有依赖项是否正确安装。

文件未被索引

• 检查文件是否在data/目录中。
• 确认文件扩展名受支持（当前支持.txt、.md、.pdf）。
• 确保文件对容器可读。

📄 许可证

本项目采用 MIT License。

📋 待办事项

• 处理大体积 PDF 文件。
• 使用并行处理按页面提取文本。
• 每个片段准备完成后立即嵌入和推送。
• 如果torch.cuda.is_available()可用，添加 GPU 嵌入支持。
• 添加对 epub 文件的支持。