🚀 市场洞察服务器

市场洞察服务器是一个实时大宗商品追踪系统，它结合了 Apache Spark、OpenAI GPT 和 MCP 协议，能够生成可操作的市场见解，助力用户把握大宗商品市场动态。

🚀 快速开始

运行以下命令启动系统：

python spark_market_insights_server.py --commodity "nickel"

输出内容包括：

• 来自 Reddit 和新闻来源的清理文本数据
• TF-IDF 特征
• GPT-4 支持的见解报告
• 见解 JSON 导出

✨ 主要特性

• 🌐 实时数据收集：从 Reddit、新闻 API 和雅虎财经收集实时数据。
• 🚀 可扩展处理：使用 Apache Spark（PySpark 3.5.0）进行可扩展的数据处理。
• 🧠 AI 见解支持：由 GPT-4 提供自然语言见解。
• 📈 多市场配置：可配置用于任何大宗商品市场，如能源、金属、农业等。
• 🎯 动态配置：具备动态配置生成和子论坛发现功能。
• 🚀 易于部署：准备好部署，带有错误处理、重试和异步收集机制。

📦 安装指南

依赖项

• Python 3.x
• PySpark 3.5.0
• Spark NLP 4.4.0
• aiohttp
• yfinance
• openai
• beautifulsoup4

安装命令

pip install -r requirements.txt

📚 详细文档

架构

1. 数据采集层
   • 异步抓取 Reddit 和新闻文章。
   • 从雅虎财经获取实时价格 feed。
2. 处理层（Apache Spark）
   • 进行分词、停用词移除和 TF-IDF 向量化处理。
   • 支持 Spark NLP 管道。
3. AI 洞察层
   • 使用 OpenAI GPT-4 总结并综合市场叙述。
4. 配置层
   • 根据大宗商品自动识别相关 subreddit 和关键字。

示例输出

“镍价因印度尼西亚的新出口禁令而大幅上涨。Reddit 情绪看涨，帖子预测供应限制。市场数据显示 EV 相关股票如 NIO 和 LI 出现同步上漲。”

故障排除

即将推出

• 分析 YouTube 视频中的大宗商品内容。
• 公共仪表板在 Smithery.ai 上线。

🤝 贡献

有新的数据源或见解模型吗？欢迎提交 PR！

📄 许可证

本项目采用 MIT License。