工作流录制通 WorkflowLearner

项目概述 Summary

本项目旨在通过使用PSR.exe录制的MHT文件，让大语言模型（LLM）学习工作流。PSR.exe是Windows操作系统中的问题步骤记录器，可以记录用户操作并生成MHT文件。通过解析这些MHT文件，LLM可以学习和理解用户的工作流程。

功能 Functions

• 使用PSR.exe录制用户操作并生成MHT文件。
• 解析MHT文件并提取工作流信息。
• 使用LLM学习和理解工作流。

安装 installment

前提条件 Requirements

• Windows操作系统
• Python 3.x
• PSR.exe（问题步骤记录器，Windows自带）

安装步骤 Install Steps

克隆仓库:

git clone https://github.com/u3588064/WorkflowLearner
cd llm-workflow-learning

安装依赖:

pip install -r requirements.txt

使用方法 Methods

使用PSR.exe录制用户操作 Recording actions with PSR.exe

1. 打开PSR.exe（问题步骤记录器），可通过Win7/Win8/Win10的搜索栏搜索找到。
2. 点击“开始记录”按钮，然后开始你的工作。PSR.exe会自动记录鼠标动作（如点击、拖动、滚动等）以及键盘动作（仅是动作，不会记录键入的内容）。
3. 完成操作后，点击“停止记录”按钮。软件会自动弹出保存窗口。
4. 结果会以一个Zip压缩包存在，压缩包内是MHT格式的网页，内含分步步骤以及屏幕截图。

解析MHT文件 Parse MHT files:

python parse_mht.py path/to/your/file.mht

使用LLM学习工作流 Learn workflows using LLM:

python learn_workflows.py path/to/parSED_DATA.csv

文件结构 File Structure

• parse_mht.py: 解析MHT文件并提取有用信息。
• learn_workflows.py: 使用提取的信息训练或推理LLM模型以学习工作流。
• requirements.txt: 项目依赖的Python包。

在线演示 Online Demo

项目提供在线演示链接：工作流录制通在线演示

贡献 Contribution

欢迎贡献！请参考项目文档了解如何参与开发。

许可证 License

本项目采用MIT许可证。

联系方式 Contact

如有任何问题或需要进一步信息，请联系：u3588064@connect.hku.hk