Screenpilot

🚀 屏幕控制专家

屏幕控制专家借助MCP服务器，让大语言模型得以全面掌控你的设备。它提供了屏幕自动化工具包，可对图形用户界面进行控制和交互，在自动化、教育和娱乐等领域都能发挥重要作用。

🚀 快速开始

按照以下步骤操作，即可开启屏幕控制专家的使用之旅。

✨ 主要特性

• 📷 屏幕捕获与分析
• 🖱️ 鼠标控制（点击、定位）
• ⌨️ 键盘输入（打字、按键、热键）

📦 安装指南

1. 安装Python 3.12。
2. 克隆仓库：

git clone https://github.com/Mtehabsim/ScreenPilot.git

3. 创建虚拟环境：

python -m venv venv

4. 激活虚拟环境：

venv\Scripts\activate

5. 安装所需包：

pip install -r requirements.txt

6. 打开Claude AI桌面。
7. 依次点击“文件” -> “设置” -> “开发者” -> “编辑配置”。
8. 打开配置文件并粘贴以下内容：

{
    "mcpServers": {
        "device-controll": {
            "command": "pathToEnv\\venv\\Scripts\\python.exe",
            "args": [
                "pathToProject\\ScreenPilot\\main.py"
            ]
        }
    }
}

9. 进行路径替换：
   • “pathToEnv\\venv\\Scripts\\python.exe”替换为你的python.exe的完整路径。
   • “pathToProject\\ScreenPilot\\main.py”替换为你的main.py文件的完整路径。
10. 保存配置文件。
11. 打开Claude AI桌面。
12. 转到“文件” -> “退出”。
13. 现在你可以打开Claude AI桌面并享受ScreenPilot。

可用工具

• 屏幕捕获：截取屏幕并获取屏幕信息。
• 鼠标控制：移动鼠标并执行点击。
• 键盘操作：输入文本、按键和使用热键组合。
• 滚动：在不同方向和具体位置进行滚动。
• 元素检测：检查屏幕上是否存在元素并等待其出现。
• 动作序列：按顺序执行多个动作。

🤝 贡献

欢迎大家为项目贡献力量！请随时提交Pull Request。