Self-Operating Computer：GPT-4V

自动化技术的最新进展引人瞩目，其中一项引人注目的技术是Self-Operating Computer框架。这一框架采用了先进的GPT-4V模型，通过模拟人类的鼠标点击和键盘输入，实现了令人惊叹的自主打理。在演示中，我们看到了框架自动开启浏览器并访问Google Doc，接着开始撰写诗歌。Self-Operating Computer的核心能力在于基于给定的目标，估计鼠标点击的正确X和Y坐标位置，与在每个步骤中进行适当的键盘输入。这一创新的框架旨在与任何视觉-文本多模态模型协同工作，以评估其打理计算机的能力。其打理GPT-4V的强悍模拟特性使得计算机能自主执行各种任务，展现了令人惊叹的智能水平。自打理计算机框架使多模态模型能够打理计算机的框架。打理与人类打理员一致的输入和输出，模型查看屏幕并决定一系列鼠标和键盘打理以达到目标。

首要特色

适配性：专为各种多模式模型而设计。

集成：当前与 GPT-4v、Gemini Pro Vision、Claude 3 和 LLaVa 集成。

未来计划：适配其他型号。

持续发展

在 HyperwriteAI，我们正在开发 Agent-1-Vision，这是一种多模式模型，具有更准确的点击位置预测。Agent-1-Vision 模型 API 访问

我们很快将带有对 Agent-1-Vision 模型的 API 访问。若您有兴趣访问此 API，请在此处注册。演示

跑Self-Operating Computer

部署项目

pip install self-operating-computer跑项目

operate输入您的 OpenAI 密钥：若您不含密钥，能在此处获取 OpenAI 密钥

为终端工具程序带有所需的权限：作为末尾一步，终端工具程序将在Mac的“环境偏好配置”的“安全和隐私”页面中请求“屏幕录制”和“辅助特性”的权限。

打理模式operate

多模式模型-m

另一个模型现在与自打理计算机框架适配。按照以下说明尝试 Google。gemini-pro-vision从双子座模型开始operateoperate -m gemini-pro-vision

当终端提示您输入您的 Google AI Studio API 密钥时若您不含密钥，能在配置 Google AI Studio 帐户后在此处获取密钥。您可能还需求桌面工具程序的授权凭据。我花了一点时间让它工作，若有人了解更轻松的方法，请做一个 PR。试试克劳德-m claude-3将 Claude 3 与 Vision 一起打理，看看它在打理计算机时如何与 GPT-4-Vision 相提并论。导航到 Claude 仪表板以获取 API 密钥，接着跑以下命令进行尝试。operate -m claude-3

尝试通过 Ollama 托管的 LLaVa-m llava若您想在自己的机器上打理 LLaVA 试验自打理计算机框架，您能打理 Ollama！注意：Ollama 当前仅适配 MacOS 和 Linux起始，从 https://ollama.ai/download 在您的机器上部署 Ollama。部署 Ollama 后，拉取 LLaVA 模型：ollama pull llava

这将在您的计算机上取下来模型，这需求大约 5 GB 的存储空间。当 Ollama 完成拉取 LLaVA 后，启动服务器：ollama serve

就是这样！现在开始并选取 LLaVA 模型：operateoperate -m llava

要紧：打理 LLaVA 时的报错率非常高。这只是为了作为一个基础，随着本地多模式模型的改进而建立。在 GitHub 存储库中了解有关 Ollama 的更多信息语音模式--voice

该框架适配目标的语音输入。按照以下说明尝试语音。将存储库克隆到计算机上的目录：git clone https://github.com/OthersideAI/self-operating-computer.git

Cd 进入目录：cd self-operating-computer

部署额外的requirements-audio.txtpip install -r requirements-audio.txt

部署终端要求对于Mac受众：brew install portaudio

对于 Linux 受众：sudo apt install portaudio19-dev python3-pyaudio

以语音模式跑operate --voice

光学字符识别模式-m gpt-4-with-ocr

自打理计算机框架现在将光学字符识别 （OCR） 特性与该模式集成在一起。此模式为 GPT-4 带有了按坐标排列的可点击元素的哈希图。GPT-4 能通过文本决定元素，接着代码引用哈希图来获取 GPT-4 想要点击的元素的坐标。gpt-4-with-ocrclick根据最近的测试，OCR 的执行效率优于普通 GPT-4，因此我们将其配置为项目的默认值。要打理 OCR 模式，您只需编写：somoperate或是也能工作。operate -m gpt-4-with-ocr标记提示集-m gpt-4-with-som

自打理计算机框架现在适配打理命令进行标记集 （SoM） 提示。这种新的视觉提示方法增强了大型多模态模型的视觉接地能力。gpt-4-with-som在详细的arXiv论文中了解有关SoM提示的更多信息：此处。对于此初始发行版，训练了一个轻松的 YOLOv8 模型用于按钮检测，该资料包含在 .鼓励受众交换其资料以评估执行效率改进。若您的模型优于现有模型，请通过创建拉取请求 （PR） 来做出贡献。best.ptmodel/weights/best.pt从 SoM 模型开始operateoperate -m gpt-4-with-som

欢迎投稿！

若您想自己做出贡献，请参阅 CONTRIBUTING.md。反馈

有关改进此项目的任何意见，请随时在 Twitter 上联系 Josh。加进我们的 Discord 社区

如需实时讨论和社区适配，请加进我们的 Discord 服务器。若您已然是VIP，请在 #self-operating-computer 中加进讨论。

若您是新手，请先加进我们的 Discord 服务器，接着导航到 #self 打理计算机。

关注 HyperWriteAI 获取更多迭代

随时了解最新进展：在 Twitter 上关注 HyperWriteAI。

在LinkedIn上关注HyperWriteAI。

适配性

此项目与 Mac OS、Windows 和 Linux（部署了 X 服务器）适配。

OpenAI 速率限制说明

该模型是必需的。要解锁对此模型的访问权限，您的帐户需求花费至少 5 美元的 API 积分。若您尚未花费最低 5 美元，预付这些积分将解锁访问权限。点击此处了解更多信息gpt-4-vision-preview