這款由 DroidRun 團隊開發(fā)的框架允許通過自然語言命令控制 Android 手機，讓大型語言模型（LLM）化身智能助手，輕松實現(xiàn)社交媒體自動化、消息發(fā)送或測試任務(wù)。

隨著 LLM 的理解和推理能力飛速提升，手機任務(wù)自動化成為 AI 應(yīng)用的新熱點。DroidRun 通過結(jié)合視覺解析、UI 提取和 LLM 推理，讓 Android 手機像人類一樣被操控。

剛剛在 GitHub 上開源就已經(jīng)攬獲了 1.2k 標星！

無論是測試工程師用于自動化測試，還是普通用戶簡化日常操作，DroidRun 都展現(xiàn)了無限可能。

項目介紹

DroidRun?是一個開源的 Android 自動化框架，通過自然語言指令驅(qū)動 LLM 智能體控制手機。

它由兩部分組成：

• ??LLM 智能體：運行在電腦或云端，負責解析自然語言指令，生成操作序列，支持 OpenAI、Anthropic、Gemini 等多種 LLM 提供商。
• ??DroidRun Portal App：安裝在 Android 手機上，通過 ADB 或 Wi-Fi 接收指令，執(zhí)行屏幕點擊、輸入等操作。

它利用視覺模型（解析屏幕截圖）和 UI 結(jié)構(gòu)提?。ɑ?Accessibility Service API），結(jié)合 LLM 的推理能力，實現(xiàn)復雜任務(wù)自動化。

主要功能

• ??自然語言控制：使用自然語言命令控制 Android 設(shè)備
• ??多 LLM 支持：支持多個 LLM 提供商（OpenAI、Anthropic、Gemini）
• ??極簡命令行操作：易于使用的命令行界面
• ??豐富的擴展能力：可擴展的Python API用于自定義自動化
• ??視覺UI解析：直接通過截圖理解手機控件元素

快速使用

DroidRun 的部署過程簡單，以下是詳細步驟，助你快速實現(xiàn)手機自動化：

方式一：從PyPI安裝（推薦）

pip?install?droidrun

方式二：從源代碼安裝

git?clone?https://github.com/droidrun/droidrun.git cd?droidrun pip?install?-e?.

先決條件：

1、通過USB或ADB連接到TCP/IP的Android設(shè)備

2、ADB（Android 調(diào)試橋）已安裝并配置

adb 安裝非常簡單，可直接搜索教程安裝到本地電腦即可。安裝完成后，別忘了設(shè)置下環(huán)境變量就可以隨時在命令行全局使用了。

能執(zhí)行以下命令，說明安裝成功：

adb?version

與此同時，對于要操作的Android手機需要打開開發(fā)者模式，啟用USB調(diào)試。

3、DroidRun Portal 應(yīng)用程序已安裝在您的 Android 設(shè)備上

DroidRun 需要在你的 Android 設(shè)備上安裝 DroidRun 門戶應(yīng)用程序。

下載地址：https://github.com/droidrun/droidrun-portal

兩種命令安裝方式：

droidrun?setup?--path=/path/to/droidrun-portal.apk #?or adb?install?-r?/path/to/droidrun-portal.apk

1. 4. OpenAI等LLM大模型配置

#?Choose?at?least?one?of?these?based?on?your?preferred?provider export?OPENAI_API_KEY="your_openai_api_key_here" export?ANTHROPIC_API_KEY="your_anthropic_api_key_here" export?GEMINI_API_KEY="your_gemini_api_key_here"

最后就可以通過USB連接您的設(shè)備或設(shè)置無線ADB：

#?List?connected?devices droidrun?devices #?Connect?to?a?device?over?Wi-Fi droidrun?connect?192.168.1.100

驗證設(shè)置是否正確：

#?Should?list?your?connected?device?and?show?portal?status droidrun?status

基本用法：

#?打開設(shè)置APP droidrun?"Open?the?settings?app" #?指定模型 droidrun?"Open?the?calculator?app"?--provider?openai?--model?gpt-4o-mini #?指定設(shè)備 droidrun?"Open?Chrome?and?search?for?weather"?--device?abc123

還可以創(chuàng)建Python測試代碼：

#!/usr/bin/env?python3 import?asyncio import?os from?droidrun.agent.react_agent?import?ReActAgent from?droidrun.agent.llm_reasoning?import?LLMReasoner from?dotenv?import?load_dotenv #?Load?environment?variables?from?.env?file load_dotenv() async?def?main(): ????#?Create?an?LLM?instance?(choose?your?preferred?provider) ????llm?=?LLMReasoner( ????????llm_provider="gemini",??#?Can?be?"openai",?"anthropic",?or?"gemini" ????????model_name="gemini-2.0-flash",??#?Choose?appropriate?model?for?your?provider ????????api_key=os.environ.get("GEMINI_API_KEY"),??#?Get?API?key?from?environment ????????temperature=0.2 ????) ???? ????#?Create?and?run?the?agent ????agent?=?ReActAgent( ????????task="Open?the?Settings?app?and?check?the?Android?version", ????????llm=llm ????) ???? ????steps?=?await?agent.run() ????print(f"Execution?completed?with?{len(steps)}?steps") if?__name__?==?"__main__": ????asyncio.run(main())

支持的操作類型

• ? App 啟動與關(guān)閉：啟動應(yīng)用、回到主界面、切換任務(wù)等
• ? UI 操作：點擊、長按、滑動、輸入文字
• ? 控件識別：可基于 AccessibilityNode 信息判斷是否找到按鈕
• ? 工具調(diào)用：截圖、OCR、圖像問答輔助定位控件
• ? 反饋能力：可截圖/日志記錄執(zhí)行過程
• ? 自動化測試：執(zhí)行固定 UI 流程并驗證是否成功

寫在最后

DroidRun 是 AI 手機自動化領(lǐng)域的開源先鋒，其自然語言驅(qū)動和強大功能讓人眼前一亮。

DroidRun = 讓 LLM 真的“動起手機”，實現(xiàn)從語言到操作的閉環(huán)！

它不僅是 AI+移動自動化的新起點，更可能開啟LLM 控制世界的觸手端口。

如果想讓 AI 幫你發(fā)消息、發(fā)帖或測試 App？那它就可以。

GitHub 項目地址：https://github.com/droidrun/droidrun

文檔入口：https://docs.droidrun.ai/introduction

[超站]友情鏈接：

四季很好，只要有你，文娛排行榜：https://www.yaopaiming.com/
關(guān)注數(shù)據(jù)與安全，洞悉企業(yè)級服務(wù)市場：https://www.ijiandao.com/