最近在github上发现一个挺好玩的东西,玩的效果上来看就是授权一个本地 AI 助手,让它「看见」手机上真实的屏幕画面,并替我点按、滑动、输入——最后我用它来在微信里跟指定的人聊天。
不是那种返回一段文字让你自己发的"聊天助手",而是 AI 真的在看你的屏幕、真的在点你的按钮,听起来很神奇,其实就是硬件层面把 ADB 和 MCP 拼在了一起。
挺好玩的,感谢作者开源,源码在这里:https://github.com/teangtang1122/dsh-phone-control
它到底是什么
它是一个 独立的 stdio MCP 服务器,它通过 ADB 与一台固定的、经过我授权的安卓手机对话,向外暴露五个工具:
| 工具 | 用途 |
|---|---|
phone_status |
只读检查固定手机连接 |
phone_apps |
列出可启动的应用包名 |
phone_observe |
截图、界面节点、OCR、目标与坐标尺 |
phone_open_app |
用真实包名打开应用 |
phone_action |
文字点击、准星预览/确认、滑动、按键、输入 |
接入支持 MCP 的本地 AI 助手(比如 DSH)之后,助手就能调用这些工具,像一个人拿到一部手机那样使用它。
可以用它做什么
我的场景比较简单:让 AI 帮我在微信上和指定的人聊天。
传统做法是去装各种「微信协议插件」「QQ 桥接」之类的东西——本质是逆向模拟登录、注入客户端,风险高、容易被封号,而且很多本地工具实际上要依赖一个中间桥接服务。
而这个项目走的是另一条路:它不去碰微信的协议,就站在真实界面上操作。 助手 phone_observe 一行命令,把手机屏幕上微信的实时画面连文字目标一起拿回来;它看到"发送"按钮,就 phone_action 点下去;看到输入框,就把中文打进去,就像你在旁边看着一个人操作你的手机,而不是给微信开个后门。
怎么使用
如果你也想试试,README 也里写得很细,这里给最简路径,装完后一定先 npm run doctor 只读检查,它不往手机发任何输入,下载源码执行一下命令:
npm ci
# 安装依赖
python -m venv .venv && .venv/bin/python -m pip install -r requirements.txt
npm run config # 填写 ADB 路径、真实设备序列号、Python 路径
npm run doctor # 只读环境检查
需要中文/emoji 输入时,再单独去 scrcpy 官方下 4.1 版本,把服务端文件(不是 scrcpy.exe)路径填进配置。配置完了后config.json配置文件里就是类似这样:
$ cat config.json
{
"adbPath": "/Users/chengpei/Library/Android/sdk/platform-tools/adb",
"serial": "fca983a8",
"pythonPath": "/Users/chengpei/PythonProjects/dsh-phone-control/.venv/bin/python",
"ocr": true,
"scrcpyServerPath": "/Users/chengpei/Downloads/scrcpy-macos-x86_64-v4.1/scrcpy-server"
}
最后MCP客户端我这里是在deepseek-harness的MCP连接器插件里可视化配置,配置如下:

注意
不过玩的话要注意几点,不然容易玩脱。。。
第一点,它把一台安卓手机的完整操作权限,通过 ADB 下放给了 AI。 工具表面只暴露了几个固定的动作,但底层确实是完整的 ADB 命令能力——所以你授权它操作微信,理论上它自然不只是"只能操作微信",凡是能通过点击、滑动、输入完成的事,它原则上都能做。所以我这里是在提示词里限制了它只能操作当前这个聊天回话,并且全程盯着它在。
第二点,也是很多人会忽略的:手机屏幕上的内容会暴露给后台的大模型。 phone_observe 会把你整个微信界面连同聊天记录一起,以图片形式送进 AI 的上下文。一旦截图交给云端模型,整段聊天内容就可能在你的电脑之外流转。在意隐私的话,优先用本地模型,或至少想清楚你的聊天记录会流向哪里。
第三点,关于用 AI 控制微信这件事本身。一些"微信 / QQ 机器人"是通过逆向协议、注入客户端来被程序控制,属于踩腾讯红线,很容易被封号。这个项目刻意绕开了那条路——它不碰微信协议、不注入、不逆向,只是通过 ADB 在真实界面上去点击和输入,就像一个人亲手在操作手机,所以风险比"协议插件"低很多。但即便如此,也不能说完全安全:自动化操作的模式仍然可能被风控识别为"非常人操作"
仓库:https://github.com/teangtang1122/dsh-phone-control
技术栈:Node.js(@modelcontextprotocol/sdk + zod)、Python(Pillow / RapidOCR)、ADB、scrcpy 4.1 控制协议。
评论区