岩风：告别“小爱同学”：我开发了一款本地化 AI 手势控制插件，毫秒级响应
岩风：告别“小爱同学”：我开发了一款本地化 AI 手势控制插件，毫秒级响应
岩风：告别“小爱同学”：我开发了一款本地化 AI 手势控制插件，毫秒级响应 岩风：告别“小爱同学”：我开发了一款本地化 AI 手势控制插件，毫秒级响应 Modified December 3, 2025 No access 33965737002 1 192 00:00 No access 12月1日 00:00 No access 12月3日 00:00 步骤 3：配置 rtsp url: "rtsp://用户名:密码@摄像头IP:554/stream1"mqtt broker: "core mosquitto"mqtt port: 1883 说明： • 替换 用户名、密码、摄像头IP 为你的实际配置 • core mosquitto 是 Home Assistant 内置的 MQTT broker core mosquitto 是 Home Assistant 内置的 MQTT 代理 • 常用的参数都已经放在配置界面，大家可以按需调整 步骤 4：启动 1. 点击 "启动" 按钮 2. 查看 "日志" 确认运行正常 3. 应该看到：Gesture Engine initialized successfully 现在当你把手放在摄像头前做手势，如果出现以下log，就说明大功告成了。 Code block YAML 2025 12 03 08:34:26,250 src.gesture engine DEBUG 未检测到手部 2025 12 03 08:34:26,529 src.gesture engine DEBUG 未检测到手部 2025 12 03 08:34:26,803 src.gesture engine DEBUG 未检测到手部 2025 12 03 08:34:27,096 src.gesture engine DEBUG 检测到手势: NONE (Google: None, 置信度: 0.58) 2025 12 03 08:34:27,096 main DEBUG 检测到 NONE，作为 None 处理，清空 buffer 2025 12 03 08:34:27,384 src.gesture engine DEBUG 检测到手势: OPEN PALM (Google: Open Palm, 置信度: 0.63) 2025 12 03 08:34:27,662 src.gesture engine DEBUG 检测到手势: OPEN PALM (Google: Open Palm, 置信度: 0.62) 2025 12 03 08:34:27,662 main INFO 稳定性检查 OPEN PALM: last 2=True, time span=0.28s, buffer size=2 2025 12 03 08:34:27,662 main INFO ✓ 手势 OPEN PALM 已稳定 (最近 2 次检测一致) 2025 12 03 08:34:27,662 main INFO ✓ 手势触发: OPEN PALM (置信度: 0.62) 2025 12 03 08:34:27,663 src.mqtt client DEBUG 已发布手势: OPEN PALM (置信度: 0.62) 2025 12 03 08:34:27,952 src.gesture engine DEBUG 检测到手势: OPEN PALM (Google: Open Palm, 置信度: 0.61) 步骤 5：接入控制指令 最后，在 Home Assistant 的自动化中，你可以像设置“按键开关”一样，设置“当手势变为 OK 时，打开空调”。发挥想象力，玩法无限！ 【思考】 迈向多模态交互的未来 通过不同的手势控制智能家居，好比我们手指随着拿着各种开关，可以随时使用。它并非为了取代语音或 App，而是补全了智能家居交互的拼图。 • 人走灯灭是被动的感知； • 语音控制是显性的指令； • 手势控制则是介于两者之间的自然交互——它无声、直观、即时。 当然，手势控制智能家居只是这项技术的其中一个应用。现在通过手势、头部以及姿态识别，已经可以实现很多奇妙的玩法。感兴趣的朋友们可以到这里体验：https://www.funwithcomputervision.com/ 我相信在未来，随着端侧 AI 算力的提升，智能家居将不再仅仅是“听话”，而是能通过视觉理解我们的姿态、表情甚至意图。就像《钢铁侠》中展示的那样，这才是我们向往的未来，也是我不断探索的方向。 No access 12月1日 (1) 00:00 【一起交流】 我是岩风，一位AI路上的探索者，期待与大家的交流～ 如果你对这个项目感兴趣，或者有更多好玩的AI+智能家居的点子，欢迎来找我！ No access 33965737002 1 192 00:00 No access 33965737002 1 192 00:00 No access 12月1日 00:00 No access 12月1日 00:00 No access 12月3日 00:00 No access 12月3日 00:00 步骤 3：配置 rtsp url: "rtsp://用户名:密码@摄像头IP:554/stream1"mqtt broker: "core mosquitto"mqtt port: 1883 说明： • 替换 用户名、密码、摄像头IP 为你的实际配置 • core mosquitto 是 Home Assistant 内置的 MQTT broker core mosquitto 是 Home Assistant 内置的 MQTT 代理 • 常用的参数都已经放在配置界面，大家可以按需调整 步骤 4：启动 1. 点击 "启动" 按钮 2. 查看 "日志" 确认运行正常 3. 应该看到：Gesture Engine initialized successfully 现在当你把手放在摄像头前做手势，如果出现以下log，就说明大功告成了。 步骤 5：接入控制指令 最后，在 Home Assistant 的自动化中，你可以像设置“按键开关”一样，设置“当手势变为 OK 时，打开空调”。发挥想象力，玩法无限！ 【思考】 迈向多模态交互的未来 通过不同的手势控制智能家居，好比我们手指随着拿着各种开关，可以随时使用。它并非为了取代语音或 App，而是补全了智能家居交互的拼图。 • 人走灯灭是被动的感知； • 语音控制是显性的指令； • 手势控制则是介于两者之间的自然交互——它无声、直观、即时。 当然，手势控制智能家居只是这项技术的其中一个应用。现在通过手势、头部以及姿态识别，已经可以实现很多奇妙的玩法。感兴趣的朋友们可以到这里体验：https://www.funwithcomputervision.com/ 我相信在未来，随着端侧 AI 算力的提升，智能家居将不再仅仅是“听话”，而是能通过视觉理解我们的姿态、表情甚至意图。就像《钢铁侠》中展示的那样，这才是我们向往的未来，也是我不断探索的方向。 No access 12月1日 (1) 00:00 No access 12月1日 (1) 00:00 【一起交流】 我是岩风，一位AI路上的探索者，期待与大家的交流～ 如果你对这个项目感兴趣，或者有更多好玩的AI+智能家居的点子，欢迎来找我！ 【引言】 为什么我们需要“第三种交互”？ 最近小米推出了的 miloco 视觉方案，其中一个场景展示了手势识别功能。这让我重新审视了目前智能家居的主流交互方式——语音控制。 作为一名资深智能家居玩家，在使用小爱音箱时，我常面临两个真实的痛点： 1. 唤醒词的尴尬：每次操作前都要喊一句“小爱同学”，在深夜或安静环境下显得尤为笨拙繁琐。 2. 多任务的冲突：当音箱正在播放高潮音乐，或者我正在接听重要电话时，想要暂停播放，还得大声喊话打断，体验非常割裂。 如果不说话，也不掏手机，能不能优雅地控制家里的一切？ 答案就是：手势控制。 【技术选型】 为什么是 MediaPipe？ 虽然绿米早在 2021 年就推出了 AI 手势摄像头，但作为一个折腾爱好者，我更倾向于“榨干”现有设备的价值。我的目标很明确：用最普通的网络摄像头，跑通专业的 AI 识别。 在简单思考后，我排除了通过 LLM（大模型）分析画面的方案，因为从截图到分析再到返回结果，至少几秒的延迟对于“开关灯”这种瞬时需求来说是不可接受的，同时一直调用LLM进行检测的成本我也承担不起。 最终，我锁定了 Google MediaPipe。 • 低延迟：专为实时设备端（On Device）设计，速度极快。 • 高精度：能够输出 21 个手部关键点，支持 3D 坐标追踪。 • 开源免费：零成本，而且本地部署，是低成本打造智能交互方案的最佳选择。 官方体验链接：https://mediapipe studio.webapps.google.com/demo/gesture recognizer?hl=zh cn 而我只需要将这套模型导入到本地，接上我的摄像头和小爱音箱就OK了！ 【效果展示】 毫秒级响应的“魔法”体验 经过一番折腾，总算实现了想要的效果： 目前插件已支持 8 种基础手势，覆盖了绝大多数日常控制场景： 手势 描述 来源 准确率 用途示例 🖐️ 张开手掌 五指全部伸直 Google 内置 95%+ 开灯、播放 ✊ 握拳 五指全部收起 Google 内置 95%+ 关灯、暂停 ☝️ 食指向上 只有食指伸直 Google 内置 95%+ 音量增加、下一首 👍 点赞 拇指向上 Google 内置 95%+ 赞同、增加 👎 点踩 拇指向下 Google 内置 95%+ 反对、减少 ✌️ 剪刀手 食指和中指伸出 Google 内置 95%+ 选项 2、胜利 🤟 我爱你 拇指+食指+小指伸出 Google 内置 95%+ 爱心、摇滚 👌 OK 手势 拇指食指接触成圈，其他三指伸直 自定义检测 85% 确认、同意 手势 手势 描述 描述 来源 来源 准确率 准确率 用途示例 用途示例 🖐️ 张开手掌 🖐️ 张开手掌 五指全部伸直 五指全部伸直 Google 内置 Google 内置 95%+ 95%+ 开灯、播放 开灯、播放 ✊ 握拳 ✊ 握拳 五指全部收起 五指全部收起 Google 内置 Google 内置 95%+ 95%+ 关灯、暂停 关灯、暂停 ☝️ 食指向上 ☝️ 食指向上 只有食指伸直 只有食指伸直 Google 内置 Google 内置 95%+ 95%+ 音量增加、下一首 音量增加、下一首 👍 点赞 👍 点赞 拇指向上 拇指向上 Google 内置 Google 内置 95%+ 95%+ 赞同、增加 赞同、增加 👎 点踩 👎 点踩 拇指向下 拇指向下 Google 内置 Google 内置 95%+ 95%+ 反对、减少 反对、减少 ✌️ 剪刀手 ✌️ 剪刀手 食指和中指伸出 食指和中指伸出 Google 内置 Google 内置 95%+ 95%+ 选项 2、胜利 选项 2、胜利 🤟 我爱你 🤟 我爱你 拇指+食指+小指伸出 拇指+食指+小指伸出 Google 内置 Google 内置 95%+ 95%+ 爱心、摇滚 爱心、摇滚 👌 OK 手势 👌 OK 手势 拇指食指接触成圈，其他三指伸直 拇指食指接触成圈，其他三指伸直 自定义检测 自定义检测 85% 85% 确认、同意 确认、同意 实测手势摆好的瞬间，指令即刻触发，这种“所见即所得”的掌控感，是语音交互无法比拟的！ 【开源发布】 3 步打造你的“AI 视觉中枢” 想要实现上面的功能也非常简单，大家只要安装我开发的手势识别插件，接上HA自带的操控指令，即可马上体验。项目地址： GitHub shoushi ha addon GitHub shoushi ha addon 你需要准备： 1. 一个支持onvif协议的摄像头，推荐海康威视和TP LINK，现在小米摄像头也可以但是配置比较麻烦，详见手把手教学 miloco+micam+go2rtc实现米家摄头接入rtsp流 『HomeAssistant』综合讨论区 『瀚思彼岸』» 智能家居技术论坛 Powered by Discuz 手把手教学 miloco+micam+go2rtc实现米家摄头接入rtsp流 『HomeAssistant』综合讨论区 『瀚思彼岸』» 智能家居技术论坛 Powered by Discuz 2. 一个支持播放音乐的小爱音箱（我用的是图片这款） 3. 家里有设备安装了开源智能家居控制软件Home Assistant（电脑、路由器、NAS等设备都可以） 插件安装： 步骤 1：添加插件仓库 Home Assistant → 设置 → 加载项 → 插件商店 → ⋮ → 仓库 添加仓库地址：https://github.com/yanfeng17/shoushi ha addon 步骤 2：安装插件 1. 在插件商店搜索 "MediaPipe 手势识别" 2. 点击 安装 3. 等待约 1 分钟（使用预编译镜像，无需编译）✨