CrabNote螃蟹笔记

我给台灯装上“AI之眼”,它学会了“察言观色”,比小爱同学还贴心!

我给台灯装上“AI之眼”,它学会了“察言观色”,比小爱同学还贴心!

我给台灯装上“AI之眼”,它学会了“察言观色”,比小爱同学还贴心! 我给台灯装上“AI之眼”,它学会了“察言观色”,比小爱同学还贴心! Modified October 31, 2025 Audio or video is not supported Please download the file and open it with the appropriate software. 10月30日.mp4 · 50.21MB 10月30日 00:00 3. “手” (米家台灯): 负责“执行”命令。同样需要在Home Assistant里安装插件,由小米官方发布的Xiaomi Home,实现在HA中完美控制所有的米家智能家居产品,台灯的亮度和色温就是在这里控制的。 AI“主动调光”工作流拆解 我给“大脑”(Home Assistant)设计了一套自动化工作流,让它来指挥“眼睛”和“手”: 第1步:触发 (Trigger) 感知“人” • 触发器: 当“眼睛”(摄像头)通过 frigate 插件识别到书桌前有人出现(person: on)。 • 动作: 自动化流程启动。 第2步:分析 (Analyze) AI判断“事” 1. 等待: 先delay 3秒钟,等我坐稳。 2. 拍照: “大脑”(HA)调用camera.snapshot服务,拍下我的实时照片。 3. 调用AI(视觉分析): “大脑”将照片发给第一个AI(图像分析大模型),并给出一个关键的 Prompt: “请根据照片人物状态,快速判断他是在使用电脑、玩手机还是在阅读,输出内容仅以下文字:"使用电脑"or"玩手机"or"阅读" 4. 获取结果: AI会返回一个纯文本,比如:“阅读”。 第3步:执行 (Execute) AI控制“灯光” 1. 调用AI(意图转执行): “大脑”拿到上一步的“阅读”两个字,立刻把它作为变量传给第二个AI。 2. 下达指令: 这一步的 Prompt 更加关键,我直接把参数“喂”给它: Code block Plain Text 按以下参数把书房台灯调整到适合 {{ 状态变量 }} 的模式: 阅读:亮度100%,色温4000K 使用电脑:亮度60%,色温5000K 玩手机:亮度30%,色温2700K 3. 目的: 社区的小伙伴们一定懂,LLM(大语言模型)有“创造性”,如果你只让它“调到阅读模式”,它每次给的参数可能都不一样。像这样把参数“写死”在Prompt里,AI就会100%稳定地执行我们的意图,稳定输出。 第4步:循环 (Loop) 持续“观察” 光触发一次可不够。我又给“大脑”加了一条指令:“只要人还在,你就不停重复一次上面的‘第2步’和‘第3步’!” • 于是: 当我从“阅读”状态(台灯100%亮度)切换到“玩手机”时... • AI : 重新分析照片,返回“玩手机”。 • “大脑” (HA): 再次调用AI,执行“玩手机”对应的参数(亮度30%,色温2700K)。 第5步:闭环 (Closure) “人走灯灭” 一个好的工作流必须有闭环。所以在这个自动化里,我还加入了“人走灯灭”停止工作流的逻辑: • 触发器: 当“眼睛”(摄像头)识别到人不在画面了(person: off)。 • 动作: “大脑”(HA)立刻调用light.turn off服务,关闭台灯。收工! 总结:AI的“笨”与“巧” 经过上面的说明,你可能会觉得,原来实现方法没有想象中的那么“智能”,AI只是个“传话筒”。 没错,现在的AI确实无法达到钢铁侠中“贾维斯”那样的水平。 但是,我们可以利用AI现有的能力(“看图说话”、“听懂人话”),配合智能家居“大脑”,一点点地把需要“人”去判断和操控的环节(比如“我现在在干嘛?”、“该用什么模式?”)给替代掉。 对我来说,这就是“折腾”的乐趣:用一点点创意,让生活朝着“AI管家”的终极目标,又近了一步! 一起交流 我是岩风,一位AI路上的探索者,期待与大家的交流~ 如果你对这个项目感兴趣,或者有更多好玩的AI+智能家居的点子,欢迎来找我! Audio or video is not supported Please download the file and open it with the appropriate software. 10月30日.mp4 · 50.21MB 10月30日 00:00 Audio or video is not supported Please download the file and open it with the appropriate software. 10月30日.mp4 · 50.21MB 10月30日 00:00 3. “手” (米家台灯): 负责“执行”命令。同样需要在Home Assistant里安装插件,由小米官方发布的Xiaomi Home,实现在HA中完美控制所有的米家智能家居产品,台灯的亮度和色温就是在这里控制的。 AI“主动调光”工作流拆解 我给“大脑”(Home Assistant)设计了一套自动化工作流,让它来指挥“眼睛”和“手”: 第1步:触发 (Trigger) 感知“人” • 触发器: 当“眼睛”(摄像头)通过 frigate 插件识别到书桌前有人出现(person: on)。 • 动作: 自动化流程启动。 第2步:分析 (Analyze) AI判断“事” 1. 等待: 先delay 3秒钟,等我坐稳。 2. 拍照: “大脑”(HA)调用camera.snapshot服务,拍下我的实时照片。 3. 调用AI(视觉分析): “大脑”将照片发给第一个AI(图像分析大模型),并给出一个关键的 Prompt: “请根据照片人物状态,快速判断他是在使用电脑、玩手机还是在阅读,输出内容仅以下文字:"使用电脑"or"玩手机"or"阅读" “请根据照片人物状态,快速判断他是在使用电脑、玩手机还是在阅读,输出内容仅以下文字:"使用电脑"or"玩手机"or"阅读" 4. 获取结果: AI会返回一个纯文本,比如:“阅读”。 第3步:执行 (Execute) AI控制“灯光” 1. 调用AI(意图转执行): “大脑”拿到上一步的“阅读”两个字,立刻把它作为变量传给第二个AI。 2. 下达指令: 这一步的 Prompt 更加关键,我直接把参数“喂”给它: 3. 目的: 社区的小伙伴们一定懂,LLM(大语言模型)有“创造性”,如果你只让它“调到阅读模式”,它每次给的参数可能都不一样。像这样把参数“写死”在Prompt里,AI就会100%稳定地执行我们的意图,稳定输出。 第4步:循环 (Loop) 持续“观察” 光触发一次可不够。我又给“大脑”加了一条指令:“只要人还在,你就不停重复一次上面的‘第2步’和‘第3步’!” • 于是: 当我从“阅读”状态(台灯100%亮度)切换到“玩手机”时... • AI : 重新分析照片,返回“玩手机”。 • “大脑” (HA): 再次调用AI,执行“玩手机”对应的参数(亮度30%,色温2700K)。 第5步:闭环 (Closure) “人走灯灭” 一个好的工作流必须有闭环。所以在这个自动化里,我还加入了“人走灯灭”停止工作流的逻辑: • 触发器: 当“眼睛”(摄像头)识别到人不在画面了(person: off)。 • 动作: “大脑”(HA)立刻调用light.turn off服务,关闭台灯。收工! 总结:AI的“笨”与“巧” 经过上面的说明,你可能会觉得,原来实现方法没有想象中的那么“智能”,AI只是个“传话筒”。 没错,现在的AI确实无法达到钢铁侠中“贾维斯”那样的水平。 但是,我们可以利用AI现有的能力(“看图说话”、“听懂人话”),配合智能家居“大脑”,一点点地把需要“人”去判断和操控的环节(比如“我现在在干嘛?”、“该用什么模式?”)给替代掉。 对我来说,这就是“折腾”的乐趣:用一点点创意,让生活朝着“AI管家”的终极目标,又近了一步! 一起交流 我是岩风,一位AI路上的探索者,期待与大家的交流~ 如果你对这个项目感兴趣,或者有更多好玩的AI+智能家居的点子,欢迎来找我! 背景 这两年AI大模型很火,能聊天、能画画,无所不能。但大家有没有发现,在“智能家居”领域,AI的存在感似乎还停留在“小爱同学”这种“你喊,它动”的被动语音助手上? 我们家里的“智能”设备,要么靠传感器(人来灯亮),要么靠语音(打开空调)。它们很“听话”,但不够“主动”,更不会“察言观色”。 这个痛点,我最近在我的台灯上感受特别深。 我家里有一个米家台灯,2019年买的“老伙计”了,非常好用。我特喜欢它APP里的“情景模式”,手机一点就能切换到合适的亮度色温,从而保护我们的眼睛。 (虽然不知道是不是真的护眼,但心理安全感瞬间拉满) 但用久了,人就“懒”了。我最近一直在琢磨: “为什么我还要‘主动’去点手机,或者喊‘小爱同学’?这台灯为什么不能‘主动’识别我的状态,自己切换模式呢?” 这不就是我前面说的“主动服务”嘛!我看了一眼小米官网,最新的台灯还是得靠触控或声控... 想想也对,台灯没有“眼睛”,它哪知道我是在看书还是在玩电脑。 那我们能不能把AI强大的“理解能力”和“视觉能力”真正带入家居生活,让设备“看懂”我们的需求,主动服务呢? 正巧了,我刚好有一个“AI之眼”,一个小小的摄像头。 (可以看我上篇文章 我给AI装上了“眼睛”,它成了我的“专属啦啦队”,每天坐到工位就准时加油!) 我给AI装上了“眼睛”,它成了我的“专属啦啦队”,每天坐到工位就准时加油! 不如“一眼多用”,让台灯也感受下有“眼睛”的快感吧! 效果演示 于是在我的一番折腾下,就有了如下的“魔法”效果: 是不是很神奇?台灯瞬间“看懂”了你在做什么,并贴心地切换了合适的灯光模式。 以后再也不用掏手机或者喊小爱了!人坐下,灯光自动“伺候”到位! 大家想不想学?其实非常简单! 揭秘时刻:AI台灯“三步走” 这次的“魔法”比“AI啦啦队”还简单,只需要三个“演员”: 1. “大脑” (Home Assistant软件): 负责“思考”和“指挥”。这是一个开源的智能家居软件,可以联动我们各家品牌的家电实现本地控制,个性定制能力极强。 2. “眼睛” (TP Link摄像头): 负责“看”。(理论上任何支持ONVIF协议的摄像头都行,你家看门的那个也OK)。 需要在Home Assistant里安装frigate插件。这个插件很强大,通过WiFi连上你的摄像头,你的摄像头马上就能识别到画面中有没有人出现。