CrabNote螃蟹笔记

用Gemini3把屏幕变成会呼吸的雾面画布,0代码保姆级教程附提示词

🍎

用Gemini3把屏幕变成会呼吸的雾面画布,0代码保姆级教程附提示词 🍎 用Gemini3把屏幕变成会呼吸的雾面画布,0代码保姆级教程附提示词 Modified January 14 用 React 和 Tailwind CSS 搭出来的界面,干净得就像一块真的起雾玻璃; 最重要的是,手势识别和画面渲染是实时的,你的手有多快,屏幕上的反应就有多快,几乎没延迟。 操作步骤和提示词 1️⃣ 复制一段手势交互提示词给Gemini3(已放👇) 2️⃣ 等待AI生成media pipe库+React+Tailwind完整代码 3️⃣ 直接在Google studio运行,允许摄像头权限 4️⃣ 对着镜头凌空“写字”→看屏幕实时晕染出雾面字迹 提示词 Code block Plain Text 角色设定: 你是一位资深创意前端工程师,精通 MediaPipe 多模态交互、Canvas 物理引擎以及高级 UI/UX 设计。 核心任务: 开发一个名为 "Foggy Window" 的 HTML5 交互应用。用户可以通过向摄像头“哈气”让屏幕起雾,并利用手势在雾气上作画。 技术细节与功能逻辑: 环境搭建: 使用 React + Tailwind CSS。 调用摄像头并实现水平镜像显示。 引入 MediaPipe FaceLandmarker 和 HandLandmarker(GPU 委托,VIDEO 模式)。 视觉美学 (Aesthetics): 背景是实时视频流,上方覆盖一层半透明白色 Canvas(雾气层)。 雾气层需具备 CSS backdrop filter: blur(1.5px) 的毛玻璃质感。 UI 采用极简暗黑风,包含浮动的状态指示灯、磨砂玻璃材质的说明弹窗。 哈气交互逻辑 (Fogging): 通过面部关键点计算“嘴部张开度 (MAR)”。 当检测到张嘴且人脸靠近镜头时,Canvas 对应区域(或全屏)填充高透明度的白色,模拟水汽凝结。 高阶手势绘图 (Gesture Control): 坐标平滑:引入 SMOOTHING FACTOR(约 0.15)对原始指尖坐标进行低通滤波处理,消除 AI 追踪的高频抖动,确保笔触“稳重”且丝滑。 虚拟提笔/下笔:通过计算食指尖与中指尖相对于手腕的欧几里得距离来判断手势。 下笔 (Pen Down):仅食指伸出(食指长 中指长 1.25),光标激活并开启 destination out 擦除模式。 提笔 (Pen Up):张开手掌或握拳。此时只移动光标,不连接笔划,允许用户在不同位置进行断点创作(如画雪花)。 插值算法:在前后两帧平滑坐标间进行高密度插值,确保快速移动时线条不断裂。 物理动态补充 (Physics): 慢速消散:设置极低的 FOG REGEN SPEED(约 0.0004),使擦开的痕迹随时间缓慢模糊消失,确保用户有足够时间完成复杂图案。 羽化笔触:利用 Canvas 径向渐变 (createRadialGradient) 制作边缘柔和的笔刷。 视觉反馈 (Feedback): 设计一个动态光标。提笔时为淡色空心圆,下笔时变为蓝色实心强光,并附带 animate ping 的波纹动效。 鲁棒性要求: 处理 Canvas 尺寸自适应。 处理提笔瞬间的 prevPos 置空,防止产生跨屏幕的斜连线。 在加载 AI 模型时提供精致的 Loading 状态。 背后原理很简单 所以,简单来说: 这个项目的“智能”和“交互”部分,高度依赖于MediaPipe提供的预训练AI模型(算法集合) 来理解你的手。 而流畅和美观的体验,则依赖于一系列信号处理(滤波)、计算机图形学(渲染、插值)和物理模拟(消散)的经典算法。 其实就三层: 第一,靠摄像头捕捉你手势移动的轨迹; 第二,通过 AI 算法,把这些轨迹转换成那种边缘柔柔的、半透明的“雾气”笔触效果; 第三,用前端动画实时渲染出来,让笔迹像真的在玻璃上慢慢凝结浮现一样。 雨天在窗上写字的童年快乐,现在用代码就能随时重温~快来试试把你的屏幕变成一块会呼吸的“雾面画布”! ok!我是阿星, 更多AI应用, 我们下期再见! 用 React 和 Tailwind CSS 搭出来的界面,干净得就像一块真的起雾玻璃; 最重要的是,手势识别和画面渲染是实时的,你的手有多快,屏幕上的反应就有多快,几乎没延迟。 操作步骤和提示词 1️⃣ 复制一段手势交互提示词给Gemini3(已放👇) 2️⃣ 等待AI生成media pipe库+React+Tailwind完整代码 3️⃣ 直接在Google studio运行,允许摄像头权限 4️⃣ 对着镜头凌空“写字”→看屏幕实时晕染出雾面字迹 提示词 背后原理很简单 所以,简单来说: 这个项目的“智能”和“交互”部分,高度依赖于MediaPipe提供的预训练AI模型(算法集合) 来理解你的手。 而流畅和美观的体验,则依赖于一系列信号处理(滤波)、计算机图形学(渲染、插值)和物理模拟(消散)的经典算法。 其实就三层: 第一,靠摄像头捕捉你手势移动的轨迹; 第二,通过 AI 算法,把这些轨迹转换成那种边缘柔柔的、半透明的“雾气”笔触效果; 第三,用前端动画实时渲染出来,让笔迹像真的在玻璃上慢慢凝结浮现一样。 雨天在窗上写字的童年快乐,现在用代码就能随时重温~快来试试把你的屏幕变成一块会呼吸的“雾面画布”! ok!我是阿星, 更多AI应用, 我们下期再见! 地址:https://mp.weixin.qq.com/s/8t5rEsQLDmTV7HMV77EcWw 哈喽,大家好! 我是阿星👋 闲来无事我用gmeini3五分钟做了个特效 把电脑屏幕变成会“呼吸”的起雾玻璃! 可以在「窗户」上写字啦~效果如下👇 你的手指尖就是画笔,不用碰屏幕,就在空中比划,屏幕上实时就能生成那种雾蒙蒙的笔触。一下子就有种大雪天在窗玻璃上画画的那种浪漫感,科技带来的氛围感直接拉满! 而且从零到有这个炫酷效果,真的就只要一杯咖啡的功夫,五分钟搞定。 主要技术栈 说实话,以前我也觉得手势交互啊、实时渲染这些听着就挺复杂,门槛高。但这次用 Gemini3 一试,发现现成的技术栈特别友好: 直接调用电脑自带的摄像头就行,啥外设都不用;