谷歌推出“神经操作系统”原型，Gemini 2.5 Flash驱动，UI即时生成无需编码

谷歌推出“神经操作系统”原型，Gemini 2.5 Flash驱动，UI即时生成无需编码 谷歌推出“神经操作系统”原型，Gemini 2.5 Flash驱动，UI即时生成无需编码 Modified September 26, 2025 🔗 原文链接： https://mp.weixin.qq.com/s/rN67A6uJ... AI寒武纪2025年09月25日 19:36 江苏 传统的计算机界面，每一个按钮、菜单和窗口都由开发者精心编码、预先定义。但如果一个界面可以实时生成，根据用户的每一次交互动态调整，会是怎样一种体验？ 谷歌开发者博客最新发文，展示了一项颠覆性的研究原型：一个由大模型驱动的“神经操作系统”（neural operating system）。 在这个系统中，每个屏幕都由大语言模型即时生成。用户不再是与一个静态文件系统交互，而是在一个由模型根据每次点击实时构建和重构的环境中操作 No access 0bc3bibz6aadyialz5gwpfufgcwdt4fahhya.f10002 00:00 该原型背后的核心模型是 Gemini 2.5 Flash Lite ，其极低的延迟对于创造“瞬间响应”的交互体验至关重要 以下是该原型背后的核心技术理念 两大法宝，让模型听懂UI生成指令 为了实现UI的即时生成，首先需要为模型提供清晰的结构和上下文。谷歌的方案是将模型输入分为两部分：“UI章程” (UI constitution) 和“UI交互” (UI interaction)。 UI章程 ：这是一段系统提示（system prompt），包含一套固定的UI生成规则。这些规则定义了操作系统级的风格、主屏幕格式以及地图等嵌入式元素的处理逻辑，确保了界面风格的一致性。 UI交互 ：这是一个JSON对象，用于捕捉用户的最新动作，例如鼠标点击某个图标。这个对象是触发模型生成下一个屏幕的具体查询。 例如，当用户在记事本应用中点击“保存笔记”图标时，系统可能会生成如下的JSON对象： Code block Plain Text { // : 来自按钮 属性的唯一ID "id": "save note action", // : 被点击元素包含的文本内容 "value": "Meeting notes\n Discuss Q3 roadmap\n Finalize budget", // : 被点击元素的HTML标签 "elementType": "button", // : 按钮内部的可见文本 "elementText": "Save Note", // : 用户当前所在应用的ID // 该信息来自 App.tsx 中的 状态 "appContext": "notepad app" } 这种“章程+交互”的两部分方法，使得模型能够在生成新颖界面的同时，保持整体外观和感觉的一致性 引入交互追踪，赋予UI上下文感知能力 单次交互提供的上下文是有限的，但一系列连续的交互能讲述一个更完整的故事。 该原型可以利用过去N次交互的追踪记录，来生成与上下文更相关的屏幕。 举个例子，计算器应用生成的内容，会因为用户之前是访问了购物车还是旅游预订应用而有所不同。通过调整交互追踪的长度（N值），可以在上下文准确性和UI多样性之间进行权衡。 流式生成，实现几乎瞬间的响应体验 为了让系统感觉“快”，不能等到模型生成整个UI屏幕之后再进行渲染。 该原型利用了模型流式输出（streaming）和浏览器的原生解析能力，实现了渐进式渲染。模型以数据块（chunks）的形式生成HTML代码，系统会持续将这些代码块附加到组件的状态中。接着，React会重新渲染内容，使浏览器能在接收到有效HTML元素后立即显示它们。 对于用户来说，这种体验就像是界面在屏幕上几乎瞬间浮现出来。 用生成式UI图谱，解决无状态难题 默认情况下，模型每次都从头开始生成新屏幕。这意味着两次访问同一个文件夹，可能会看到完全不同的内容。这种非确定性的无状态体验，与我们习惯的静态图形界面（GUI）相去甚远 为了解决这个问题，该原型系统提供了一个选项：构建一个会话专属的内存缓存，即“生成式UI图谱”（generative UI graph）。 当用户导航到一个已经生成过的屏幕时，系统会直接从图谱中调取缓存版本，而无需再次查询Gemini。当用户请求一个缓存中不存在的新屏幕时，模型会生成它，并将其增量添加到UI图谱中。 这种方法在不牺牲生成内容质量的前提下提供了状态（statefulness），避免了单纯通过降低模型采样温度可能带来的副作用。 写在最后 尽管这只是一个概念原型，但其底层框架可以应用于更实际的场景。 系统可以观察用户的交互模式，并生成一个临时的UI面板来加速任务。例如，当用户在多个网站间比较航班时，系统可以即时弹出一个浮动窗口，上面有动态生成的按钮，用于直接比价或预订，省去用户多个步骤 开发者可以在他们的应用中添加一个生成模式开关。例如，在谷歌日历中，用户可以激活此模式来查看即时生成的UI。当移动一个日历事件时，系统可能会生成一个临时的、更智能的界面来帮助解决日程冲突 谷歌表示，随着模型变得越来越快、能力越来越强，这种生成式界面代表了人机交互领域一个充满希望的未来研究方向 参考： https://developers.googleblog.com/en/simulating a neural operating system with gemini 2 5 flash lite/ https://mp.weixin.qq.com/s/rN67A6uJ... 🔗 原文链接： https://mp.weixin.qq.com/s/rN67A6uJ... https://mp.weixin.qq.com/s/rN67A6uJ... AI寒武纪2025年09月25日 19:36 江苏 传统的计算机界面，每一个按钮、菜单和窗口都由开发者精心编码、预先定义。但如果一个界面可以实时生成，根据用户的每一次交互动态调整，会是怎样一种体验？ 谷歌开发者博客最新发文，展示了一项颠覆性的研究原型：一个由大模型驱动的“神经操作系统”（neural operating system）。 在这个系统中，每个屏幕都由大语言模型即时生成。用户不再是与一个静态文件系统交互，而是在一个由模型根据每次点击实时构建和重构的环境中操作 No access 0bc3bibz6aadyialz5gwpfufgcwdt4fahhya.f10002 00:00 No access 0bc3bibz6aadyialz5gwpfufgcwdt4fahhya.f10002 00:00 该原型背后的核心模型是 Gemini 2.5 Flash Lite ，其极低的延迟对于创造“瞬间响应”的交互体验至关重要 以下是该原型背后的核心技术理念 两大法宝，让模型听懂UI生成指令 两大法宝，让模型听懂UI生成指令 为了实现UI的即时生成，首先需要为模型提供清晰的结构和上下文。谷歌的方案是将模型输入分为两部分：“UI章程” (UI constitution) 和“UI交互” (UI interaction)。 UI章程 ：这是一段系统提示（system prompt），包含一套固定的UI生成规则。这些规则定义了操作系统级的风格、主屏幕格式以及地图等嵌入式元素的处理逻辑，确保了界面风格的一致性。 UI交互 ：这是一个JSON对象，用于捕捉用户的最新动作，例如鼠标点击某个图标。这个对象是触发模型生成下一个屏幕的具体查询。 例如，当用户在记事本应用中点击“保存笔记”图标时，系统可能会生成如下的JSON对象： 这种“章程+交互”的两部分方法，使得模型能够在生成新颖界面的同时，保持整体外观和感觉的一致性 引入交互追踪，赋予UI上下文感知能力 引入交互追踪，赋予UI上下文感知能力 单次交互提供的上下文是有限的，但一系列连续的交互能讲述一个更完整的故事。 该原型可以利用过去N次交互的追踪记录，来生成与上下文更相关的屏幕。 举个例子，计算器应用生成的内容，会因为用户之前是访问了购物车还是旅游预订应用而有所不同。通过调整交互追踪的长度（N值），可以在上下文准确性和UI多样性之间进行权衡。 流式生成，实现几乎瞬间的响应体验 为了让系统感觉“快”，不能等到模型生成整个UI屏幕之后再进行渲染。 该原型利用了模型流式输出（streaming）和浏览器的原生解析能力，实现了渐进式渲染。模型以数据块（chunks）的形式生成HTML代码，系统会持续将这些代码块附加到组件的状态中。接着，React会重新渲染内容，使浏览器能在接收到有效HTML元素后立即显示它们。 对于用户来说，这种体验就像是界面在屏幕上几乎瞬间浮现出来。 用生成式UI图谱，解决无状态难题 用生成式UI图谱，解决无状态难题 默认情况下，模型每次都从头开始生成新屏幕。这意味着两次访问同一个文件夹，可能会看到完全不同的内容。这种非确定性的无状态体验，与我们习惯的静态图形界面（GUI）相去甚远 为了解决这个问题，该原型系统提供了一个选项：构建一个会话专属的内存缓存，即“生成式UI图谱”（generative UI graph）。 当用户导航到一个已经生成过的屏幕时，系统会直接从图谱中调取缓存版本，而无需再次查询Gemini。当用户请求一个缓存中不存在的新屏幕时，模型会生成它，并将其增量添加到UI图谱中。 这种方法在不牺牲生成内容质量的前提下提供了状态（statefulness），避免了单纯通过降低模型采样温度可能带来的副作用。 写在最后 写在最后 尽管这只是一个概念原型，但其底层框架可以应用于更实际的场景。 系统可以观察用户的交互模式，并生成一个临时的UI面板来加速任务。例如，当用户在多个网站间比较航班时，系统可以即时弹出一个浮动窗口，上面有动态生成的按钮，用于直接比价或预订，省去用户多个步骤 开发者可以在他们的应用中添加一个生成模式开关。例如，在谷歌日历中，用户可以激活此模式来查看即时生成的UI。当移动一个日历事件时，系统可能会生成一个临时的、更智能的界面来帮助解决日程冲突 谷歌表示，随着模型变得越来越快、能力越来越强，这种生成式界面代表了人机交互领域一个充满希望的未来研究方向 参考： https://developers.googleblog.com/en/simulating a neural operating system with gemini 2 5 flash lite/