邬嘉文：GPT具身对话机器人

邬嘉文：GPT具身对话机器人 邬嘉文：GPT具身对话机器人 Modified May 27 No access 1638 1713923907 00:00 No access 2203 1714561985 00:00 No access 面部追踪 00:00 No access [DEMO] Headshot Tracking OpenCV Arduino 00:00 "response": "抬头看看天空，可以让心情变得更加轻松愉快哦 ", "kaomoji": "(っ˘ڡ˘ς)", "servoX": 90, "servoY": 30 } 请输入对话内容,输入quit退出: 抬头 { "response": "好的，请稍等一下。", "kaomoji": "(￣▽￣) ", "servoX": 90, "servoY": 30 } 请输入对话内容,输入quit退出: 看地面 { "response": "我现在在看地面啦 ", "kaomoji": "(￣▽￣)", "servoX": 90, "servoY": 170 } No access 动作指令 00:00 No access 向左看向右看 00:00 问答对话 请输入对话内容,输入quit退出: How do you think about Transformer structure drive the embodiment robot? { "response": "I think the Transformer structure can greatly enhance the performance of embodiment robots, as it allows for efficient processing of sequential information and complex interactions. By leveraging self attention mechanisms, embodiment robots can better understand and respond to human input in a more context aware manner.", "kaomoji": "(￣▽￣) ", "servoX": 90, "servoY": 120 英文翻译 提问：您如何看待 Transformer 结构驱动体现机器人？ 回答：我认为 Transformer 结构可以极大地提高实体机器人的性能，因为它可以有效地处理顺序信息和复杂的交互。 通过利用自我注意机制，体现机器人可以以更加上下文感知的方式更好地理解和响应人类输入。 No access 知识问答 00:00 情感安慰 请输入对话内容,输入quit退出: 슬픈 감정을 일으키다 { "response": "왜 울고 있어요? 저를 토토하다면, 함께 이야기해요.", "kaomoji": "(っ˘̩╭╮˘̩)っ", "servoX": 90, "servoY": 110 } 韩语翻译 提问：造成悲伤的感觉 响应：为什么哭了？如果你想说话，就和我一起聊 No access 情感安慰 00:00 优化空间 详细内容 OpenAI的TTS模块声音还不够自然，但支持多语言。 OpenVoice擅长声音克隆，缺乏情感语调处理机制。 Suno Bark对中文支持不友好。 Azure Speech Studio最新声音效果更好，但API仍未公开。zh CN XiaoxiaoMultilingualNeural效果如下： XiaoxiaoML recipe Unable to preview. Please download the file. Arduino R4有点高配了，价格大约170元。R3兼容性更好，价格更低。这块成本有很大下降空间。 传统9g双轴舵机云台（左图），支撑200克iPhone有点吃力。 建议改为步进机或力量更大的舵机云台（右图）。 人脸追踪有点太敏感，也可以加一个平滑滤波，减少舵机抖动。 目前是缺失。应该支持无线或有线充电。 目前是缺失。可以做得更可爱一点，例如LOOI，NOMI等。 声音 MCU 舵机云台 充电模块 ID设计 产品价值 这究竟是一个怎样的产品？实践下来，核心在于情绪价值，有点像宠物。 • 有趣的性格。有时候听指令，有时候不听，例如抬头，要二次要求。当然，性格可以在prompt里面设定。 • 可爱的表情。Kaomoji蛮可爱，也可以参考蔚来汽车Nomi，只做双2眼表情。Finetune模型就可以。 • 肢体语言。有些肢体语言动作让人意想不到。 • ID设计，即使在关机状态也传递情绪，像LINE friend家族。 文章导读 You don't have permission to access this synced block. Please log in and try again. Log In 建了个爱好者的群，欢迎一起研究手搓 群满了，可以加微信：AAAAAAAJ （一定要备注暗号“111” 拉你进群） No access 1638 1713923907 00:00 No access 1638 1713923907 00:00 No access 2203 1714561985 00:00 No access 2203 1714561985 00:00 No access 面部追踪 00:00 No access [DEMO] Headshot Tracking OpenCV Arduino 00:00 "response": "抬头看看天空，可以让心情变得更加轻松愉快哦 ", "kaomoji": "(っ˘ڡ˘ς)", "servoX": 90, "servoY": 30 } 请输入对话内容,输入quit退出: 抬头 { "response": "好的，请稍等一下。", "kaomoji": "(￣▽￣) ", "servoX": 90, "servoY": 30 } 请输入对话内容,输入quit退出: 看地面 { "response": "我现在在看地面啦 ", "kaomoji": "(￣▽￣)", "servoX": 90, "servoY": 170 } No access 动作指令 00:00 No access 向左看向右看 00:00 问答对话 请输入对话内容,输入quit退出: How do you think about Transformer structure drive the embodiment robot? { "response": "I think the Transformer structure can greatly enhance the performance of embodiment robots, as it allows for efficient processing of sequential information and complex interactions. By leveraging self attention mechanisms, embodiment robots can better understand and respond to human input in a more context aware manner.", "kaomoji": "(￣▽￣) ", "servoX": 90, "servoY": 120 英文翻译 提问：您如何看待 Transformer 结构驱动体现机器人？ 回答：我认为 Transformer 结构可以极大地提高实体机器人的性能，因为它可以有效地处理顺序信息和复杂的交互。 通过利用自我注意机制，体现机器人可以以更加上下文感知的方式更好地理解和响应人类输入。 No access 知识问答 00:00 情感安慰 请输入对话内容,输入quit退出: 슬픈 감정을 일으키다 { "response": "왜 울고 있어요? 저를 토토하다면, 함께 이야기해요.", "kaomoji": "(っ˘̩╭╮˘̩)っ", "servoX": 90, "servoY": 110 } 韩语翻译 提问：造成悲伤的感觉 响应：为什么哭了？如果你想说话，就和我一起聊 No access 情感安慰 00:00 No access 面部追踪 00:00 No access [DEMO] Headshot Tracking OpenCV Arduino 00:00 No access 面部追踪 00:00 No access 面部追踪 00:00 No access [DEMO] Headshot Tracking OpenCV Arduino 00:00 No access [DEMO] Headshot Tracking OpenCV Arduino 00:00 "response": "抬头看看天空，可以让心情变得更加轻松愉快哦 ", "kaomoji": "(っ˘ڡ˘ς)", "servoX": 90, "servoY": 30 } 请输入对话内容,输入quit退出: 抬头 { "response": "好的，请稍等一下。", "kaomoji": "(￣▽￣) ", "servoX": 90, "servoY": 30 } 请输入对话内容,输入quit退出: 看地面 { "response": "我现在在看地面啦 ", "kaomoji": "(￣▽￣)", "servoX": 90, "servoY": 170 } "response": "抬头看看天空，可以让心情变得更加轻松愉快哦 ", "kaomoji": "(っ˘ڡ˘ς)", "servoX": 90, "servoY": 30 } 请输入对话内容,输入quit退出: 抬头 { "response": "好的，请稍等一下。", "kaomoji": "(￣▽￣) ", "servoX": 90, "servoY": 30 } 请输入对话内容,输入quit退出: 看地面 { "response": "我现在在看地面啦 ", "kaomoji": "(￣▽￣)", "servoX": 90, "servoY": 170 } No access 动作指令 00:00 No access 向左看向右看 00:00 No access 动作指令 00:00 No access 动作指令 00:00 No access 向左看向右看 00:00 No access 向左看向右看 00:00 问答对话 请输入对话内容,输入quit退出: How do you think about Transformer structure drive the embodiment robot? { "response": "I think the Transformer structure can greatly enhance the performance of embodiment robots, as it allows for efficient processing of sequential information and complex interactions. By leveraging self attention mechanisms, embodiment robots can better understand and respond to human input in a more context aware manner.", "kaomoji": "(￣▽￣) ", "servoX": 90, "servoY": 120 问答对话 请输入对话内容,输入quit退出: How do you think about Transformer structure drive the embodiment robot? { "response": "I think the Transformer structure can greatly enhance the performance of embodiment robots, as it allows for efficient processing of sequential information and complex interactions. By leveraging self attention mechanisms, embodiment robots can better understand and respond to human input in a more context aware manner.", "kaomoji": "(￣▽￣) ", "servoX": 90, "servoY": 120 英文翻译 提问：您如何看待 Transformer 结构驱动体现机器人？ 回答：我认为 Transformer 结构可以极大地提高实体机器人的性能，因为它可以有效地处理顺序信息和复杂的交互。 通过利用自我注意机制，体现机器人可以以更加上下文感知的方式更好地理解和响应人类输入。 No access 知识问答 00:00 英文翻译 提问：您如何看待 Transformer 结构驱动体现机器人？ 回答：我认为 Transformer 结构可以极大地提高实体机器人的性能，因为它可以有效地处理顺序信息和复杂的交互。 通过利用自我注意机制，体现机器人可以以更加上下文感知的方式更好地理解和响应人类输入。 No access 知识问答 00:00 No access 知识问答 00:00 情感安慰 请输入对话内容,输入quit退出: 슬픈 감정을 일으키다 { "response": "왜 울고 있어요? 저를 토토하다면, 함께 이야기해요.", "kaomoji": "(っ˘̩╭╮˘̩)っ", "servoX": 90, "servoY": 110 } 情感安慰 请输入对话内容,输入quit退出: 슬픈 감정을 일으키다 { "response": "왜 울고 있어요? 저를 토토하다면, 함께 이야기해요.", "kaomoji": "(っ˘̩╭╮˘̩)っ", "servoX": 90, "servoY": 110 } 韩语翻译 提问：造成悲伤的感觉 响应：为什么哭了？如果你想说话，就和我一起聊 No access 情感安慰 00:00 韩语翻译 提问：造成悲伤的感觉 响应：为什么哭了？如果你想说话，就和我一起聊 No access 情感安慰 00:00 No access 情感安慰 00:00 优化空间 详细内容 OpenAI的TTS模块声音还不够自然，但支持多语言。 OpenVoice擅长声音克隆，缺乏情感语调处理机制。 Suno Bark对中文支持不友好。 Azure Speech Studio最新声音效果更好，但API仍未公开。zh CN XiaoxiaoMultilingualNeural效果如下： XiaoxiaoML recipe Unable to preview. Please download the file. Arduino R4有点高配了，价格大约170元。R3兼容性更好，价格更低。这块成本有很大下降空间。 传统9g双轴舵机云台（左图），支撑200克iPhone有点吃力。 建议改为步进机或力量更大的舵机云台（右图）。 人脸追踪有点太敏感，也可以加一个平滑滤波，减少舵机抖动。 目前是缺失。应该支持无线或有线充电。 目前是缺失。可以做得更可爱一点，例如LOOI，NOMI等。 声音 MCU 舵机云台 充电模块 ID设计 详细内容 OpenAI的TTS模块声音还不够自然，但支持多语言。 OpenVoice擅长声音克隆，缺乏情感语调处理机制。 Suno Bark对中文支持不友好。 Azure Speech Studio最新声音效果更好，但API仍未公开。zh CN XiaoxiaoMultilingualNeural效果如下： XiaoxiaoML recipe Unable to preview. Please download the file. Arduino R4有点高配了，价格大约170元。R3兼容性更好，价格更低。这块成本有很大下降空间。 传统9g双轴舵机云台（左图），支撑200克iPhone有点吃力。 建议改为步进机或力量更大的舵机云台（右图）。 人脸追踪有点太敏感，也可以加一个平滑滤波，减少舵机抖动。 目前是缺失。应该支持无线或有线充电。 目前是缺失。可以做得更可爱一点，例如LOOI，NOMI等。 详细内容 OpenAI的TTS模块声音还不够自然，但支持多语言。 OpenVoice擅长声音克隆，缺乏情感语调处理机制。 Suno Bark对中文支持不友好。 Azure Speech Studio最新声音效果更好，但API仍未公开。zh CN XiaoxiaoMultilingualNeural效果如下： XiaoxiaoML recipe Unable to preview. Please download the file. XiaoxiaoML recipe Unable to preview. Please download the file. Arduino R4有点高配了，价格大约170元。R3兼容性更好，价格更低。这块成本有很大下降空间。 传统9g双轴舵机云台（左图），支撑200克iPhone有点吃力。 建议改为步进机或力量更大的舵机云台（右图）。 人脸追踪有点太敏感，也可以加一个平滑滤波，减少舵机抖动。 目前是缺失。应该支持无线或有线充电。 目前是缺失。可以做得更可爱一点，例如LOOI，NOMI等。 声音 声音 MCU MCU 舵机云台 舵机云台 充电模块 充电模块 ID设计 ID设计 产品价值 这究竟是一个怎样的产品？实践下来，核心在于情绪价值，有点像宠物。 • 有趣的性格。有时候听指令，有时候不听，例如抬头，要二次要求。当然，性格可以在prompt里面设定。 • 可爱的表情。Kaomoji蛮可爱，也可以参考蔚来汽车Nomi，只做双2眼表情。Finetune模型就可以。 • 肢体语言。有些肢体语言动作让人意想不到。 • ID设计，即使在关机状态也传递情绪，像LINE friend家族。 文章导读 You don't have permission to access this synced block. Please log in and try again. Log In 建了个爱好者的群，欢迎一起研究手搓 群满了，可以加微信：AAAAAAAJ （一定要备注暗号“111” 拉你进群） 💡 作者：Garman邬嘉文 更详细的教程邬嘉文：GPT机器人制作指引 邬嘉文：GPT机器人制作指引 作者：Garman邬嘉文 更详细的教程邬嘉文：GPT机器人制作指引 邬嘉文：GPT机器人制作指引 整体框架 实验目的 Transformer本质是生成内容，包括文本、音乐、图像、视频等。所以用GPT生成表情和机器人动作指令也是可以的。本实验尝试用一个ChatGPT驱动具身机器人的语音、表情以及头部动作，全面展示GPT的表现力。 硬件框架 POC由Arduino主板和双轴舵机云台组成，接线方式如下，成本约200元。 jkl'456++++ 软件框架 程序由三个进程组成，进程间通过socket通讯。 Activicity 进程作用 硬件平台 chat.py 核心进程，实现聊天对话，发出语音、表情、头部动作（舵机转向）指令。 Macbook face.py 播放声音和显示表情，底层由pythonista提供运行环境。 iPhone head.py 闲时机器人面向用户，有eye contact功能，接收指令后会配合表情做头部动作。 Arduino Activicity Activicity 进程作用 进程作用 硬件平台 硬件平台 chat.py chat.py 核心进程，实现聊天对话，发出语音、表情、头部动作（舵机转向）指令。 核心进程，实现聊天对话，发出语音、表情、头部动作（舵机转向）指令。 Macbook Macbook face.py face.py 播放声音和显示表情，底层由pythonista提供运行环境。 播放声音和显示表情，底层由pythonista提供运行环境。 iPhone iPhone head.py head.py 闲时机器人面向用户，有eye contact功能，接收指令后会配合表情做头部动作。 闲时机器人面向用户，有eye contact功能，接收指令后会配合表情做头部动作。 Arduino Arduino Unable to load the board. Please refresh and try again.Copy ErrorRefresh Nothing on the board yet 已经有小伙伴复现做出来了 作者@沐雯 将SUNO AI放到小机器人里面，动作节奏不够 功能特性 （播放视频时请打开声音） 机器人能力（features） 具体表现 角色初始化 设定角色：对话机器人 设定性格：（空） 设定表情：Kaomoji 设定动作：头部动作servoX和servoY 返回格式：Json格式 多语言：支持 Prompt 假设你是一个可以和人类对话的具身机器人,反应内容包括响应内容,以及对应的kaomoji表情和头部动作(双轴舵机转动参数)。以json格式返回，响应内容定义为response，表情定义为kaomoji，kaomoji表情要反映响应内容情感。与表情对应的头部动作水平角度（无需单位）为servoX，范围是10 170，面向正前方是90。与表情对应的头部动作垂直角度（无需单位）为servoY，范围是10 170，水平面是90。 面向用户 由脸部追踪实现，让机器人面向用户，实现类似eye contact眼神接触功能。 画面是镜像，现实世界里，头部动作和机器人转向是一致的。 参考视频 动作指令 请输入对话内容,输入quit退出: 向右看 { "response": "好的，我向右看！", "kaomoji": "(^ ^)", "servoX": 120, "servoY": 90 } 请输入对话内容,输入quit退出: 向左看 { "response": "好的，我向左看。", "kaomoji": "(⌒.⌒)", "servoX": 30, "servoY": 90 } 请输入对话内容,输入quit退出: 抬头看 天空 { 请打开声音