CrabNote螃蟹笔记

AI硬件、海报生成、MCP集成..火山引擎 Force Link AI 创新巡展首站精彩大放送

AI硬件、海报生成、MCP集成..火山引擎 Force Link AI 创新巡展首站精彩大放送

AI硬件、海报生成、MCP集成..火山引擎 Force Link AI 创新巡展首站精彩大放送 AI硬件、海报生成、MCP集成..火山引擎 Force Link AI 创新巡展首站精彩大放送 Modified April 19, 2025 最近,我们也联合Trae举办了第二期「AIPO校园AI创投」活动,吸引了海内外70+所高校的同学参与;在3月底的「AI切磋大会」上,联合全国30个城市、线上线下3000+人用Trae做AI产品,现场涌现了特别多的优秀项目,0编程基础的小白也能亲手将创意变成现实! (感兴趣的小伙伴可以在历史文章中查看优秀项目介绍) 现场还分享了AI编程四个演变进程 • 传统开发:人来写 • 协同开发:AI做一些辅助,例如代码补全,Copilot / IDE插件 现在也是最受欢迎的应用方向 • 半自动化:Cursor/Windurf,可以通过(非常多)对话来开发软件 • 自动化:Agent模式,开发者面向任务,让AI自己去规划执行任务,人帮AI找上下文 AI难以一次性生成完美的代码,通过查看片段、编辑文件、多次对话等方式,会让AI生成的结果更加符合预期。 AI编程工具注定需要 调动更多工具:读懂设计稿,浏览器,文档,搜索…… 提高协作质量和方式。 OS Agent:OS Agent解决方案 在OS Agent领域,火山引擎不直接提供Agent能力,而是把构建Agent的解决方案开放给客户,助力大家在企业中构建专属的通用Agent。 大会上还正式发布了 OS Agent解决方案 和 豆包1.5·UI TARS模型 ,前者通过火山引擎veFaaS平台封装大模型能力,支持轻量级Code use和Browser use;后者整合屏幕视觉理解、逻辑推理与界面操作,突破传统自动化工具限制。 可依据用户的提示词,跨场景唤起并操作各类工具与应用,通过自主决策实现复杂任务的自动化处理 , 从 “被动响应指令” 迈向 “主动规划执行”,随着 Agentic AI 技术的飞速演进,一个以 “自主决策、全流程自动化” 为特征的智能时代正加速到来。 发布AI云原生·ServingKit推理套件 提供高效模型部署与优化,可在2分钟内完成671B DeepSeek R1下载和预热,13秒完成推理引擎的加载,并通过算子优化、KV cache命中率提升等技术降低推理延迟与GPU消耗,让推理端到端更省。 ⭐️火山方舟 开发者见面会 在开发者见面会上, 开发者们能在短时间内操作体验,并现场给出反馈。 手搓火山 方舟 x RTC硬件 现场还给开发者们提供了一个智能硬件套装,这些应用不仅推动了技术的创新,也为开发者提供了更多垂直场景的应用模板,比如“你的教师分身”,它可以应用于作业批改和问题咨询等场景。 在这些新兴的多模态应用中,确实还有大量的工作需要完成,尤其是在商业化和消费者端的市场定位上。目 前,虽然技术逐步成熟,但如何将这些技术转化为切实可行的商业模式仍然是一个挑战。 尤其是面向消费者的高客单价 AI 玩具,如何找到用户的真正需求,和是否能够提供足够的附加值,都会直接影响其市场接受度。 ⭐️ 社区测评体验 到场的社区小伙伴们也都亲自体验了产品新功能,并亲自整理出了一些测评案例, 来自 @小互AI 位置信息推测 上传一张图像,让它来猜是哪里。为了加大难度,还对照片进行了裁切,同时防止它通过照片的 EXIF 信息作弊,使用的是屏幕截图。 豆包判定为洱海西岸,可能是 才村 或者 龙龛生态廊道 附近。 是不是有点 细思极恐 ,照片还是裁切过的,只给了局部,都能这么精准,所以以后 不要随便乱发能暴露自己位置的照片哦 。 疾病诊断 这是一个肺癌的患者X光片,相对而言还是比较简单的识别。 豆包1.5深度思考模型基本确定了疾病情况,但是比较保守,不愿意说出具体的结论。 我们看到AI在疾病识别上面非常的谨慎,一般不会给出确定性结论,而且还会有一大堆的提醒和声明。 在基础的多模态视觉推理方面,感觉豆包1.5的深度思考模型还是很能打的。 社区开发者小伙伴们说 彬子 独立开发者,WaytoAGI 共建者,MyShell 头部创作者和认证讲师。 这次很荣幸受邀参加火山新模型和产品的发布。 火山新发的 Thinking 模型以更小参数的 MoE 架构和 10% 的激活策略,实现了更强的 Reason 能力。在很多任务上表现印象深刻的完整性。 在 DeepSearch 的体验中,很好的使用了 Thinking 模型的 Planning 的逻辑,并表现出多轮 Search 来完善数据链的严谨性。最后借助 Python 编码能力编写成 可直接运行的 Html 网页。效果令人满意。 一泽Eze AI 产品经理、提示词工程师 火山开发者活动安排的很棒,线下体验的模型和相关应用比较丰富。 特别值得一提的是,火山的产研团队都有负责人在场,所以问题反馈和疑问交流就很顺畅。赞~ CY CHENYUE AI 从业者,工厂企业主。搭工作流写 ComfyUI 节点 。偶尔炼 Lora调模型。 这次见到了很多开发者 , 小伙伴们线下聚会太棒了 Noodles 连续创业,AI出海,大理黑客与画家主理人。 有很多重要的事情刚开始被称为玩具,但每一次发布都是时代浪潮的一次推波助澜,多模态、推理模型和MCP会让AI的应用进入下一个里程碑,很高兴有机会见证了字节在这方面的贡献。 参会开发者:AJ、彬子、一泽Eze、许键、腾焱、CY、银海、yee老师 内容整理: 银海、 yee老师、小谷 最近,我们也联合Trae举办了第二期「AIPO校园AI创投」活动,吸引了海内外70+所高校的同学参与;在3月底的「AI切磋大会」上,联合全国30个城市、线上线下3000+人用Trae做AI产品,现场涌现了特别多的优秀项目,0编程基础的小白也能亲手将创意变成现实! (感兴趣的小伙伴可以在历史文章中查看优秀项目介绍) 现场还分享了AI编程四个演变进程 • 传统开发:人来写 • 协同开发:AI做一些辅助,例如代码补全,Copilot / IDE插件 现在也是最受欢迎的应用方向 • 半自动化:Cursor/Windurf,可以通过(非常多)对话来开发软件 • 自动化:Agent模式,开发者面向任务,让AI自己去规划执行任务,人帮AI找上下文 AI难以一次性生成完美的代码,通过查看片段、编辑文件、多次对话等方式,会让AI生成的结果更加符合预期。 AI编程工具注定需要 调动更多工具:读懂设计稿,浏览器,文档,搜索…… 提高协作质量和方式。 OS Agent:OS Agent解决方案 在OS Agent领域,火山引擎不直接提供Agent能力,而是把构建Agent的解决方案开放给客户,助力大家在企业中构建专属的通用Agent。 大会上还正式发布了 OS Agent解决方案 和 豆包1.5·UI TARS模型 ,前者通过火山引擎veFaaS平台封装大模型能力,支持轻量级Code use和Browser use;后者整合屏幕视觉理解、逻辑推理与界面操作,突破传统自动化工具限制。 可依据用户的提示词,跨场景唤起并操作各类工具与应用,通过自主决策实现复杂任务的自动化处理 , 从 “被动响应指令” 迈向 “主动规划执行”,随着 Agentic AI 技术的飞速演进,一个以 “自主决策、全流程自动化” 为特征的智能时代正加速到来。 发布AI云原生·ServingKit推理套件 提供高效模型部署与优化,可在2分钟内完成671B DeepSeek R1下载和预热,13秒完成推理引擎的加载,并通过算子优化、KV cache命中率提升等技术降低推理延迟与GPU消耗,让推理端到端更省。 ⭐️火山方舟 开发者见面会 在开发者见面会上, 开发者们能在短时间内操作体验,并现场给出反馈。 手搓火山 方舟 x RTC硬件 现场还给开发者们提供了一个智能硬件套装,这些应用不仅推动了技术的创新,也为开发者提供了更多垂直场景的应用模板,比如“你的教师分身”,它可以应用于作业批改和问题咨询等场景。 在这些新兴的多模态应用中,确实还有大量的工作需要完成,尤其是在商业化和消费者端的市场定位上。目 前,虽然技术逐步成熟,但如何将这些技术转化为切实可行的商业模式仍然是一个挑战。 尤其是面向消费者的高客单价 AI 玩具,如何找到用户的真正需求,和是否能够提供足够的附加值,都会直接影响其市场接受度。 ⭐️ 社区测评体验 到场的社区小伙伴们也都亲自体验了产品新功能,并亲自整理出了一些测评案例, 来自 @小互AI 位置信息推测 上传一张图像,让它来猜是哪里。为了加大难度,还对照片进行了裁切,同时防止它通过照片的 EXIF 信息作弊,使用的是屏幕截图。 豆包判定为洱海西岸,可能是 才村 或者 龙龛生态廊道 附近。 是不是有点 细思极恐 ,照片还是裁切过的,只给了局部,都能这么精准,所以以后 不要随便乱发能暴露自己位置的照片哦 。 疾病诊断 这是一个肺癌的患者X光片,相对而言还是比较简单的识别。 豆包1.5深度思考模型基本确定了疾病情况,但是比较保守,不愿意说出具体的结论。 我们看到AI在疾病识别上面非常的谨慎,一般不会给出确定性结论,而且还会有一大堆的提醒和声明。 在基础的多模态视觉推理方面,感觉豆包1.5的深度思考模型还是很能打的。 社区开发者小伙伴们说 彬子 独立开发者,WaytoAGI 共建者,MyShell 头部创作者和认证讲师。 这次很荣幸受邀参加火山新模型和产品的发布。 火山新发的 Thinking 模型以更小参数的 MoE 架构和 10% 的激活策略,实现了更强的 Reason 能力。在很多任务上表现印象深刻的完整性。 在 DeepSearch 的体验中,很好的使用了 Thinking 模型的 Planning 的逻辑,并表现出多轮 Search 来完善数据链的严谨性。最后借助 Python 编码能力编写成 可直接运行的 Html 网页。效果令人满意。 一泽Eze AI 产品经理、提示词工程师 火山开发者活动安排的很棒,线下体验的模型和相关应用比较丰富。 特别值得一提的是,火山的产研团队都有负责人在场,所以问题反馈和疑问交流就很顺畅。赞~ CY CHENYUE AI 从业者,工厂企业主。搭工作流写 ComfyUI 节点 。偶尔炼 Lora调模型。 这次见到了很多开发者 , 小伙伴们线下聚会太棒了 Noodles 连续创业,AI出海,大理黑客与画家主理人。 有很多重要的事情刚开始被称为玩具,但每一次发布都是时代浪潮的一次推波助澜,多模态、推理模型和MCP会让AI的应用进入下一个里程碑,很高兴有机会见证了字节在这方面的贡献。 参会开发者:AJ、彬子、一泽Eze、许键、腾焱、CY、银海、yee老师 内容整理: 银海、 yee老师、小谷 🔗 原文链接: https://mp.weixin.qq.com/s/ pwMuF7X... https://mp.weixin.qq.com/s/ pwMuF7X... 原创 WaytoAGI 通往AGI之路2025年04月19日 00:00 浙江 在这周四,2025 火山引擎 Force Link AI 创新巡展首站来到了杭州, 并同步举办了开发者论坛 , 面向开发者的火山方舟新功能细节功能的体验 ,WaytoAGI社区的 各位开发者小伙伴们 也受邀参加了这场巡展。 闭门会上有什么独特的体验, 巡展现场发布了哪些新功能, 给大家整理好了👇🏻 ⭐️模型能力更强了 火山方舟DeepResearch 这次火山新出的 MCP 应用 DeepSearch,在复杂任务的处理上简直高效 ,银海老师整理了一份从「火山方舟开发者见面会」看到AI发展趋势, 这里给大家节选精品观点 https://mp.weixin.qq.com/s/HkudPF13TjOZEdeJkVWnFA 测试了一个关于“ 怎么购买特斯拉Model Y 更有性价比 ”的问题。这个功能不仅帮助我找到了最优的购车政策,还能够准确地补充各地的补贴信息。 提供了简单的搜索功能,还通过 Thinking 和 Summary 的方式不断的补充上下文细节,并且在 Prompt 开启的过程中也有一些自动化的优化,能够深入到用户的提问方式,帮助用户做出更加精准的决策。 DeepSearch里面的细节处理 仔细查看了分享的 DeepSearch 架构图,深入分析了 MCP Client 作为 Tools 的集成方式,并且通过工程化的方法对整个流程进行了更加精细的拆解和优化。这种方式不仅提升了集成的效率,还确保了每个环节的高效协同和稳定性。 前看来已经是通过应用的方式集成了 MCP 服务,这一市场的推出值得期待,因为它将为开发者提供更大能力和信息补充的空间,允许开箱即用,直接调用平台上的各种功能,进一步提升应用价值空间 实时对话式AI硬件 2025年,大模型与硬件的结合将让 AI 玩具桌宠、AI 教育设备、AI 智能家居、AI 智能穿戴等行业迎来更快速的发展。AI硬件的实现 依赖若干模型和能力的协同工作。 这里面有端侧芯片能力、实时音视频 RTC 技术以及大模型、语音技术等一系列能力。 理论上是容易理解的,但实际要做好却不太容易。 现场展示了把AI硬件芯片塞进毛绒玩具里 , 询问天气内容并收获毛绒玩具细心回答 试想后续集成先进的音频处理 , 自动唤醒 , 知识库 , 语音合成 , 可以定制每个手办的回复人设 , 声音 , 玩梗! 在智能玩具、智能家居、智能穿戴设备、智能教育设备、AI 机器人等领域赋予硬件 , 太有想象空间了!! 现场给我们这些“开发者”们,提供了一个智能硬件套装,这些应用不仅推动了技术的创新,也为开发者提供了更多垂直场景的应用模板,比如“你的教师分身”,它可以应用于作业批改和问题咨询等场景。 豆包1.5·深度思考模型 性能表现: 效果好、延迟低、支持多模态 巡展上,火山引擎总裁谭待现场发布了 「豆包 1.5・深度思考模型」, 除了在数学、编程、科学推理等专业领域表现突出之外,豆包1.5还具备了 视觉理解能力 。 模型采用MoE架构,总参数为200B,激活参数仅20B,具备显著的训练和推理成本优势。 比如能根据照片分析地貌,或在国外点餐时,它就能识别菜单,再根据你的口味推荐菜品。 购物推荐也是一个典型场景,火山官方尝试了一个条件很苛刻的问题,一对夫妻带两个孩子去露营,温度低,有雨,希望把装备买齐,要考虑预算限制,还要兼顾便携性和安全性。 针对这么复杂的问题,豆包首先拆解每个具体需求需要的注意事项,比如各个装备、预算、安全等方面的注意事项,规划需要的信息,然后经过了3轮搜索,终于给出了预算范围内,非常贴心细致,考虑了方方面面需求的答案。 关闭 观看更多 更多 退出全屏 切换到横屏模式 🎦 点击观看视频 🎦 点击观看视频 无法获取音频链接 视频详情 (社区小伙伴也做了一些测评,请在后文查看) 现场 火山引擎智能算法负责人吴迪,给出了一些很有价值的见解: A. 深度思考会成为趋势,尤其是能够有深度思考的视觉模型 B. token的智能和价格的红利期,大概持续2 3年时间 C. 认知红利: 大团队创新速度不如小团队 ,在未定型的情况下, 越小越敏捷的团队越能抓住认知红利 豆包·文生图模型升级3.0 • 海报:较好解决了小字和长文本的生成难题,也大幅提升了海报排版的美感。比如“现形”海报,里面有中英文混合的7种大小字以及长文本,在精准生成的基础上较为完美的融合排版。 • 人物:在真实性上的表现,他们的皮肤质感、表情走向、衣服的纹理等等细节,都大幅接近真人的表现。 • 2K直出:不需要经过二次处理的2K高清直出! 未来随着模型能力的进化,也能更好的帮助影视、海报、绘画、盲盒及玩偶设计等各类场景中的图像创作。 豆包·视觉理解模型升级 视觉定位能力更强了 支持对单目标、多目标、小目标等进行边界框或点提示进行定位,并支持基于定位进行计数,或描述所定位内容。此外,还支持3D定位。 搜索能力都更强了 在视频理解能力上有大幅提升,如对话交互、记忆能力、对话交互、总结理解、方向/速度/顺序的感知能力、长视频能力等 企业可以基于视频理解打造非常有趣的商业化应用。比如上传一套监控视频,然后搜索猫咪今天干了什么,它就能用时间轴的形式,把猫咪的一日行程齐齐整整地列出来,铲屎官们有福了! 另外,火山控制台可以进行小时级别的资源规划,无需为闲时付费。 MCP Hub 在会上看到火山方舟近期也即将会上线 MCP Hub,火山引擎不仅能够为开发者提供更强大的支持,还能推动整个AI生态的繁荣,形成一个良性循环,帮助开发者更好地实现创新与增长, 火山Al+云,整个云一套MCP Client、一套MCP Hub、一套MCP Server标准,与开放生态兼容。 ⭐️ 多款AI Agent工具和解决方案发布 国内首个AI原生IDE Trae 在代码Agent领域,字节此前还发布了国内首个AI原生IDE Trae(The Real AI Engineer)。 相比于传统的 AI 插件产品来说,Trae将AI与IDE深度融合,提供更智能的开发体验。