AIGC Weekly #95
👑
AIGC Weekly 95 👑 AIGC Weekly 95 其他动态 ✦ • Runway 发布自定义镜头控制 ，支持非常详细的镜头方向控制，而且 UI 和交互设计也有意思，如果你也在做类似产品可以试试。 • Huggingface 发布了 SmolLM2 系列模型 ，提供三种大小：135M、360M 和 1.7B 。预训练模型得分比 Llama 高很多，训练过程和数据集也会开源。 • Heygen 现在支持直接输入提示词生成指定长相的虚拟人 ，不需要自己拍视频上传训练了。 • Claude 3.5 Sonnet 可以查看PDF里面的图片了 ,能够理解文档里面的复杂图表或者示意图。 • 现在 Google AI Studio 和 Gemini API 支持直接返回 AI 搜索结果 。除了更准确的响应之外，该模型还返回内联支持链接和搜索建议。 • Claude上线了桌面客户端 ，Mac和Windows都支持。 • 字节搞了个图像模型站点叫 炉米Lumi ，炉米Lumi 会为用户提供模型上传分享、Workflow 搭建、LoRA 训练等多种服务。 • Wonder Dynamics 发布视频转3D功能 ，将真实视频转换为 3D 场景。并在一个 3D 空间内包含所有摄像机设置、角色身体和面部动画以及所有元素均可编辑。场景和人物都是选择已有的，但是依然很厉害， 我的测试 。 • 现在 Mac 和 Windows ChatGPT 客户端都支持高级语音了 。 • SD 3.5 Medium (2.6B) 模型发布了 。相较于8B的模型这个更适合消费级设备，模型本体只有5G，FP8的话感觉12G显存的设备也可以跑。 • PixVerse V3 视频模型发布 ，V3 的的视频清晰度提示词理解都非常强。还有类似 Pika 的视频特效和画面风格选择，马上万圣节了，流量爆品朋友们。另外他们也有现在最强的唇形同步功能。 • 在 Meta 的第三季度财报会议上扎克伯格宣布， Meta将与美国各政府机构合作，探索将Llama整合到公共部门应用程序中 ，以支持政府举措并应对社会挑战。 • OpenAI 正在与博通和台积电合作开发首款用于处理大型人工智能工作负载的内部芯片 ，生产可能于 2026 年开始。 • 截至 2024 年 8 月，OpenAI 的年化收入约为 3.6B 美元 ，高于 2023 年的 1.6B 美元。Anthropic 的收入预计到年底将达到 10 亿美元，较 1 亿美元增长 900%。 • Suno 更新 Personas 功能 ，可让保存歌曲的精髓 人声、风格、氛围 ，图片里面的IPA或者单图Lora。 图像及视频作品推荐✦ • 将视频拆分为各个层级，有点帅的这个 Demo 。 • Midjourney 的图片编辑加上 C4D 渲染的 Framer LOGO 。 • 两个同事计划午餐约会的短片 。太精致了，这个 Act One 用的非常完美，适当添加的噪点也提高了视频真实度。 • Nicolas 这段 AI 视频素材混剪太牛了 。没有剧情，没有主题，没有配音，但是就是看的停不下来。 产品推荐 ✦ Screenshot to Figma：截图转换为可编辑的 Figma 设计稿 Codia AI推出了一款名为“Screenshot to Figma”的插件，旨在简化设计过程。该插件允许用户通过一键上传截图，将其快速转换为可编辑的Figma UI设计。看了一个演示效果非常好，付费的话截图里的图标还会给你转成矢量的 SVG。 Learn About：谷歌的AI 学习工具 谷歌除了 NotebookLM 之外又发布了一个新的学习工具。 Learn About 可以根据你提出的问题给出详细的解释，而且还会推荐合适的视频教程以及文字教程。 他还会询问你教程的难易程度，如果觉得太难就会给你制定更简单的学习计划。 这个工具更像一个真的老师在做的事情，讲解问题，介绍读物、询问难易度进行调整，出测试题测试水平。 Recraft：强力图片生成模型加持的设计工具 前几天在 Artificial Analysis 排第一的 Red Panda 模型终于发布了。原来是一家英国公司 Recraft 训练的 Recraft V3。 这个模型的文本处理能力真的很强，非常适合用来直接生成营销内容。是世界上唯一可以生成带有超长文本（而不是只有一个或几个单词）的图像的模型。 重要的是这个平台的其他图片编辑功能也很强，配合模型如虎添翼。你可以将生成的图片导出为矢量图，还支持抠图调整颜色等操作。 屏幕截图到代码 可使用 AI 将屏幕截图、模型和 Figma 设计转换为干净、实用的代码。现在支持 Claude Sonnet 3.5 和 GPT 4O,还原度相当离谱。 Yume：设计非常精美的AI笔记工具 Yume 提供了多种功能来帮助用户捕捉和保存他们的笔记。用户可以通过语音记录或打字的方式添加笔记，并且可以随时回读或听自己以前的记录。应用程序设计简洁，以黑白为主，易于使用，并且可以根据个人偏好进行定制。 【剩余部分为付费阅读，请转至小报童】 你可以在这里找到我： | 即刻 | 推特 | Quail订阅 | 微信公众号：歸藏的AI工具箱 |邮箱：guohao631@gmail.com | 微信号：op7418 Runway 发布自定义镜头控制 Huggingface 发布了 SmolLM2 系列模型 Heygen 现在支持直接输入提示词生成指定长相的虚拟人 Claude 3.5 Sonnet 可以查看PDF里面的图片了 现在 Google AI Studio 和 Gemini API 支持直接返回 AI 搜索结果 Claude上线了桌面客户端 字节搞了个图像模型站点叫 炉米Lumi Wonder Dynamics 发布视频转3D功能 我的测试 现在 Mac 和 Windows ChatGPT 客户端都支持高级语音了 SD 3.5 Medium (2.6B) 模型发布了 PixVerse V3 视频模型发布 Meta将与美国各政府机构合作，探索将Llama整合到公共部门应用程序中 OpenAI 正在与博通和台积电合作开发首款用于处理大型人工智能工作负载的内部芯片 截至 2024 年 8 月，OpenAI 的年化收入约为 3.6B 美元 Suno 更新 Personas 功能 将视频拆分为各个层级，有点帅的这个 Demo Midjourney 的图片编辑加上 C4D 渲染的 Framer LOGO 两个同事计划午餐约会的短片 Nicolas 这段 AI 视频素材混剪太牛了 Screenshot to Figma：截图转换为可编辑的 Figma 设计稿 Learn About：谷歌的AI 学习工具 Recraft：强力图片生成模型加持的设计工具 屏幕截图到代码 Yume：设计非常精美的AI笔记工具 请转至小报童 即刻 推特 Quail订阅 guohao631@gmail.com 其他动态 ✦ • Runway 发布自定义镜头控制 ，支持非常详细的镜头方向控制，而且 UI 和交互设计也有意思，如果你也在做类似产品可以试试。 Runway 发布自定义镜头控制 • Huggingface 发布了 SmolLM2 系列模型 ，提供三种大小：135M、360M 和 1.7B 。预训练模型得分比 Llama 高很多，训练过程和数据集也会开源。 Huggingface 发布了 SmolLM2 系列模型 • Heygen 现在支持直接输入提示词生成指定长相的虚拟人 ，不需要自己拍视频上传训练了。 Heygen 现在支持直接输入提示词生成指定长相的虚拟人 • Claude 3.5 Sonnet 可以查看PDF里面的图片了 ,能够理解文档里面的复杂图表或者示意图。 Claude 3.5 Sonnet 可以查看PDF里面的图片了 • 现在 Google AI Studio 和 Gemini API 支持直接返回 AI 搜索结果 。除了更准确的响应之外，该模型还返回内联支持链接和搜索建议。 现在 Google AI Studio 和 Gemini API 支持直接返回 AI 搜索结果 • Claude上线了桌面客户端 ，Mac和Windows都支持。 Claude上线了桌面客户端 • 字节搞了个图像模型站点叫 炉米Lumi ，炉米Lumi 会为用户提供模型上传分享、Workflow 搭建、LoRA 训练等多种服务。 字节搞了个图像模型站点叫 炉米Lumi • Wonder Dynamics 发布视频转3D功能 ，将真实视频转换为 3D 场景。并在一个 3D 空间内包含所有摄像机设置、角色身体和面部动画以及所有元素均可编辑。场景和人物都是选择已有的，但是依然很厉害， 我的测试 。 Wonder Dynamics 发布视频转3D功能 我的测试 • 现在 Mac 和 Windows ChatGPT 客户端都支持高级语音了 。 现在 Mac 和 Windows ChatGPT 客户端都支持高级语音了 • SD 3.5 Medium (2.6B) 模型发布了 。相较于8B的模型这个更适合消费级设备，模型本体只有5G，FP8的话感觉12G显存的设备也可以跑。 SD 3.5 Medium (2.6B) 模型发布了 • PixVerse V3 视频模型发布 ，V3 的的视频清晰度提示词理解都非常强。还有类似 Pika 的视频特效和画面风格选择，马上万圣节了，流量爆品朋友们。另外他们也有现在最强的唇形同步功能。 PixVerse V3 视频模型发布 • 在 Meta 的第三季度财报会议上扎克伯格宣布， Meta将与美国各政府机构合作，探索将Llama整合到公共部门应用程序中 ，以支持政府举措并应对社会挑战。 Meta将与美国各政府机构合作，探索将Llama整合到公共部门应用程序中 • OpenAI 正在与博通和台积电合作开发首款用于处理大型人工智能工作负载的内部芯片 ，生产可能于 2026 年开始。 OpenAI 正在与博通和台积电合作开发首款用于处理大型人工智能工作负载的内部芯片 • 截至 2024 年 8 月，OpenAI 的年化收入约为 3.6B 美元 ，高于 2023 年的 1.6B 美元。Anthropic 的收入预计到年底将达到 10 亿美元，较 1 亿美元增长 900%。 截至 2024 年 8 月，OpenAI 的年化收入约为 3.6B 美元 • Suno 更新 Personas 功能 ，可让保存歌曲的精髓 人声、风格、氛围 ，图片里面的IPA或者单图Lora。 Suno 更新 Personas 功能 图像及视频作品推荐✦ • 将视频拆分为各个层级，有点帅的这个 Demo 。 将视频拆分为各个层级，有点帅的这个 Demo • Midjourney 的图片编辑加上 C4D 渲染的 Framer LOGO 。 Midjourney 的图片编辑加上 C4D 渲染的 Framer LOGO • 两个同事计划午餐约会的短片 。太精致了，这个 Act One 用的非常完美，适当添加的噪点也提高了视频真实度。 两个同事计划午餐约会的短片 • Nicolas 这段 AI 视频素材混剪太牛了 。没有剧情，没有主题，没有配音，但是就是看的停不下来。 Nicolas 这段 AI 视频素材混剪太牛了 产品推荐 ✦ Screenshot to Figma：截图转换为可编辑的 Figma 设计稿 Screenshot to Figma：截图转换为可编辑的 Figma 设计稿 Codia AI推出了一款名为“Screenshot to Figma”的插件，旨在简化设计过程。该插件允许用户通过一键上传截图，将其快速转换为可编辑的Figma UI设计。看了一个演示效果非常好，付费的话截图里的图标还会给你转成矢量的 SVG。 Learn About：谷歌的AI 学习工具 Learn About：谷歌的AI 学习工具 谷歌除了 NotebookLM 之外又发布了一个新的学习工具。 Learn About 可以根据你提出的问题给出详细的解释，而且还会推荐合适的视频教程以及文字教程。 他还会询问你教程的难易程度，如果觉得太难就会给你制定更简单的学习计划。 这个工具更像一个真的老师在做的事情，讲解问题，介绍读物、询问难易度进行调整，出测试题测试水平。 Recraft：强力图片生成模型加持的设计工具 Recraft：强力图片生成模型加持的设计工具 前几天在 Artificial Analysis 排第一的 Red Panda 模型终于发布了。原来是一家英国公司 Recraft 训练的 Recraft V3。 这个模型的文本处理能力真的很强，非常适合用来直接生成营销内容。是世界上唯一可以生成带有超长文本（而不是只有一个或几个单词）的图像的模型。 重要的是这个平台的其他图片编辑功能也很强，配合模型如虎添翼。你可以将生成的图片导出为矢量图，还支持抠图调整颜色等操作。 屏幕截图到代码 屏幕截图到代码 可使用 AI 将屏幕截图、模型和 Figma 设计转换为干净、实用的代码。现在支持 Claude Sonnet 3.5 和 GPT 4O,还原度相当离谱。 Yume：设计非常精美的AI笔记工具 Yume：设计非常精美的AI笔记工具 Yume 提供了多种功能来帮助用户捕捉和保存他们的笔记。用户可以通过语音记录或打字的方式添加笔记，并且可以随时回读或听自己以前的记录。应用程序设计简洁，以黑白为主，易于使用，并且可以根据个人偏好进行定制。 【剩余部分为付费阅读，请转至小报童】 请转至小报童 你可以在这里找到我： | 即刻 | 推特 | Quail订阅 | 微信公众号：歸藏的AI工具箱 |邮箱：guohao631@gmail.com | 微信号：op7418 即刻 推特 Quail订阅 guohao631@gmail.com 🔗 原文链接： https://quail.ink/op7418/p/aigc wee... https://quail.ink/op7418/p/aigc wee... ⏰ 发表时间：2024 11 04 作者：歸藏 上周精选 ✦ Open AI 的一些消息：SearchGPT、完全体 O1、AMA 最近 Open AI 动作挺多的可能终于感受到压力了，先是推出了 SearchGPT，然后疑似故意泄露完全体 O1 模型使用链接，还跟自己的新领导层搞了一个 AMA。 发布 Search GPT 发布 Search GPT 之前测试了很久的 ChatGPT 搜索功能终于出了，他们说可以提供更快、更准确的网络搜索体验，并直接链接到高质量来源。 为了获得更高质量的数据他们还跟天气、股票、体育、新闻和地图数据服务商合作获取数据，而且这些内容都做了单独的 UI 适配比看文字直观很多。 你可以直接在 ChatGPT 网站上搜索，也可以安装他们的 浏览器插件 设置成默认搜索。 浏览器插件 完全体多模态 O1 模型泄露 在上周六下午推上突然说完全体的 O1 泄露了，从一个 指定链接 进去就可以使用，进去看了一下还真是，支持多模态而且能力也非常强，有 200K 的长下文窗口。 指定链接 拿一个高中数学联赛的几何题试了一下居然能答对。另外还拿一个正常的高中奥赛数学题试了一下，Claude 3.5不行、o1 preview都做不对，都在瞎做，他也答对了。 刚想要上点重量给他一个出生日期让它算依稀八字命盘，结果就被修复了，细带大选之后可以使用 Open AI 主创的的 AMA 总结 Open AI 主创的的 AMA 总结 31 号 SearchGPT 发布之后 Sam 和其他 Open AI 的领导层一起在 Reddit 做了一次 AMA，回答了很多问题，列几条相对重要的， 完整的总结可以在这里看 。 完整的总结可以在这里看 • 今年没有计划发布名为 GPT 5 的模型，不过之后会有重要发布。 • 目前重点是改进 o1 系列及其后续版本，而不是推出 GPT 5（完全体 O1 这就出了）。 • OpenAI 将继续开发 GPT 和 o1 两个模型系列，预计这两个系列最终会合并。 • 新的文本生成图像模型正在开发中，但未宣布发布日期。 • o1 模型将在未来几个月支持图像输入，以及多模态和工具使用等功能。 • OpenAI 认为可以用现有硬件实现 AGI。 • ChatGPT 独立执行任务的能力预计将成为 2025 年的主要主题。 • 当被问及是否是"草莓哥"时，Sam 回应了一个草莓表情。 Physical Intelligence 发布通用机器人策略模型 π0 Physical Intelligence 发布通用机器人策略模型 π0 Physical Intelligence 发布了一个通用机器人策略模型。 目前的机器人大多是窄领域的专家，它们的行为需要大量的手动编程。而通过 AI 技术，机器人能够学习并遵循用户指令，使得编程新的行为变得更加简单。 可以指导机器人完成各种开放域的任务，而不需要专门训练，比如洗衣服、叠箱子、收拾餐桌等家务。这个机器人在智能上比马斯克前几天发布那个强多了。 训练方法 ： 模型结合了大规模的多任务和多机器人数据收集，以及一种新型的网络架构，使得机器人能够以前所未有的能力和灵巧性进行控制。 π0 模型继承了互联网规模的语义知识和视觉理解，并通过流匹配方法将预训练的视觉语言模型增强为连续动作输出，实现了高频率的灵巧控制。 Oasis：实时生成可操作的AI游戏生成模型 Oasis：实时生成可操作的AI游戏生成模型 虽然有很多关于AI实时生成可操作的游戏内容研究了，但是都停留在研究和Demo阶段，而且操作也很简单稳定性也很差。 Decart 发布的这个Oasis第一次提供了可以试玩的Demo，而且几乎具备完全体的《我的世界》功能，你可以砍树、挖石头等等。 Oasis 是交互式视频游戏，但由transformer在逐帧的基础上端到端生成。Oasis 接收用户键盘和鼠标输入并在内部生成实时游戏玩法，可以以 20 帧的速度实时渲染，零延迟。 为了实现 Oasis，需要两方面的根本进展：一是改进模型架构，以便模型能够捕捉并模拟整个世界；二是在模型推理技术上的突破，以便用户可以通过最小延迟实时交互。 Decart 发布了 Oasis 的代码和模型权重，以及一个可在本地运行的更大的模型的实时可玩演示。 同时他们因为这个Demo获得了2100 万美元的种子轮融资。 同时类似的研究还有： 腾讯出的游戏视频模型 GameGen O 、 谷歌发布 GameNGen 项目 、 DIAMOND 这个项目可以实时玩 CS GO 。 腾讯出的游戏视频模型 GameGen O 谷歌发布 GameNGen 项目 DIAMOND 这个项目可以实时玩 CS GO Github发布会发布多个AI功能和产品 Github发布会发布多个AI功能和产品 Github 发布会的主要内容，GitHub Spark 新产品类似 Bolt 或者 V0 这种输入需求直接生成。 GitHub Copilot 多模型支持 • 新增对多个 AI 模型的支持:Claude 3.5 Sonnet、 Gemini 1.5 Pro、o1 preview 和 o1 mini。 • 开发者可以自由选择最适合的模型 • 组织和企业可以控制团队使用的模型范围 AI 原生开发体验增强 • Copilot Workspace：在 Pull Request 中快速优化和验证代码，与 Copilot Code Review、Autofix 和第三方扩展集成 • Copilot Code Review：PR 创建后即可获得 AI 反馈，支持 C 、Java、JavaScript、Python、TypeScript、Ruby、Go 和 Markdown，可配置团队规则以保证代码质量 GitHub Spark (技术预览版) • 面向个人的软件创作工具 • 使用自然语言创建微型应用 • 支持实时历史记录、预览和直接代码编辑 • 目标是帮助 10 亿人成为开发者 GitHub Models • 不再需要等待名单，直接可用 • 模型并排比较 • 支持多模态模型 • 保存和分享提示词与参数 • 新的 Codespaces 支持 • CLI 扩展：可直接在终端中使用和测试模型