3 个新话题，14 个新产品与 10 篇最受关注的论文｜全球 AI 动向周报 011

3 个新话题，14 个新产品与 10 篇最受关注的论文｜全球 AI 动向周报 011 3 个新话题，14 个新产品与 10 篇最受关注的论文｜全球 AI 动向周报 011 🔗 Paper https://arxiv.org/abs/2305.15334 🔗 Twitter https://twitter.com/omarsar0/status/1661540207206846464 The False Promise of Imitatiting Proprietary LLMs 本文对以更强模型的输出进行微调的模型进行了批判性分析；认为模型的模仿是一个错误的前提，改进开源模型的更有效方法是开发更好的基础模型。 🔗 Paper https://arxiv.org/abs/2305.15717 🔗 Twitter https://twitter.com/arankomatsuzaki/status/1661908342829187072 Sophia 本文提出了一种简单可扩展的二阶优化器，每步平均时间和内存开销几乎可以忽略不计；在语言建模方面，Sophia 在步数、计算量和实际时间上比 Adam 快 2 倍。 🔗 Paper https://arxiv.org/abs/2305.14342 🔗 Twitter https://twitter.com/tengyuma/status/1661412995430219786 The Larger They Are, the Harder They Fail 文章表明，当默认函数名称被交换时，LLM 便无法生成正确的 Python 代码，而且模型越大，越倾向于生成错误的结果 —— 这与此前我们观察到的「模型越大，能力越强」的规律相反。 🔗 Paper https://arxiv.org/abs/2305.15507 🔗 Twitter https://twitter.com/AVMiceliBarone/status/1662150656327663617 Model Evaluation for Extreme Risks 讨论了模型评估在解决极端风险和在模型训练、部署和安全方面做出负责任决策中的重要性。 文中还详细讨论了十个主要风险：网络攻击、欺骗、说服与操纵、政治策略、武器获取、长期规划、AI 开发、情景意识以及自我传播。 🔗 Paper https://arxiv.org/abs/2305.15324 🔗 Twitter https://twitter.com/soundboy/status/1661728733156503555 LLM Research Directions 讨论了一系列针对希望在 LLM 领域进行研究的博士研究生的研究方向。 🔗 Paper https://arxiv.org/abs/2305.12544 🔗 Twitter https://twitter.com/omarsar0/status/1661405738059571201 Reinventing RNNs for the Transformer Era 提出了一种将 Transformer 的高效可并行训练与 RNN 的高效推理相结合的方法；结果显示该方法在性能上与大小相似的 Transformer 相当。 🔗 Paper https://arxiv.org/abs/2305.13048 🔗 Twitter https://twitter.com/ akhaliq/status/1660816265454419969 🐑 禅修时刻 · Short Courses by 吴恩达要说这两天什么课最火，那必然是吴老师的四节生成式 AI 短课程，从 Prompt Engineering、API 调用、LangChain 的使用到 Diffusion 模型的原理，一应俱全！ 🔗 https://www.deeplearning.ai/short courses/ 🔗 Paper https://arxiv.org/abs/2305.15334 🔗 Twitter https://twitter.com/omarsar0/status/1661540207206846464 The False Promise of Imitatiting Proprietary LLMs 本文对以更强模型的输出进行微调的模型进行了批判性分析；认为模型的模仿是一个错误的前提，改进开源模型的更有效方法是开发更好的基础模型。 🔗 Paper https://arxiv.org/abs/2305.15717 🔗 Twitter https://twitter.com/arankomatsuzaki/status/1661908342829187072 Sophia 本文提出了一种简单可扩展的二阶优化器，每步平均时间和内存开销几乎可以忽略不计；在语言建模方面，Sophia 在步数、计算量和实际时间上比 Adam 快 2 倍。 🔗 Paper https://arxiv.org/abs/2305.14342 🔗 Twitter https://twitter.com/tengyuma/status/1661412995430219786 The Larger They Are, the Harder They Fail 文章表明，当默认函数名称被交换时，LLM 便无法生成正确的 Python 代码，而且模型越大，越倾向于生成错误的结果 —— 这与此前我们观察到的「模型越大，能力越强」的规律相反。 🔗 Paper https://arxiv.org/abs/2305.15507 🔗 Twitter https://twitter.com/AVMiceliBarone/status/1662150656327663617 Model Evaluation for Extreme Risks 讨论了模型评估在解决极端风险和在模型训练、部署和安全方面做出负责任决策中的重要性。 文中还详细讨论了十个主要风险：网络攻击、欺骗、说服与操纵、政治策略、武器获取、长期规划、AI 开发、情景意识以及自我传播。 🔗 Paper https://arxiv.org/abs/2305.15324 🔗 Twitter https://twitter.com/soundboy/status/1661728733156503555 LLM Research Directions 讨论了一系列针对希望在 LLM 领域进行研究的博士研究生的研究方向。 🔗 Paper https://arxiv.org/abs/2305.12544 🔗 Twitter https://twitter.com/omarsar0/status/1661405738059571201 Reinventing RNNs for the Transformer Era 提出了一种将 Transformer 的高效可并行训练与 RNN 的高效推理相结合的方法；结果显示该方法在性能上与大小相似的 Transformer 相当。 🔗 Paper https://arxiv.org/abs/2305.13048 🔗 Twitter https://twitter.com/ akhaliq/status/1660816265454419969 🐑 禅修时刻 · Short Courses by 吴恩达要说这两天什么课最火，那必然是吴老师的四节生成式 AI 短课程，从 Prompt Engineering、API 调用、LangChain 的使用到 Diffusion 模型的原理，一应俱全！ 🔗 https://www.deeplearning.ai/short courses/ 原文地址：https://mp.weixin.qq.com/s/fz1AxoYq5zsJM2TyzvY9lA f.chen 赛博禅心 2023 06 02 发表 原文地址：https://mp.weixin.qq.com/s/fz1AxoYq5zsJM2TyzvY9lA f.chen 赛博禅心 2023 06 02 发表 • Microsoft 在 Build 2023 发布了 50 多项新产品，一切都与 AI 相关； • Google 除了将图像生成功能整合进了商业营销工具与 Bard，还正式开始测试 AI 版搜索引擎； • Meta 开源了基于圣经训练的，可以识别超过 4,000 种口语，对 1,100 多种语言进行语音文字互换的 MMS 模型； NVIDIA 突破万亿美元市值，带领其达成此成就的华人 CEO 黄仁勋在 COMPUTEX 大会上沉稳地抛出了一系列产品，其中更有搭载了 256 颗 GH200 Grace Hopper 超级芯片的新型 DGX GH200 超算......巨头们的竞争下文中我们不再赘述，本期，我们将为大家带来以下内容： 3 个新话题 媒体该如何更有价值地进行 AI 报道？不同国家在如何制定 AI 相关政策？关于 AI 安全，有哪些重要的观点？ 14 个新产品 包括 4 个有用的和 3 个好玩的新产品，5 个初创公司的新产品以及 2 家大公司的新动态； • 10 篇新论文 上周热度最高的 10 篇新论文，与上次一样，每篇我们都提供了论文原文链接与最具代表性的 Twitter Thread。 Enjoy！ AI · 话题 How the media is covering ChatGPT｜拒绝炒作，理性报道 在过去半年多的时间里，媒体对 AI 的报道呈爆发式增长趋势，不少新闻记者都在绞尽脑汁以求在自己的报道中体现出「细微差别」，但有多少人在回归新闻的本真，「引导公众关注并思考真正重要问题」？Jem Bartholomew 和 Dhrumil Mehta 采访了大量的记者与学者并对 2022 年 11 月至 2023 年 5 月中旬关于 AI 的报道进行了统计分析，为我们呈现了一份相对客观完整的报告。 其中的一位受访者 Jenna Burrell 指出，过度讨论 AI 的「技术未解之谜」事实上会分散人们对诸如「AI 对市场结构的影响」之类的问题的注意力 —— 在关注 AI 能力与感知的同时，我们也应关注 AI 如何进一步分配财富和权力。与此同时，两位作者也为我们总结了一个新技术新闻报道的炒作周期框架： • 首先，新技术会带来各类承诺与期待； • 然后，媒体报道会分化为两个极端，一边可能是「行业终结者与民主末日」，另一边则是「技术带来乌托邦」； 最后，报道开始更细致地讨论技术的实际影响 —— 这是周期开始冷却的时候。 🔗 https://www.cjr.org/tow center/media coverage chatgpt.php Statement on AI Risk｜AI 风险声明 硅谷又开启了新一轮 AI 风险声明信的签署潮，其中首当其冲的便是这封由 Geoffrey Hinton、Bill Gates、Sam Altman（OpenAI CEO）、Demis Hassabis（Google DeepMind CEO）、Dario Amodei（Anthropic CEO）等著名企业家与学者共同签署的这封《AI 风险声明（Statement on AI Risk）》，而事实上，正文只有一句话：全世界都应优先考虑人工智能带来的人类灭绝风险问题，这与大流行病和核战争等社会性风险问题一样重要。 🔗 https://www.cjr.org/tow center/media coverage chatgpt.php 过去几个月里，学界与业界，AI 与非 AI 领域的许多关键组织与人物都曾就 AI 安全问题发表过自己的看法，在这里，梳理一些有价值的观点与大家分享： 1. Is Avoiding Extinction from AI Really an Urgent Priority?｜避免 AI 灭绝人类真的是当务之急吗？by fast.ai 🔗 https://www.fast.ai/posts/2023 05 31 extinction.html 2. AI Is Not an Arms Race｜AI 不是一场军备赛 by TIME 🔗 https://time.com/6283609/artificial intelligence race existential threat 3. If we’re going to label AI an ‘extinction risk’, we need to clarify how it could happen｜我们即便要将 AI 标记为「灭绝风险」，也需要弄清它为什么会发生 by The Conversation 🔗 https://theconversation.com/if were going to label ai an extinction risk we need to clarify how it could happen 206738 4. You Can Have the Blue Pill or the Red Pill, and We’re Out of Blue Pills ｜我们将生活在非人类智能的幻觉中 by Yuval Noah Harari 🔗 https://www.nytimes.com/2023/03/24/opinion/yuval harari ai chatgpt.html 5. Yuval Noah Harari argues that AI has hacked the operating system of human civilisation｜我们仍然可以规范新的 AI 工具，但必须迅速行动 by Yuval Noah Harari 🔗 https://www.economist.com/by invitation/2023/04/28/yuval noah harari argues that ai has hacked the operating system of human civilisation 6. AI 'godfather' Geoffrey Hinton warns of dangers as he quits Google｜AI 教父离职前的警告 by Geoffrey Hinton 🔗 https://www.bbc.com/news/world us canada 65452940 7. How Rogue AIs may Arise｜流氓 AI 是如何出现的 by Yoshua Bengio 🔗 https://yoshuabengio.org/2023/05/22/how rogue ais may arise/ 1. 8. Governance of superintelligence｜超级智能的治理 by OpenAI 🔗 https://openai.com/blog/governance of superintelligence Copyright Doesn’t Apply To AI Training｜AI 训练数据版权应该受保护吗？ 日本政府重申不会对 AI 训练中使用的数据实施版权保护，换句话说，AI 训练可以使用任何数据，无论是出于非营利或商业目的，是否有复制以外的行为，也无论是否从非法网站或其他方式获得的内容。 无独有偶，以色列司法部早在今年 1 月就发表了相似的意见。 但并不是没有相反的声音，目前看，在制定 AI 规范法规方面，欧盟的步伐无疑是最快的，而根据 AI Act 初稿，部署 Gen AI 工具的公司将需要披露用于开发系统（训练模型）的所有受版权保护的数据 —— 如果是这样，OpenAI 将不得不退出欧洲。 🔗 日本 https://technomancers.ai/japan goes all in copyright doesnt apply to ai training/ 🔗 以色列 https://www.project disco.org/intellectual property/011823 israel ministry of justice issues opinion supporting the use of copyrighted works for machine learning/ 🔗 欧盟 https://www.europarl.europa.eu/news/en/press room/20230505IPR84904/ai act a step closer to the first rules on artificial intelligence AI · 产品 有用的｜For Money 💬 AirChat「口袋里的晚宴（A dinner party in your pocket）。」这是 Naval 对 AirChat 的定义。抛开文艺的面纱，AirChat 是 Naval 开发的语音社交产品，像是一个异步版 Clubhouse。无需额外翻译，即可用语音与平台上其他说着不同语言的用户进行交流，加上审美非常在线的产品界面，还有 Naval 本人的不定时巡游留言，还没排上号的我真的很像尽快试一试！ 提供邮箱和 Twitter 账号（还需关注账号 @getairchat）即可加入 Waitlist，不过目前仅支持 iOS 设备哦！ 🔗 https://www.getairchat.com/ 🎨 Spawning 艺术家作品版权保护工具 —— 主要针对图像，也有部分声音、视频以及代码，具体来说，就是在各类网站之上加一个「同意层」，需要经过创作者的同意才可使用网站数据进行 AI 训练。 截至目前，Spawning 目前已经帮助 14 亿张图像退出模型训练集。🔗 https://spawning.ai/📒 ChatOCR 一个有意思的 PDF 处理 ChatGPT Plugin 插件，除了读取常见的文字、图表以及图片等信息，它甚至可以抓取手写文字与扫描内容！ 🔗 https://www.staf.ai/🏊 PoolsideGitHub 前 CTO Jason Warner 将其创办的新公司定位为「未来系统的系统」。根据当前的新闻报道，更像是真正可以投入生产的无代码软件搭建平台🤔 🔗 https://medium.com/redpoint ventures/fresh ink hello poolside 384923ff3ad4 🔗 https://www.newcomer.co/p/former github cto jason warner raises 好玩的｜For Fun 📷 Paragraphica根据定位自动收集数据并生成关键词补全 prompt 以生成环境「照片」的相机，由手工达人 Bjørn Karmann 制作。下面的几幅示例图中，Bjørn 看似拿了一台「相机」，但事实上，这台相机只是一个定位设备，没有任何拍摄功能，三个物理旋钮则是为了调节参数而存在，分别用于控制数据收集的地理半径、图像噪声与遵循 prompt 的程度。 相机所收集的数据与工作原理如下： 基于以上工作原理，想必大家应该发现了：这是在手机上就可以实现的功能呀！没错，打开第二个链接即可体验👇 🔗 https://bjoernkarmann.dk/project/paragraphica 🔗 https://paragraphica.bjoernkarmann.dk/🖌️ KURUKURU 由两位华人女孩创办的漫画生成平台，目前已被 YC 投资。CEO @FengjiaoPeng 毕业于香港大学与 MIT，此前是一位一边在 Adobe 与 Vimeo 担任工程师，一边进行网络漫画创作的斜杠青年，出于对漫画的热爱，与同样是理工科出身的 @YipingLyu 创办了 KURUKURU，侧重连续故事情节的生成以及工作流的易用性 —— 期待更多的进展！ 🔗 https://www.kurukuru.xyz/👧 GirlfriendGPT虽然训练一个 Character 的技术难度愈来愈低，但依旧不够小白 —— 试试用 GPT 4 构建一个性格可爱的女朋友吧！ 🔗 https://gptgirlfriend.online/ 初创企业｜Startups 🐙 InkyMM by OctoML第一个开源的可商用多模态模型，基于 MPT 7 Instruct 与 BLIP 搭建。 🔗 https://mm frontend ees4nzlyjlh8.octoai.cloud 🧙 Spellbook用 LLM 帮忙起草合同，目前已有超 600 家企业客户。但请注意，AI 帮忙起草法律文件也许可以节省不少时间，但千万不要因为有了工具而偷懒。最近，同样是在法律行业，一位美国律师用 AI 协助处理案件时显然遇到了大问题 —— 他在庭审时提供了 6 个由 ChatGPT 生成的虚假案件🤷 🔗 https://www.spellbook.legal/👶 Assitant by Betterlegal在几秒钟内将复杂的法律术语转换为通俗易懂的语言，相对于生成合同、辩词、判例等，也许这是对大众更实用，风险也更小的场景～ 🔗 https://betterlegal.com/assistant👶 Botatouille by Buzzfeed据称是全球第一款 AI 烹饪小助手，基于 ChatGPT API 搭建，支持 10,000+ 菜谱的问答与制作指导，内置于 Buzzfeed 的 Tastey app，目前仅支持 iOS 端。 🔗 https://apps.apple.com/us/app/tasty recipes cooking videos/id1217456898🙊 CapeChat by Cape Privacy在使用 ChatGPT 的同时保持敏感数据的安全。我们已经见到了许多用 ChatGPT 这样的 AI Chatbot 处理财务数据、日程以及其他个人信息的案例，但这么做是否能够保证数据安全？说实话，我个人一直保持怀疑态度，而 CapeChat 就是一个把数据安全放在第一位的 Chatbot，这真的是一个很棒的切入点！ 截至目前，Spawning 目前已经帮助 14 亿张图像退出模型训练集。🔗 https://chat.capeprivacy.com/chat/1685655970623 头部公司｜Leading Companies 🌟 Photoshop Beta by Adobe Adobe 终于改变了 33 年的稳健作风，大手笔地将 Firefly 整合进了 Photoshop，说实话，这是我最近见到的最有趣的 AI 产品之一，AI 图像生成功能终于被丝滑地融入了工作流。 先说优点，无论是抠图、补全画面、局部擦除还是扩展画面内容，Beta 都能为创作者节约大量的制作时间和精力，在已有图片的基础上快速修改至 60 分；再说缺点，与之前的感受相同，Firefly 生成图像的真实性并不高，在某些图片中非常容易出现违和感；此外，Beta 也不擅长从零制作图片，且无法精确控制组件/角色的位置、面部细节和动作等等重要信息。—— 期待 Adobe 的进步了！🔗 https://www.adobe.com/products/photoshop/generative fill.html 🔗 一些有趣的例子 https://twitter.com/nathanlands/status/1663878082007281668?s=46&t=O5v r8PPMabZ2rXHdeCbcA 💬 Tako by TikTok 5 月 25 日，TikTok 宣布他们正在菲律宾部分测试用于更精准寻找短视频的聊天机器人 Tako，目前技术由第三方提供。 🔗 https://twitter.com/TikTokComms/status/1661718779024531456 AI · 技术 QLoRA 一种高效的微调方法，通过减少内存使用量，在单个 48GB GPU 上微调 65B 参数模型，同时保持完整的 16 位微调性能。 🔗 Paper https://arxiv.org/abs/2305.14314 🔗 Twitter https://twitter.com/Tim Dettmers/status/1661379354507476994 LIMA 一个新的 65B 参数的 LLaMa 模型，通过 1000 个精心设计的提示和回应进行微调；它不使用 RLHF，对于训练数据中没有的任务具有良好的泛化能力，并且在 43% 的情况下生成的回应与 GPT 4 相当或更受欢迎，甚至比 Bard 更高。 🔗 Paper https://arxiv.org/abs/2305.11206 🔗 Twitter https://twitter.com/violet zct/status/1660789120069926912 Voyager 在 Minecraft 中使用 LLM 技术的具有体验型终身学习功能的代理人，可以不需要人类干预就能持续探索世界、获得技能并进行新的发现。 🔗 Paper https://arxiv.org/abs/2305.16291 🔗 Twitter https://twitter.com/DrJimFan/status/1662115266933972993 Gorilla 一种基于 LLaMA 的微调模型，超越了 GPT 4 在编写 API 调用方面的性能。这种能力可以帮助识别正确的 API，提高 LLM 与外部工具进行交互完成特定任务的能力。