AIGC Weekly #63

AIGC Weekly 63 AIGC Weekly 63 LaVague：开源的浏览器自动化操作 Agents LaVague 一个开源的浏览器自动化操作 Agents。 通过提供一个将自然语言查询转化为 Selenium 代码的引擎，LaVague 可让用户或其他人工智能轻松实现自动化，轻松表达网络工作流程并在浏览器上执行。 LaVague的特点： 自然语言处理：理解自然语言指令，执行浏览器交互。 Selenium 集成：与 Selenium 无缝集成，实现网络浏览器自动化。 用于隐私和控制的本地模型支持 Gemma 7b 等本地模型。 Wudpecker：AI会议总结工具 Wudpecker是一款GDPR合规的AI会议助手，专为Zoom、Google Meet、Microsoft Teams会议设计，能够根据用户的指令制作定制笔记。这款工具能够将长时间的录音压缩成2分钟的会议摘要，并将信息整合到用户的技术栈中。Wudpecker能够以用户偏好的结构和语言编写笔记，并能够捕捉会议中的重要细节，包括特殊名称和词汇的正确拼写。 Wudpecker的用户可以简单地将其日历连接到应用程序，让Wudpecker加入会议并代替他们做笔记，从而节省时间并提高效率。用户反馈表明，Wudpecker的笔记功能非常出色，不仅能够捕捉会议中的所有重要细节，还能帮助用户专注于与客户建立关系，并利用会议洞察创建内容。Wudpecker通过识别行动项来提高会议效率，被用户评价为远超其他提供商的工具。 精选文章 ✦ 检测秘密的机器人（大企业如何发挥AI价值） Ethan Mollick这个论点很有意思，全球有非常多的个人利用AI提高效率节约时间，但是对中大型的公司或者政府组织的帮助很有限。 因为AI的固有缺陷以及担心被替代，导致使用AI的个体不敢向公司透露自己使用AI产出内容。 为了让组织从AI中受益，他建议需要改变组织的运作方式：首先，公司需要认识到，擅长使用AI的员工可能来自组织的任何层级，并提供广泛的培训和分享工具。 其次，领导者需要减少员工因透露AI使用而感到的恐惧，例如提供不因使用AI而裁员的保证。 第三，组织应该通过提供激励措施来鼓励员工公开他们的AI使用情况。 最后，公司需要迅速解决一些基本问题，如如何处理AI带来的生产力提升、如何重组工作流程以及如何管理可能涉及AI错误和知识产权问题的工作。 AI已经在许多行业产生影响，组织不能推迟考虑这些问题，否则将面临更糟糕的长期结果。 前100个生成式AI应用及数据分析 a16z发布了他们最新调查的前100个生成式AI应用，这次会包括移动应用，里面有些数据分析很有意思。 ChatGPT每月接近20亿次网络访问量，大约是榜单上第二名公司Bard（现在是Gemini）的五倍。 在所谓的新来者中，排名最高的包括AI研究副驾驶Liner；Anthropic的通用助手Claude；以及三个未经审查的AI伴侣应用程序：JanitorAI、Spicychat和CrushOn。 有五家人工智能公司真正实现了“跨界”，旗下的网络产品和移动应用都进入了前50名单：ChatGPT、Character AI、聊天机器人聚合平台Poe，以及图像编辑器Photoroom和Pixelcut。 ChatGPT的规模大约是第二和三名选手微软Edge和Photomath的2.5倍。 宝藏内容 沃顿商学院给教师和学生的提示词库 沃顿商学院发布了一个专门用来教学的提示词库，里面包含了非常多用于学习和教育的提示词. 同时也有一些其他很有用的提示，比如密度链总结、因果关系解释、产品发布提示和学术论文创建。 如果你有孩子或者本身就是学生和教师可以收藏一下。 这里是我的中文翻译：https://quail.ink/op7418/p/bao zang nei rong wo dun shang xue yuan gei jiao shi he xue sheng de ti shi ci ku gpt4 1 黄仁勋在斯坦福做了一次访谈和演讲 上上周黄仁勋在斯坦福做了一次访谈和演讲，这一个小时的演讲内容量很大，主要的包括公司治理的经验和要点以及人工智能未来的发展问题。 翻译了一下这个视频并且给每个部分加上了时间戳，下面是简要的文字内容介绍： 演讲者Jensen Huang是Nvidia公司的CEO，他在AI及其所需的创新、技术和人力资源方面具有前瞻性的见解。 Jensen分享了他的个人经历，从九岁移民美国到成为Nvidia公司CEO的过程。他强调了教育和技术创新的重要性。Nvidia公司通过重塑计算，将深度学习的计算成本降至接近零，使AI能够从互联网提取和理解人类知识成为可能。 Jensen认为，AI是21世纪最重要的技术发明。Nvidia开发的GPU芯片和架构，大幅提升了深度学习和AI的计算能力，并广泛应用于各行业的数据中心。未来，AI计算机将能进行持续学习、合成数据生成和强化学习，并通过真实世界的经验来完善。 Jensen强调AI要以人类价值观为基础。聊天GPT通过强化学习和人类反馈，将AI与人类价值观联系起来。未来AI需要建立世界模型，理解多模态概念，具备推理和规划能力。他预测5年内AI可能通过各类人类测试，实现类似人类的智能（AGI）。 AI有望帮助人类理解生物学，如蛋白质的功能和意义。它将改变人类获取信息和知识的方式。未来，人人都能通过自然语言与AI交互，无需掌握编程。各国需要在主权AI领域进行投资，保护自己的数据、智能和文化。 Jensen分享了他的管理理念——通过不断评估、统一激励方式和信息透明来保持员工的积极性。他认为公司文化的塑造需要坚持品质、经历磨砺，重视过程和结果。Nvidia欢迎合作伙伴在其AI生态系统的基础上进行适度的定制化开发。 加速分化：关于大模型走势的十个判断 这篇文章《加速分化：关于大模型走势的十个判断》由腾讯公司设立的社会科学研究机构发布，作者是独立科技观察者王齐昂。文章主要探讨了大模型技术的当前发展趋势和未来预测，包括技术迭代、竞争激烈、算力和数据资源的挑战、人才的重要性、开源与闭源的争议、以及大模型在不同领域的应用前景等方面。 文章指出，大模型技术正处于加速发展阶段，如Sora视频模拟器、谷歌的Gemini 1.5、Meta的V JEPA等新模型的推出，以及OpenAI即将发布的GPT5，显示了技术的快速进步。同时，中国超过200个大模型的“百模大战”现象，以及国内外大厂与创业公司合作的模式，展示了行业的竞争态势。 文章还强调了算力和数据资源的紧张，特别是在美国芯片禁令下，中国面临算力补充的挑战。此外，人才的重要性不言而喻，顶尖人才的投入是大模型发展的关键驱动力。 开源与闭源的争议也是文章讨论的重点，OpenAI从GPT3开始选择闭源，而其他一些模型如Meta的LLaMA2、Mistral的Mistral 8x7B等则保持开源，这反映了大模型发展中的不同策略。 最后，文章预测了大模型技术在端侧应用、个人助理、内容创造等方面的未来应用前景，以及对个人和企业组织方式的潜在影响。同时，文章通过访谈两位科技界人士的不同观点，反映了中国科技界对大模型态度的分裂，一方面是追求技术突破的长期主义，另一方面是注重市场应用的实用主义。 如何从零开始训练大模型（minicpm分享&讨论） 本文讨论了如何从零开始训练大型语言模型，特别是微信内部评测效果良好的minicpm模型。文章首先指出，根据scaling law，模型规模越大，配合高质量数据，效果越好。但即使在2B参数量级别，模型也未必得到充分训练。文章还提到了minicpm作者在内部分享的一些训练大模型的关键点： 1. 样本构成与质量 ：中英混合比例、逻辑推理强的样本（如代码、数学）可以在大模型中占更高比例。样本清洗包括基本清洗（如政治敏感数据去除）和进阶清洗（如标签优化）。还提到了生成高质量合成数据和购买数据的策略。 2. 不同训练阶段的样本使用 ：讨论了在不同训练阶段使用高质量样本的三种方案，包括在末期、初期或全程使用高质量样本，并探讨了这些策略对模型泛化能力和特定领域性能的影响。 3. 训练过程 ：包括tokenizer的选择、训练分为快速收敛、稳定和退火阶段的原因，以及不同阶段可能学习的内容。还讨论了batch size、LR scheduler和优化器的选择及其对训练效果的影响。 4. 退火阶段的策略 ：提到了在退火阶段混入高质量样本进行“和面”的策略，以及这种策略对模型性能的潜在影响。 5. scaling law的局限性 ：随着对训练大模型更多细节的理解，scaling law的指导意义在减少。文章最后提到了scaling law在实际应用中的一些局限性，并以chatgpt的成功作为例证。 文章强调了在训练大模型时，除了模型规模和数据量，训练策略和样本质量也是至关重要的因素。同时，也提到了业界对于不同训练阶段和策略的讨论和实验，以及对于未来评估和优化方法的期待。 人工智能将如何影响创意工具：与 Replit 的 David Hoang 对话 David Hoang，Replit公司的市场营销和设计副总裁，在接受Figma的采访时讨论了人工智能（AI）如何重塑产品设计和开发的未来。他强调了AI在多模态、多形态和动态界面设计中的作用，以及它如何促进设计和编码工作的融合。Replit专注于构建人工开发者智能（ADI），而不是通用人工智能（AGI），旨在提高人们的自主性和生产力。 Hoang提到ADI可以帮助代码完成、增强组织智能，并理解团队如何更好地协作。他举了一个例子，Replit的一位建设者Priyaa Kalyanaraman在一次黑客马拉松中使用Replit和AI创建了一个平台，该平台通过动画GIF、有趣的语言和文本转语音为文档注入个性。AI编写了100%的代码，Priyaa随后为她的想法获得了资金。 Replit有一个专门的AI团队，负责大型语言模型的训练和产品开发研究。Hoang认为，尽管AI可能会自动化某些设计工作，但设计师的角色和目的仍然是不可或缺的。他鼓励设计师以开放的心态接受设计领域的变化和发展，并认为设计师在AI革命中将发挥关键的创造性和批判性思维作用。 他还建议设计师们开始与AI产品互动，以区分高质量的AI用例和那些将AI作为事后考虑的产品。他强调，AI的挑战不在于技术进步，而在于人们学习和采纳新行为的能力。在招聘方面，Replit倾向于聘请能够理解软件创建所需技术深度的多学科设计师。 最后，Hoang提到Replit社区的特殊之处在于它鼓励人们在学习过程中相互交流，快速构建和迭代产品，这种社区氛围有助于持续学习的动力。 如何评估你的 RAG 系统？ 在这篇文章中，介绍了如何评估检索增强生成（Retrieval Augmented Generation, RAG）系统的方法。RAG是一种通过从外部向量数据库检索相关上下文来提高输出质量的技术。文章强调了评估RAG系统时需要关注的几个关键方面：上下文检索、内容生成和业务逻辑。对于上下文检索，重点是如何基于最优的组合策略、嵌入模型和搜索算法，从大量文本中一致性地检索到最相关的知识。内容生成的评估则是通过各种提示和模型的实验，使用诸如忠实度/相关性等指标来确定，给定最相关的检索知识后，能否产生合理的生成答案。此外，文章还提到了评估业务逻辑的重要性，包括意图验证、输出长度、规则遵守等，这些都是企业在评估RAG管道中重要部分时使用的指标。 为了执行这些评估，你可能需要使用人工注释的真实数据进行比较，或者使用另一个大型语言模型（LLM）来合成生成这些数据，或者即时评估你的输出（例如使用GPT 4）。文章还介绍了一些评估上下文检索和内容生成时应关注的指标，如上下文相关性、上下文遵循度、答案相关性、忠实度、正确性和语义相似度等。 最后，文章提到了使用Vellum工具来创建自定义评估器，以评估RAG系统的每个步骤，并通过评估报告来查看各种指标的绝对和相对性能。例如，在使用Vellum的工作流构建器创建客户支持聊天机器人时，可以设置所有必需的RAG步骤和评估机制，包括搜索初始化向量数据库、创建自定义评估器来检查聊天机器人如何准确地检索上下文、测试各种提示和模型，以及创建业务逻辑评估器等。通过这种方式，可以在产品上线前测量系统的有效性和可靠性，并在真实用户与之互动后，收集他们的反馈来通过应用相同的测试方法来增强系统。 重点研究 ✦ Quiet STAR：语言模型可以在说话之前自学思考 斯坦福大学这个论文厉害啊，提出了一种STaR的泛化版本，名为Quiet STaR，目的是让大语言模型学会以更通用和可扩展的方式进行推理。 Quiet STaR让大语言模型能够在每个Token处生成理由，以此解释未来的文本内容。 它提出了一种按Token并行采样的算法，通过有效地生成内部思考，有助于改进大语言模型的预测性能。 利用幻觉绕过 RLHF 过滤器 普林斯顿大学的这篇论文可以通过诱导模型稳定出现幻觉从而绕过 RLHF 设置的过滤器。 控制模型输出包括阴谋论推文、极端政治宣传、制作毒品和核武器的指导、以及实施恐怖袭击的方法等。 这种方法目前对GPT4、Claude Sonnet以及Inflection 2.5（在一定程度上）有效。 VLOGGER：用于具体化身合成的多模态扩散 谷歌也发布了一个根据输入图片和音频就能生成对应人物讲话视频的项目VLOGGER。看起来没有阿里那个自然。项目简介： 它可以根据一张人物图像,生成由文本和音频驱动的说话人视频。该方法建立在最近生成式扩散模型取得成功的基础之上。 VLOGGER 包含两个关键组件: 1. 一个随机的人体到 3D 运动的扩散模型; 2. 一个创新的基于扩散的架构,通过时间和空间控制来增强文本到图像模型的能力。 这种方法可以生成高质量、可变长度的视频,并且可以通过人脸和身体的高级表示进行便捷控制。 LaVague：开源的浏览器自动化操作 Agents Wudpecker：AI会议总结工具 检测秘密的机器人（大企业如何发挥AI价值） 前100个生成式AI应用及数据分析 宝藏内容 沃顿商学院给教师和学生的提示词库 黄仁勋在斯坦福做了一次访谈和演讲 加速分化：关于大模型走势的十个判断 如何从零开始训练大模型（minicpm分享&讨论） 人工智能将如何影响创意工具：与 Replit 的 David Hoang 对话 如何评估你的 RAG 系统？ Quiet STAR：语言模型可以在说话之前自学思考 利用幻觉绕过 RLHF 过滤器 VLOGGER：用于具体化身合成的多模态扩散 LaVague：开源的浏览器自动化操作 Agents LaVague：开源的浏览器自动化操作 Agents LaVague 一个开源的浏览器自动化操作 Agents。 通过提供一个将自然语言查询转化为 Selenium 代码的引擎，LaVague 可让用户或其他人工智能轻松实现自动化，轻松表达网络工作流程并在浏览器上执行。 LaVague的特点： 自然语言处理：理解自然语言指令，执行浏览器交互。 Selenium 集成：与 Selenium 无缝集成，实现网络浏览器自动化。 用于隐私和控制的本地模型支持 Gemma 7b 等本地模型。 Wudpecker：AI会议总结工具 Wudpecker：AI会议总结工具 Wudpecker是一款GDPR合规的AI会议助手，专为Zoom、Google Meet、Microsoft Teams会议设计，能够根据用户的指令制作定制笔记。这款工具能够将长时间的录音压缩成2分钟的会议摘要，并将信息整合到用户的技术栈中。Wudpecker能够以用户偏好的结构和语言编写笔记，并能够捕捉会议中的重要细节，包括特殊名称和词汇的正确拼写。 Wudpecker的用户可以简单地将其日历连接到应用程序，让Wudpecker加入会议并代替他们做笔记，从而节省时间并提高效率。用户反馈表明，Wudpecker的笔记功能非常出色，不仅能够捕捉会议中的所有重要细节，还能帮助用户专注于与客户建立关系，并利用会议洞察创建内容。Wudpecker通过识别行动项来提高会议效率，被用户评价为远超其他提供商的工具。 精选文章 ✦ 检测秘密的机器人（大企业如何发挥AI价值） 检测秘密的机器人（大企业如何发挥AI价值） Ethan Mollick这个论点很有意思，全球有非常多的个人利用AI提高效率节约时间，但是对中大型的公司或者政府组织的帮助很有限。 因为AI的固有缺陷以及担心被替代，导致使用AI的个体不敢向公司透露自己使用AI产出内容。 为了让组织从AI中受益，他建议需要改变组织的运作方式：首先，公司需要认识到，擅长使用AI的员工可能来自组织的任何层级，并提供广泛的培训和分享工具。 其次，领导者需要减少员工因透露AI使用而感到的恐惧，例如提供不因使用AI而裁员的保证。 第三，组织应该通过提供激励措施来鼓励员工公开他们的AI使用情况。 最后，公司需要迅速解决一些基本问题，如如何处理AI带来的生产力提升、如何重组工作流程以及如何管理可能涉及AI错误和知识产权问题的工作。 AI已经在许多行业产生影响，组织不能推迟考虑这些问题，否则将面临更糟糕的长期结果。 前100个生成式AI应用及数据分析 前100个生成式AI应用及数据分析 a16z发布了他们最新调查的前100个生成式AI应用，这次会包括移动应用，里面有些数据分析很有意思。 ChatGPT每月接近20亿次网络访问量，大约是榜单上第二名公司Bard（现在是Gemini）的五倍。 在所谓的新来者中，排名最高的包括AI研究副驾驶Liner；Anthropic的通用助手Claude；以及三个未经审查的AI伴侣应用程序：JanitorAI、Spicychat和CrushOn。 有五家人工智能公司真正实现了“跨界”，旗下的网络产品和移动应用都进入了前50名单：ChatGPT、Character AI、聊天机器人聚合平台Poe，以及图像编辑器Photoroom和Pixelcut。 ChatGPT的规模大约是第二和三名选手微软Edge和Photomath的2.5倍。 宝藏内容 沃顿商学院给教师和学生的提示词库 宝藏内容 沃顿商学院给教师和学生的提示词库 沃顿商学院发布了一个专门用来教学的提示词库，里面包含了非常多用于学习和教育的提示词. 同时也有一些其他很有用的提示，比如密度链总结、因果关系解释、产品发布提示和学术论文创建。 如果你有孩子或者本身就是学生和教师可以收藏一下。 这里是我的中文翻译：https://quail.ink/op7418/p/bao zang nei rong wo dun shang xue yuan gei jiao shi he xue sheng de ti shi ci ku gpt4 1 黄仁勋在斯坦福做了一次访谈和演讲 黄仁勋在斯坦福做了一次访谈和演讲 上上周黄仁勋在斯坦福做了一次访谈和演讲，这一个小时的演讲内容量很大，主要的包括公司治理的经验和要点以及人工智能未来的发展问题。 翻译了一下这个视频并且给每个部分加上了时间戳，下面是简要的文字内容介绍： 演讲者Jensen Huang是Nvidia公司的CEO，他在AI及其所需的创新、技术和人力资源方面具有前瞻性的见解。 Jensen分享了他的个人经历，从九岁移民美国到成为Nvidia公司CEO的过程。他强调了教育和技术创新的重要性。Nvidia公司通过重塑计算，将深度学习的计算成本降至接近零，使AI能够从互联网提取和理解人类知识成为可能。 Jensen认为，AI是21世纪最重要的技术发明。Nvidia开发的GPU芯片和架构，大幅提升了深度学习和AI的计算能力，并广泛应用于各行业的数据中心。未来，AI计算机将能进行持续学习、合成数据生成和强化学习，并通过真实世界的经验来完善。 Jensen强调AI要以人类价值观为基础。聊天GPT通过强化学习和人类反馈，将AI与人类价值观联系起来。未来AI需要建立世界模型，理解多模态概念，具备推理和规划能力。他预测5年内AI可能通过各类人类测试，实现类似人类的智能（AGI）。 AI有望帮助人类理解生物学，如蛋白质的功能和意义。它将改变人类获取信息和知识的方式。未来，人人都能通过自然语言与AI交互，无需掌握编程。各国需要在主权AI领域进行投资，保护自己的数据、智能和文化。 Jensen分享了他的管理理念——通过不断评估、统一激励方式和信息透明来保持员工的积极性。他认为公司文化的塑造需要坚持品质、经历磨砺，重视过程和结果。Nvidia欢迎合作伙伴在其AI生态系统的基础上进行适度的定制化开发。 加速分化：关于大模型走势的十个判断 加速分化：关于大模型走势的十个判断 这篇文章《加速分化：关于大模型走势的十个判断》由腾讯公司设立的社会科学研究机构发布，作者是独立科技观察者王齐昂。文章主要探讨了大模型技术的当前发展趋势和未来预测，包括技术迭代、竞争激烈、算力和数据资源的挑战、人才的重要性、开源与闭源的争议、以及大模型在不同领域的应用前景等方面。 文章指出，大模型技术正处于加速发展阶段，如Sora视频模拟器、谷歌的Gemini 1.5、Meta的V JEPA等新模型的推出，以及OpenAI即将发布的GPT5，显示了技术的快速进步。同时，中国超过200个大模型的“百模大战”现象，以及国内外大厂与创业公司合作的模式，展示了行业的竞争态势。 文章还强调了算力和数据资源的紧张，特别是在美国芯片禁令下，中国面临算力补充的挑战。此外，人才的重要性不言而喻，顶尖人才的投入是大模型发展的关键驱动力。 开源与闭源的争议也是文章讨论的重点，OpenAI从GPT3开始选择闭源，而其他一些模型如Meta的LLaMA2、Mistral的Mistral 8x7B等则保持开源，这反映了大模型发展中的不同策略。 最后，文章预测了大模型技术在端侧应用、个人助理、内容创造等方面的未来应用前景，以及对个人和企业组织方式的潜在影响。同时，文章通过访谈两位科技界人士的不同观点，反映了中国科技界对大模型态度的分裂，一方面是追求技术突破的长期主义，另一方面是注重市场应用的实用主义。 如何从零开始训练大模型（minicpm分享&讨论） 如何从零开始训练大模型（minicpm分享&讨论） 本文讨论了如何从零开始训练大型语言模型，特别是微信内部评测效果良好的minicpm模型。文章首先指出，根据scaling law，模型规模越大，配合高质量数据，效果越好。但即使在2B参数量级别，模型也未必得到充分训练。文章还提到了minicpm作者在内部分享的一些训练大模型的关键点： 1. 样本构成与质量 ：中英混合比例、逻辑推理强的样本（如代码、数学）可以在大模型中占更高比例。样本清洗包括基本清洗（如政治敏感数据去除）和进阶清洗（如标签优化）。还提到了生成高质量合成数据和购买数据的策略。 2. 不同训练阶段的样本使用 ：讨论了在不同训练阶段使用高质量样本的三种方案，包括在末期、初期或全程使用高质量样本，并探讨了这些策略对模型泛化能力和特定领域性能的影响。 3. 训练过程 ：包括tokenizer的选择、训练分为快速收敛、稳定和退火阶段的原因，以及不同阶段可能学习的内容。还讨论了batch size、LR scheduler和优化器的选择及其对训练效果的影响。 4. 退火阶段的策略 ：提到了在退火阶段混入高质量样本进行“和面”的策略，以及这种策略对模型性能的潜在影响。 5. scaling law的局限性 ：随着对训练大模型更多细节的理解，scaling law的指导意义在减少。文章最后提到了scaling law在实际应用中的一些局限性，并以chatgpt的成功作为例证。 文章强调了在训练大模型时，除了模型规模和数据量，训练策略和样本质量也是至关重要的因素。同时，也提到了业界对于不同训练阶段和策略的讨论和实验，以及对于未来评估和优化方法的期待。 人工智能将如何影响创意工具：与 Replit 的 David Hoang 对话 人工智能将如何影响创意工具：与 Replit 的 David Hoang 对话 David Hoang，Replit公司的市场营销和设计副总裁，在接受Figma的采访时讨论了人工智能（AI）如何重塑产品设计和开发的未来。他强调了AI在多模态、多形态和动态界面设计中的作用，以及它如何促进设计和编码工作的融合。Replit专注于构建人工开发者智能（ADI），而不是通用人工智能（AGI），旨在提高人们的自主性和生产力。 Hoang提到ADI可以帮助代码完成、增强组织智能，并理解团队如何更好地协作。他举了一个例子，Replit的一位建设者Priyaa Kalyanaraman在一次黑客马拉松中使用Replit和AI创建了一个平台，该平台通过动画GIF、有趣的语言和文本转语音为文档注入个性。AI编写了100%的代码，Priyaa随后为她的想法获得了资金。 Replit有一个专门的AI团队，负责大型语言模型的训练和产品开发研究。Hoang认为，尽管AI可能会自动化某些设计工作，但设计师的角色和目的仍然是不可或缺的。他鼓励设计师以开放的心态接受设计领域的变化和发展，并认为设计师在AI革命中将发挥关键的创造性和批判性思维作用。 他还建议设计师们开始与AI产品互动，以区分高质量的AI用例和那些将AI作为事后考虑的产品。他强调，AI的挑战不在于技术进步，而在于人们学习和采纳新行为的能力。在招聘方面，Replit倾向于聘请能够理解软件创建所需技术深度的多学科设计师。 最后，Hoang提到Replit社区的特殊之处在于它鼓励人们在学习过程中相互交流，快速构建和迭代产品，这种社区氛围有助于持续学习的动力。 如何评估你的 RAG 系统？ 如何评估你的 RAG 系统？ 在这篇文章中，介绍了如何评估检索增强生成（Retrieval Augmented Generation, RAG）系统的方法。RAG是一种通过从外部向量数据库检索相关上下文来提高输出质量的技术。文章强调了评估RAG系统时需要关注的几个关键方面：上下文检索、内容生成和业务逻辑。对于上下文检索，重点是如何基于最优的组合策略、嵌入模型和搜索算法，从大量文本中一致性地检索到最相关的知识。内容生成的评估则是通过各种提示和模型的实验，使用诸如忠实度/相关性等指标来确定，给定最相关的检索知识后，能否产生合理的生成答案。此外，文章还提到了评估业务逻辑的重要性，包括意图验证、输出长度、规则遵守等，这些都是企业在评估RAG管道中重要部分时使用的指标。 为了执行这些评估，你可能需要使用人工注释的真实数据进行比较，或者使用另一个大型语言模型（LLM）来合成生成这些数据，或者即时评估你的输出（例如使用GPT 4）。文章还介绍了一些评估上下文检索和内容生成时应关注的指标，如上下文相关性、上下文遵循度、答案相关性、忠实度、正确性和语义相似度等。 最后，文章提到了使用Vellum工具来创建自定义评估器，以评估RAG系统的每个步骤，并通过评估报告来查看各种指标的绝对和相对性能。例如，在使用Vellum的工作流构建器创建客户支持聊天机器人时，可以设置所有必需的RAG步骤和评估机制，包括搜索初始化向量数据库、创建自定义评估器来检查聊天机器人如何准确地检索上下文、测试各种提示和模型，以及创建业务逻辑评估器等。通过这种方式，可以在产品上线前测量系统的有效性和可靠性，并在真实用户与之互动后，收集他们的反馈来通过应用相同的测试方法来增强系统。 重点研究 ✦ Quiet STAR：语言模型可以在说话之前自学思考 Quiet STAR：语言模型可以在说话之前自学思考 斯坦福大学这个论文厉害啊，提出了一种STaR的泛化版本，名为Quiet STaR，目的是让大语言模型学会以更通用和可扩展的方式进行推理。 Quiet STaR让大语言模型能够在每个Token处生成理由，以此解释未来的文本内容。 它提出了一种按Token并行采样的算法，通过有效地生成内部思考，有助于改进大语言模型的预测性能。 利用幻觉绕过 RLHF 过滤器 利用幻觉绕过 RLHF 过滤器 普林斯顿大学的这篇论文可以通过诱导模型稳定出现幻觉从而绕过 RLHF 设置的过滤器。 控制模型输出包括阴谋论推文、极端政治宣传、制作毒品和核武器的指导、以及实施恐怖袭击的方法等。 这种方法目前对GPT4、Claude Sonnet以及Inflection 2.5（在一定程度上）有效。 VLOGGER：用于具体化身合成的多模态扩散 VLOGGER：用于具体化身合成的多模态扩散 谷歌也发布了一个根据输入图片和音频就能生成对应人物讲话视频的项目VLOGGER。看起来没有阿里那个自然。项目简介： 它可以根据一张人物图像,生成由文本和音频驱动的说话人视频。该方法建立在最近生成式扩散模型取得成功的基础之上。 VLOGGER 包含两个