6. DALLE-3 的紧箍咒

DALLE 3 的紧箍咒 ⚠️ DALLE 3 的紧箍咒 Modified May 15, 2024 1. 相比上一代 DALLE 2，除了模型设计改进外，训练数据也大大优化，同时安全工作下足了功夫 c. 黑名单，黑名单内的内容不会生成 d. ChatGPT 改写优化提示词，用户输入提示词后，ChatGPT 会自动优化增加更多细节信息等改写提示词，DALLE 3最终用优化后的提示词生成图像。 e. 图像过滤器。生成的图像内容会被审查过滤，不当内容不会展示给用户。 2. 开放公众使用前和 GPT4V 一样进行了红队测试和小规模用户测试（discord用户福利），早期模型存在图像生成偏好——倾向于生成年轻白人女孩图片，经过 OpenAI 调教后生成图片更加多样化。同时，早期测试中发现的一些越狱漏洞（如通过医学图像展示涩情图片) 现在已经被堵上。 3. 模型造假能力。能够生成具有真实感的官方文档、虚构事件，但能力有限，并不比现有造假技术造假方便。 4. 模型审美。模型生成的人类图片审美模式化，存在审美上的刻板印象，有可能反过来影响人类的审美，导致审美多样性的减少。 5. 社会影响。禁止生成公众人物图像，早期测试中存在生成名人图像可能，现在模型会拒绝这种请求。 6. 科学领域使用。DALLE 3 在物化生等科学领域的生成内容不正确。在所有被测试的科学领域(化学、生物、物理)中，红队发现了信息中的不准确之处，表明该模型不适合或不能用于这些用途。 7. 艺术风格。可以生成不同的艺术风格图片，同时维护了一份禁止生成的名单，名单上主要包含在世的艺术家，会持续更新。 8. 未来工作 a. 研究 AI 生成图像的标记方法（也许可以称为无痕水印？），方便图像溯源。 b. 研究图像生成模型与人类价值系统的对齐问题，也许可以从 GPT 对齐方法中获得灵感。 1. 相比上一代 DALLE 2，除了模型设计改进外，训练数据也大大优化，同时安全工作下足了功夫 c. 黑名单，黑名单内的内容不会生成 d. ChatGPT 改写优化提示词，用户输入提示词后，ChatGPT 会自动优化增加更多细节信息等改写提示词，DALLE 3最终用优化后的提示词生成图像。 c. 黑名单，黑名单内的内容不会生成 d. ChatGPT 改写优化提示词，用户输入提示词后，ChatGPT 会自动优化增加更多细节信息等改写提示词，DALLE 3最终用优化后的提示词生成图像。 e. 图像过滤器。生成的图像内容会被审查过滤，不当内容不会展示给用户。 e. 图像过滤器。生成的图像内容会被审查过滤，不当内容不会展示给用户。 2. 开放公众使用前和 GPT4V 一样进行了红队测试和小规模用户测试（discord用户福利），早期模型存在图像生成偏好——倾向于生成年轻白人女孩图片，经过 OpenAI 调教后生成图片更加多样化。同时，早期测试中发现的一些越狱漏洞（如通过医学图像展示涩情图片) 现在已经被堵上。 3. 模型造假能力。能够生成具有真实感的官方文档、虚构事件，但能力有限，并不比现有造假技术造假方便。 4. 模型审美。模型生成的人类图片审美模式化，存在审美上的刻板印象，有可能反过来影响人类的审美，导致审美多样性的减少。 5. 社会影响。禁止生成公众人物图像，早期测试中存在生成名人图像可能，现在模型会拒绝这种请求。 6. 科学领域使用。DALLE 3 在物化生等科学领域的生成内容不正确。在所有被测试的科学领域(化学、生物、物理)中，红队发现了信息中的不准确之处，表明该模型不适合或不能用于这些用途。 7. 艺术风格。可以生成不同的艺术风格图片，同时维护了一份禁止生成的名单，名单上主要包含在世的艺术家，会持续更新。 8. 未来工作 a. 研究 AI 生成图像的标记方法（也许可以称为无痕水印？），方便图像溯源。 b. 研究图像生成模型与人类价值系统的对齐问题，也许可以从 GPT 对齐方法中获得灵感。 a. 研究 AI 生成图像的标记方法（也许可以称为无痕水印？），方便图像溯源。 b. 研究图像生成模型与人类价值系统的对齐问题，也许可以从 GPT 对齐方法中获得灵感。 看看 OpenAI 给 DALLE3 套上了啥紧箍咒，DALLE 3 system card 论文阅读 作者: 云中江树 微信: zephyr ai 看看 OpenAI 给 DALLE3 套上了啥紧箍咒，DALLE 3 system card 论文阅读 作者: 云中江树 微信: zephyr ai a. ChatGPT 会对用户敏感内容进行审查过滤 b. 输入提示词过滤器会对用户和 ChatGPT 对话进行审查过滤，拒绝不合规内容。如下图：模型拒绝回答不当内容：