接入Azure OpenAI模型相关操作说明
接入Azure OpenAI模型相关操作说明
接入Azure OpenAI模型相关操作说明 接入Azure OpenAI模型相关操作说明 Modified December 3, 2024 💡 Deployment 就是特定模型(比如 gpt 3.5 turbo)的部署, 它属于 Step 2 中创建的服务实例(Resource) 访问链接：从列表点击进入服务实例详情页, 在左侧选择「模型部署」 (Model Deployments) , 再点击「管理部署」（ Manage Deployments） 点击 Create new deployment , 填写表单即可创建模型部署，支持的模型列表可以查看链接 Step 4: 获取模型部署的凭证信息, 并配置到 Aily 在 Aily 中, 配置来自 Azure 的 OpenAI 模型需要以下信息 字段 说明 样例 模型提供商 选择CloudModel 模型类型 选择想要接入的Azure 模型 展示名称 填写模型在应用创建时选择列表中展示的模型名称 测试接入GPT4o 模型访问地址 Azure OpenAI Resource 的 Endpoint ，查询地址 模型访问地址 、API Key 需要点击右上角齿轮图标, 再点击 Resources 查看 https://your resource name.openai.azure.com API 版本 API Version 注意不是 Model Version API 版本 控制模型更新，以便在升级前测试用例的模型性能是否一致。部署设置为在有可用更新时升级到新的默认版本。请参阅模型停用文档，了解停用日期和升级策略。 在部署 聊天操场打开，可以查看模型的代码； 如：2024 07 17 preview 部署名称 Step 3 中填写的 Deployment Name 模型类别、部署名 可以在部署列表看到 API Key Azure OpenAI Resource 的 API Key xxxxxxxxxxxx Step 5: 在Aily 管控台如何添加Cloud 模型 可以参考模型管理后台操作文档，添加自定义模型 https://aily.feishu.cn/hc/1u7kleqg/897wr1b8 Q&A 选择模型时，不同的版本有什么区别？ • 3.5 Turbo：不支持function call，内建技能受限，Workflow可用 • 3.5 Turbo 16k：支持function call，可用所有能力，但效果会有所受限，特别是数据分析 • 4 8k：内建技能默认Prompt匹配的模型，使用效果好 • 4 32k：同“4 8k”，但费用相较“4 8k”略贵。优势是相关上下文长，支持更多元场景，例如数据分析中可关联查询更多分析表。 • 4 Turbo：不是内建技能Prompt匹配的模型，故可能出现数据分析效果不好的情况 Azure OpenAI Service表单中的特性应该勾选哪几个？ 建议默认全部勾选，此部分并不影响后续操作，仅是Azure销售收集产品特性需求信息。几个产品特性的简单介绍： • Text and code models：基础的Azure服务，包含LLM模型及Embedding 模型 • DALL E 2 models：多模态模型，具备文生图能力 • OpenAI Whisper model：具备语音转文字能力，这一块可不用大模型，直接用飞书的语音转文字能力 • GPT 4 Turbo with Vision：多模态模型，具备图生文能力 AzureOpenAI 输出的内容有做防火墙过滤吗 大模型会在预期外做一些内容输出，但在“飞书智能伙伴创建平台”输出给到用户前，会通过字节的内容安全审核平台做一层过滤，屏蔽“色情”、“暴力”、等非法内容。 访问链接 链接 💡 Deployment 就是特定模型(比如 gpt 3.5 turbo)的部署, 它属于 Step 2 中创建的服务实例(Resource) Deployment 就是特定模型(比如 gpt 3.5 turbo)的部署, 它属于 Step 2 中创建的服务实例(Resource) 访问链接：从列表点击进入服务实例详情页, 在左侧选择「模型部署」 (Model Deployments) , 再点击「管理部署」（ Manage Deployments） 访问链接 点击 Create new deployment , 填写表单即可创建模型部署，支持的模型列表可以查看链接 链接 Step 4: 获取模型部署的凭证信息, 并配置到 Aily 在 Aily 中, 配置来自 Azure 的 OpenAI 模型需要以下信息 字段 说明 样例 模型提供商 选择CloudModel 模型类型 选择想要接入的Azure 模型 展示名称 填写模型在应用创建时选择列表中展示的模型名称 测试接入GPT4o 模型访问地址 Azure OpenAI Resource 的 Endpoint ，查询地址 模型访问地址 、API Key 需要点击右上角齿轮图标, 再点击 Resources 查看 https://your resource name.openai.azure.com API 版本 API Version 注意不是 Model Version API 版本 控制模型更新，以便在升级前测试用例的模型性能是否一致。部署设置为在有可用更新时升级到新的默认版本。请参阅模型停用文档，了解停用日期和升级策略。 在部署 聊天操场打开，可以查看模型的代码； 如：2024 07 17 preview 部署名称 Step 3 中填写的 Deployment Name 模型类别、部署名 可以在部署列表看到 API Key Azure OpenAI Resource 的 API Key xxxxxxxxxxxx 字段 字段 说明 说明 样例 样例 模型提供商 模型提供商 选择CloudModel 选择CloudModel 模型类型 模型类型 选择想要接入的Azure 模型 选择想要接入的Azure 模型 展示名称 展示名称 填写模型在应用创建时选择列表中展示的模型名称 填写模型在应用创建时选择列表中展示的模型名称 测试接入GPT4o 测试接入GPT4o 模型访问地址 模型访问地址 Azure OpenAI Resource 的 Endpoint ，查询地址 Azure OpenAI Resource 的 Endpoint ，查询地址 模型访问地址 、API Key 需要点击右上角齿轮图标, 再点击 Resources 查看 https://your resource name.openai.azure.com 模型访问地址 、API Key 需要点击右上角齿轮图标, 再点击 Resources 查看 https://your resource name.openai.azure.com API 版本 API 版本 API Version 注意不是 Model Version API Version 注意不是 Model Version API 版本 控制模型更新，以便在升级前测试用例的模型性能是否一致。部署设置为在有可用更新时升级到新的默认版本。请参阅模型停用文档，了解停用日期和升级策略。 在部署 聊天操场打开，可以查看模型的代码； 如：2024 07 17 preview API 版本 控制模型更新，以便在升级前测试用例的模型性能是否一致。部署设置为在有可用更新时升级到新的默认版本。请参阅模型停用文档，了解停用日期和升级策略。 在部署 聊天操场打开，可以查看模型的代码； 如：2024 07 17 preview 部署名称 部署名称 Step 3 中填写的 Deployment Name Step 3 中填写的 Deployment Name 模型类别、部署名 可以在部署列表看到 模型类别、部署名 可以在部署列表看到 API Key API Key Azure OpenAI Resource 的 API Key Azure OpenAI Resource 的 API Key xxxxxxxxxxxx xxxxxxxxxxxx Step 5: 在Aily 管控台如何添加Cloud 模型 可以参考模型管理后台操作文档，添加自定义模型 https://aily.feishu.cn/hc/1u7kleqg/897wr1b8 Q&A 选择模型时，不同的版本有什么区别？ • 3.5 Turbo：不支持function call，内建技能受限，Workflow可用 • 3.5 Turbo 16k：支持function call，可用所有能力，但效果会有所受限，特别是数据分析 • 4 8k：内建技能默认Prompt匹配的模型，使用效果好 • 4 32k：同“4 8k”，但费用相较“4 8k”略贵。优势是相关上下文长，支持更多元场景，例如数据分析中可关联查询更多分析表。 • 4 Turbo：不是内建技能Prompt匹配的模型，故可能出现数据分析效果不好的情况 Azure OpenAI Service表单中的特性应该勾选哪几个？ 建议默认全部勾选，此部分并不影响后续操作，仅是Azure销售收集产品特性需求信息。几个产品特性的简单介绍： • Text and code models：基础的Azure服务，包含LLM模型及Embedding 模型 • DALL E 2 models：多模态模型，具备文生图能力 • OpenAI Whisper model：具备语音转文字能力，这一块可不用大模型，直接用飞书的语音转文字能力 • GPT 4 Turbo with Vision：多模态模型，具备图生文能力 AzureOpenAI 输出的内容有做防火墙过滤吗 大模型会在预期外做一些内容输出，但在“飞书智能伙伴创建平台”输出给到用户前，会通过字节的内容安全审核平台做一层过滤，屏蔽“色情”、“暴力”、等非法内容。 Step 1: 注册 Azure 账户, 创建订阅(Subscription)并绑定支付方式 https://azure.microsoft.com/en us/ 在 Azure API 管理中创建订阅 在 Azure API 管理中创建订阅 Step 2: 创建 Azure OpenAI 服务实例(Resource) 打开 Azure Portal, 点击上方的 OpenAI 服务, 再点击 「创建」 按钮 Azure Portal 💡 Azure OpenAI 服务需要预先申请权限 如果还没有权限, 在这一步会被引导去填写一个"Request Access to Azure OpenAI Service"表单 该表单需要一个企业域名下的邮箱, 并且需要若干工作日的审批, 通过后会发邮件 Azure OpenAI 服务需要预先申请权限 如果还没有权限, 在这一步会被引导去填写一个"Request Access to Azure OpenAI Service"表单 该表单需要一个企业域名下的邮箱, 并且需要若干工作日的审批, 通过后会发邮件 2.1 创建Azure OpenAI 步骤 • 基本信息： • 基本信息 填写项目详细信息： ◦ 订阅：一个 Azure 订阅中的所有资源在一起计费，输入订阅名称 （需要提前注册Azure账号信息，详细链接 ◦ 资源组：资源组是具有相同生命周期、权限和策略的资源集合， 可以创建一个资源组并命名 ◦ 实例详细信息： ▪ 区域：选择East US/或者其他区域，请选择适合你和你的客户的 Azure 区域。并非每个资源在每个区域都可用。 ▪ 名称：资源名称，这也将是终结点中的自定义域名。 ▪ 定价层：此资源提供不同的定价层来满足你的需求。你选择的定价层决定了你每个月要支付的费用。详细定价信息 详细链接 详细定价信息 • 基本信息 填写项目详细信息： ◦ 订阅：一个 Azure 订阅中的所有资源在一起计费，输入订阅名称 （需要提前注册Azure账号信息，详细链接 ◦ 资源组：资源组是具有相同生命周期、权限和策略的资源集合， 可以创建一个资源组并命名 ◦ 实例详细信息： ▪ 区域：选择East US/或者其他区域，请选择适合你和你的客户的 Azure 区域。并非每个资源在每个区域都可用。 ▪ 名称：资源名称，这也将是终结点中的自定义域名。 ▪ 定价层：此资源提供不同的定价层来满足你的需求。你选择的定价层决定了你每个月要支付的费用。详细定价信息 详细链接 详细定价信息 • 基本信息 填写项目详细信息： ◦ 订阅：一个 Azure 订阅中的所有资源在一起计费，输入订阅名称 （需要提前注册Azure账号信息，详细链接 ◦ 资源组：资源组是具有相同生命周期、权限和策略的资源集合， 可以创建一个资源组并命名 ◦ 实例详细信息： ▪ 区域：选择East US/或者其他区域，请选择适合你和你的客户的 Azure 区域。并非每个资源在每个区域都可用。 ▪ 名称：资源名称，这也将是终结点中的自定义域名。 ▪ 定价层：此资源提供不同的定价层来满足你的需求。你选择的定价层决定了你每个月要支付的费用。详细定价信息 详细链接 详细定价信息 ◦ 订阅：一个 Azure 订阅中的所有资源在一起计费，输入订阅名称 （需要提前注册Azure账号信息，详细链接 详细链接 ◦ 资源组：资源组是具有相同生命周期、权限和策略的资源集合， 可以创建一个资源组并命名 ◦ 实例详细信息： ▪ 区域：选择East US/或者其他区域，请选择适合你和你的客户的 Azure 区域。并非每个资源在每个区域都可用。 ▪ 名称：资源名称，这也将是终结点中的自定义域名。 ▪ 定价层：此资源提供不同的定价层来满足你的需求。你选择的定价层决定了你每个月要支付的费用。详细定价信息 详细定价信息 ▪ 区域：选择East US/或者其他区域，请选择适合你和你的客户的 Azure 区域。并非每个资源在每个区域都可用。 ▪ 名称：资源名称，这也将是终结点中的自定义域名。 ▪ 定价层：此资源提供不同的定价层来满足你的需求。你选择的定价层决定了你每个月要支付的费用。详细定价信息 详细定价信息 • 网络信息： • 配置Azure 网络，链接 链接 • 配置Azure 网络，链接 链接 • 配置Azure 网络，链接 链接 • Tags • 标记是名称/值对，通过将相同的标记应用到多个资源和资源组可以对资源进行分类并查看合并的帐单。 了解有关标记的详细信息 了解有关标记的详细信息 • 标记是名称/值对，通过将相同的标记应用到多个资源和资源组可以对资源进行分类并查看合并的帐单。 了解有关标记的详细信息 了解有关标记的详细信息 • 标记是名称/值对，通过将相同的标记应用到多个资源和资源组可以对资源进行分类并查看合并的帐单。 了解有关标记的详细信息 了解有关标记的详细信息 2.2 填写表单 申请通过后填写以下表单, 即可创建 Azure OpenAI 服务实例 • 创建表单地址：访问链接 访问链接 • 姓名 • 邮箱 • 公司名称 • 公司地址 • 城市 • 邮编 • 国家 • 订阅ID ：查询地址 • Quota 请求类型 • 选择区域 • 选择模型 • 设置Quota数值 查询地址 • 姓名 • 邮箱 • 公司名称 • 公司地址 • 城市 • 邮编 • 国家 • 订阅ID ：查询地址 • Quota 请求类型 • 选择区域 • 选择模型 • 设置Quota数值 查询地址 • 姓名 • 邮箱 • 公司名称 • 公司地址 • 城市 • 邮编 • 国家 • 订阅ID ：查询地址 查询地址 • Quota 请求类型 • 选择区域 • 选择模型 • 设置Quota数值 💡 Region 可能影响到有哪些模型可用以及Quota是否充足 Region 可能影响到有哪些模型可用以及Quota是否充足 Step 3: 创建模型的 Deployment