通过

你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。

发出 Azure OpenAI 令牌使用量的指标

适用于：所有 API 管理层级

azure-openai-emit-token-metric 策略通过 Azure OpenAI 服务 API 向 Application Insights 发送有关大型语言模型令牌使用量的自定义指标。 令牌计数指标包括：令牌总数、提示令牌和完成令牌。

Note

按照策略声明中提供的顺序设置策略的元素和子元素。 详细了解如何设置或编辑 API 管理策略。

Azure AI Foundry 模型中支持的 Azure OpenAI

该策略与从以下类型的 AI Foundry 模型中的 Azure OpenAI 添加到 API 管理的 API 一起使用：

API 类型 支持的模型
聊天补全 gpt-3.5

gpt-4

gpt-4o

gpt-4o-mini

o1

o3
Embeddings text-embedding-3-large

text-embedding-3-small

text-embedding-ada-002
响应（预览版） gpt-4o（版本：2024-11-20、2024-08-06、2024-05-13）

gpt-4o-mini （版本： 2024-07-18）

gpt-4.1 （版本： 2025-04-14）

gpt-4.1-nano （版本： 2025-04-14）

gpt-4.1-mini （版本： 2025-04-14）

gpt-image-1 （版本： 2025-04-15）

o3 （版本： 2025-04-16）

o4-mini （版本：'2025-04-16）

Note

传统完成 API 仅适用于旧模型版本，并且支持受到限制。

有关模型及其功能的当前信息，请参阅 Foundry 模型中的 Azure OpenAI。

自定义指标的限制

Azure Monitor 对可能影响从 API 管理发出指标能力的自定义指标实施使用限制。 例如，Azure Monitor 当前为每个指标设置 10 个维度键的限制，并为订阅中每个区域设置 50,000 个总活动时序数的限制（期限为 12 小时）。 在 API 管理中，其中 5 个用于默认维度，包括：

  • Region
  • 服务编号
  • 服务名称
  • 服务类型

这些限制对在 API 管理策略（例如 emit-metric 或 azure-openai-emit-token-metric）中配置自定义指标具有以下影响：

  • 每个策略最多可以配置 5 个自定义维度。

  • 策略在 12 小时期限内生成的活动时序数是该期限内每个已配置维度的唯一值数的乘积。 例如，如果在策略中配置了三个自定义维度，并且每个维度在该期限内有 10 个可能的值，则 策略将生成 1,000 (10 x 10 x 10) 个活动时序。

  • 如果在订阅的同一区域中的多个 API 管理实例中配置 策略，则所有实例都可能导致区域活动时序限制。

详细了解 Azure Monitor 中自定义指标的设计限制和注意事项。

Prerequisites

政策声明

<azure-openai-emit-token-metric
        namespace="metric namespace" >      
        <dimension name="dimension name" value="dimension value" />
        ...additional dimensions...
</azure-openai-emit-token-metric>

Attributes

Attribute Description Required 默认值
命名空间 一个字符串。 指标的命名空间。 不允许使用策略表达式。 No API Management

Elements

Element Description Required
dimension 为指标中包含的每个维度添加一个或多个此类元素。 Yes

维度属性

Attribute Description Required 默认值
name 字符串或策略表达式。 维度的名称。 Yes N/A
value 字符串或策略表达式。 维度的值。 如果 name 与一个默认维度匹配，则只能省略。 如果是这样，则按维度名称提供值。 No N/A

无需值即可使用的默认维度名称

  • API ID
  • 作 ID
  • 产品 ID
  • 用户 ID
  • 订阅编号
  • Location
  • 网关 ID
  • 后端 ID

Usage

使用注意事项

  • 每个策略定义可以多次使用此策略。
  • 最多可以为此策略配置 5 个自定义维度。
  • 使用门户从 Azure OpenAI 服务添加 API 时，可以选择配置此策略。
  • 如果可用，则使用 Azure OpenAI 服务 API 响应的使用情况部分中的值来确定令牌指标。
  • 某些 Azure OpenAI 终结点支持流式处理响应。 在 API 请求中将 stream 设置为 true 以启用流式处理时，将估算令牌指标。

Example

以下示例将 Azure OpenAI 令牌计数指标发送到 Application Insights，并将 API ID 作为默认维度。

<policies>
  <inbound>
      <azure-openai-emit-token-metric
            namespace="AzureOpenAI">   
            <dimension name="API ID" />
        </azure-openai-emit-token-metric> 
  </inbound>
  <outbound>
  </outbound>
</policies>

相关内容

有关使用策略的详细信息，请参阅：