自定义模型概述

本文介绍使用马赛克 AI 模型服务对自定义模型的支持。 它提供有关支持的模型日志记录选项和计算类型、如何打包模型依赖项以提供服务的详细信息，以及终结点创建和缩放的预期。

什么是自定义模型？

模型服务可以使用 CPU 或 GPU 计算资源将任何 Python 模型或 自定义代码 部署为生产级 API。 Databricks 将此类模型称为“自定义模型”。 这些 ML 模型可以使用 scikit-learn、XGBoost、PyTorch 和 HuggingFace 转换器等标准 ML 库进行训练，并且可以包含任何 Python 代码。

若要部署自定义模型，

1. 使用原生 MLflow 内置风格或 pyfunc 记录 MLflow 格式的模型或代码。
2. 记录模型后，在 Unity Catalog（建议）或工作区注册表中注册该模型。
3. 在这里，你可以创建一个模型服务终结点来部署和查询模型。
   1. 请参阅 创建自定义模型服务终结点
   2. 请参阅 自定义模型的查询服务终结点。

有关如何在 Databricks 上提供自定义模型的完整教程，请参阅 模型服务教程。

Databricks 还支持为生成式 AI 应用程序提供基础模型，请参阅 基础模型 API 和 外部模型 ，了解支持的模型和计算产品/服务。

记录 ML 模型

有不同的方法来记录 ML 模型，以便提供模型服务。 以下列表汇总了受支持的方法和示例。

• 自动记录：此方法在使用用于 ML 的 Databricks Runtime 时自动启用。

  import mlflow
  from sklearn.ensemble import RandomForestRegressor
  from sklearn.datasets import load_iris
  
  iris = load_iris()
  model = RandomForestRegressor()
  model.fit(iris.data, iris.target)
  

• 使用 MLflow 的内置类型进行日志记录。 如果要手动记录模型以实现更详细的控制，可以使用此方法。

  import mlflow
  from sklearn.ensemble import RandomForestClassifier
  from sklearn.datasets import load_iris
  
  iris = load_iris()
  model = RandomForestClassifier()
  model.fit(iris.data, iris.target)
  
  with mlflow.start_run():
      mlflow.sklearn.log_model(model, "random_forest_classifier")
  

• 使用 pyfunc 进行自定义记录。 可以使用此方法来部署任意 Python 代码模型，也可以随模型一起部署其他代码。

    import mlflow
    import mlflow.pyfunc
  
    class Model(mlflow.pyfunc.PythonModel):
        def predict(self, context, model_input):
            return model_input * 2
  
    with mlflow.start_run():
        mlflow.pyfunc.log_model("custom_model", python_model=Model())
  

• 从 HuggingFace 下载。 可以直接从 Hugging Face 下载模型，并记录该模型以供使用。 有关示例，请参阅 Notebook 示例。

签名和输入示例

建议在 MLflow 中添加签名和输入示例。 将模型记录到 Unity Catalog 时需要签名。

下面是一个签名示例：

from mlflow.models.signature import infer_signature

signature = infer_signature(training_data, model.predict(training_data))
mlflow.sklearn.log_model(model, "model", signature=signature)

下面是一个输入示例：

input_example = {"feature1": 0.5, "feature2": 3}
mlflow.sklearn.log_model(model, "model", input_example=input_example)

计算类型

Mosaic AI 模型服务提供了各种用于部署模型的 CPU 和 GPU 选项。 使用 GPU 进行部署时，必须确保设置了代码，以便使用框架提供的方法在 GPU 上运行预测。 对于使用 PyTorch 或 Transformers 风格记录的模型，MLflow 会自动执行此操作。

部署容器和依赖项

在部署期间，会生成生产级容器并将其部署为终结点。 此容器包括在 MLflow 模型中自动捕获或指定的库。 基本映像可能包含一些系统级依赖项，但必须在 MLflow 模型中显式指定应用程序级依赖项。

如果模型中不包含所有必需的依赖项，则可能会在部署过程中遇到依赖项错误。 遇到模型部署问题时，Databricks 建议在本地测试模型。

包和代码依赖项

自定义库或专用库均可添加到部署中。 请参阅 将自定义 Python 库与模型服务配合使用。

对于 MLflow 原生风格模型，系统会自动捕获必要的包依赖项。

对于自定义 pyfunc 模型，可以显式添加依赖项。 有关日志记录要求和最佳做法的详细信息，请参阅 MLflow 模型文档 和 MLflow Python API 参考。

你可以使用以下方法添加包依赖项：

• pip_requirements 参数：

  mlflow.sklearn.log_model(model, "sklearn-model", pip_requirements = ["scikit-learn", "numpy"])
  

• conda_env 参数：

  
  conda_env = {
      'channels': ['defaults'],
      'dependencies': [
          'python=3.7.0',
          'scikit-learn=0.21.3'
      ],
      'name': 'mlflow-env'
  }
  
  mlflow.sklearn.log_model(model, "sklearn-model", conda_env = conda_env)
  

• 若要包含自动捕获内容之外的其他要求，请使用 extra_pip_requirements。

  mlflow.sklearn.log_model(model, "sklearn-model", extra_pip_requirements = ["sklearn_req"])
  

如果有代码依赖项，可以使用 code_path 指定这些依赖项。

  mlflow.sklearn.log_model(model, "sklearn-model", code_path=["path/to/helper_functions.py"],)

有关在部署前验证和更新依赖项的信息，请参阅 模型部署验证检查之前。

期望和限制

以下部分介绍使用 Model Serving 就自定义模型提供服务的已知预期和限制。

终结点创建和更新预期

• 部署时间：部署新注册的模型版本涉及打包模型及其模型环境以及预配模型终结点本身。 此过程可能需要大约 10 分钟，但可能需要更长的时间，具体取决于模型复杂性、大小和依赖项。
• 零停机更新：Azure Databricks 通过将现有终结点配置保持为就绪状态，对终结点执行零停机更新。 这样做可降低中断使用中的终结点的风险。 在此更新过程中，需要为旧终结点配置和新终结点配置付费，直到转换完成。
• 请求超时：如果模型计算花费的时间超过 297 秒，则请求将超时。

终结点缩放预期

服务终结点会自动根据流量和预配的并发单位的容量进行缩放。

• 预配的并发：系统可以处理的最大并行请求数。 使用以下公式估算所需的并发：预配的并发 = 每秒查询数量 (QPS) * 模型执行时间（秒）。 若要验证并发配置，请参阅 用于服务端点的负载测试。
• 缩放行为：终结点将会在流量增加时几乎立即纵向扩展，并每五分钟纵向缩减一次，以匹配流量的减少。
• 缩放到零： 缩放到零是终结点的可选功能，允许在 30 分钟处于非活动状态后将其缩减为零。 缩放到零后的第一个请求会经历“冷启动”，从而导致更高的延迟。 从零纵向扩展通常需要 10-20 秒，但有时可能需要几分钟时间。 从零延迟进行缩放时，没有 SLA。
• 路由优化： 对于高 QPS 和低延迟用例， 路由优化 是提高性能的最佳建议选项。

GPU 工作负荷限制

以下是为具有 GPU 工作负载的终结点提供服务的限制：

• GPU 服务的容器映像创建时间比 CPU 服务的映像创建时间长，这是由于模型大小以及在 GPU 上服务的模型安装要求的增加。
• 部署非常大的模型时，如果容器生成和模型部署超过 60 分钟，则部署过程可能会超时。
• GPU 服务的自动缩放比 CPU 服务花费的时间长。
• 缩放到零时，无法保证 GPU 容量。 GPU 终结点在缩放到零后，第一个请求可能需要额外的高延迟。

Anaconda 旧模型许可信息通知

以下通知适用于使用旧模型依赖 Anaconda 的客户。

channels:
- defaults
dependencies:
- python=3.8.8
- pip
- pip:
    - mlflow
    - scikit-learn==0.23.2
    - cloudpickle==1.6.0
      name: mlflow-env

其他资源

• 创建自定义提供终结点的模型
• 查询自定义模型的服务终结点
• 模型服务的调试指南
• 将自定义 Python 库与模型服务配合使用
• 为模型服务打包自定义工件
• 使用模型服务部署 Python 代码
• 服务终结点上的路由优化
• 从模型服务终结点配置对资源的访问