部署模型进行批量推理和预测

本文介绍 Databricks 建议进行批量推理的内容。

有关 Azure Databricks 上的实时模型服务，请参阅 使用马赛克 AI 模型服务部署模型。

用于批处理推理的 AI 函数

AI Functions 是内置函数，可用于对存储在 Databricks 上的数据应用 AI。 可以使用 特定于任务的 AI 函数 或常规用途函数 ai_query运行批处理推理。

下面是使用特定于任务的 AI 函数 ai_translate的批处理推理示例。 如果要对整个表执行批处理推理，则可以从查询中删除该 limit 500 查询。

SELECT
writer_summary,
  ai_translate(writer_summary, "cn") as cn_translation
from user.batch.news_summaries
limit 500
;

或者，可以使用常规用途函数 ai_query 执行批处理推理。

• 查看支持哪些模型类型和关联的模型ai_query。
• 请参阅 部署批处理推理管道。

使用 Spark 数据帧进行批量推理

有关使用 Spark DataFrame 的模型推理工作流的分步指南，请参阅使用 Spark DataFrame 执行批量推理。

有关深度学习模型推理示例，请参阅以下文章：

• 使用 TensorFlow 和 TensorRT 进行模型推理
• 使用 PyTorch 进行模型推理