将ai.generate_response与 PySpark 配合使用

ai.generate_response 函数利用生成式人工智能,根据你自己的指令生成自定义文本响应,只需一行代码即可实现。

注释

  • 本文介绍如何将 ai.generate_response 与 PySpark 配合使用。 若要使用 pandas 中的 ai.generate_response,请参阅 本文
  • 请参阅 本概述文章中的其他 AI 函数。
  • 了解如何自定义 AI 函数的配置

概述

ai.generate_response 函数可用于 Spark 数据帧。 必须将现有输入列的名称指定为参数。 还必须指定基于字符串的提示符和一个布尔值,该值指示是否应将该提示视为格式字符串。

该函数返回新的 DataFrame,为每个输入文本行提供自定义响应,这些响应存储在一个输出列中。

小窍门

了解如何遵循 OpenAI 的 gpt-4.1 提示,创建更有效的提示以获取更高质量的响应。

Syntax

df.ai.generate_response(prompt="Instructions for a custom response based on all column values", output_col="response")

参数

Name Description
prompt
必选
包含提示说明的 字符串 。 这些说明适用于自定义响应的输入文本值。
is_prompt_template
可选
一个 布尔值 ,指示提示是格式字符串还是文本字符串。 如果此参数设置为True,则该函数只考虑格式字符串中每列的特定行值。 在这种情况下,这些列名必须出现在大括号之间,而其他列将被忽略。 如果此参数设置为其默认值 False,则该函数会将所有列值视为每个输入行的上下文。
output_col
可选
一个 字符串 ,其中包含用于存储每行输入文本的自定义响应的新列的名称。 如果未设置此参数,则为输出列生成默认名称。
error_col
可选
一个 字符串,其中包含新列的名称,用于存储因处理每行输入文本而导致的任何 OpenAI 错误。 如果未设置此参数,则为错误列生成默认名称。 如果输入行没有错误,则此列中的值为 null

退货

该函数返回一个包含新列的 Spark 数据帧 ,该列包含针对每个输入文本行的提示的自定义文本响应。

Example

# This code uses AI. Always review output for mistakes. 
# Read terms: https://azure.microsoft.com/support/legal/preview-supplemental-terms/.

df = spark.createDataFrame([
        ("Scarves",),
        ("Snow pants",),
        ("Ski goggles",)
    ], ["product"])

responses = df.ai.generate_response(prompt="Write a short, punchy email subject line for a winter sale.", output_col="response")
display(responses)

此示例代码单元提供以下输出:

显示包含列“产品”和“响应”的数据帧的屏幕截图。“响应”列包含产品的简洁有力的主题行。