Dela via


Använd ai.fix_grammar med PySpark

Funktionen ai.fix_grammar använder generativ AI för att korrigera stavning, grammatik och skiljetecken för indatatext med en enda kodrad.

Anmärkning

Översikt

Funktionen ai.fix_grammar är tillgänglig för Spark DataFrames. Du måste ange namnet på en befintlig indatakolumn som en parameter.

Funktionen returnerar en ny DataFrame som innehåller korrigerad text för varje indatatextrad som lagras i en utdatakolumn.

Syntax

df.ai.fix_grammar(input_col="input", output_col="corrections")

Parameterar

Namn Description
input_col
Krävs
En sträng som innehåller namnet på en befintlig kolumn med indatatextvärden som ska korrigeras för stavning, grammatik och skiljetecken.
output_col
Valfritt
En sträng som innehåller namnet på en ny kolumn som ska lagra korrigerad text för varje rad med indatatext. Om du inte anger den här parametern genereras ett standardnamn för utdatakolumnen.
error_col
Valfritt
En sträng som innehåller namnet på en ny kolumn för att lagra eventuella OpenAI-fel som uppstår vid bearbetning av varje rad med indatatext. Om du inte anger den här parametern genereras ett standardnamn för felkolumnen. Om det inte finns några fel för en rad med indata är värdet i den här kolumnen null.

Retur

Funktionen returnerar en Spark DataFrame som innehåller en ny kolumn som innehåller korrigerad text för varje textrad i indatakolumnen. Om indatatexten är nullblir resultatet null.

Example

# This code uses AI. Always review output for mistakes. 
# Read terms: https://azure.microsoft.com/support/legal/preview-supplemental-terms/.

df = spark.createDataFrame([
        ("There are an error here.",),
        ("She and me go weigh back. We used to hang out every weeks.",),
        ("The big picture are right, but you're details is all wrong.",)
    ], ["text"])

results = df.ai.fix_grammar(input_col="text", output_col="corrections")
display(results)

Den här exempelkodcellen innehåller följande utdata:

Skärmbild som visar en dataram med en textkolumn och en