Dela via

Spark Batch - Create Spark Batch Job

Tjänst:
Synapse
API-version:
2020-12-01

Skapa ett nytt Spark Batch-jobb.

POST {endpoint}/livyApi/versions/{livyApiVersion}/sparkPools/{sparkPoolName}/batches
Med valfria parametrar: 
POST {endpoint}/livyApi/versions/{livyApiVersion}/sparkPools/{sparkPoolName}/batches?detailed={detailed}

URI-parametrar

Name I Obligatorisk Typ Description
endpoint
 path True

string

Slutpunkten för arbetsytans utveckling, till exempel https://myworkspace.dev.azuresynapse.net.
livyApiVersion
 path True

string

Giltig API-version för begäran.
sparkPoolName
 path True

string

Namnet på spark-poolen.
detailed
 query

boolean

Valfri frågeparam som anger om ett detaljerat svar returneras bortom oformaterad livy.

Begärandetext

Name Obligatorisk Typ Description
file True

string

name True

string

archives

string[]

args

string[]

artifactId

string

className

string

conf

object

driverCores

integer (int32)

driverMemory

string

executorCores

integer (int32)

executorMemory

string

files

string[]

jars

string[]

numExecutors

integer (int32)

pyFiles

string[]

tags

object

Svar

Name Typ Description
200 OK

SparkBatchJob

Framgång

Exempel

Create new spark batch job.

Exempelbegäran

POST myWorkspace.dev.azuresynapse.net/livyApi/versions/2019-11-01-preview/sparkPools/mySparkPool/batches?detailed=True

{
  "tags": null,
  "artifactId": "fill in here",
  "name": "jobname",
  "file": "abfss://",
  "className": "classname",
  "args": [],
  "jars": [],
  "files": [],
  "archives": [],
  "conf": null,
  "driverMemory": "4g",
  "driverCores": 4,
  "executorMemory": "2g",
  "executorCores": 4,
  "numExecutors": 2
}

Exempelsvar

Statuskod:
200 
{
  "livyInfo": null,
  "name": "jobname",
  "workspaceName": "myWorkspace",
  "sparkPoolName": "mySparkPool",
  "submitterName": "thetime",
  "submitterId": "thesubmitterid",
  "artifactId": "fill in here",
  "jobType": "SparkBatch",
  "result": "Failed",
  "schedulerInfo": null,
  "pluginInfo": null,
  "errorInfo": [],
  "tags": null,
  "id": 1,
  "appId": "fill in here",
  "appInfo": null,
  "state": "the state",
  "log": []
}

Definitioner

Name Description
LivyStates

Batchtillståndet
PluginCurrentState
SchedulerCurrentState
SparkBatchJob
SparkBatchJobOptions
SparkBatchJobResultType

Resultatet av Spark-batchjobbet.
SparkBatchJobState
SparkErrorSource
SparkJobType

Jobbtypen.
SparkRequest
SparkScheduler
SparkServiceError
SparkServicePlugin

LivyStates

Uppräkning

Batchtillståndet

Värde Description
not_started
starting
idle
busy
shutting_down
error
dead
killed
success
running
recovering

PluginCurrentState

Uppräkning
Värde Description
Preparation
ResourceAcquisition
Queued
Submission
Monitoring
Cleanup
Ended

SchedulerCurrentState

Uppräkning
Värde Description
Queued
Scheduled
Ended

SparkBatchJob

Objekt
Name Typ Description
appId

string

Program-ID för den här sessionen
appInfo

object

Den detaljerade programinformationen.
artifactId

string

Artefaktidentifieraren.
errorInfo

SparkServiceError[]

Felinformationen.
id

integer (int32)

Sessions-ID:t.
jobType

SparkJobType

Jobbtypen.
livyInfo

SparkBatchJobState

log

string[]

Loggraderna.
name

string

Batchnamnet.
pluginInfo

SparkServicePlugin

Plugin-informationen.
result

SparkBatchJobResultType

Resultatet av Spark-batchjobbet.
schedulerInfo

SparkScheduler

Scheduler-informationen.
sparkPoolName

string

Namnet på Spark-poolen.
state

LivyStates

Batchtillståndet
submitterId

string

Identifieraren för inskickaren.
submitterName

string

Inskickarnamnet.
tags

object

Taggarna.
workspaceName

string

Namnet på arbetsytan.

SparkBatchJobOptions

Objekt
Name Typ Description
archives

string[]

args

string[]

artifactId

string

className

string

conf

object

driverCores

integer (int32)

driverMemory

string

executorCores

integer (int32)

executorMemory

string

file

string

files

string[]

jars

string[]

name

string

numExecutors

integer (int32)

pyFiles

string[]

tags

object

SparkBatchJobResultType

Uppräkning

Resultatet av Spark-batchjobbet.

Värde Description
Uncertain
Succeeded
Failed
Cancelled

SparkBatchJobState

Objekt
Name Typ Description
currentState

string

Spark-jobbtillståndet.
deadAt

string (date-time)

tid då "döda" liviga tillstånd först sågs.
jobCreationRequest

SparkRequest

killedAt

string (date-time)

den tid då "dödade" livy staten först sågs.
notStartedAt

string (date-time)

den tid då "not_started" livy tillstånd först sågs.
recoveringAt

string (date-time)

den tidpunkt då "återställande" livy tillstånd först sågs.
runningAt

string (date-time)

den tid då "running" livy state först sågs.
startingAt

string (date-time)

den tid då "start" livy tillstånd först sågs.
successAt

string (date-time)

den tid då "framgång" livy tillstånd först sågs.

SparkErrorSource

Uppräkning
Värde Description
System
User
Unknown
Dependency

SparkJobType

Uppräkning

Jobbtypen.

Värde Description
SparkBatch
SparkSession

SparkRequest

Objekt
Name Typ Description
archives

string[]

args

string[]

className

string

conf

object

driverCores

integer (int32)

driverMemory

string

executorCores

integer (int32)

executorMemory

string

file

string

files

string[]

jars

string[]

name

string

numExecutors

integer (int32)

pyFiles

string[]

SparkScheduler

Objekt
Name Typ Description
cancellationRequestedAt

string (date-time)

currentState

SchedulerCurrentState

endedAt

string (date-time)

scheduledAt

string (date-time)

submittedAt

string (date-time)

SparkServiceError

Objekt
Name Typ Description
errorCode

string

message

string

source

SparkErrorSource

SparkServicePlugin

Objekt
Name Typ Description
cleanupStartedAt

string (date-time)

currentState

PluginCurrentState

monitoringStartedAt

string (date-time)

preparationStartedAt

string (date-time)

resourceAcquisitionStartedAt

string (date-time)

submissionStartedAt

string (date-time)