Delen via

Het bibliotheekbeheerproces automatiseren via Azure PowerShell-cmdlets en REST API's

Mogelijk wilt u uw bibliotheken beheren voor uw serverloze Apache Spark-pools zonder dat u naar de synapse Analytics UI-pagina's hoeft te gaan. U kunt bijvoorbeeld het volgende vinden:

  • U ontwikkelt een aangepast pakket en wilt het uploaden naar uw werkruimte en deze gebruiken in uw Spark-pool. En u wilt de stappen voor uw lokale hulpprogramma's voltooien zonder de pakketbeheer-UIS's te bezoeken.
  • u uw pakketten aan het bijwerken bent via het CI/CD-proces

In dit artikel vindt u een algemene handleiding voor het beheren van bibliotheken via Azure PowerShell-cmdlets of REST API's.

Pakketten beheren via Azure PowerShell-cmdlets

Nieuwe bibliotheken toevoegen

  1. De opdracht New-AzSynapseWorkspacePackage kan worden gebruikt om nieuwe bibliotheken te uploaden naar de werkruimte.

    New-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Package ".\ContosoPackage.whl"

  2. De combinatie van opdrachten New-AzSynapseWorkspacePackage en Update-AzSynapseSparkPool kan worden gebruikt voor het uploaden van nieuwe bibliotheken naar de werkruimte en het koppelen van de bibliotheek aan een Spark-pool.

    $package = New-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Package ".\ContosoPackage.whl"
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Add -Package $package

  3. Als u een bestaande werkruimtebibliotheek wilt koppelen aan uw Spark-pool, raadpleegt u de opdrachtcombinatie Get-AzSynapseWorkspacePackage en Update-AzSynapseSparkPool.

    $packages = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Add -Package $packages

Bibliotheken verwijderen

  1. Als u een geïnstalleerd pakket uit uw Spark-pool wilt verwijderen, raadpleegt u de opdrachtcombinatie Get-AzSynapseWorkspacePackage en Update-AzSynapseSparkPool.

    $package = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Name ContosoPackage
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Remove -Package $package

  2. U kunt ook een Spark-pool ophalen en alle gekoppelde werkruimtebibliotheken uit de pool verwijderen door Get-AzSynapseSparkPool - en Update-AzSynapseSparkPool-opdrachten aan te roepen.

    $pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -PackageAction Remove -Package $pool.WorkspacePackages

Raadpleeg Azure PowerShell-cmdlets voor Azure Synapse Analytics voor meer informatie over de mogelijkheden van Azure PowerShell-cmdlets.

Pakketten beheren via REST API's

De werkruimtepakketten beheren

Met de mogelijkheid van REST API's kunt u pakketten toevoegen/verwijderen of alle geüploade bestanden van uw werkruimte weergeven. Zie de volledige ondersteunde API's. Raadpleeg overzicht van api's voor werkruimtebibliotheek.

De Spark-poolpakketten beheren

U kunt de REST API van de Spark-pool gebruiken om uw aangepaste of opensource-bibliotheken aan uw Spark-pools toe te voegen of te verwijderen.

  1. Geef voor aangepaste bibliotheken de lijst met aangepaste bestanden op als de eigenschap customLibraries in de aanvraagbody.

    "customLibraries": [
    {
        "name": "samplejartestfile.jar",
        "path": "<workspace-name>/libraries/<jar-name>.jar",
        "containerName": "prep",
        "uploadedTimestamp": "1970-01-01T00:00:00Z",
        "type": "jar"
    }
]

  2. U kunt uw Spark-poolbibliotheken ook bijwerken door de eigenschap libraryRequirements op te geven in de aanvraagbody.

    "libraryRequirements": {
      "content": "",
      "filename": "requirements.txt"
}

Volgende stappen