clusters kommandogrupp

Med clusters kommandogruppen i Databricks CLI kan du skapa, starta, redigera, lista, avsluta och ta bort kluster.

Ett Databricks-kluster är en uppsättning beräkningsresurser och konfigurationer där du kör arbetsbelastningar för datateknik, datavetenskap och dataanalys, till exempel ETL-pipelines för produktion, strömmande analys, ad hoc-analys och maskininlärning. Se Översikt över klassisk beräkning.

ändringsägare för databricks-kluster

Ändra ägaren till klustret. Du måste vara administratör och klustret måste avslutas för att utföra den här åtgärden. Applikations-ID för tjänstehuvudobjekt kan anges som ett argument till owner_username.

databricks clusters change-owner CLUSTER_ID OWNER_USERNAME [flags]

Arguments

CLUSTER_ID

    Kluster-ID.

OWNER_USERNAME

    Ny ägare av cluster_id efter denna RPC.

Options

--json JSON

    Den infogade JSON-strängen @path eller till JSON-filen med begärandetexten

Globala flaggor

Skapa Databricks-kluster

Skapa ett nytt kluster. Det här kommandot hämtar nya instanser från molnleverantören om det behövs. Det här kommandot är asynkront. den returnerade cluster_id kan användas för att avsöka klusterstatusen. När det här kommandot returneras är klustret i ett VÄNTAnde tillstånd. Klustret kan användas när det har statusen KÖR. Databricks kanske inte kan hämta några av de begärda noderna på grund av begränsningar för molnleverantörer (kontogränser, spotpris osv.) eller tillfälliga nätverksproblem.

Om Databricks hämtar minst 85% av de begärda noderna på begäran kommer klusterskapandet att lyckas. Annars avslutas klustret med ett informativt felmeddelande.

I stället för att redigera klustrets JSON-definition från grunden rekommenderar Databricks att du fyller i användargränssnittet för att skapa beräkning och sedan kopierar den genererade JSON-definitionen från användargränssnittet.

databricks clusters create SPARK_VERSION [flags]

Arguments

SPARK_VERSION

    Spark-versionen av klustret, till exempel 13.3.x-scala2.12. En lista över tillgängliga Spark-versioner kan hämtas med hjälp av API:et List available Spark versions (Lista tillgängliga Spark-versioner ).

Options

--apply-policy-default-values

    När värdet är true används fasta värden och standardvärden från principen för fält som utelämnas.

--autotermination-minutes int

    Avslutar klustret automatiskt när det är inaktivt efter denna tidsperiod i minuter.

--cluster-name string

    Klusternamn som begärs av användaren.

--data-security-mode DataSecurityMode

    Datasäkerhetsläget bestämmer vilken datastyrningsmodell som ska användas vid åtkomst till data från ett kluster. Värden som stöds: DATA_SECURITY_MODE_AUTO, DATA_SECURITY_MODE_DEDICATED, DATA_SECURITY_MODE_STANDARD, LEGACY_PASSTHROUGH, LEGACY_SINGLE_USER, LEGACY_SINGLE_USER_STANDARD, LEGACY_TABLE_ACL, NONE, , SINGLE_USERUSER_ISOLATION

--driver-instance-pool-id string

    Det valfria ID:t för instanspoolen för drivrutinen för klustret tillhör.

--driver-node-type-id string

    Nodtypen för Spark-drivrutinen.

--enable-elastic-disk

    Lokal lagring med automatisk skalning: när det här klustret är aktiverat hämtas ytterligare diskutrymme dynamiskt när Spark-arbetarna får ont om diskutrymme.

--enable-local-disk-encryption

    Om du vill aktivera LUKS på virtuella klusterdatorers lokala diskar.

--instance-pool-id string

    Det valfria ID:t för instanspoolen som klustret tillhör.

--is-single-node

    Det här fältet kan bara användas när kind = CLASSIC_PREVIEW.

--json JSON

    Den infogade JSON-strängen @path eller till JSON-filen med begärandetexten

--kind Kind

    Den typ av beräkning som beskrivs i den här beräkningsspecifikationen. Värden som stöds: CLASSIC_PREVIEW

--no-wait

    Vänta inte med att nå körningstillståndet

--node-type-id string

    Det här fältet kodar, via ett enda värde, de resurser som är tillgängliga för var och en av Spark-noderna i det här klustret.

--num-workers int

    Antal arbetsnoder som klustret ska ha.

--policy-id string

    ID:t för klusterprincipen som används för att skapa klustret om tillämpligt.

--runtime-engine RuntimeEngine

    Bestämmer klustrets körningsmotor, antingen standard eller Photon. Värden som stöds: NULL, PHOTON, STANDARD

--single-user-name string

    Ett användarnamn om data_security_mode är SINGLE_USER.

--timeout duration

    maximal tid för att nå KÖRNINGstillstånd (standard 20 m0s)

--use-ml-runtime

    Det här fältet kan bara användas när kind = CLASSIC_PREVIEW.

Globala flaggor

ta bort databricks-kluster

Avsluta klustret med det angivna ID:t. Klustret tas bort asynkront. När avslutningen har slutförts kommer klustret att vara i ett TERMINATED läge. Om klustret redan är i ett TERMINATING eller-tillstånd TERMINATED händer ingenting.

databricks clusters delete CLUSTER_ID [flags]

Arguments

CLUSTER_ID

    Klustret som ska avslutas.

Options

--json JSON

    Den infogade JSON-strängen @path eller till JSON-filen med begärandetexten

--no-wait

    Vänta inte med att nå TERMINATED tillståndet

--timeout duration

    Den maximala tiden för att nå TERMINATED tillstånd (standard 20 m0s)

Globala flaggor

redigera Databricks-kluster

Uppdatera konfigurationen av ett kluster så att det matchar de angivna attributen och storleken. Ett kluster kan uppdateras om det är i ett KÖRANDE eller AVSLUTAT tillstånd.

Om ett kluster uppdateras när det körs startas det om så att de nya attributen kan börja gälla.

Om ett kluster uppdateras när det är i ett AVSLUTAT tillstånd förblir det AVSLUTAT. Nästa gång det startas med hjälp av klustren/start-API:et börjar de nya attributen gälla. Alla försök att uppdatera ett kluster i något annat tillstånd avvisas med en INVALID_STATE felkod.

Kluster som skapats av databricks-jobbtjänsten kan inte redigeras.

databricks clusters edit CLUSTER_ID SPARK_VERSION [flags]

Arguments

CLUSTER_ID

    ID för klustret

SPARK_VERSION

    Spark-versionen av klustret, till exempel 13.3.x-scala2.12. En lista över tillgängliga Spark-versioner kan hämtas med hjälp av API:et List available Spark versions (Lista tillgängliga Spark-versioner ).

Options

--apply-policy-default-values

    Använd fasta värden och standardvärden från principen för fält som utelämnas.

--autotermination-minutes int

    Avsluta klustret automatiskt efter att det har varit inaktivt under den angivna tiden i minuter.

--cluster-name string

    Klusternamn som begärs av användaren.

--data-security-mode DataSecurityMode

    Datasäkerhetsläget bestämmer vilken datastyrningsmodell som ska användas vid åtkomst till data från ett kluster. Värden som stöds: DATA_SECURITY_MODE_AUTO, DATA_SECURITY_MODE_DEDICATED``, DATA_SECURITY_MODE_STANDARD, LEGACY_PASSTHROUGH, LEGACY_SINGLE_USER, LEGACY_SINGLE_USER_STANDARD, LEGACY_TABLE_ACL, NONE, , SINGLE_USERUSER_ISOLATION

--driver-instance-pool-id string

    Det valfria ID:t för instanspoolen för drivrutinen för klustret tillhör.

--driver-node-type-id string

    Nodtypen för Spark-drivrutinen.

--enable-elastic-disk

    Lokal lagring med automatisk skalning: när det här klustret är aktiverat hämtas ytterligare diskutrymme dynamiskt när Spark-arbetarna får ont om diskutrymme.

--enable-local-disk-encryption

    Om du vill aktivera LUKS på virtuella klusterdatorers lokala diskar.

--instance-pool-id string

    Det valfria ID:t för instanspoolen som klustret tillhör.

--is-single-node

    Det här fältet kan bara användas när kind = CLASSIC_PREVIEW.

--json JSON

    Den infogade JSON-strängen @path eller till JSON-filen med begärandetexten

--kind Kind

    Den typ av beräkning som beskrivs i den här beräkningsspecifikationen. Värden som stöds: CLASSIC_PREVIEW

--no-wait

    vänta inte för att nå körningstillståndet

--node-type-id string

    Det här fältet kodar, via ett enda värde, de resurser som är tillgängliga för var och en av Spark-noderna i det här klustret.

--num-workers int

    Antal arbetsnoder som klustret ska ha.

--policy-id string

    ID:t för klusterprincipen som används för att skapa klustret om tillämpligt.

--runtime-engine RuntimeEngine

    Bestämmer klustrets körningsmotor, antingen standard eller Photon. Värden som stöds: NULL, PHOTON, STANDARD

--single-user-name string

    Ett användarnamn om data_security_mode är SINGLE_USER.

--timeout duration

    maximal tid för att nå KÖRNINGstillstånd (standard 20 m0s)

--use-ml-runtime

    Det här fältet kan bara användas när kind = CLASSIC_PREVIEW.

Globala flaggor

databricks-klusterhändelser

Visa en lista över händelser om aktiviteten i ett kluster. Det här API:et är sidnumrerat. Om det finns fler händelser att läsa innehåller svaret alla parametrar som krävs för att begära nästa sida med händelser.

databricks clusters events CLUSTER_ID [flags]

Arguments

CLUSTER_ID

    ID för klustret vars händelser ska hämtas.

Options

--end-time int

    Sluttiden i epoktids-millisekunder.

--json JSON

    Den infogade JSON-strängen @path eller till JSON-filen med begärandetexten

--limit int

    Inaktuell: Använd page_token i kombination med page_size i stället.

--offset int

    Inaktuell: Använd page_token i kombination med page_size i stället.

--order GetEventsOrder

    Ordningen att lista händelser i. Värden som stöds: ASC, DESC

--page-size int

    Det maximala antalet händelser som ska inkluderas på en sida med händelser.

--page-token string

    Använd next_page_token eller prev_page_token som returnerades från föregående begäran för att visa en lista över händelser på nästa respektive föregående sida.

--start-time int

    Starttiden i epok millisekunder.

Globala flaggor

databricks-kluster hämta

Hämtar informationen för ett kluster givet dess identifierare. Kluster kan dokumenteras medan de körs eller upp till 60 dagar efter att de har avslutats.

databricks clusters get CLUSTER_ID [flags]

Arguments

CLUSTER_ID

    Klustret som information ska hämtas om.

Options

Globala flaggor

databricks-klusterlista

Visa information om alla fästa och aktiva kluster och alla kluster som avslutats under de senaste 30 dagarna. Kluster som avslutats före den här perioden ingår inte.

databricks clusters list [flags]

Arguments

None

Options

--cluster-sources []string

    Filtrera kluster efter källa

--cluster-states []string

    Filtrera kluster efter tillstånd

--is-pinned

    Filtrera kluster efter fastsatt status

--page-size int

    Använd det här fältet för att ange det maximala antalet resultat som ska returneras av servern.

--page-token string

    Använd next_page_token eller prev_page_token som returnerades från föregående begäran för att lista nästa eller föregående sida med kluster.

--policy-id string

    Filtrera kluster efter princip-ID

Globala flaggor

databricks-kluster list-node-types

Lista spark-nodtyper som stöds. Dessa nodtyper kan användas för att starta ett kluster.

databricks clusters list-node-types [flags]

Arguments

None

Options

Globala flaggor

databricks-kluster listzoner

Lista de tillgänglighetszoner där kluster kan skapas i (till exempel us-west-2a). Dessa zoner kan användas för att starta ett kluster.

databricks clusters list-zones [flags]

Arguments

None

Options

Globala flaggor

permanent borttagning av databricks-kluster

Ta bort kluster permanent. Klustret avslutas och resurserna tas bort asynkront.

Dessutom ser användarna inte längre permanent borttagna kluster i klusterlistan och API-användare kan inte längre utföra någon åtgärd på permanent borttagna kluster.

databricks clusters permanent-delete CLUSTER_ID [flags]

Arguments

CLUSTER_ID

    Klustret som ska tas bort.

Options

--json JSON

    Den infogade JSON-strängen @path eller till JSON-filen med begärandetexten

Globala flaggor

pin-kod för databricks-kluster

Fäst ett kluster för att säkerställa att klustret alltid returneras av ListClusters-API:et. Att fästa ett kluster som redan är fäst har ingen effekt. Det här API:et kan bara anropas av arbetsyteadministratörer.

databricks clusters pin CLUSTER_ID [flags]

Arguments

CLUSTER_ID

    Kluster-ID.

Options

--json JSON

    Den infogade JSON-strängen @path eller till JSON-filen med begärandetexten

Globala flaggor

ändra storlek på databricks-kluster

Ändra storlek på klustret så att det har önskat antal arbetare. Detta kommer att misslyckas om klustret inte är i ett RUNNING-läge.

databricks clusters resize CLUSTER_ID [flags]

Arguments

CLUSTER_ID

    Klustret som ska storleksändras.

Options

--json JSON

    Den infogade JSON-strängen @path eller till JSON-filen med begärandetexten

--no-wait

    Vänta inte med att nå körningstillståndet

--num-workers int

    Antal arbetsnoder som klustret ska ha.

--timeout duration

    Den maximala tiden för att nå KÖRNINGstillståndet (standardvärdet är 20 m0s)

Globala flaggor

starta om databricks-kluster

Starta om ett kluster med det angivna ID:t. Om klustret inte för närvarande är i ett körningstillstånd händer ingenting.

databricks clusters restart CLUSTER_ID [flags]

Arguments

CLUSTER_ID

    Klustret som ska startas.

Options

--json JSON

    Den infogade JSON-strängen @path eller till JSON-filen med begärandetexten

--no-wait

    Vänta inte med att nå körningstillståndet

--restart-user string

    Användare som startade om klustret.

--timeout duration

    Den maximala tiden för att nå KÖRNINGstillståndet (standardvärdet är 20 m0s)

Globala flaggor

databricks-kluster spark-versioner

Visa en lista över tillgängliga Spark-versioner. Dessa versioner kan användas för att starta ett kluster.

databricks clusters spark-versions [flags]

Arguments

None

Options

Globala flaggor

databricks-kluster startar

Starta ett avslutat kluster med det angivna ID:t. Detta fungerar ungefär som createCluster förutom: – Det tidigare kluster-ID:t och attributen bevaras. – Klustret börjar med den senast angivna klusterstorleken. – Om det tidigare klustret var ett autoskalningskluster börjar det aktuella klustret med det minsta antalet noder. – Om klustret för närvarande inte är i ett AVSLUTAT tillstånd händer ingenting. – Det går inte att starta kluster som startats för att köra ett jobb.

databricks clusters start CLUSTER_ID [flags]

Arguments

CLUSTER_ID

    Klustret som ska startas.

Options

--json JSON

    Den infogade JSON-strängen @path eller till JSON-filen med begärandetexten

--no-wait

    Vänta inte med att nå körningstillståndet

--timeout duration

    Den maximala tiden för att nå KÖRNINGstillståndet (standardvärdet är 20 m0s)

Globala flaggor

databricks-kluster har inte fästs

Ta bort ett kluster så att klustret så småningom kan tas bort från ListClusters-API:et. Att lossa ett kluster som inte är fäst har ingen effekt. Det här API:et kan bara anropas av arbetsyteadministratörer.

databricks clusters unpin CLUSTER_ID [flags]

Arguments

CLUSTER_ID

    Kluster-ID.

Options

--json JSON

    Den infogade JSON-strängen @path eller till JSON-filen med begärandetexten

Globala flaggor

uppdatering av databricks-kluster

Uppdatera konfigurationen av ett kluster så att det matchar den partiella uppsättningen attribut och storlek. Ange vilka fält som ska uppdateras med hjälp av fältet update_mask i begärandetexten. Ett kluster kan uppdateras om det är i ett KÖRANDE eller AVSLUTAT tillstånd. Om ett kluster uppdateras när det körs startas det om så att de nya attributen kan börja gälla. Om ett kluster uppdateras när det är i ett AVSLUTAT tillstånd förblir det AVSLUTAT. De uppdaterade attributen börjar gälla nästa gång klustret startas med hjälp av klusterstart-API:et. Försök att uppdatera ett kluster i något annat tillstånd avvisas med en INVALID_STATE felkod. Kluster som skapats av databricks-jobbtjänsten kan inte uppdateras.

databricks clusters update CLUSTER_ID UPDATE_MASK [flags]

Arguments

CLUSTER_ID

    ID för klustret.

UPDATE_MASK

    Används för att ange vilka klusterattribut och storleksfält som ska uppdateras. Mer information finns i https://google.aip.dev/161. Fältmasken måste vara en enda sträng med flera fält avgränsade med kommatecken (inga blanksteg). Fältsökvägen är relativ till resursobjektet med hjälp av en punkt (.) för att navigera i underfält (till exempel author.given_name). Specifikation av element i sekvens- eller kartfält tillåts inte, eftersom endast hela samlingsfältet kan anges. Fältnamn måste exakt matcha resursfältnamnen. En fältmask med _ anger fullständig ersättning. Vi rekommenderar att du alltid uttryckligen visar de fält som uppdateras och undviker att använda _ jokertecken, eftersom det kan leda till oavsiktliga resultat om API:et ändras i framtiden.

Options

--json JSON

    Den infogade JSON-strängen @path eller till JSON-filen med begärandetexten

--no-wait

    Vänta inte med att nå körningstillståndet

--timeout duration

    Den maximala tiden för att nå KÖRNINGstillståndet (standardvärdet är 20 m0s)

Globala flaggor

databricks-kluster hämta-behörighetsnivåer

Hämta klusterbehörighetsnivåer.

databricks clusters get-permission-levels CLUSTER_ID [flags]

Arguments

CLUSTER_ID

    Klustret som du vill hämta eller hantera behörigheter för.

Options

Globala flaggor

hämta behörigheter för databricks-kluster

Hämta klusterbehörigheter. Kluster kan ärva behörigheter från sina rotobjekt.

databricks clusters get-permissions CLUSTER_ID [flags]

Arguments

CLUSTER_ID

    Klustret som du vill hämta eller hantera behörigheter för.

Options

Globala flaggor

Ställt behörigheter för databricks-kluster

Ange klusterbehörigheter och ersätt befintliga behörigheter om de finns. Tar bort alla direktbehörigheter om inga har angetts. Objekt kan ärva behörigheter från sina rotobjekt.

databricks clusters set-permissions CLUSTER_ID [flags]

Arguments

CLUSTER_ID

    Klustret som du vill hämta eller hantera behörigheter för.

Options

--json JSON

    Den infogade JSON-strängen @path eller till JSON-filen med begärandetexten

Globala flaggor

uppdateringsbehörigheter för databricks-kluster

Uppdatera behörigheterna för ett kluster. Kluster kan ärva behörigheter från sina rotobjekt.

databricks clusters update-permissions CLUSTER_ID [flags]

Arguments

CLUSTER_ID

    Klustret som du vill hämta eller hantera behörigheter för.

Options

--json JSON

    Den infogade JSON-strängen @path eller till JSON-filen med begärandetexten

Globala flaggor

Globala flaggor

--debug

  Om felsökningsloggning ska aktiveras.

-h eller --help

    Visa hjälp för Databricks CLI eller den relaterade kommandogruppen eller det relaterade kommandot.

--log-file sträng

    En sträng som representerar filen som utdataloggarna ska skrivas till. Om den här flaggan inte anges är standardvärdet att skriva utdataloggar till stderr.

--log-format format

    Loggformattypen eller textjson. Standardvärdet är text.

--log-level sträng

    En sträng som representerar loggformatnivån. Om det inte anges inaktiveras loggformatnivån.

-o, --output typ

    Kommandots utdatatyp, text eller json. Standardvärdet är text.

-p, --profile sträng

    Namnet på profilen i filen som ~/.databrickscfg ska användas för att köra kommandot. Om den här flaggan inte anges används den namngivna DEFAULT profilen om den finns.

--progress-format format

    Formatet för att visa förloppsloggar: default, append, inplaceeller json

-t, --target sträng

    Om tillämpligt, paketmålet som ska användas