Dela via

Så här konfigurerar du Apache Kafka i HDInsight för att automatiskt skapa ämnen

Apache Kafka på HDInsight aktiverar som standard inte automatiskt skapande av ämnen. Du kan aktivera automatisk skapande av ämnen för befintliga kluster med apache Ambari. Du kan också aktivera automatiskt skapande av ämnen när du skapar ett nytt Kafka-kluster med hjälp av en Azure Resource Manager-mall.

Apache Ambari Web UI

Använd följande steg för att aktivera automatisk skapande av ämnen i ett befintligt kluster via webbgränssnittet för Ambari:

  1. Från Azure Portal väljer du ditt Kafka-kluster.

  2. Från Klusterinstrumentpaneler, välj Ambari home.

    Bild av portalen med instrumentpanel för kluster markerad.

    Autentisera med autentiseringsuppgifterna för inloggning (administratör) för klustret när du uppmanas till det. I stället kan du ansluta till Ambari direkt från https://CLUSTERNAME.azurehdinsight.net/ där CLUSTERNAME är namnet på ditt Kafka-kluster.

  3. Välj Kafka-tjänsten i listan till vänster på sidan.

    Apache Ambaris tjänstelisteflik.

  4. Välj Konfigurationer mitt på sidan.

    Fliken för Apache Ambari-tjänstinställningar.

  5. I fältet Filter anger du värdet auto.create.

    Apache Ambari-sökfilterfält.

    Den här inställningen filtrerar listan över egenskaper och visar inställningen auto.create.topics.enable .

  6. Ändra värdet auto.create.topics.enable för till trueoch välj sedan Spara. Lägg till en anteckning och välj sedan Spara igen.

    Bild av posten auto.create.topics.enable.

  7. Välj Kafka-tjänsten, välj Starta om och välj sedan Starta om alla som påverkas. När du uppmanas till det väljer du Bekräfta omstart av alla.

    "Apache Ambari startar om alla påverkade tjänster."

Kommentar

Du kan också ange Ambari-värden via Ambari REST API. Detta är vanligtvis svårare eftersom du måste göra flera REST-anrop för att hämta den aktuella konfigurationen, ändra den osv. Mer information finns i dokumentet Hanterade HDInsight-kluster med hjälp av Apache Ambari REST API .

Resource Manager-mallar

När du skapar ett Kafka-kluster genom en Azure Resource Manager-mall kan du ange det direkt genom att lägga till auto.create.topics.enable i en kafka-broker. Följande JSON-kodfragment visar hur du anger det här värdet till true:

"clusterDefinition": {
    "kind": "kafka",
    "configurations": {
        "gateway": {
            "restAuthCredential.isEnabled": true,
            "restAuthCredential.username": "[parameters('clusterLoginUserName')]",
            "restAuthCredential.password": "[parameters('clusterLoginPassword')]"
        },
        "kafka-broker": {
            "auto.create.topics.enable": "true"
        }
    }
}

Nästa steg

I det här dokumentet har du lärt dig hur du aktiverar automatisk skapande av ämnen för Apache Kafka i HDInsight. Mer information om hur du arbetar med Kafka finns i följande länkar: