Share via

Apache Kafka configureren in HDInsight om automatisch onderwerpen te maken

Apache Kafka in HDInsight schakelt standaard het automatisch maken van onderwerpen niet in. U kunt het automatisch maken van onderwerpen inschakelen voor bestaande clusters met behulp van Apache Ambari. U kunt het automatisch maken van onderwerpen ook inschakelen bij het maken van een nieuw Kafka-cluster met behulp van een Azure Resource Manager-sjabloon.

Apache Ambari webinterface

Gebruik de volgende stappen om het automatisch maken van onderwerpen in te schakelen voor een bestaand cluster via de Ambari-webgebruikersinterface:

  1. Selecteer uw Kafka-cluster in Azure Portal.

  2. Selecteer in Clusterdashboards de Ambari-startpagina.

    Afbeelding van de portal met clusterdashboard geselecteerd.

    Wanneer daarom wordt gevraagd, meld u dan aan met de inloggegevens van de beheerder voor het cluster. In plaats daarvan kunt u rechtstreeks verbinding maken met Ambari, waar https://CLUSTERNAME.azurehdinsight.net/CLUSTERNAME de naam van uw Kafka-cluster is.

  3. Selecteer de Kafka-service in de lijst aan de linkerkant van de pagina.

    Lijst van services in Apache Ambari.

  4. Selecteer configuraties in het midden van de pagina.

    Tabblad met instellingen van de Apache Ambari service.

  5. Voer in het veld Filter een waarde in van auto.create.

    Filterveld voor Zoeken in Apache Ambari.

    Met deze instelling wordt de lijst met eigenschappen gefilterd en wordt de auto.create.topics.enable instelling weergegeven.

  6. Wijzig de waarde van auto.create.topics.enable in trueen selecteer Opslaan. Voeg een notitie toe en selecteer Opslaan opnieuw.

    Afbeelding van de vermelding auto.create.topics.enable.

  7. Selecteer de Kafka-service, selecteer Opnieuw opstarten en selecteer vervolgens Opnieuw opstarten voor alle getroffen items. Wanneer u hierom wordt gevraagd, selecteert u Alles opnieuw opstarten bevestigen.

    'Apache Ambari start alles opnieuw op'.

Notitie

U kunt ook Ambari-waarden instellen via de Ambari REST API. Dit is over het algemeen moeilijker, omdat u meerdere REST-aanroepen moet uitvoeren om de huidige configuratie op te halen, te wijzigen, enzovoort. Zie de beheerde HDInsight-clusters met behulp van het Apache Ambari REST API-document voor meer informatie.

Resource Manager-sjablonen

Wanneer u een Kafka-cluster maakt met behulp van een Azure Resource Manager-sjabloon, kunt u het rechtstreeks instellen auto.create.topics.enable door het toe te voegen in een kafka-broker. Het volgende JSON-fragment laat zien hoe u deze waarde trueinstelt op:

"clusterDefinition": {
    "kind": "kafka",
    "configurations": {
        "gateway": {
            "restAuthCredential.isEnabled": true,
            "restAuthCredential.username": "[parameters('clusterLoginUserName')]",
            "restAuthCredential.password": "[parameters('clusterLoginPassword')]"
        },
        "kafka-broker": {
            "auto.create.topics.enable": "true"
        }
    }
}

Volgende stappen

In dit document hebt u geleerd hoe u het automatisch maken van onderwerpen kunt inschakelen voor Apache Kafka in HDInsight. Zie de volgende koppelingen voor meer informatie over het werken met Kafka: