MapReduce gebruiken met Apache Hadoop in HDInsight met SSH

Meer informatie over het verzenden van MapReduce-taken vanuit een SSH-verbinding (Secure Shell) met HDInsight.

Vereiste voorwaarden

Een Apache Hadoop-cluster in HDInsight. Zie Apache Hadoop-clusters maken met behulp van Azure Portal.

Hadoop-opdrachten gebruiken

1. Gebruik de ssh-opdracht om verbinding te maken met uw cluster. Bewerk de onderstaande opdracht door CLUSTERNAME te vervangen door de naam van uw cluster. Voer vervolgens deze opdracht in:

   ssh sshuser@CLUSTERNAME-ssh.azurehdinsight.net
   

2. Nadat u verbinding hebt gemaakt met het HDInsight-cluster, gebruikt u de volgende opdracht om een MapReduce-taak te starten:

   yarn jar /usr/hdp/current/hadoop-mapreduce-client/hadoop-mapreduce-examples.jar wordcount /example/data/gutenberg/davinci.txt /example/data/WordCountOutput
   

   Met deze opdracht wordt de wordcount-klasse gestart, die is opgenomen in het hadoop-mapreduce-examples.jar-bestand. Het gebruikt het /example/data/gutenberg/davinci.txt document als invoer en uitvoer wordt opgeslagen op /example/data/WordCountOutput.

   Notitie

   Zie MapReduce gebruiken in Apache Hadoop in HDInsightvoor meer informatie over deze MapReduce-taak en de voorbeeldgegevens.

   De taak verzendt details tijdens de verwerking en retourneert informatie die vergelijkbaar is met de volgende tekst wanneer de taak is voltooid:

   File Input Format Counters
   Bytes Read=1395666
   File Output Format Counters
   Bytes Written=337623
   

3. Wanneer de taak is voltooid, gebruikt u de volgende opdracht om de uitvoerbestanden weer te geven:

   hdfs dfs -ls /example/data/WordCountOutput
   

   Met deze opdracht worden twee bestanden, _SUCCESS en part-r-00000weergegeven. Het bestand part-r-00000 bevat de uitvoer voor deze taak.

   Notitie

   Sommige MapReduce-taken kunnen de resultaten splitsen in meerdere part-r-#####-bestanden. Als dat het geval is, gebruik het achtervoegsel ##### om de volgorde van de bestanden aan te geven.

4. Gebruik de volgende opdracht om de uitvoer weer te geven:

   hdfs dfs -cat /example/data/WordCountOutput/part-r-00000
   

   Met deze opdracht wordt een lijst weergegeven met de woorden die zijn opgenomen in het bestand wasbs://example/data/gutenberg/davinci.txt en het aantal keren dat elk woord heeft plaatsgevonden. De volgende tekst is een voorbeeld van de gegevens in het bestand:

   wreathed        3
   wreathing       1
   wreaths         1
   wrecked         3
   wrenching       1
   wretched        6
   wriggling       1
   

Volgende stappen

Zoals u ziet, bieden Hadoop-opdrachten een eenvoudige manier om MapReduce-taken uit te voeren in een HDInsight-cluster en vervolgens de taakuitvoer weer te geven. Voor informatie over andere manieren waarop u met Hadoop in HDInsight kunt werken:

• MapReduce gebruiken in HDInsight Hadoop
• Apache Hive gebruiken met Apache Hadoop in HDInsight