Zelfstudie: gegevens kopiëren naar de Azure Data Box-schijf en deze gegevens controleren

In deze zelfstudie wordt beschreven hoe u gegevens kopieert van uw hostcomputer en controlesommen genereert om de gegevensintegriteit te verifiëren.

In deze zelfstudie leert u het volgende:

Voorwaarden

Zorg voordat u begint voor het volgende:

• U hebt de zelfstudie: Uw Azure Data Box-schijf installeren en configureren voltooid.
• Uw schijven worden ontgrendeld en verbonden met een clientcomputer.
• Op de clientcomputer die wordt gebruikt om gegevens naar de schijven te kopiëren, wordt een ondersteund besturingssysteem uitgevoerd.
• Het beoogde opslagtype voor uw gegevens komt overeen met de ondersteunde opslagtypen.
• You've reviewed Managed disk limits in Azure object size limits.

Determine appropriate access tiers for block blobs

Met Azure Storage kunt u blok-blobgegevens opslaan in meerdere toegangslagen binnen hetzelfde opslagaccount. Met deze mogelijkheid kunnen gegevens efficiënter worden ingedeeld en opgeslagen op basis van hoe vaak ze worden geopend. De volgende tabel bevat informatie en aanbevelingen over Azure Storage-toegangslagen.

For more information about blob access tiers, see Access tiers for blob data. For more detailed best practices, see Best practices for using blob access tiers.

U kunt uw blok-blobgegevens overdragen naar de juiste toegangslaag door deze te kopiëren naar de bijbehorende map in Data Box Disk. Dit proces wordt uitgebreider besproken in de sectie Gegevens kopiëren naar schijven .

Gegevens naar schijven kopiëren

Lees de volgende overwegingen voordat u de gegevens naar de schijven kopieert:

• Het is uw verantwoordelijkheid om lokale gegevens te kopiëren naar de share die overeenkomt met de juiste gegevensindeling. For instance, copy block blob data to the BlockBlob share. Copy VHDs to the PageBlob share. Als de lokale gegevensindeling niet overeenkomt met de juiste map voor het gekozen opslagtype, mislukt het uploaden van gegevens naar Azure in een latere stap.

• U kunt gegevens niet rechtstreeks kopiëren naar de root map van een share. Maak in plaats daarvan een map binnen de juiste share en kopieer uw gegevens ernaartoe.

  • Mappen in de hoofdmap van de PageBlob-share komen overeen met containers in uw opslagaccount. Er wordt een nieuwe container gemaakt voor elke map waarvan de naam niet overeenkomt met een bestaande container in uw opslagaccount.

  • Mappen in de hoofdmap van de AzFile-share komen overeen met Azure-bestandsshares. Er wordt een nieuwe bestandsshare gemaakt voor elke map waarvan de naam niet overeenkomt met een bestaande bestandsshare in uw opslagaccount.

  • Het hoofdniveau van de BlockBlob-share bevat één map die overeenkomt met elke toegangslaag. Wanneer u gegevens kopieert naar de BlockBlob-share , maakt u een submap in de map op het hoogste niveau die overeenkomt met de gewenste toegangslaag. Net als bij de PageBlob-share wordt er een nieuwe container gemaakt voor elke map waarvan de naam niet overeenkomt met een bestaande container. Data within the container is copied to the tier corresponding to the subfolder's top-level parent.

    Er wordt ook een container gemaakt voor elke map die zich in de hoofdmap van de BlockBlob-share bevindt en gegevens die deze bevat, worden gekopieerd naar de standaardtoegangslaag van de container. Maak geen mappen op hoofdniveau om ervoor te zorgen dat uw gegevens naar de gewenste toegangslaag worden gekopieerd.

  Belangrijk

  Gegevens die naar de archieflaag zijn geüpload, blijven offline en moeten worden gerehydrateerd voordat ze worden gelezen of gewijzigd. Gegevens die naar de archieflaag worden gekopieerd, moeten ten minste 180 dagen bewaard blijven of er kosten in rekening worden gebracht voor vroegtijdige verwijdering. Archive tier is not supported for ZRS, GZRS, or RA-GZRS accounts.

• Zorg er tijdens het kopiëren van gegevens voor dat de gegevensgrootte voldoet aan de groottelimieten die worden beschreven in het artikel over limieten voor Azure Storage en Data Box Disk .

• Schakel BitLocker-versleuteling niet uit op Data Box Disks. Het uitschakelen van BitLocker-versleuteling resulteert in een uploadfout nadat de schijven zijn geretourneerd. Als u BitLocker uitschakelt, blijven schijven ook in een ontgrendelde status, waardoor er beveiligingsproblemen ontstaan.

• Als u metagegevens zoals ACL's, tijdstempels en bestandskenmerken wilt behouden bij het overdragen van gegevens naar Azure Files, volgt u de richtlijnen in het artikel Over het behouden van bestands-ACL's, kenmerken en tijdstempels met Azure Data Box Disk .

• Als u zowel Data Box Disk als andere toepassingen gebruikt om gegevens tegelijkertijd te uploaden, kunnen er uploadfouten optreden en kan er gegevensbeschadiging plaatsvinden.

  Belangrijk

  Als u tijdens het maken van de order beheerde schijven hebt opgegeven als een van de opslagdoelen, is de volgende sectie van toepassing.

• Zorg ervoor dat virtuele harde schijven (VHD's) die zijn geüpload naar de vooraf gemaakte mappen unieke namen hebben binnen resourcegroepen. Beheerde schijven moeten unieke namen hebben binnen een resourcegroep in alle vooraf gemaakte mappen op de Data Box Disk. Als u meerdere Data Box-schijven gebruikt, moeten de namen van beheerde schijven uniek zijn voor alle mappen en schijven. Wanneer VHD's met dubbele namen worden gevonden, wordt er slechts één geconverteerd naar een beheerde schijf met die naam. The remaining VHDs are uploaded as page blobs into the staging storage account.

• Kopieer de VHD's altijd naar een van de vooraf gemaakte mappen. VHD's die zich buiten deze mappen bevinden of in een door u gemaakte map staan, worden als pagina-blobs naar Azure Storage-accounts geüpload in plaats van als beheerde schijven.

• Alleen vaste VHD's kunnen worden geüpload voor het aanmaken van beheerde schijven. Dynamische VHD's, differentiërende VHD's en VHDX-bestanden worden niet ondersteund.

• De hulpprogramma's DataBoxDiskSplitCopy.exe voor Split Copy en Validatie van Data Box Disk, en DataBoxDiskValidation.cmdrapporteren fouten wanneer lange paden worden verwerkt. Deze fouten komen vaak voor wanneer lange paden niet zijn ingeschakeld op de client en de paden en bestandsnamen van uw gegevenskopie langer zijn dan 256 tekens. Volg de richtlijnen in het artikel over het inschakelen van lange paden in uw Windows-client om deze fouten te voorkomen.

Voer de volgende stappen uit om verbinding te maken en gegevens van uw computer naar de Data Box-schijf te kopiëren.

1. Geef de inhoud van de ontgrendelde schijf weer. De lijst met voorgecreëerde mappen en submappen in de schijf varieert afhankelijk van de opties die u selecteert wanneer u de Data Box Disk-bestelling plaatst. Het maken van extra mappen is niet toegestaan, omdat het kopiëren van gegevens naar een door de gebruiker gemaakte map fouten veroorzaakt bij het uploaden.

   Geselecteerde opslaglocatie	Storage account type	Staging storage account type	Folders and subfolders
   Opslagaccount	GPv1 or GPv2	NA	BlockBlob Archiveren Koud Cool Hot PageBlob AzureFile
   Opslagaccount	Blob storage account	NA	BlockBlob Archiveren Koud Cool Hot
   Beheerde schijven	NA	GPv1 or GPv2	ManagedDisk PremiumSSD StandardSSD StandardHDD
   Opslagaccount Beheerde schijven	GPv1 or GPv2	GPv1 or GPv2	BlockBlob Archiveren Koud Cool Hot PageBlob AzureFile ManagedDisk PremiumSSD StandardSSD StandardHDD
   Opslagaccount Beheerde schijven	Blob storage account	GPv1 or GPv2	BlockBlob Archiveren Koud Cool Hot ManagedDisk PremiumSSD StandardSSD StandardHDD

   In de volgende schermopname ziet u een volgorde waarin een GPv2-opslagaccount en archieflaag zijn opgegeven:

   

2. Copy VHD or VHDX data to the PageBlob folder. Alle bestanden die naar de map PageBlob worden gekopieerd, worden gekopieerd naar een standaardcontainer $root binnen het Azure Storage-account. Er wordt een container gemaakt in het Azure-opslagaccount voor elke submap in de map PageBlob .

   Kopieer gegevens naar een submap binnen de AzureFile-map om deze in Azure-bestandsshares te plaatsen. Alle bestanden die naar de Map AzureFile worden gekopieerd, worden gekopieerd als bestanden naar een standaardcontainer van het type databox-format-[GUID], bijvoorbeeld databox-azurefile-7ee19cfb3304122d940461783e97bf7b4290a1d7.

   U kunt bestanden niet rechtstreeks kopiëren naar de hoofdmap van BlockBlob. In de hoofdmap vindt u een submap die overeenkomt met elk van de beschikbare toegangslagen. Als u uw blobgegevens wilt kopiëren, moet u eerst de map selecteren die overeenkomt met een van de toegangslagen. Maak vervolgens een submap in de map van die laag om uw gegevens op te slaan. Kopieer ten slotte uw gegevens naar de zojuist gemaakte submap. Your new subfolder represents the container created within the storage account during ingestion. Uw gegevens worden als blobs naar deze container geüpload. Net als bij de AzureFile-share wordt er een nieuwe blobopslagcontainer gemaakt voor elke submap in de hoofdmap van BlockBlob. De gegevens in deze mappen worden opgeslagen volgens de standaardtoegangslaag van het opslagaccount.

   Voordat u begint met het kopiëren van gegevens, moet u bestanden en mappen die in de hoofdmap aanwezig zijn, verplaatsen naar een andere map.

   Belangrijk

   Alle containers, blobs en bestandsnamen moeten voldoen aan de Azure-naamgevingsregels. Als u zich niet aan deze regels houdt, mislukt de gegevensupload naar Azure.

3. Zorg er bij het kopiëren van bestanden voor dat bestanden niet groter zijn dan 4,7 TiB voor blok-blobs, 8 TiB voor pagina-blobs en 1 TiB voor Azure Files.

4. U kunt de functionaliteit voor slepen en neerzetten van Bestandenverkenner gebruiken om de gegevens te kopiëren. U kunt ook elk programma voor het kopiëren van bestanden dat compatibel is met SMB, zoals Robocopy, gebruiken om de gegevens te kopiëren.

   Een voordeel van het gebruik van een hulpprogramma voor het kopiëren van bestanden is de mogelijkheid om meerdere kopieertaken te starten, zoals in het volgende voorbeeld met behulp van het Robocopy-hulpprogramma:

   Robocopy <source> <destination> * /MT:64 /E /R:1 /W:1 /NFL /NDL /FFT /Log:c:\RobocopyLog.txt

   Notitie

   De parameters die in dit voorbeeld worden gebruikt, zijn gebaseerd op de omgeving die wordt gebruikt tijdens interne tests. Uw parameters en waarden zijn waarschijnlijk anders.

   De parameters en opties voor de opdracht worden als volgt gebruikt:

   Parameters/Options	Beschrijving
   Source	Specifies the path to the source directory.
   Bestemming	Specifies the path to the destination directory.
   /E	Kopieert subdirectories, inclusief lege directories.
   /MT[:n]	Hiermee maakt u kopieën met meerdere threads met n threads waarbij n een geheel getal tussen 1 en 128 is. De standaardwaarde voor n is 8.
   /R: <n>	Hiermee specificeert u het aantal herhaalpogingen voor mislukte kopieën. De standaardwaarde van n is 1.000.000 nieuwe pogingen.
   /W: <n>	Hiermee geeft u de wachttijd tussen nieuwe pogingen in seconden. De standaardwaarde van n is 30 en is gelijk aan een wachttijd van 30 seconden.
   /NFL	Hiermee geeft u aan dat bestandsnamen niet worden gelogd.
   /NDL	Hiermee geeft u aan dat mapnamen niet gelogd moeten worden.
   /FFT	Gaat ervan uit dat FAT-bestandstijdstempels een resolutienauwkeurigheid van twee seconden hebben.
   /Log:<Logboekbestand>	Hiermee schrijft u de statusuitvoer naar het logboekbestand. Elk bestaand logboekbestand wordt overschreven.

   Er kunnen gelijktijdig meerdere schijven worden gebruikt terwijl er op elke schijf meerdere taken worden uitgevoerd. Houd er rekening mee dat dubbele bestandsnamen worden overschreven of resulteren in een kopieerfout.

5. Controleer de kopieerstatus wanneer de taak wordt uitgevoerd. In het volgende voorbeeld ziet u de uitvoer van de Robocopy-opdracht voor het kopiëren van bestanden naar de Data Box-schijf.

   
   C:\Users>robocopy
   -------------------------------------------------------------------------------
      ROBOCOPY     ::     Robust File Copy for Windows
   -------------------------------------------------------------------------------
   
      Started : Thursday, March 8, 2018 2:34:53 PM
         Simple Usage :: ROBOCOPY source destination /MIR
   
               source :: Source Directory (drive:\path or \\server\share\path).
          destination :: Destination Dir  (drive:\path or \\server\share\path).
                 /MIR :: Mirror a complete directory tree.
   
     For more usage information run ROBOCOPY /?    
   
     ****  /MIR can DELETE files as well as copy them !
   
   C:\Users>Robocopy C:\Repository\guides \\10.126.76.172\AzFileUL\templates /MT:64 /E /R:1 /W:1 /FFT 
   -------------------------------------------------------------------------------
      ROBOCOPY     ::     Robust File Copy for Windows
   -------------------------------------------------------------------------------
   
      Started : Thursday, March 8, 2018 2:34:58 PM
       Source : C:\Repository\guides\
         Dest : \\10.126.76.172\devicemanagertest1_AzFile\templates\
   
        Files : *.*
   
      Options : *.* /DCOPY:DA /COPY:DAT /MT:8 /R:1000000 /W:30
   
    ------------------------------------------------------------------------------
   
    100%    New File    206    C:\Repository\guides\article-metadata.md
    100%    New File    209    C:\Repository\guides\content-channel-guidance.md
    100%    New File    732    C:\Repository\guides\index.md
    100%    New File    199    C:\Repository\guides\pr-criteria.md
    100%    New File    178    C:\Repository\guides\pull-request-co.md
    100%    New File    250    C:\Repository\guides\pull-request-ete.md
    100%    New File    174    C:\Repository\guides\create-images-markdown.md
    100%    New File    197    C:\Repository\guides\create-links-markdown.md
    100%    New File    184    C:\Repository\guides\create-tables-markdown.md
    100%    New File    208    C:\Repository\guides\custom-markdown-extensions.md
    100%    New File    210    C:\Repository\guides\file-names-and-locations.md
    100%    New File    234    C:\Repository\guides\git-commands-for-master.md
    100%    New File    186    C:\Repository\guides\release-branches.md
    100%    New File    240    C:\Repository\guides\retire-or-rename-an-article.md
    100%    New File    215    C:\Repository\guides\style-and-voice.md
    100%    New File    212    C:\Repository\guides\syntax-highlighting-markdown.md
    100%    New File    207    C:\Repository\guides\tools-and-setup.md
    ------------------------------------------------------------------------------
   
                   Total    Copied   Skipped  Mismatch    FAILED    Extras
        Dirs :         1         1         1         0         0         0
       Files :        17        17         0         0         0         0
       Bytes :     3.9 k     3.9 k         0         0         0         0
       Times :   0:00:05   0:00:00                       0:00:00   0:00:00
   
       Speed :                5620 Bytes/sec.
       Speed :               0.321 MegaBytes/min.
       Ended : Thursday, August 31, 2023 2:34:59 PM
   
   

   Gebruik de volgende parameters in Robocopy om de prestaties te optimaliseren als u de gegevens kopieert.

   Platform	Meestal kleine bestanden < 512 KB	Voornamelijk middelgrote bestanden van 512 KB - 1 MB	Meestal grote bestanden > 1 MB
   Data Box Disk	4 Robocopy sessions* 16 threads per session	2 Robocopy session* 16 threads per session	2 Robocopy session* 16 threads per session

   * Elke Robocopy-sessie kan maximaal 7.000 mappen en 150 miljoen bestanden hebben.

   Lees het artikel Robocopy en enkele voorbeelden voor meer informatie over de Robocopy-opdracht.

6. Open de doelmap en bekijk en controleer de gekopieerde bestanden. Als er fouten zijn opgetreden tijdens het kopiëren, downloadt u de logboekbestanden om de problemen op te lossen. De uitvoer van de robocopy-opdracht geeft de locatie van de logboekbestanden aan.

Gegevens splitsen en kopiëren naar schijven

Het hulpprogramma Data Box Split Copy helpt bij het splitsen en kopiëren van gegevens over twee of meer Azure Data Box Disks. Het hulpprogramma is alleen beschikbaar voor gebruik op een Windows-computer. Deze optionele procedure is handig wanneer u een grote gegevensset hebt die moet worden gesplitst en gekopieerd op verschillende schijven.

1. Zorg er op uw Windows-computer voor dat u de Split Copy Tool van Data Box hebt gedownload en uitgepakt in een lokale map. Dit hulpprogramma is opgenomen in de Data Box Disk-toolset voor Windows.

2. Open File Explorer. Make a note of the data source drive and drive letters assigned to Data Box Disk.

   

3. Zoek de brongegevens die u wilt kopiëren. In dit geval bijvoorbeeld:

   • The following block blob data was identified.

     

   • The following page blob data was identified.

     

4. Navigeer naar de map waarin de software is geëxtraheerd en zoek het SampleConfig.json bestand. Dit bestand is een alleen-lezen bestand dat u kunt wijzigen en opslaan.

   

5. Wijzig het bestand SampleConfig.json.

   • Geef een taaknaam op. Er wordt een map met deze naam gemaakt op de Data Box Disk. De naam wordt ook gebruikt om een container te maken in het Azure-opslagaccount dat aan deze schijven is gekoppeld. De taaknaam moet de naamconventies van de Azure-container volgen.

   • Geef een bronpad op, noteer de padindeling in de SampleConfigFile.json.

   • Enter the drive letters corresponding to the target disks. Gegevens worden opgehaald uit het bronpad en gekopieerd op meerdere schijven.

   • Geef een pad op voor de logboekbestanden. Standaard worden logboekbestanden verzonden naar de map waar het .exe bestand zich bevindt.

   • Ga naar JSONlint om de bestandsindeling te controleren.

     

   • Sla het bestand op als ConfigFile.json.

     

6. Open een opdrachtpromptvenster met verhoogde bevoegdheden en voer de DataBoxDiskSplitCopy.exe opdracht uit met behulp van de volgende opdracht.

   DataBoxDiskSplitCopy.exe PrepImport /config:ConfigFile.json
   

7. Wanneer u hierom wordt gevraagd, drukt u op een willekeurige toets om door te gaan met het uitvoeren van het hulpprogramma.

   

8. Nadat de gegevensset is gesplitst en gekopieerd, wordt de samenvatting van het hulpprogramma Split Copy voor de kopieersessie weergegeven, zoals wordt weergegeven in de volgende voorbeelduitvoer.

   

9. Controleer of de gegevens correct zijn gesplitst op de doelschijven.

   

   

   Examine the H: drive contents and ensure that two subfolders are created that correspond to block blob and page blob format data.

   

10. Als de kopieersessie mislukt, gebruikt u de volgende opdracht om te herstellen en hervatten:

    DataBoxDiskSplitCopy.exe PrepImport /config:ConfigFile.json /ResumeSession

Als er fouten optreden tijdens het gebruik van het hulpprogramma Split Copy, volgt u de stappen in het artikel over het oplossen van fouten in het hulpprogramma Split Copy.

Gegevens valideren

Als u het hulpprogramma Data Box Split Copy niet hebt gebruikt om gegevens te kopiëren, moet u uw gegevens valideren. Controleer de gegevens door de volgende stappen uit te voeren op elk van uw Data Box Disks. Als er fouten optreden tijdens de validatie, volgt u de stappen in het artikel validatiefouten oplossen.

1. Voer DataBoxDiskValidation.cmd uit voor controlesomvalidatie in de map DataBoxDiskImport op uw schijf. Dit hulpprogramma is alleen beschikbaar voor de Windows-omgeving. Linux-gebruikers moeten controleren of de brongegevens die naar de schijf zijn gekopieerd, voldoen aan de vereisten van Azure Data Box.

   

2. Kies de juiste validatieoptie wanneer u hierom wordt gevraagd. Wij adviseren om altijd optie 2 te selecteren om de bestanden te valideren en controlesommen te genereren. Sluit het opdrachtvenster af nadat het script is voltooid. De tijd die nodig is om de validatie te voltooien, is afhankelijk van de grootte van uw gegevens. Met het hulpprogramma wordt u op de hoogte gesteld van eventuele fouten die zijn opgetreden tijdens het genereren van validatie en controlesom, en krijgt u een koppeling naar de foutenlogboeken.

   

   Tip

   • Reset the tool between two runs.
   • Het controlesomproces kan langer duren als u een grote gegevensset hebt met veel bestanden die relatief weinig opslagcapaciteit in beslag nemen. Als u bestanden valideert en het maken van controlesommen overslaat, moet u de gegevensintegriteit op de Data Box Disk onafhankelijk verifiëren voordat u kopieën verwijdert. Deze verificatie omvat idealiter het genereren van controlesommen.

Volgende stappen

In deze zelfstudie hebt u geleerd hoe u de volgende taken kunt uitvoeren met Azure Data Box Disk:

Ga naar de volgende zelfstudie om te lezen hoe u de Data Box-schijf retourneert en de gegevensupload naar Azure controleert.