Jämför filidentifieringslägen för Automatisk inladdare

Automatisk inläsning stöder två lägen för att identifiera nya filer: kataloglista och filavisering. Du kan växla filupptäckningslägen mellan strömomstarter och ändå få garantier för bearbetning av data exakt en gång.

Kataloglistningsläge

I kataloglistningsläge identifierar Auto Loader nya filer genom att visa indatakatalogen. Med kataloglistningsläget kan du snabbt starta automatiska inläsningsströmmar utan några andra behörighetskonfigurationer än åtkomst till dina data i molnlagringen.

I Databricks Runtime 9.1 och senare kan Auto Loader automatiskt identifiera om filer anländer med lexikal beställning till molnlagringen och avsevärt minska mängden API-anrop som behövs för att identifiera nya filer. Mer information finns i Auto Loader-strömmar med kataloglistningsläge .

Läge för filavisering (rekommenderas)

I filmeddelandeläget används filmeddelanden och kötjänster i ditt molninfrastrukturkonto. Automatisk inläsning kan automatiskt konfigurera en meddelandetjänst och kötjänst som prenumererar på filhändelser från indatakatalogen. Om du aktiverar filhändelser på den externa platsen som innehåller filerna i fråga behöver du inte ange ytterligare behörigheter när du konfigurerar den automatiska inläsningsströmmen.

Filmeddelandeläget med filhändelser är mer högpresterande och skalbart än kataloglistan. Databricks rekommenderar filmeddelandeläge med hjälp av filhändelser i stället för kataloglistningsläge för de flesta arbetsbelastningar. Om du använder Auto Loader i kataloglistningsläge i dag rekommenderar Databricks att du migrerar till filmeddelandeläget med hjälp av mfile-händelser för att se betydande prestandaförbättringar. Se Konfigurera Auto Loader-strömmar i filnotifieringsläge.

Molnlagring som stödjer olika lägen

Den här tabellen visar beräkning som stöds för varje filidentifieringsläge, efter molnlagringsprovider.

Om du migrerar från en extern plats eller ett DBFS-fäste till en Unity Catalog-volym, fortsätter Auto Loader att ge exakt en gångs garantier.