Afbeeldingsclassificatie in Azure

Azure-blobopslag

Azure Computer Vision

Azure Cosmos DB

Azure Event Grid

Azure Functions

ideeën voor oplossing

In dit artikel wordt een oplossingsidee beschreven. Uw cloudarchitect kan deze richtlijnen gebruiken om de belangrijkste onderdelen te visualiseren voor een typische implementatie van deze architectuur. Gebruik dit artikel als uitgangspunt om een goed ontworpen oplossing te ontwerpen die overeenkomt met de specifieke vereisten van uw workload.

Met behulp van Azure-services, zoals de Computer Vision-API en Azure Functions, kunnen bedrijven de noodzaak van het beheren van afzonderlijke servers elimineren, terwijl ze de kosten verlagen en gebruikmaken van de expertise die Microsoft al heeft ontwikkeld met het verwerken van afbeeldingen met Azure AI-services. Dit oplossingsidee heeft specifiek betrekking op een gebruiksscenario voor afbeeldingsverwerking. Als u verschillende AI-behoeften hebt, kunt u de volledige suite met Azure AI-servicesoverwegen.

Architectuur

diagram van een architectuur die wordt gebruikt voor afbeeldingsclassificatietaken.

Download een Visio-bestand van dit oplossingsidee.

Gegevensstroom

In dit scenario worden de back-endonderdelen van een web- of mobiele toepassing behandeld. Gegevens stromen als volgt door het scenario:

Als u nieuwe bestanden (afbeeldingsuploads) toevoegt in Blob Storage, wordt een gebeurtenis geactiveerd in Azure Event Grid. Het uploadproces kan worden ingedeeld via internet of een mobiele toepassing. U kunt ook afbeeldingen afzonderlijk uploaden naar de Azure Blob-opslag.
Event Grid verzendt een melding waarmee de Azure-functies worden geactiveerd.
Azure Functions roept de Azure AI Vision-API aan om de zojuist geüploade afbeelding te analyseren. Azure AI Vision opent de afbeelding via de blob-URL die wordt geparseerd door Azure Functions.
Azure Functions behoudt het ANTWOORD van de AI Vision-API in Azure Cosmos DB. Dit antwoord bevat de resultaten van de analyse, samen met de metagegevens van de afbeelding.
De resultaten kunnen worden gebruikt en weerspiegeld op het web of mobiele front-end. Houd er rekening mee dat met deze methode de resultaten van de classificatie worden opgehaald, maar niet de geüploade afbeelding.

Onderdelen

Azure AI Vision maakt deel uit van de Azure AI-servicessuite. In deze architectuur wordt informatie over elke installatiekopieën opgehaald. Het analyseert nieuw geüploade afbeeldingen en biedt metagegevens en classificatieresultaten. Met deze resultaten is geautomatiseerd beeldkennis mogelijk.
Azure Functions is een serverloze oplossing die u kunt gebruiken om robuuste apps te bouwen met minder code en minder infrastructuur. In deze architectuur biedt Azure Functions de back-end-API voor de webtoepassing. Dit platform biedt ook gebeurtenisverwerking voor geüploade afbeeldingen. Azure Functions organiseert werkstroomstappen, waaronder het aanroepen van de AI Vision-API, het verwerken van analyseresultaten en het persistent maken van metagegevens in de database.
Azure Event Grid is een beheerde service voor gebeurtenisroutering die uniform gebeurtenisverbruik mogelijk maakt met behulp van een model voor publiceren/abonneren. In deze architectuur activeert Azure Event Grid een gebeurtenis wanneer een nieuwe afbeelding wordt geüpload naar blobopslag en geautomatiseerde verwerkingswerkstromen initieert door Azure Functions van nieuwe uploads te waarschuwen.
Azure Blob Storage is een oplossing voor objectopslag voor het opslaan van ongestructureerde gegevens in de cloud. In deze architectuur worden alle afbeeldingsbestanden opgeslagen die zijn geüpload naar de webtoepassing, evenals statische bestanden die door de webtoepassing worden gebruikt. Blob Storage is de primaire opslagplaats voor binnenkomende afbeeldingsgegevens, die fungeren als zowel de bron voor verwerking als een verwijzing naar toegang tot installatiekopieën.
Azure Cosmos DB is een NoSQL-database. In deze architectuur slaat Azure Cosmos DB metagegevens op over elke afbeelding die wordt geüpload, inclusief de resultaten van de verwerking van de Computer Vision-API.

Alternatieven

Azure OpenAI GPT-4o en GPT-4o-mini-. GPT-4o en GPT-4o-mini zijn multimodale chatmodellen van OpenAI die algemene vragen kunnen beantwoorden over wat er aanwezig is in de afbeeldingen die u opgeeft.
Custom Vision Service. De Computer Vision-API retourneert een set op taxonomie gebaseerde categorieën. Als u informatie wilt verwerken die niet wordt geretourneerd door de Computer Vision-API, kunt u de Custom Vision-service gebruiken, waarmee u aangepaste afbeeldingsclassificaties kunt maken. Volg de quickstart Een afbeeldingsclassificatiemodel maken met de Custom Vision-voor meer informatie over deze service.
Azure AI Search-. Als uw use-case betrekking heeft op het uitvoeren van query's op de metagegevens om afbeeldingen te vinden die voldoen aan specifieke criteria, kunt u overwegen Om Azure AI Search te gebruiken.
Logic Apps-. Als u niet in realtime hoeft te reageren op toegevoegde bestanden in een blob, kunt u overwegen Logic Apps te gebruiken. Een logische app die kan controleren of een bestand is toegevoegd, kan worden gestart door de terugkeerpatroontrigger of schuifvenstertrigger.
Als u afbeeldingen in documenten hebt ingesloten, gebruikt u Azure AI Document Intelligence om deze afbeeldingen te vinden. Met deze informatie kunt u verdere computer vision-taken extraheren en uitvoeren op de ingesloten afbeeldingen. Gebruik Document Intelligence om gegevens over deze ingesloten afbeeldingen te verzamelen, zoals paginanummer of bijschrifttekst die samen met de andere metagegevens van de afbeeldingen kan worden opgeslagen die via de Computer Vision-API worden ontvangen. Als uw afbeeldingen voornamelijk foto's of scans van documenten zijn, gebruikt u de aangepaste classificatiemodellen van Document Intelligence om een classificatie van een invoerbestand één pagina tegelijk uit te voeren om de documenten te identificeren. Deze benadering kan ook meerdere documenten of meerdere exemplaren van één document in een invoerbestand identificeren.

Scenariodetails

Dit scenario is relevant voor bedrijven die afbeeldingen moeten verwerken.

Mogelijke toepassingen omvatten het classificeren van afbeeldingen voor een modewebsite, het analyseren van tekst en afbeeldingen voor verzekeringsclaims of het begrijpen van telemetriegegevens uit gameschermafbeeldingen. Normaal gesproken moeten bedrijven expertise ontwikkelen in machine learning-modellen, de modellen trainen en ten slotte de installatiekopieën uitvoeren via hun aangepaste proces om de gegevens uit de installatiekopieën te halen.

Mogelijke gebruiksvoorbeelden

Deze oplossing is ideaal voor de detailhandel, game, financiën en verzekeringen. Andere relevante use cases zijn:

Afbeeldingen classificeren op een modewebsite. Afbeeldingsclassificatie kan worden gebruikt door verkopers tijdens het uploaden van afbeeldingen van producten op het platform dat te koop is. Vervolgens kunnen ze de bijbehorende handmatige taggen automatiseren. De klanten kunnen ook door de visuele indruk van de producten zoeken.
Telemetriegegevens classificeren uit schermopnamen van games. De classificatie van videogames uit schermopnamen ontwikkelt zich in een relevant probleem in sociale media, in combinatie met computer vision. Wanneer Twitch streamers bijvoorbeeld verschillende games achter elkaar spelen, kunnen ze hun streamgegevens handmatig bijwerken. Het bijwerken van streamgegevens kan leiden tot een onjuiste classificatie van streams in zoekopdrachten van gebruikers en kan leiden tot het verlies van potentiële kijkers voor zowel de makers van inhoud als de streamingplatforms. Tijdens het introduceren van nieuwe games kan een aangepaste modelroute handig zijn om de mogelijkheid te introduceren om nieuwe afbeeldingen van die games te detecteren.
Afbeeldingen voor verzekeringsclaims classificeren. Afbeeldingsclassificatie kan helpen bij het verminderen van de tijd en kosten voor het verwerken en onderschrijven van claims. Het kan helpen bij het analyseren van natuurrampschade, voertuigschade en het identificeren van woningen en commerciële eigenschappen.

Volgende stappen

Productdocumentatie

Zie voor een begeleid leertraject:

Feedback

Is deze pagina nuttig?