Delen via

Modelkwaliteit en eindpuntstatus bewaken

Mozaïek AI Model Serving biedt geavanceerde hulpmiddelen voor het bewaken van de kwaliteit en status van modellen en hun implementaties. De volgende tabel is een overzicht van elk bewakingsprogramma dat beschikbaar is.

Gereedschap Beschrijving Doel Toegang
Servicelogboeken Legt streams van stdout en stderr vast van het model-serveer-eindpunt. Handig voor foutopsporing tijdens modelimplementatie. Gebruik logging.warning(...) of logging.error(...) voor onmiddellijke weergave in de logboeken. Toegankelijk via het tabblad Logboeken in de gebruikersinterface van de server. Logboeken worden in realtime gestreamd en kunnen worden geëxporteerd via de API.
Logboeken bouwen Geeft uitvoer weer van het proces waarmee automatisch een python-omgeving wordt gemaakt die gereed is voor productie voor het eindpunt van het model. Handig voor het diagnosticeren van modelimplementatie- en afhankelijkheidsproblemen. Beschikbaar na voltooiing van de implementatie van het model onder Build-logboeken in het tabblad Logboeken. Logboeken kunnen worden geëxporteerd via de API. Deze logboeken worden maximaal dertig (30) dagen bewaard.
Gezondheidsindicatoren voor eindpunten Biedt inzicht in metrische infrastructuurgegevens, zoals latentie, aanvraagsnelheid, foutpercentage, CPU-gebruik en geheugengebruik. Belangrijk voor inzicht in de prestaties en status van de ondersteunende infrastructuur. Standaard beschikbaar in de Diensten-UI voor de afgelopen 14 dagen. Gegevens kunnen ook in realtime worden gestreamd naar hulpprogramma's voor waarneembaarheid.
met AI Gateway ingeschakelde deductietabellen Registreert automatisch online voorspellingsaanvragen en -antwoorden in Delta-tabellen die worden beheerd door Unity Catalog voor eindpunten die aangepaste modellen, externe modellen of ingerichte doorvoerworkloads leveren. Gebruik dit hulpprogramma voor het bewaken en opsporen van fouten in modelkwaliteit of -antwoorden, het genereren van trainingsgegevenssets of het uitvoeren van nalevingscontroles. Kan worden ingeschakeld voor bestaande en nieuwe eindpunten voor modeldienstverlening bij het inschakelen van AI Gateway--functies met behulp van de bedieningsinterface of REST API.

Aanvullende bronnen