Delen via

Overwegingen voor het verfijnen van Azure OpenAI-modellen in Azure AI Foundry

Fine-tuning is het proces van het nemen van een vooraf getraind taalmodel en het aanpassen om een specifieke taak uit te voeren of de prestaties van een bepaalde gegevensset te verbeteren. Dit omvat het trainen van het model op een kleinere, taakspecifieke gegevensset terwijl de gewichten van het model enigszins worden aangepast. Verfijning maakt gebruik van de kennis die het model heeft verkregen tijdens de eerste training op een grote, diverse gegevensset, zodat het zich kan specialiseren zonder helemaal opnieuw te beginnen. Deze benadering is vaak efficiënter en effectiever dan het trainen van een nieuw model, met name voor gespecialiseerde taken.

Belangrijke voordelen van het afstemmen

Verbeterde nauwkeurigheid en relevantie

Het verfijnen verbetert de prestaties van het model voor bepaalde taken door het te trainen met taakspecifieke gegevens. Dit resulteert vaak in nauwkeurigere en relevante uitvoer van hoge kwaliteit in vergelijking met het gebruik van algemene prompts.

In tegenstelling tot few-shot leren, waarbij slechts een beperkt aantal voorbeelden kan worden opgenomen in een prompt, kunt u het model trainen op een aanvullende dataset. Fijnafstemming helpt het model meer genuanceerde patronen te leren en de taakprestaties te verbeteren.

Efficiëntie en potentiële kostenbesparingen

Voor aangepaste modellen zijn kortere prompts vereist, omdat ze worden getraind op relevante voorbeelden. Dit proces vermindert het aantal tokens dat nodig is in elke aanvraag, wat kan leiden tot kostenbesparingen, afhankelijk van de use-case.

Omdat nauwkeurig afgestemde modellen minder voorbeelden nodig hebben in de prompt, verwerken ze aanvragen sneller, wat resulteert in snellere reactietijden.

Schaalbaarheid en specialisatie

Bij het verfijnen wordt de uitgebreide voortraining van taalmodellen toegepast en worden hun mogelijkheden voor specifieke toepassingen uitgebreid, waardoor ze efficiënter en effectiever worden voor gerichte gebruiksvoorbeelden.

Het verfijnen van kleinere modellen kan prestatieniveaus bereiken die vergelijkbaar zijn met grotere, duurdere modellen voor specifieke taken. Deze aanpak vermindert de rekenkosten en verhoogt de snelheid, waardoor het een rendabele schaalbare oplossing is voor het implementeren van AI in omgevingen met beperkte resources.

Wanneer fijn afstellen

Fijnafstemming is geschikt voor tijden waarin u een kleine hoeveelheid gegevens hebt en de prestaties van uw model wilt verbeteren. Fijnafstemming kan gebruikt worden voor verschillende soorten gebruiksvanvallen, maar deze vallen vaak in bredere categorieën.

  • Het verminderen van de overhead van prompt-engineering: veel gebruikers beginnen met few-shot learning, waarbij ze voorbeelden van de gewenste uitvoer aan hun systeembericht toevoegen. In de loop van de tijd kan dit proces leiden tot steeds langere prompts, waardoor het aantal token en de latentie toeneemt. Met het verfijnen van deze voorbeelden kunt u deze voorbeelden insluiten in het model door te trainen op de verwachte uitvoer, wat waardevol is in scenario's met tal van edge-cases.

  • Stijl en toon wijzigen: Met fine-tuning kunt u modeluitvoer uitlijnen met een gewenste stijl of toon, waardoor consistentie in toepassingen zoals chatbots voor klantenservice en merkspecifieke communicatie wordt gegarandeerd.

  • Het genereren van uitvoer in specifieke indelingen of schema's: modellen kunnen worden afgestemd op het produceren van uitvoer in specifieke indelingen of schema's, waardoor ze ideaal zijn voor het genereren van gestructureerde gegevens, rapporten of opgemaakte antwoorden.

  • Het gebruik van hulpprogramma's verbeteren: Hoewel de API voor chatvoltooiingen ondersteuning biedt voor het aanroepen van hulpprogramma's, verhoogt de lijst van veel hulpprogramma's het tokengebruik en kan dit leiden tot hallucinaties. Het verfijnen van hulpprogrammavoorbeelden verbetert de nauwkeurigheid en consistentie, zelfs zonder volledige hulpprogrammadefinities.

  • Verbeteren van prestaties op basis van ophalen: het combineren van fine-tuning met ophaalmethoden verbetert het vermogen van een model om externe kennis te integreren, complexe taken uit te voeren en nauwkeurigere contextbewuste antwoorden te bieden. Door het model nauwkeurig af te stemmen, wordt het model getraind om opgehaalde gegevens effectief te gebruiken tijdens het filteren van irrelevante informatie.

  • Optimaliseren voor efficiëntie: Afstemming kan ook worden gebruikt om kennis van een groter model over te dragen naar een kleiner model, zodat het kleinere model vergelijkbare taakprestaties kan bereiken met lagere kosten en latentie. Productiegegevens van een model met hoge prestaties kunnen bijvoorbeeld worden gebruikt om een kleiner, efficiënter model af te stemmen. Met deze aanpak kunt u AI-oplossingen schalen en tegelijkertijd de kwaliteit behouden en de rekenoverhead verminderen.

  • Distillatie: Modeldestillatie maakt gebruik van de uitvoer van een groot model om een kleiner model af te stemmen, zodat het op dezelfde manier op een specifieke taak kan worden uitgevoerd, bijvoorbeeld het verzamelen van productieverkeer van een o1-implementatie en dat als trainingsgegevens gebruiken om 4o-mini nauwkeurig af te stemmen. Dit proces kan kosten en latentie verminderen, omdat kleinere modellen efficiënter kunnen zijn.

Typen afstemming

Azure AI Foundry biedt meerdere soorten fijne -tuning technieken:

  • Afstemming onder supervisie: hiermee kunt u aangepaste gegevens verstrekken (prompt/voltooiing of gesprekschat, afhankelijk van het model) om het basismodel nieuwe vaardigheden te leren. Dit proces omvat verdere training van het model voor een gelabelde gegevensset van hoge kwaliteit, waarbij elk gegevenspunt is gekoppeld aan de juiste uitvoer of het juiste antwoord. Het doel is om de prestaties van het model voor een bepaalde taak te verbeteren door de parameters aan te passen op basis van de gelabelde gegevens. Deze techniek werkt het beste wanneer er eindige manieren zijn om een probleem op te lossen en u het model een bepaalde taak wilt leren en de nauwkeurigheid en beknoptheid ervan wilt verbeteren.

  • Afstemming van versterking: dit is een modelaanpassingstechniek die nuttig is voor het optimaliseren van modelgedrag in zeer complexe of dynamische omgevingen, waardoor het model kan leren en aanpassen via iteratieve feedback en besluitvorming. Financiële dienstverleners kunnen bijvoorbeeld het model optimaliseren voor snellere, nauwkeurigere risicobeoordelingen of gepersonaliseerde beleggingsadvies. In de gezondheidszorg en farmaceutische producten kan o3-mini worden afgestemd op het versnellen van de detectie van geneesmiddelen, waardoor efficiëntere gegevensanalyse, het genereren van hypothesen en het identificeren van veelbelovende verbindingen mogelijk wordt. RFT is een uitstekende manier om af te stemmen wanneer er oneindig of hoog aantal manieren zijn om een probleem op te lossen. De grader beloont het model stapsgewijs en maakt redenering beter.

  • Direct Preference Optimization (DPO):dit is een andere nieuwe uitlijningstechniek voor grote taalmodellen, ontworpen om modelgewichten aan te passen op basis van menselijke voorkeuren. In tegenstelling tot Reinforcement Learning from Human Feedback (RLHF), vereist DPO geen beloningsmodel en maakt gebruik van binaire voorkeuren voor training. Deze methode is rekenkundig lichter en sneller, waardoor deze even effectief is bij uitlijning terwijl deze efficiënter is. U deelt de niet-voorkeursreactie en voorkeursreactie bij de trainingsset en gebruikt de DPO-techniek.

U kunt ook technieken stapelen: eerst met behulp van SFT om een aangepast model te maken dat is geoptimaliseerd voor uw use-case, en vervolgens voorkeursafstemming gebruiken om de antwoorden op uw specifieke voorkeuren af te stemmen. Tijdens de SFT-stap richt u zich op gegevenskwaliteit en representativiteit van de taken, terwijl de DPO-stap antwoorden aanpast met specifieke vergelijkingen.

Uitdagingen en beperkingen van het afstemmen

Het afstemmen van grote taalmodellen is een krachtige techniek om ze aan te passen aan specifieke domeinen en taken. Het verfijnen brengt echter ook enkele uitdagingen en beperkingen met zich mee die moeten worden overwogen voordat het op een probleem in de praktijk wordt toegepast. Hieronder volgen enkele van deze uitdagingen en nadelen.

  • Voor afstemming zijn hoogwaardige, voldoende grote en representatieve trainingsgegevens vereist die overeenkomen met het doeldomein en de doeltaak. Kwaliteitsgegevens zijn relevant, nauwkeurig, consistent en divers genoeg om de mogelijke scenario's en variaties te behandelen die het model in de echte wereld tegenkomt. Slechte of niet-representatieve gegevens leiden tot overfitting, underfitting of vertekeningen in het verfijnde model, wat de generalisatie en robuustheid schaadt.
  • Het verfijnen van grote taalmodellen betekent extra kosten voor het trainen en hosten van het aangepaste model.
  • Het opmaken van invoer-/uitvoerparen die worden gebruikt om een groot taalmodel af te stemmen, kan cruciaal zijn voor de prestaties en bruikbaarheid.
  • Het kan zijn dat het afstemmen moet worden herhaald wanneer de gegevens worden bijgewerkt of wanneer een bijgewerkt basismodel wordt vrijgegeven. Dit omvat het regelmatig bewaken en bijwerken.
  • Fine-tuning is een herhaaldelijke taak (vallen en opstaan), waardoor de hyperparameters zorgvuldig moeten worden ingesteld. Voor het afstemmen is veel experimenten en testen vereist om de beste combinatie van hyperparameters en instellingen te vinden om de gewenste prestaties en kwaliteit te bereiken.

Volgende stappen