Finjustera modeller med Azure AI Foundry

Finjustering anpassar en förtränad AI-modell med ytterligare träning på en specifik uppgift eller datauppsättning för att förbättra prestanda, lägga till nya färdigheter eller förbättra noggrannheten. Resultatet är en ny, optimerad GenAI-modell baserat på de angivna exemplen. Den här artikeln vägleder dig genom viktiga begrepp och beslut att fatta innan du finjusterar, inklusive den typ av finjustering som passar för ditt användningsfall, och modellvalskriterier baserat på träningsteknikers användningsfall för finjustering och hur det hjälper dig i din GenAI-resa.

Om du precis har börjat med finjustering rekommenderar vi GPT-4.1 för komplexa kunskaper som språköversättning, domänanpassning eller avancerad kodgenerering. För mer fokuserade uppgifter (till exempel klassificering, attitydanalys eller innehållsmoderering) eller när du destillerar kunskap från en mer sofistikerad modell börjar du med GPT-4.1-mini för snabbare iteration och lägre kostnader.

De vanligaste användningsfallen för finjustering

Finjustering är utmärkt på att anpassa språkmodeller för specifika tillämpningar och domäner. Några viktiga användningsfall är:

• Domänspecialisering: Anpassa en språkmodell för ett specialiserat område som medicin, ekonomi eller juridik – där domänspecifik kunskap och terminologi är viktigt. Lär modellen att förstå teknisk jargong och ge mer exakta svar.
• Aktivitetsprestanda: Optimera en modell för en specifik uppgift som attitydanalys, kodgenerering, översättning eller sammanfattning. Du kan avsevärt förbättra prestandan för en mindre modell i ett visst program jämfört med en modell för generell användning.
• Format och ton: Lär modellen att matcha din föredragna kommunikationsstil – till exempel anpassa modellen för formell affärsskrivning, varumärkesspecifik röst eller tekniskt skrivande.
• Instruktioner: Förbättra modellens möjlighet att följa specifika formateringskrav, instruktioner i flera steg eller strukturerade utdata. I ramverk för flera agenter lär du modellen att anropa rätt agent för rätt uppgift.
• Efterlevnad och säkerhet: Träna en finjusterad modell för att följa organisationsprinciper, regelkrav eller andra riktlinjer som är unika för ditt program.
• Språk- eller kulturell anpassning: Skräddarsy en språkmodell för ett specifikt språk, en dialekt eller en kulturell kontext som kanske inte är väl representerad i träningsdata. Finjustering är särskilt värdefullt när en generell modell inte uppfyller dina specifika krav – men du vill undvika kostnaden och komplexiteten med att träna en modell från grunden.

Serverlös eller hanterad beräkning?

Innan du väljer en modell är det viktigt att välja den finjusteringsprodukt som matchar dina behov. Azures AI Foundry erbjuder två primära metoder för finjustering: serverlös och hanterad beräkning.

• Serverless gör det möjligt för dig att anpassa modeller med vår kapacitet och förbrukningsbaserad prissättning som börjar från 1,70 USD för en miljon indatatoken. Vi optimerar träning för hastighet och skalbarhet vid hantering av all infrastrukturhantering. Den här metoden kräver inga GPU-kvoter och ger exklusiv åtkomst till OpenAI-modeller, men med färre alternativ för hyperparameter än hanterad beräkning.
• Hanterad beräkning erbjuder ett bredare utbud av modeller och avancerad anpassning via AzureML, men kräver att du tillhandahåller egna virtuella datorer för träning och värdtjänster. Detta ger fullständig kontroll över resurser, men det kräver höga kvoter som många kunder saknar, inte innehåller OpenAI-modeller och kan inte använda våra optimeringar för flera innehavare.

För de flesta kunder ger serverlös den bästa balansen mellan användarvänlighet, kostnadseffektivitet och åtkomst till premiummodeller. Det här dokumentet fokuserar på serverlösa alternativ.

Information om hur du hittar steg för att finjustera en modell i AI Foundry finns i Finjustera modeller i AI Foundry eller Finjustera modeller med hjälp av hanterad beräkning. Detaljerad vägledning om OpenAI-finjustering finns i Finjustera Azure OpenAI-modeller.

Träningstekniker

När du har identifierat ett användningsfall måste du välja lämplig träningsteknik – som vägleder den modell du väljer för träning. Vi erbjuder tre träningstekniker för att optimera dina modeller:

• Övervakad Fine-Tuning (SFT): Grundläggande teknik som tränar din modell på indata-utdatapar och lär den att producera önskade svar för specifika indata.

  • Bäst för: De flesta användningsfall, inklusive domänspecialisering, uppgiftsutförande, stil och ton, att följa instruktioner, och språkanpassning.
  • När du ska använda: Börja här för de flesta projekt. SFT hanterar det bredaste antalet finjusteringsscenarier och ger tillförlitliga resultat med tydlig input-output träningsdata.
  • Modeller som stöds: GPT 4o, 4o-mini, 4.1, 4.1-mini, 4.1-nano; Llama 2 och Llama 3.1; Phi 4, Phi-4-mini-instruct; Mistral Nemo, Ministral-3B, Mistral Large (2411); NTT Tsuzumi-7b

• DPO (Direct Preference Optimization): Tränar modeller att föredra vissa typer av svar framför andra genom att lära sig av jämförande feedback, utan att kräva en separat belöningsmodell.

  • Bäst för: Förbättra svarskvaliteten, säkerheten och anpassningen till mänskliga preferenser.
  • När du ska använda: När du har exempel på föredragna eller icke-föredragna utdata, eller när du behöver optimera för subjektiva egenskaper som användbarhet, ofarlighet eller stil. Användningsfall omfattar anpassning av modeller till en viss stil och ton, eller anpassning av en modell till kulturella preferenser.
  • Modeller som stöds: GPT 4o, 4.1, 4.1-mini, 4.1-nano

• Förstärkning Fine-Tuning (RFT): Använder förstärkningsinlärning för att optimera modeller baserat på belöningssignaler, vilket möjliggör mer komplexa optimeringsmål.

  • Bäst för: Komplexa optimeringsscenarier där enkla indatautdatapar inte räcker till.
  • När du ska använda: RFT är idealiskt för objektiva domäner som matematik, kemi och fysik där det finns tydliga rätt och fel svar och modellen redan visar viss kompetens. Det fungerar bäst när gissning av tur är svårt och expertbedömare konsekvent skulle enas om ett otvetydigt, korrekt svar. Kräver mer ML-expertis för att implementera effektivt.
  • Modeller som stöds: o4-mini

De flesta kunder bör börja med SFT, eftersom det hanterar det bredaste antalet finjusteringsanvändningsfall.

Följ den här länken om du vill visa och ladda ned exempeldatauppsättningar för att testa finjustering.

Träningsmodaliteter

• Text till text (alla modeller): Alla våra modeller stöder standardjustering av text till text för språkbaserade uppgifter.
• Vision + Text (GPT 4o, 4.1): Vissa modeller stöder finjustering av visioner och accepterar både bild- och textindata samtidigt som textutdata produceras. Användningsfall för finjustering av visioner omfattar tolkning av diagram, grafer och visuella data. innehållsmoderering; utvärdering av visuell kvalitet. dokumentbearbetning med blandad text och bild; produktkataloger från fotografier.

Jämförelsetabell för modell

Den här tabellen innehåller en översikt över de tillgängliga modellerna

Kom igång med finjustering

1. Definiera ditt användningsfall: Identifiera om du behöver en mycket kapabel generell modell (t.ex. GPT 4.1), en mindre kostnadseffektiv modell för en specifik uppgift (GPT 4.1-mini eller nano) eller en komplex resonemangsmodell (o4-mini).
2. Förbered dina data: Börja med 50–100 högkvalitativa exempel för inledande testning, skalning till över 500 exempel för produktionsmodeller.
3. Välj din teknik: Börja med Övervakad Fine-Tuning (SFT) om du inte har specifika krav för resonemangsmodeller/RFT.
4. Iterera och utvärdera: Finjustering är en iterativ process – börja med en baslinje, mäta prestanda och förfina din metod baserat på resultat.

Information om hur du hittar steg för att finjustera en modell i AI Foundry finns i Finjustera modeller i AI Foundry, Finjustera Azure OpenAI-modeller eller Finjustera modeller med hjälp av hanterad beräkning.

Fine-Tuning tillgänglighet

Nu när du vet när du ska använda finjustering för ditt användningsfall kan du gå till Azure AI Foundry för att hitta modeller som är tillgängliga för finjustering.

För att finjustera en AI Foundry-modell med serverlös måste du ha ett hubb/projekt i den region där modellen är tillgänglig för finjustering. Se Regiontillgänglighet för modeller i serverlös API-distribution för detaljerad information om modell- och regionstillgänglighet och Skapa ett hubbbaserat projekt för att skapa projektet.

Om du vill finjustera en OpenAI-modell kan du använda en Azure OpenAI-resurs, en Foundry-resurs eller ett standardprojekt eller ett nav/projekt. GPT 4.1, 4.1-mini, 4.1-nano och GPT 4o, 4omini är tillgängliga i alla regioner med global utbildning. Regional tillgänglighet finns i Regional tillgänglighet och gränser för Azure OpenAI finjustering. Mer information om hur du skapar ett nytt projekt finns i Skapa ett projekt för Azure AI Foundry .

För att finjustera en modell med hanterad beräkning måste du ha ett projekt och tillgänglig VM-kvot för träning och inferens. Mer information om hur du använder finjustering av hanterad beräkning finns i Finjustera modeller med hanterad beräkning (förhandsversion) och Skapa ett hubbbaserat projekt för att skapa projektet.

Relaterat innehåll

• Finjustera modeller med hanterad beräkning (förhandsversion)
• Finjustera en Azure OpenAI-modell i Azure AI Foundry-portalen
• Finjustera modeller med hjälp av serverlös API-distribution