Tekniker för utformning av promptar

Dessa tekniker rekommenderas inte för resonemangsmodeller som gpt-5- och o-seriemodeller.

Snabb konstruktion kan vara svårt. I praktiken hjälper promptakterna modellen att slutföra den önskade uppgiften, men det är mer av en konst än en vetenskap, som ofta kräver erfarenhet och intuition för att skapa en lyckad uppmaning. Målet med den här artikeln är att hjälpa dig att komma igång med den här inlärningsprocessen. Den försöker samla in allmänna begrepp och mönster som gäller för alla GPT-modeller. Det är dock viktigt att förstå att varje modell beter sig annorlunda, så inlärningarna kanske inte gäller lika för alla modeller.

Grundläggande

Det här avsnittet beskriver de grundläggande begreppen och elementen i GPT-frågor.

Textprompter är hur användare interagerar med GPT-modeller. Precis som med alla generativa språkmodeller försöker GPT-modeller producera nästa serie ord som är mest sannolika att följa från föregående text. Det är som om vi säger Vad är det första du tänker på när jag säger <prompt>? Exemplen nedan visar det här beteendet. Med tanke på de första orden i det berömda innehållet kan modellen korrekt fortsätta texten.

När du utvecklar mer komplexa frågor är det bra att ha det här grundläggande beteendet i åtanke. Oavsett vilken uppmaning som tillhandahålls svarar modellen helt enkelt med vad den anser är mest sannolikt (med tanke på dess träningsdata och träningsmål). Om du ställer en fråga i din prompt följer modellen inte en separat "Q&A"-kodväg, utan den verkar snarare svara på frågan eftersom ett svar är den mest sannolika typen av respons för den givna frågan som indata.

Komponenter i prompten

När du använder API:et För slutförande medan det inte finns någon differentiering mellan olika delar av prompten kan det fortfarande vara användbart för inlärning och diskussion att identifiera underliggande promptkomponenter. Med API:et för chattens slutförande finns det distinkta avsnitt i prompten som skickas till API:et i form av en matris med ordlistor med associerade roller: system, användare och assistent. Den här vägledningen fokuserar mer generellt på hur du tänker på snabb konstruktion i stället för att ge normativ vägledning som är specifik för ett API framför ett annat.

Det är också viktigt att förstå att även om det kan finnas andra giltiga sätt att analysera uppmaningar, är målet med denna uppdelning att erbjuda ett relativt enkelt sätt att överväga uppmaningskonstruktion. Med API:et För slutförande är alla komponenter valfria, men minst en måste finnas och de flesta uppmaningar innehåller mer än en komponent. Det kan också finnas en gråzon mellan komponenterna. Ordningen nedan motsvarar ungefär hur ofta varje komponent används, från de flesta till minst.

Instruktion

Instruktioner är troligen den vanligaste promptkomponenten. Instruktioner är helt enkelt instruktioner till modellen om vad den ska göra. Även om de är enkla i konceptet kan de vara komplexa i praktiken. Följande tabell illustrerar detta genom att visa både enkla och mer komplexa instruktioner i två olika former.

Primärt innehåll

Primärt innehåll refererar till någon form av text som bearbetas eller transformeras av modellen. Primärt innehåll används vanligtvis tillsammans med instruktioner. Ett enkelt exempel är språköversättning. I exemplet nedan betraktas den engelska texten som primärt innehåll medan "Översätt till franska:" är en instruktion.

Primärt innehåll kan också vara mycket längre. I följande exempel är det primära innehållet introduktionsavsnittet från Wikipedia-posten om tidskomplexitet, som är nästan 300 ord långt. Det här innehållet förkortas i vår tabell för att underlätta visning.

GPT-modeller kan också hantera primärt innehåll som är strukturerat. I exemplet nedan skickas en TSV om öl i Belgien (förkortat för visning i den här artikeln) till modellen som en del av prompten. Den kan tolka innehållet korrekt och svara på frågor om data.

Exempel

Lyckade uppmaningar förlitar sig ofta på metoder som "one-shot" eller "few-shot"-inlärning. Detta syftar på införandet av ett eller flera exempel på modellens önskade beteende, vanligtvis genom att inkludera indata- och utdatapar. Detta är inte att lära sig i den meningen att modellen ändras permanent, utan snarare att exemplen bättre villkorar modellen att svara som önskat för endast den aktuella slutsatsdragningen. Användningen av prompter utan exempel kallas ibland "nollskottsinlärning". Observera att med Chat Completion API läggs exempel för få-shot lärande vanligtvis till i meddelandearrayen i form av användar-/assistentinteraktioner efter det första systemmeddelandet.

Exemplet ovan illustrerar användbarheten av few-shot-lärande. Utan exemplen verkar modellen gissa på önskat beteende, medan exemplen visar modellen hur den ska fungera. Detta visar också kraften i modellen, den kan härleda den kategori av etikett som önskas, även utan en "basketboll"-etikett i exemplen.

Signal

Signaler fungerar som "jumpstart" för modellens utdata, vilket hjälper till att dirigera modellen till önskade utdata. Det är ofta ett prefix som modellen kan bygga vidare på. I exemplet nedan visar vi den referens som leder berättelsen till att inkludera viktiga element. Tips används ofta tillsammans med instruktioner, men inte alltid. I exemplen nedan används modellen för att sammanfatta ett långt e-postmeddelande. En referens används i ett fall för att fokusera modellens utdata och för att föreslå ett specifikt utdataformat (punktlistor) i det andra.

I kontexten för Chat Completion API tar instruktioner formen av ett systemmeddelande, och få-shot-exempel anges genom att tillhandahålla en serie exempelinteraktioner mellan användare och assistent för att förbereda modellen.

Ytterligare innehåll

Stöd för innehåll är information som modellen kan använda för att påverka utdata på något sätt. Det skiljer sig från primärt innehåll eftersom det inte är huvudmålet för uppgiften, men det används vanligtvis tillsammans med primärt innehåll. Vanliga exempel är sammanhangsbaserad information, till exempel aktuellt datum, namnet på användaren, användarinställningar och så vidare. Exemplet nedan använder stödinnehåll för att organisera en uppsättning planerade workshops för användaren. Utan de stödjande (viktiga ämnena) listar modellen helt enkelt bort workshops (trunkerade för visning), när de informeras om mina viktiga ämnen kan modellen korrekt gruppera mötena.

Scenariospecifik vägledning

Teknikerna i det här avsnittet lär dig strategier för att öka noggrannheten och grunderna för svar som du genererar med en stor språkmodell (LLM). Det är dock viktigt att komma ihåg att även när du använder snabbteknik effektivt måste du fortfarande verifiera de svar som modellerna genererar. Bara för att en noggrant utformad fråga fungerade bra för ett visst scenario betyder det inte nödvändigtvis att den generaliserar bredare till vissa användningsfall. Det är lika viktigt att förstå begränsningarna för LLM:er som att förstå hur de kan utnyttja sina styrkor.

Den här guiden går inte in närmare på mekaniken bakom meddelandestrukturen för chattavslutningar. Om du inte är bekant med att interagera med modeller för chattslutsättningar programmatiskt rekommenderar vi att du läser vår instruktionsguide om API:et för chattslutsättning först.

Få-exempelinlärning

Ett vanligt sätt att anpassa språkmodeller till nya uppgifter är att använda inlärning med få skott. I få-exempel-inlärning tillhandahålls en uppsättning träningsexempel som en del av instruktionen för att ge ytterligare kontext till modellen.

När du använder API:et För slutförande av chatt kan en serie meddelanden mellan användaren och assistenten (skrivna i det nya promptformatet) fungera som exempel för inlärning med få skott. De här exemplen kan användas för att få modellen att svara på ett visst sätt, emulera vissa beteenden och få svar på vanliga frågor.

Tabellen ovan beskriver den grundläggande promptstrukturen, men för en detaljerad förklaring av det exakta promptformatet måste du läsa guiden För att slutföra chatten.

Scenarier som inte är chattscenarion

Api:et för slutförande av chatt är optimerat för att fungera med konversationer med flera turer, men det kan också användas för icke-chattscenarier. För ett scenario med attitydanalys kan du till exempel använda följande fråga:

Börja med tydliga instruktioner

Sekvensinformationen som visas i uppmaningen spelar roll. Detta beror på att GPT-formatmodeller är inbyggda på ett visst sätt som definierar hur de bearbetar indata. Vår forskning tyder på att berätta för modellen vilken uppgift du vill att den ska göra i början av prompten, innan du delar ytterligare sammanhangsbaserad information eller exempel, kan hjälpa till att producera utdata av högre kvalitet.

Upprepa instruktioner i slutet

Modeller kan vara känsliga för recency bias, vilket i det här sammanhanget innebär att information i slutet av prompten kan ha större inflytande över utdata än information i början av prompten. Därför är det värt att experimentera med att upprepa instruktionerna i slutet av prompten och utvärdera effekten på det genererade svaret.

Prime-utdata

Detta syftar på att inkludera några ord eller fraser i slutet av prompten för att få ett modellsvar som följer det önskade formuläret. Till exempel kan en signal såsom “Here’s a bulleted list of key points:\n- ” hjälpa dig att se till att utdata formateras som en lista med punkter.

I ovanstående prompt är texten En möjlig sökfråga: förbereder modellen för att skapa en enda utdata. Utan den här signalen skapar modellen flera sökfrågor som utdata.

Lägg till klar syntax

Genom att använda tydlig syntax för din fråga – inklusive skiljetecken, rubriker och avsnittsmarkörer – kan du kommunicera avsikt och gör ofta utdata enklare att parsa.

I exemplet nedan har avgränsare (--- i det här fallet) lagts till mellan olika informationskällor eller steg. På så sätt kan du använda --- som ett stoppvillkor för generering. Dessutom visas avsnittsrubriker eller särskilda variabler i versaler för att särskilja dem.

Om du inte är säker på vilken syntax du ska använda bör du överväga att använda Markdown eller XML. Modellerna har tränats på ett stort antal webbinnehåll i XML och Markdown, vilket kan ge bättre resultat.

Dela upp aktiviteten

Stora språkmodeller (LLM) fungerar ofta bättre om uppgiften är uppdelad i mindre steg. I sökfrågeprompten som refererades tidigare kan prompten till exempel omstruktureras så att modellen först instrueras att extrahera relevanta fakta och sedan instrueras att generera sökfrågor som kan användas för att verifiera dessa fakta.

Observera användningen av tydlig syntax för att särskilja avsnitten och primföra utdata. I det här enkla exemplet är det inte särskilt dramatiskt att bryta ned uppgiften från ett till två steg, men när du försöker göra detta för en större text med många faktiska anspråk kan det göra stor skillnad att bryta ned uppgiften.

Användning av funktioner

Ibland kan vi få modellen att använda en affordance i stället för att förlita sig på sina egna parametrar för information och svar. Sök kan till exempel vara ett verktyg för att lindra effekten av fabricerade svar och för att få uppdaterad information.

Ett enkelt sätt att använda en affordance är att stoppa processen när affordance-anropen har genererats av modellen, och sedan infoga resultaten i prompten igen. Nedan visas ett exempel på vad uppföljningssamtalet kan vara när du har gjort SEARCH-anropen ovan. Observera hur vi klistrade in sökresultaten i prompten och ersatte de tidigare SEARCH-anropen .

Kedja av tankefråga

Det här är en variant på bryt ner uppgiften-tekniken. I stället för att dela upp en uppgift i mindre steg instrueras modellsvaret att fortsätta steg för steg och presentera alla steg som ingår. Detta minskar risken för felaktigheter i resultaten och gör det enklare att utvärdera modellsvaret.

Specificera utdatastrukturen

Om du använder din uppmaning för att ange strukturen för utdata kan det ha en betydande inverkan på resultatets natur och kvalitet. Ibland kanske systemmeddelandeindata som "endast skriver sanna fakta" eller "inte fabricerar information" kanske inte är tillräckliga åtgärder. I stället kan en begäran om att modellsvaret även ska innehålla citat bidra till att minska förekomsten av felaktiga svar.

Om du instruerar modellen att citera källmaterialet när den gör uttalanden är dessa uttalanden mycket mer sannolika att vara välgrundade. Att be om citat gör det så att modellen måste göra två fel varje gång den genererar ett svar: det första felet är det fabricerade svaret och det andra är den felaktiga källhänvisning. Notera att ju närmare citatet är den text som det stöder, desto kortare är avståndet före modellen för att förutse citeringen, vilket tyder på att infogade citat är bättre för att motverka falsk innehållsgenerering än citat i slutet av innehållet.

På samma sätt, om du ber modellen att extrahera faktauttryck från ett stycke, kan den extrahera sammansatta instruktioner som "X gör Y OCH Z" (vilket kan vara svårare att verifiera). Detta kan undvikas genom att ange en utdatastruktur som (entitet1, relation, entitet2).

Exemplen nedan visar hur du använder citat och dirigerar modellsvaret så att det passar en definierad struktur.

Parametrar för temperatur och Top_p

Om du ändrar temperaturparametern ändras modellens utdata. Temperaturparametern kan anges mellan 0 och 2. Ett högre värde, till exempel 0,7, gör utdata mer slumpmässiga och ger mer avvikande svar, medan ett lägre värde, till exempel. 0.2, gör resultatet mer fokuserat och konkret. En fiktiv berättelse kan genereras med en högre temperatur. För att generera ett juridiskt dokument rekommenderar vi att du använder en mycket lägre temperatur. Top_probability är en annan parameter och liknar Temperatur eftersom den också styr slumpmässigheten i modellsvaret, men det gör det på ett annat sätt. Den allmänna rekommendationen är att ändra en av dessa två parametrar i taget, inte båda.

Ge grundläggande kontext

Ett av de mest effektiva sätten att ge tillförlitliga svar är att ge modelldata för att hämta sina svar från (grunddata). Om ditt användningsfall förlitar sig på uppdaterad, tillförlitlig information och inte bara är ett kreativt scenario rekommenderar vi starkt att du tillhandahåller grunddata. I allmänhet, ju närmare du kan få ditt källmaterial till den slutliga formen av det svar du vill ha, desto mindre arbete behöver modellen göra, vilket innebär att det finns mindre möjlighet till fel. Här är ett exempel där systemet får en nyligen publicerad blogg som beskriver lanseringen av GPT-4 i Azure OpenAI i Azure AI Foundry Models och ombeds att namnge några av sina tidiga kunder.

¹ Text från Startbloggen för Azure OpenAI GPT-4.

Metodtips

• Var specifik. Lämna så lite till tolkning som möjligt. Begränsa driftutrymmet.
• Var beskrivande. Använd analogier.
• Satsa dubbelt. Ibland kan du behöva upprepa dig för modellen. Ge instruktioner före och efter ditt primära innehåll, använd en instruktion och en ledtråd osv.
• Beställningen är viktig. I vilken ordning du presenterar information för modellen kan det påverka utdata. Om du lägger till instruktioner före ditt innehåll ("sammanfatta följande...") eller efter ("sammanfatta ovanstående...") kan göra skillnad i utdata. Även ordningen av exempel med få inslag kan vara viktig. Detta kallas recency-bias.
• Ge modellen en "utväg". Ibland kan det vara bra att ge modellen en alternativ sökväg om den inte kan slutföra den tilldelade aktiviteten. När du till exempel ställer en fråga om en textdel kan du inkludera något som "svara med "hittades inte" om svaret inte finns. Detta kan hjälpa modellen att undvika att generera falska svar.

Effektiv rumsanvändning

Även om indatastorleken ökar för varje ny generation GPT-modeller, kommer det att finnas scenarier som ger mer data än modellen kan hantera. GPT-modeller delar upp ord i "token". Vanliga ord med flera stavelser är ofta en enda token, men mindre vanliga ord bryts i stavelser. Token kan ibland vara kontraintuitiva, vilket visas i exemplet nedan som visar tokengränser för olika datumformat. I det här fallet är det mer utrymmeseffektivt att stava ut hela månaden än ett helt numeriskt datum.

Med tanke på detta begränsade utrymme är det viktigt att använda det så effektivt som möjligt.

• Tabeller – Som du ser i exemplen i föregående avsnitt kan GPT-modeller enkelt förstå tabellformaterade data. Detta kan vara ett utrymmeseffektivt sätt att inkludera data i stället för att föregå varje fält med namn (till exempel med JSON).
• Blanksteg – Efterföljande blanksteg behandlas som separata tokens, vilket kan enkelt slösa utrymme. Blanksteg som föregår ett ord behandlas, å andra sidan, vanligtvis som en del av samma token som ordet. Granska noggrant din användning av blanksteg och använd inte skiljetecken när ett utrymme räcker.

Relaterat innehåll

• Läs mer om Azure OpenAI.
• Kom igång med modellen ChatGPT med ChatGPT snabbstart.
• Fler exempel finns på GitHub-lagringsplatsen Azure OpenAI Samples