Dela via

Egenskaper och begränsningar för sammanfattning

Viktigt!

Översättningar som inte är engelska tillhandahålls endast för enkelhetens skull. Se versionen EN-US av det här dokumentet för den slutgiltiga versionen.

Storskaliga, naturliga språkmodeller tränas med offentligt tillgängliga textdata som vanligtvis innehåller samhälleliga fördomar. Sådana data kan potentiellt bete sig på ett sätt som är orättvist, opålitligt eller stötande. Det här beteendet kan i sin tur orsaka skador av varierande allvarlighetsgrad. Dessa typer av skador utesluter inte varandra. En enda modell kan uppvisa mer än en typ av skada, vilket kan vara relaterat till flera grupper av människor. Till exempel:

  • Tilldelning: Det är möjligt att använda språkmodeller på ett sätt som leder till orättvis allokering av resurser eller möjligheter. Till exempel kan automatiserade system som skärmupptagningar undanhålla sysselsättningsmöjligheter från kvinnor, om dessa system tränas på meritförteckningsdata som återspeglar den befintliga obalansen mellan könen inom teknikindustrin.

  • Tjänstkvalitet: Språkmodeller kan misslyckas med att tillhandahålla samma tjänstkvalitet till vissa personer som för andra. Sammanfattningsgenerering kan till exempel fungera mindre bra för vissa dialekter eller språksorter, på grund av deras brist på representation i träningsdata. Modellerna tränas främst på engelsk text. Varianter av engelska som är mindre väl representerade i träningsdata kan uppleva sämre resultat.

  • Stereotyper: Språkmodeller kan förstärka stereotyper. När du till exempel översätter Han är sjuksköterska och Hon är läkare till ett könslöst språk, till exempel turkiska, och sedan tillbaka till engelska, kan du få ett fel. Många maskinöversättningssystem ger stereotypa (och felaktiga) resultat av Hon är sjuksköterska och Han är läkare.

  • Nedlåtande: Språkmodeller kan förnedra människor. Ett system för öppen innehållsgenerering med olämpliga åtgärder kan till exempel ge stötande text som riktar sig till en viss grupp personer.

  • Över- och underrepresentation: Språkmodeller kan över- eller underrepresentera grupper, eller till och med radera dem helt. Till exempel kan toxicitetsidentifieringssystem som betygsätter text som innehåller ordet gay som giftigt leda till underrepresentation, eller till och med radering, av legitim text skriven av eller om hbtq-communityn.

  • Olämpligt eller stötande innehåll: Språkmodeller kan producera andra typer av olämpligt eller stötande innehåll. Exempel är:

    • Hatpropaganda.
    • Text som innehåller olämpliga ord eller fraser.
    • Text som rör olaglig verksamhet.
    • Text som relaterar till omtvistade, kontroversiella eller ideologiskt polariserande ämnen.
    • Desinformation.
    • Text som är manipulativ.
    • Text som relaterar till känsliga eller känslomässigt laddade ämnen.

    Till exempel kan föreslagna svarssystem som är begränsade till positiva svar föreslå olämpliga eller okänsliga svar för meddelanden om negativa händelser.

  • Falsk information: Tjänsten kontrollerar inte fakta eller verifierar innehåll som tillhandahålls av kunder eller användare. Beroende på hur du har utvecklat ditt program kan det främja falsk information om du inte har skapat en effektiv åtgärd för den här möjligheten.

  • Felaktig sammanfattning: Funktionen använder en abstrakt sammanfattningsmetod, där modellen inte bara extraherar kontexter från indatatexten. I stället försöker modellen förstå indata och parafrasera nyckelinformationen i kortfattade naturliga meningar. Det kan dock finnas information eller noggrannhetsförlust.

  • Genreövervägande: Träningsdata som används för att träna sammanfattningsfunktionen i Azure AI-tjänster för språk är huvudsakligen texter och transkriptioner mellan två deltagare. Modellen kan utföras med lägre noggrannhet för indatatexten i andra typer av genrer, till exempel dokument eller rapporter, som är mindre representerade i träningsdata.

  • Språkstöd: De flesta träningsdata finns på engelska och på andra vanliga språk som tyska och spanska. De tränade modellerna kanske inte fungerar lika bra på indata på andra språk, eftersom dessa språk är mindre representerade i träningsdata. Microsoft har investerat i att utöka språkstödet för den här funktionen.

Metodtips för att förbättra systemprestanda

Modellernas prestanda varierar beroende på scenario och indata. Följande avsnitt är utformade för att hjälpa dig att förstå viktiga begrepp om prestanda.

Du kan använda dokumentsammanfattning i en mängd olika program, var och en med olika fokus och prestandamått. Här anser vi i stort sett att prestanda innebär att programmet fungerar som förväntat, inklusive frånvaron av skadliga utdata. Det finns flera steg som du kan vidta för att minimera vissa av de problem som nämns tidigare i den här artikeln och för att förbättra prestandan:

*Eftersom funktionen för dokumentsammanfattning tränas på dokumentbaserade texter, till exempel nyhetsartiklar, vetenskapliga rapporter och juridiska dokument, när de används med texter i olika genrer som är mindre representerade i träningsdata, till exempel konversationer och transkriptioner, kan systemet produktutdata med lägre noggrannhet.

  • När den används med texter som kan innehålla fel eller som är mindre lika välformulerade meningar, till exempel texter som extraherats från listor, tabeller, diagram eller genomsökts via OCR (optisk teckenigenkänning), kan funktionen för dokumentsammanfattning ge utdata med lägre noggrannhet.
  • De flesta träningsdata finns på vanliga språk som engelska, tyska, franska, kinesiska, japanska och koreanska. De tränade modellerna kanske inte fungerar lika bra på indata på andra språk.
  • Dokument måste vara "spruckna" eller konverterade från sitt ursprungliga format till oformaterad och ostrukturerad text.
  • Även om tjänsten kan hantera högst 25 dokument per begäran, ökar svarstidens prestanda för API:et med större dokument (det blir långsammare). Detta gäller särskilt om dokumenten innehåller nästan 125 000 tecken. Läs mer om systemgränser
  • Extraheringssammanfattningen ger en poäng mellan 0 och 1 för varje mening och returnerar de högst poängsatta meningarna per begäran. Om du begär en sammanfattning med tre meningar returnerar tjänsten de tre meningarna med högst poäng. Om du begär en sammanfattning med fem meningar från samma dokument returnerar tjänsten de följande två högst poängsatta meningarna utöver de tre första meningarna.
  • Den extraherande sammanfattningen returnerar extraherade meningar i kronologisk ordning som standard. Om du vill ändra ordningen anger du sortBy. De godkända värdena för sortBy är Offset (standard). Värdet för Offset är teckenpositionerna för de extraherade meningarna och värdet för Rank är rankningspoängen för de extraherade meningarna.

Nästa steg