Dela via

Webbläsarautomatisering (förhandsversion)

Varning

Verktyget Webbläsarautomatisering medför betydande säkerhetsrisker. Både fel vid bedömning av AI:n och förekomsten av skadliga eller förvirrande instruktioner på webbsidor som AI:n stöter på kan leda till att den kör kommandon som du eller andra inte har för avsikt, vilket kan äventyra säkerheten för dina eller andra användares webbläsare, datorer och konton som webbläsaren eller AI:n har åtkomst till. inklusive personliga system, finansiella system eller företagssystem. Genom att använda verktyget Webbläsarautomatisering erkänner du att du bär ansvar för all användning av det och eventuella resulterande agenter som du skapar med det, inklusive med avseende på andra användare som du gör webbläsarautomatiseringsverktyg tillgängliga för, inklusive via resulterande agenter. Vi rekommenderar starkt att du använder verktyget Webbläsarautomatisering på virtuella datorer med låg behörighet utan åtkomst till känsliga data eller kritiska resurser.

Med verktyget Webbläsarautomatisering kan användarna utföra verkliga webbläsaruppgifter via frågor om naturligt språk. Den drivs av Microsoft Playwright Workspaces och underlättar konversationer med flera turer för att automatisera webbläsarbaserade arbetsflöden som att söka, navigera, fylla i formulär och boka.

Så här fungerar det

Interaktionen börjar när användaren skickar en användarfråga till en agent som är ansluten till verktyget Webbläsarautomatisering. Till exempel "Visa mig alla tillgängliga yogaklasser den här veckan från följande URL-url<>." När du tar emot begäran skapar Azure AI Foundry Agent Service en isolerad webbläsarsession med din egen etablerade Playwright-arbetsyta. Varje session är avskärmad för sekretess och säkerhet. Webbläsarsessionen efterliknar en riktig användarbläddringsupplevelse som möjliggör interaktion med komplexa webb-UIs (till exempel klassscheman, filter eller bokningssidor). Webbläsaren utför Playwright-drivna åtgärder, till exempel att navigera till relevanta sidor och tillämpa filter eller parametrar baserat på användarinställningar (till exempel tid, plats, instruktör). Genom att kombinera modellen med Playwright kan modellen se webbläsarskärmen genom att parsa HTML- eller XML-sidorna i DOM-dokument, fatta beslut och utföra åtgärder som att klicka, skriva och navigera på webbplatser. Du bör vara försiktig när du använder det här verktyget.

Ett exempelflöde skulle vara:

  1. En användare skickar en begäran till modellen som innehåller ett anrop till verktyget Webbläsarautomatisering med den URL som du vill gå till.

  2. Verktyget Webbläsarautomatisering tar emot ett svar från modellen. Om svaret innehåller åtgärdsobjekt innehåller dessa objekt föreslagna åtgärder för att göra framsteg mot det angivna målet. En åtgärd kan till exempel vara en skärmbild så att modellen kan utvärdera det aktuella tillståndet med en uppdaterad skärmbild eller klicka med X/Y-koordinater som anger var musen ska flyttas.

  3. Verktyget Webbläsarautomatisering kör åtgärden i en sandbox-miljö.

  4. När åtgärden har körts avbildar verktyget Webbläsarautomatisering det uppdaterade tillståndet för miljön som en skärmbild.

  5. Verktyget skickar en ny begäran med det uppdaterade tillståndet och upprepar den här loopen tills modellen slutar begära åtgärder eller användaren bestämmer sig för att stoppa.

    Verktyget Webbläsarautomatisering stöder konversationer med flera turer så att användaren kan förfina sin begäran och slutföra en bokning.

Exempelscenarier:

  • Bokningar och reservationer: Automatisera formulärfyllning och schemabekräftelse i bokningsportaler.

  • Produktidentifiering: Navigera i e-handel eller granska webbplatser, sök efter kriterier och extrahera sammanfattningar.

Inställningar

  1. Skapa en Playwright Workspace-resurs .

    1. Generera en åtkomsttoken för resursen Playwright Workspace.

    2. Öppna arbetsytans regionslutpunkt på sidan Information om arbetsyta .

    3. Ge projektidentiteten rollen "Deltagare" på Resursen för Dramatikerarbetsyta eller konfigurera en anpassad roll.

  2. Skapa en serverlös anslutning i Azure AI Foundry-projektet med regionslutpunkten för Playwright-arbetsytan och Access Token för Playwright-arbetsytan.

    1. Gå till Azure AI Foundry-portalen och välj ditt projekt. Gå till hanteringscentret och välj anslutna resurser.

    2. Skapa en ny serverlös modellanslutning och ange följande information.

      • Mål-URI: Regionslutpunkten för Playwright-arbetsytan, till exempel wss://{region}.api.playwright.microsoft.com/playwrightworkspaces/{workspaceId}/browsers. URI:n bör börja med wss:// i stället för https:// om den visas.

      Mer information om hur du hämtar det här värdet finns i PlayWright-dokumentationen

    Mer information om hur du skapar en anslutning finns i Skapa en anslutning.

  3. Konfigurera klienten genom att lägga till ett webbläsarautomatiseringsverktyg med hjälp av Azure Playwright-anslutnings-ID:t.

Transparensanteckning

Granska transparensmeddelandet när du använder det här verktyget. Verktyget Webbläsarautomatisering är ett verktyg som kan utföra verkliga webbläsaruppgifter via frågor om naturligt språk, vilket möjliggör automatiserade webbläsaraktiviteter utan mänsklig inblandning.

Granska de ansvarsfulla AI-övervägandena när du använder det här verktyget.