Anteckning
Åtkomst till den här sidan kräver auktorisering. Du kan prova att logga in eller ändra kataloger.
Åtkomst till den här sidan kräver auktorisering. Du kan prova att ändra kataloger.
Modellkatalogen i Azure AI Foundry är navet för att identifiera och använda ett brett utbud av Foundry-modeller för att skapa generativa AI-program. Du måste distribuera modeller för att göra dem tillgängliga för att ta emot slutsatsdragningsbegäranden. Azure AI Foundry erbjuder en omfattande uppsättning distributionsalternativ för Foundry Models, beroende på dina behov och modellkrav.
Implementeringsalternativ
Azure AI Foundry tillhandahåller flera distributionsalternativ beroende på vilken typ av modeller och resurser du behöver etablera. Följande distributionsalternativ är tillgängliga:
- Standarddistribution i Azure AI Foundry-resurser
- Distribution till serverlösa API-slutpunkter
- Utplacering till hanterade enheter
Azure AI Foundry-portalen kan automatiskt välja ett distributionsalternativ baserat på din miljö och konfiguration. Använd Azure AI Foundry-resurser för distribution när det är möjligt. Modeller som stöder flera distributionsalternativ använder som standard Azure AI Foundry-resurser för distribution. Om du vill komma åt andra distributionsalternativ använder du Azure CLI eller Azure Machine Learning SDK för distribution.
Standarddistribution i Azure AI Foundry-resurser
Azure AI Foundry-resurser (kallades tidigare Azure AI Services-resurser) är det föredragna distributionsalternativet i Azure AI Foundry. Det erbjuder det bredaste utbudet av funktioner, inklusive regional, datazon eller global bearbetning, och det erbjuder standard- och etablerade dataflödesalternativ (PTU). Flaggskeppsmodeller i Azure AI Foundry Models stöder det här distributionsalternativet.
Det här distributionsalternativet är tillgängligt i:
- Azure AI Foundry-resurser
- Azure OpenAI-resurser1
- Azure AI-hubb, när den är ansluten till en Azure AI Foundry-resurs
1Om du använder Azure OpenAI-resurser visar modellkatalogen endast Azure OpenAI i Foundry Models för distribution. Du kan hämta den fullständiga listan över Foundry-modeller genom att uppgradera till en Azure AI Foundry-resurs.
Information om hur du kommer igång med standarddistribution i Azure AI Foundry-resurser finns i Så här gör du: Distribuera modeller till Azure AI Foundry Models.
Serverlös API-slutpunkt
Det här distributionsalternativet är endast tillgängligt iAzure AI Hub-resurser. Det gör att du kan skapa dedikerade slutpunkter som värd för modellen, som är tillgängliga via ett API. Azure AI Foundry Models stöder serverlösa API-slutpunkter med betala per användning-fakturering, och du kan bara skapa regionala distributioner för serverlösa API-slutpunkter.
Information om hur du kommer igång med distribution till en serverlös API-slutpunkt finns i Distribuera modeller som serverlösa API-distributioner.
Hanterad databearbetning
Det här distributionsalternativet är endast tillgängligt iAzure AI Hub-resurser. Med den kan du skapa en dedikerad slutpunkt som är värd för modellen i en dedikerad beräkning. Du måste ha beräkningskvot i din prenumeration för att köra modellen, och du debiteras per drifttid för beräkningar.
Implementering av hanterad beräkning krävs för modellsamlingar som innehåller:
- Kramande ansikte
- NVIDIA-slutsatsdragningsmikrotjänster (NIM)
- Branschmodeller (Saifr, Rockwell, Bayer, Cerence, Sight Machine, Page AI, SDAIA)
- Databricks
- Anpassade modeller
För att komma igång, se Så här implementerar och gör du förutsägelser med en hanterad beräkningsimplementering och Distribuera Azure AI Foundry Models till hanterad beräkning med fakturering per användning.
Funktioner för distributionsalternativen
Använd Standard-distributioner i Azure AI Foundry-resurser när det är möjligt. Det här distributionsalternativet innehåller de flesta funktionerna bland de tillgängliga distributionsalternativen. I följande tabell visas information om specifika funktioner för varje distributionsalternativ:
| Kapacitet | Standarddistribution i Azure AI Foundry-resurser | Serverlös API-slutpunkt | Hanterad databearbetning |
|---|---|---|---|
| Vilka modeller kan distribueras? | Foundry-modeller | Foundrymodeller med betalning efter användning | Öppna och anpassade modeller |
| Distributionsresurs | Azure AI Foundry-resurs | AI-projekt (i AI-hubresurs) | AI-projekt (i AI-hubresurs) |
| Kräver AI Hubs | Nej | Ja | Ja |
| Alternativ för databehandling | Regional Datazon Global |
Regionell | Regionell |
| Privata nätverk | Ja | Ja | Ja |
| Innehållsfiltrering | Ja | Ja | Nej |
| Anpassad innehållsfiltrering | Ja | Nej | Nej |
| Nyckellös autentisering | Ja | Nej | Nej |
| Faktureringsbaser | Tokenanvändning & tilldelade genomströmningsenheter | Tokenanvändning2 | Beräkna kärntimmar3 |
2 En minimal slutpunktsinfrastruktur faktureras per minut. Du debiteras inte för infrastrukturen som är värd för modellen i serverlös distribution. När du har tagit bort slutpunkten ackumuleras inga ytterligare avgifter.
3 Fakturering sker per minut, beroende på produktnivå och antalet instanser som använts i distributionen sedan skapandet. När du har tagit bort slutpunkten ackumuleras inga ytterligare avgifter.