Mosaic AI Vector Search: Kostnadshanteringsguide

Den här artikeln beskriver hur du effektivt hanterar dina kostnader när du använder Mosaic AI Vector Search. Den beskriver följande ämnen:

• Grunderna för vektorsökningsindex och slutpunkt.
• Fakturerings- och användningsövervakning.
• Synkroniseringslägen.
• Metodtips för att optimera kostnader.

Information om hur du identifierar och tar bort tomma slutpunkter finns i Identifiera och ta bort tomma slutpunkter för vektorsökning.

Grunderna i Mosaic AI Vector Search

Mosaic AI Vector Search består av:

• Index för vektorsökning: Index lagrar dina vektorer för sökning och hämtning.
• Slutpunkter för vektorsökning: Varje slutpunkt är värd för ett eller flera index för att hantera frågor. Du kan ha flera index som hanteras under en enda slutpunkt, och en slutpunkt kan hantera upp till 50 index. I många fall kan du kombinera mindre arbetsbelastningar på en enda slutpunkt för att sänka de totala kostnaderna.

Hur vektorsökning prissätts

Databricks erbjuder två slutpunktsalternativ:

• Standardslutpunkter. En vektorsökningsenhet täcker upp till 2 miljoner vektorer av dimension 768 (eller motsvarande). Om du till exempel har 1 miljon vektorer av dimension 1536 räknas det också som en enhet.

• Lagringsoptimerade slutpunkter. En vektorsökningsenhet täcker upp till 64 miljoner vektorer av dimension 768 (eller motsvarande).

För båda alternativen har varje slutpunkt ett baspris och skalas upp automatiskt för att matcha den totala storleken på de index som den betjänar.

• Standardslutpunkter skalas inte ned automatiskt. Även om du tar bort vektorer eller minskar storleken på dina index fortsätter du att betala för den högre kapaciteten tills du gör ändringar manuellt.
• Lagringsoptimerade slutpunkter skalas ned automatiskt när ett index tas bort. Den minsta storleken för en slutpunkt är en vektorsökningsenhet.

Övervaka användning och kostnader

Databricks innehåller en fakturerbar användningstabell, användningsinstrumentpaneler och budgetprinciper som hjälper dig att övervaka användningen och kostnaderna för Vector Search.

Fakturerbar användningstabell

Här är en exempelfråga i den fakturerbara användningstabellen:

WITH all_vector_search_usage AS (
  SELECT *,
         CASE WHEN usage_metadata.endpoint_name IS NULL THEN 'ingest'
              WHEN usage_type = "STORAGE_SPACE" THEN 'storage'
              ELSE 'serving'
         END as workload_type
    FROM system.billing.usage
   WHERE billing_origin_product = 'VECTOR_SEARCH'
),

daily_dbus AS (
  SELECT
    workspace_id,
    cloud,
    usage_date,
    workload_type,
    usage_metadata.endpoint_name as vector_search_endpoint,
    CASE WHEN workload_type = 'serving' THEN SUM(usage_quantity)
         WHEN workload_type = 'ingest' THEN SUM(usage_quantity)
         ELSE null
         END as dbus,
    CASE WHEN workload_type = 'storage' THEN SUM(usage_quantity)
         ELSE null
         END as dsus
  FROM all_vector_search_usage
  GROUP BY 1,2,3,4,5
  ORDER BY 1,2,3,4,5 DESC
)
SELECT * FROM daily_dbus;

Mer information om den fakturerbara användningstabellen finns i Tabellreferens för fakturerbart användningssystem.

Ytterligare frågor finns i följande notebook-exempel.

Vektorsökningssystem, tabeller, sökfrågor och anteckningsbok

Hämta anteckningsbok

Instrumentpaneler för användning

Information om användningsinstrumentpaneler som du kan importera för att få insikter om kostnadsdrivrutiner, inklusive användning för vektorsökning, finns i Användningsinstrumentpaneler.

Budgetprinciper

Budgetprinciper gör det möjligt för administratörer att gruppera och filtrera faktureringsposter i alla serverlösa Azure Databricks-produkter och tillhandahålla ett dedikerat användargränssnitt för att spåra utgifter. Information om hur du tillämpar en budgetprincip på en slutpunkt för vektorsökning finns i Mosaic AI Vector Search: Budget policies (Mosaik-AI-vektorsökning: Budgetprinciper). Allmän information och information om hur du skapar och hanterar budgetprinciper finns i Attributanvändning med serverlösa budgetprinciper.

Hantera kostnader för indexsynkronisering

Du kan konfigurera indexet så att det uppdateras på två sätt:

• Utlöst synkronisering: Du anropar API:et eller Python SDK för att utlösa en indexuppdatering. Det här är det mest kostnadseffektiva alternativet.
• Kontinuerlig synkronisering: Indexet uppdateras automatiskt med ändringar från Delta-källtabellen med kort svarstid i realtid. Detta kostar mer eftersom ett strömmande kluster etableras för att hantera synkroniseringen. Om nästan realtidsuppdateringar med sekunders svarstid inte är kritiska bör du överväga att använda utlöst synkronisering för att minska kostnaderna.

Metodtips för kostnadshantering

• Kombinera arbetsbelastningar på en enda slutpunkt: Om du förväntar dig låg QPS för alla index kan du kombinera dina index under en enda slutpunkt för att undvika flera basslutpunktskostnader. Mer information finns i prestandaguiden för vektorsökning .
• Övervaka användning: Använd systemets faktureringstabeller och inbyggda instrumentpaneler för användning för att spåra kapacitet, användning och kostnader.
• För standardslutpunkter skalar du ned manuellt: För standardslutpunkter måste du ta bort slutpunkten och återskapa den om antalet vektorer understiger ett tidigare kapacitetströskelvärde som du inte längre behöver för standardslutpunkter. Lagringsoptimerade slutpunkter skalas ned automatiskt när ett index tas bort.
• Välj rätt synkroniseringsläge: Använd utlöst synkronisering i stället för Kontinuerlig synkronisering där det är möjligt för att minska strömningskostnaderna.
• Identifiera och ta bort tomma slutpunkter: Se Identifiera och ta bort tomma slutpunkter för vektorsökning.

Ytterligare resurser

• Prissättning för Mosaic AI Vector Search
• Instrumentpaneler och instruktioner för användning
• Kontakta ditt Databricks-kontoteam om du vill ha ytterligare vägledning om hur du prognostisera din användning eller utnyttja verktyg för kostnadsuppskattning som är specifika för dina arbetsbelastningar.