Filtrera containerloggsamling med ConfigMap

Kubernetes-kluster genererar en stor mängd data som samlas in av Azure Monitor. Eftersom du debiteras för inmatning och kvarhållning av dessa data kan du avsevärt minska dina övervakningskostnader genom att filtrera bort data som du inte behöver. Den här artikeln beskriver hur du använder en ConfigMap för att konfigurera och filtrera samlingen med containerloggar och miljövariabler från klustret. Du kan också använda en ConfigMap för att aktivera insamling av plattformsloggar från System Kubernetes-namnområden och för att aktivera anteckningsbaserad filtrering för arbetsbelastningar.

Förutsättningar

• Den lägsta agentversion som stöds för att samla in stdout-, stderr- och miljövariabler från containerarbetsbelastningar är ciprod06142019 eller senare.

Konfigurera och distribuera ConfigMap

Använd följande procedur för att konfigurera och distribuera konfigurationsfilen ConfigMap till klustret:

1. Ladda ned agentkonfigurationens ConfigMap-mall på https://aka.ms/container-azm-ms-agentconfig och öppna den i ett redigeringsprogram.

2. Redigera YAML-filen ConfigMap med dina anpassningar. Mallen innehåller alla giltiga inställningar med beskrivningar. Om du vill aktivera en inställning tar du bort kommentarstecknet (#) och anger dess värde.

3. Skapa en ConfigMap genom att köra följande kubectl-kommando:

   kubectl config set-context <cluster-name>
   kubectl apply -f <configmap_yaml_file.yaml>
   
   # Example: 
   kubectl config set-context my-cluster
   kubectl apply -f container-azm-ms-agentconfig.yaml
   

   Konfigurationsändringen kan ta några minuter innan den börjar gälla. Sedan startas alla Azure Monitor Agent-poddar i klustret om. Omstarten är en löpande omstart för alla Azure Monitor Agent-poddar, så alla startas inte om samtidigt. När omstarterna är klara får du ett meddelande som liknar följande resultat:

   configmap "container-azm-ms-agentconfig" created`.
   

Verifiera konfiguration

Om du vill kontrollera att konfigurationen har tillämpats på ett kluster använder du följande kommando för att granska loggarna från en agentpodd.

kubectl logs ama-logs-fdf58 -n kube-system -c ama-logs

Om det finns konfigurationsfel från Azure Monitor Agent-poddarna visar utdata fel som liknar följande:

***************Start Config Processing******************** 
config::unsupported/missing config schema version - 'v21' , using defaults

Använd följande alternativ för att utföra mer felsökning av konfigurationsändringar:

• Använd samma kubectl logs kommando från ett agentkluster.

• Granska liveloggar efter fel som liknar följande:

  config::error::Exception while parsing config map for log collection/env variable settings: \nparse error on value \"$\" ($end), using defaults, please check config map for errors
  

Data skickas varje timme till tabellen KubeMonAgentEvents i din Log Analytics-arbetsyta med felallvarlighetsgrad för konfigurationsfel. Om det inte finns några fel kommer posten i tabellen att innehålla data med information om allvarlighetsgrad, som rapporterar att det inte finns några fel. Kolumnen Tags innehåller mer information om podden och container-ID:t där felet inträffade och även den första förekomsten, den senaste förekomsten och antalet under den senaste timmen.

Verifiera schemaversionen

Konfigurationsschemaversioner som stöds är tillgängliga som poddanteckning (schemaversioner) i Azure Monitor Agent-podden. Du kan se dem med följande kubectl-kommando.

kubectl describe pod ama-logs-fdf58 -n=kube-system.

Filtrera containerloggar

Containerloggar är stderr- och stdout-loggar som genereras av containrar i kubernetes-klustret. Dessa loggar lagras i tabellen ContainerLogV2 på Log Analytics-arbetsytan. Som standard samlas alla containerloggar in, men du kan filtrera bort loggar från specifika namnområden eller inaktivera insamling av containerloggar helt.

log_collection_settings Redigera avsnittet i ConfigMap för att konfigurera samlingen av stderr och stdout loggarna separat för klustret. I följande exempel visas ConfigMap-inställningarna för att samla in stdout och stderr exklusive namnrymderna kube-system och gatekeeper-system.

[log_collection_settings]
    [log_collection_settings.stdout]
        enabled = true
        exclude_namespaces = ["kube-system","gatekeeper-system"]

    [log_collection_settings.stderr]
        enabled = true
        exclude_namespaces = ["kube-system","gatekeeper-system"]

    [log_collection_settings.enrich_container_logs]
        enabled = true

Plattformsloggfiltrering (System Kubernetes-namnområden)

Som standard undantas containerloggar från systemnamnområdet från samlingen för att minimera Log Analytics-kostnaden. Containerloggar för systemcontainrar kan dock vara kritiska i specifika felsökningsscenarier. Den här funktionen är begränsad till följande systemnamnområden:

• kube-system
• gatekeeper-system
• calico-system
• azure-arc
• kube-public
• kube-node-lease.

Redigera inställningen collect_system_pod_logs i log_collection_settings avsnittet i ConfigMap för att aktivera plattformsloggar för klustret. Du måste också se till att systemnamnområdet inte finns i inställningen exclude_namespaces .

I följande exempel visas ConfigMap-inställningarna för att samla in stdout och stderr-loggar för coredns containern i kube-system namnområdet.

[log_collection_settings]
    [log_collection_settings.stdout]
        enabled = true
        exclude_namespaces = ["gatekeeper-system"]
        collect_system_pod_logs = ["kube-system:coredns"]

    [log_collection_settings.stderr]
        enabled = true
        exclude_namespaces = ["kube-system","gatekeeper-system"]
        collect_system_pod_logs = ["kube-system:coredns"]

Anteckningsbaserad filtrering för arbetsbelastningar

Med anteckningsbaserad filtrering kan du exkludera logginsamling för vissa poddar och containrar genom att kommentera podden. Detta kan minska kostnaderna för logginmatning avsevärt och göra att du kan fokusera på relevant information utan att söka igenom brus.

Redigera inställningen filter_using_annotations i log_collection_settings avsnittet i ConfigMap för att aktivera anteckningsbaserad filtrering.

[log_collection_settings.filter_using_annotations]
   enabled = true

Du måste också lägga till de anteckningar som krävs i arbetsbelastningspoddens specifikation. I följande tabell visas olika möjliga poddanteckningar.

Följande är ett exempel på fluentbit.io/exclude: "true" anteckningar i en poddspecifikation:

apiVersion: v1 
kind: Pod 
metadata: 
 name: apache-logs 
 labels: 
  app: apache-logs 
 annotations: 
  fluentbit.io/exclude: "true" 
spec: 
 containers: 
 - name: apache 
  image: edsiper/apache_logs 

Filtrera miljövariabler

Redigera inställningen log_collection_settings.env_var i log_collection_settings avsnittet i ConfigMap för att aktivera en samling miljövariabler över alla poddar och noder.

[log_collection_settings.env_var]
    enabled = true

Om en samling miljövariabler är globalt aktiverad kan du inaktivera den för en specifik container genom att ange miljövariabeln AZMON_COLLECT_ENV till False antingen med en Dockerfile-inställning eller i konfigurationsfilen för podden under env: avsnittet . Om en samling miljövariabler är globalt inaktiverad kan du inte aktivera insamling för en specifik container. Den enda åsidosättning som kan tillämpas på containernivå är att inaktivera samlingen när den redan är aktiverad globalt.

Inställningar för ConfigMap

I följande tabell beskrivs de inställningar som du kan konfigurera för att styra datainsamling med agentkonfigurationen ConfigMap.

Påverkan på visualiseringar och aviseringar

Om du har några anpassade aviseringar eller arbetsböcker med hjälp av Container Insights-data kan det försämra dessa funktioner om du ändrar inställningarna för datainsamlingen. Om du utesluter namnområden eller reducerar datainsamlingsfrekvensen granskar du dina befintliga aviseringar, instrumentpaneler och arbetsböcker med hjälp av denna data.

Om du vill söka efter aviseringar som refererar till dessa tabeller kör du följande Azure Resource Graph-fråga:

resources
| where type in~ ('microsoft.insights/scheduledqueryrules') and ['kind'] !in~ ('LogToMetric')
| extend severity = strcat("Sev", properties["severity"])
| extend enabled = tobool(properties["enabled"])
| where enabled in~ ('true')
| where tolower(properties["targetResourceTypes"]) matches regex 'microsoft.operationalinsights/workspaces($|/.*)?' or tolower(properties["targetResourceType"]) matches regex 'microsoft.operationalinsights/workspaces($|/.*)?' or tolower(properties["scopes"]) matches regex 'providers/microsoft.operationalinsights/workspaces($|/.*)?'
| where properties contains "Perf" or properties  contains "InsightsMetrics" or properties  contains "ContainerInventory" or properties  contains "ContainerNodeInventory" or properties  contains "KubeNodeInventory" or properties  contains"KubePodInventory" or properties  contains "KubePVInventory" or properties  contains "KubeServices" or properties  contains "KubeEvents" 
| project id,name,type,properties,enabled,severity,subscriptionId
| order by tolower(name) asc

Nästa steg

• Se Datatransformeringar i Container insights för att lägga till transformeringar i DCR som ytterligare filtrerar data baserat på detaljerade kriterier.