Snowflake Cost Management: Insights aus über 100 Kundenprojekten

Bevor Sie Ihre Kosten beeinflussen können, brauchen Sie Tools, die Ihnen Kostentransparenz verschaffen. Solange Sie nicht wissen, was Ihren Snowflake-Verbrauch treibt und wie sich diese Treiber im Zeitverlauf verändern, fehlt Ihnen die Grundlage, um gezielt anzusetzen.

Wer für das Snowflake-Cost-Management verantwortlich ist, sollte folgende Fragen schnell und mühelos beantworten können:

1. Wie hoch sind unsere durchschnittlichen monatlichen Snowflake-Ausgaben?
2. Welcher Anteil unseres gebuchten Vertragsvolumens wird voraussichtlich verbraucht?
3. Wie viel geben Sie pro Jahr (in $, nicht in Credits) für jedes Virtual Warehouse, jeden Serverless Task, jede Datenbank usw. aus?
4. Was kostet jeder einzelne Query-Workload, der in Ihrer Umgebung läuft?
5. Wie viel Verbrauch verursacht jeder einzelne User bzw. jedes Team in Ihrem Account?
6. Wie haben sich diese Kennzahlen in den letzten X Tagen entwickelt?

Cost Management in Snowsight

Der Bereich Snowflake Cost Management unter Admin ist ein guter Ausgangspunkt. Hier sehen Sie:

• Kosten auf Organisationsebene:
  • Gesamtes Vertragsvolumen
  • Verbleibendes Guthaben
  • Gesamtausgaben
• Credit-Verbrauch (nicht $) auf Account-Ebene:
  • nach Service-Typ
  • nach Ressource (z. B. Virtual Warehouse)

Wichtig zu wissen: Die Credit-Verbrauchswerte im Snowflake-Consumption-Tab können um bis zu 10 % zu hoch ausgewiesen sein, weil Cloud-Services-Credits mit eingerechnet werden. Cloud-Services-Verbrauch wird nur dann berechnet, wenn er 10 % der täglichen Compute-Kosten übersteigt. Die meisten Kunden zahlen keine Cloud-Services-Kosten, weshalb die Zahlen im Screenshot oben fast immer überhöht sind. Mehr dazu hier.

Warum es noch tiefer gehen muss

Die meisten Snowflake-Kunden wachsen früher oder später aus dem Cost-Management-UI im Admin-Bereich heraus und entscheiden sich entweder dafür, erhebliche interne Ressourcen in den Aufbau eigener Monitoring-Dashboards zu stecken, oder sie setzen auf eine etablierte Drittanbieter-Plattform wie SELECT.

Der Grund ist immer derselbe: Es muss tiefer gehen. Das Cost-Management-UI liefert eine solide Aufschlüsselung Ihrer Ausgaben und zeigt die größten Verbrauchstreiber. Im Screenshot oben sehen wir, dass das Top-Warehouse den Großteil der Kosten verursacht. Aber warum? Was genau innerhalb dieses Warehouses treibt die Kosten?

Um die Kostentransparenz innerhalb Ihrer Virtual Warehouses zu erhöhen, empfehlen wir, die Kosten jeder einzelnen Query zu berechnen und sie anschließend über Query-Metadaten zu Workload-Kosten zu aggregieren. Als Metadaten eignen sich eigene Query-Tags oder Kommentare, die Sie Ihren Queries hinzufügen, oder Metadaten aus Tools wie dbt oder Looker. Damit erkennen Sie auf einen Blick, welche Compute-Treiber wirklich hinter den Kosten jedes Virtual Warehouses stecken:

Neben Virtual Warehouses gibt es weitere Snowflake-Services, die spürbaren Verbrauch erzeugen können, etwa Snowpipe, Automatic Clustering, Search Optimization und Query Acceleration. Für wirksames Cost Management brauchen Sie detaillierte Sichtbarkeit auf jede einzelne Snowflake-Ressource und deren Verbrauchsverlauf. Und das idealerweise nur einen Klick entfernt.

Hier ein Beispiel für ein Dashboard, das die Automatic-Clustering-Kosten einer einzelnen Tabelle visualisiert.

Und hier ein weiteres Beispiel mit den Kosten einer einzelnen Snowpipe – inklusive Empfehlungen zur Kostensenkung:

Sobald Sie Ihre Kostentreiber verstanden haben, brauchen Sie flexible Möglichkeiten, diese Kosten unterschiedlichen Bereichen zuzuordnen.

Gängige Methoden der Kostenzuordnung sind:

• Snowflake-Object-Tags nutzen, um Virtual Warehouses und andere Ressourcen Teams, Abteilungen oder Projekten zuzuweisen
• Metadaten an Ihre Queries hängen – etwa über Query-Tags, die Team, Projekt oder Use Case identifizieren
• Ressourcen manuell unterschiedlichen Gruppen im Reporting-Tool zuordnen

Jedes Reporting-Tool – ob selbst gebaut oder zugekauft – sollte es Ihnen erlauben, Kosten flexibel verschiedenen Gruppen zuzuweisen und deren Nutzung im Zeitverlauf einfach zu visualisieren und nachzuverfolgen. Hier ein Beispiel unserer Snowflake-Account-Ausgaben, aufgeschlüsselt nach Usage Group:

Wenn Sie Kosten nach Abteilung oder Projekt analysieren, fallen Ihnen häufig Optimierungspotenziale oder Kostentreiber auf, die bei einer Analyse einzelner Ressourcen schlicht untergehen würden.

Kostentransparenz und Zuordnung zeigen Ihnen, wofür Sie wie viel ausgeben. Daneben sollten Sie aber auch Kontrollen einziehen, die unnötige Ausgaben gar nicht erst entstehen lassen. Wir empfehlen Snowflake-Kunden, vier Kontrollmechanismen als Teil ihrer Cost-Management-Strategie zu prüfen.

Zugriffssteuerung

Snowflake bietet leistungsfähige Access-Control-Funktionen, mit denen sich feingranular steuern lässt, wer in Snowflake was tun darf. Als Hebel zur Kostenkontrolle wird Zugriffssteuerung häufig unterschätzt. So kann es etwa sehr wirksam sein, den Zugriff auf größere, teurere Virtual Warehouses auf bestimmte User zu beschränken. Auch das Einschränken der Berechtigungen für das Anlegen und Verändern von Warehouses verhindert, dass User versehentlich sehr große Warehouses hochfahren und unnötigen Verbrauch erzeugen.

Query Timeouts

Query Timeouts sind eine Schutzmaßnahme in Snowflake, die Queries stoppt, sobald sie eine festgelegte Laufzeit überschreiten. Damit lassen sich überhöhte Kosten durch zu lang laufende Queries vermeiden. Übersteigt eine Query den definierten Schwellenwert, beendet Snowflake sie automatisch.

Der gezielte Einsatz von Query Timeouts begrenzt den Schaden durch außer Kontrolle geratene Queries. Standardmäßig lässt Snowflake Queries bis zu zwei Tage laufen, bevor sie abgebrochen werden – und in dieser Zeit können erhebliche Kosten auflaufen. Wir empfehlen, Query Timeouts auf allen Warehouses zu setzen, um die maximalen Kosten einer einzelnen Query zu deckeln.

Resource Monitors

Ähnlich wie Query Timeouts erlauben Ihnen Resource Monitors, die Gesamtkosten eines bestimmten Warehouses zu begrenzen. Resource Monitors lassen sich für zwei Zwecke einsetzen:

1. Sie versenden eine E-Mail, sobald die Kosten einen bestimmten Schwellenwert erreichen.
2. Sie deckeln die Kosten eines Warehouses in einem bestimmten Zeitraum. Snowflake kann verhindern, dass auf einem Warehouse weiter Queries laufen, sobald das Kontingent überschritten ist.

Die meisten Kunden nutzen die automatische Abschaltung von Warehouses (Punkt 2) nicht, da sie den Geschäftsbetrieb und die tägliche Arbeit der Mitarbeitenden empfindlich stören kann. Falls Sie keine Alerting-Funktionen aus einem anderen Tool im Einsatz haben, ist es eine gute Praxis, Resource Monitors zumindest für Benachrichtigungen bei übermäßigem Warehouse-Verbrauch (Punkt 1) zu nutzen.

Budgets

Einer der wirksamsten Hebel zur Kostenkontrolle ist es, jeder Gruppe von Snowflake-Usern ein Budget zuzuweisen und dessen Einhaltung einzufordern. Wenn Usern, Teams oder Abteilungen nicht klar gesagt wird, wie viel sie ausgeben dürfen, fehlt jeder Anreiz, den eigenen Verbrauch zu reduzieren oder bewusst einzusetzen.

Budgets schaffen eine Kultur des Kostenbewusstseins, weil jederzeit transparent ist, wie viel ein Team bereits ausgegeben hat und wie viel ihm noch zur Verfügung steht.

Selbst mit etablierten Kontrollen kann es zu unerwarteten Kostenspitzen oder schleichenden Verschiebungen im Ausgabeverhalten kommen. Um solchen Entwicklungen einen Schritt voraus zu sein, empfehlen wir zwei Arten von Alerting-Mechanismen: Anomalie-Alerts und geplante Spend Digests.

Anomalie-Alerts

Anomalie-Alerts sollten so konfiguriert sein, dass Sie benachrichtigt werden, sobald die Ausgaben einen vordefinierten Schwellenwert überschreiten. Das lässt sich auf Account-Ebene einrichten, für ein bestimmtes Warehouse oder für eine Gruppierung von Snowflake-Ressourcen bzw. Usern (z. B. eine Usage Group).

Wie der Name schon sagt, sollen diese Alerts auf ungewöhnliches Verhalten hinweisen. Wurde womöglich ein teurer neuer Job ausgerollt? Wurde Automatic Clustering auf einer großen Tabelle aktiviert? Oder hat jemand die Warehouse-Größe geändert?

Je früher Sie von solchen Änderungen erfahren, desto schneller können Sie reagieren. Der Screenshot unten zeigt einen exemplarischen Snowflake-Spend-Anomalie-Alert. Wenn möglich, sollten Sie Ihre Alerts so gestalten, dass sie genug Kontext liefern, um die Ursache des Kostensprungs schnell zu identifizieren.

Geplante Spend Digests

Viele Veränderungen im Ausgabeverhalten verlaufen eher schleichend und bleiben leicht unbemerkt. Dem wirken Sie mit geplanten Spend Digests entgegen. Die Idee: Sie erhalten in einem festen Rhythmus (z. B. wöchentlich oder monatlich) einen Snapshot Ihrer Snowflake-Nutzung.

Wenn Sie diese Digests in gängige Kanäle wie E-Mail oder Slack ausspielen, sinkt die Hürde, beim eigenen Verbrauch am Ball zu bleiben. So lassen sich Trends oder teure workloads erkennen, die sonst durchs Raster fallen würden. Falls Sie Budgets eingerichtet haben, können Sie zusätzlich eine Hochrechnung der voraussichtlichen Ausgaben für die jeweilige Ressourcengruppe ergänzen.

So wichtig es ist, die großen Verbrauchstreiber zu kennen – die meisten User wollen vor allem wissen, ob sie Snowflake effektiv nutzen und wie sie ihre Nutzung optimieren oder Kosten senken können.

Wer für das Snowflake-Cost-Management verantwortlich ist, sollte in Tools und Systeme investieren, die Optimierungspotenziale automatisch erkennen und an die jeweiligen Snowflake-User im Unternehmen ausspielen. Solche Insights sollten typische Query-Optimierungen und Strategien zur Kostensenkung sichtbar machen, zum Beispiel:

1. workloads identifizieren, die Micro-Partitions nicht prunen und zu viele Daten scannen
2. überdimensionierte Warehouses oder workloads erkennen, die auf der falschen Warehouse-Größe laufen
3. Ungenutzte Tabellen markieren, die nicht abgefragt werden und unnötige Storage-Kosten verursachen
4. workloads aufspüren, die wiederholt fehlschlagen
5. Queries mit falsch konfigurierten Join-Keys aufdecken, die zu Exploding Joins führen

Insights für die User sichtbar zu machen, ist ein zentraler Baustein jeder Snowflake-Cost-Management-Strategie, da viele Optimierungen manuell umgesetzt werden müssen. Allerdings sind die meisten Mitarbeitenden im Unternehmen mit anderen Themen ausgelastet und haben kaum Zeit, die nötigen Änderungen tatsächlich umzusetzen.

Wo immer es möglich ist, sollten Sie Snowflake-Optimierungen daher automatisiert und laufend anwenden. Beispiele dafür:

1. Virtual-Warehouse-Konfigurationen automatisch anpassen, um die Auslastung zu verbessern
2. Automatisierte Löschrichtlinien für Daten einrichten (z. B. Tabellen oder Nicht-Produktions-Datenbanken/Schemas nach X Wochen löschen)
3. Ungenutzte Dashboards oder Data Assets deprecaten, die auf Snowflake aufsetzen und Verbrauch erzeugen

Aufbau und Pflege solcher Automatisierungen können erhebliche Engineering-Ressourcen binden – führen aber oft zu deutlichen Einsparungen. Der Screenshot unten zeigt ein Beispiel aus dem Automated-Savings-Feature von SELECT, das Virtual Warehouses automatisch und kontinuierlich anpasst, um die Auslastung zu optimieren.

In diesem Beitrag haben wir die 6 Kernkomponenten einer wirksamen Snowflake-Cost-Management-Strategie behandelt. Wir schätzen uns glücklich, dass wir mit über 100 Unternehmen an deren Umsetzung arbeiten durften. Zusätzlich zu den oben beschriebenen Strategien hier noch einige Lehren, die wir auf diesem Weg gezogen haben:

Bauen Sie Ihre Cost-Management-Strategie schrittweise aus

Der Aufbau der nötigen Tools für eine wirksame Cost-Management-Strategie braucht Zeit. Wer das intern stemmen will, sollte mit granularer Kostentransparenz und Nutzungsreporting beginnen. Strategische Kostenentscheidungen lassen sich erst dann sinnvoll treffen, wenn Sie Ihre Verbrauchstreiber wirklich verstanden haben.

Sobald die Grundtransparenz steht, können Sie an Ihre Zuordnungsstrategie gehen oder Kontrollen und Alerts einführen, um Ihren Verbrauch im Griff zu behalten.

Greifen Sie zuerst nach den niedrig hängenden Früchten

Bevor Sie Automatisierungen aufbauen, sollten Sie die offensichtlichen Optimierungen angehen. Wir haben ausführlich über verschiedene Strategien zur Kostenoptimierung geschrieben, die Sie in Ihrem Account umsetzen können. Das Deprecaten ungenutzter Data Assets, das Reduzieren von Ausführungsfrequenzen und das Verkleinern von Warehouses bringen oft 10–20 % Sofort-Einsparungen.

Dezentrales Cost Management ist die einzige skalierbare Lösung

Aus der Zusammenarbeit mit vielen großen Unternehmen wissen wir, wie schwer es zentralen Data-Platform-Teams fällt, Kosten zu kontrollieren und Best Practices über eine große Snowflake-User-Basis hinweg durchzusetzen.

Setzen Sie stattdessen auf eine Kultur des Kostenbewusstseins und der geteilten Verantwortung. Geben Sie den Usern im Unternehmen die Tools, Prozesse und das Wissen an die Hand, um Snowflake effektiv zu nutzen. Sobald User (a) verstehen, wie ihr Handeln den Snowflake-Verbrauch beeinflusst, und (b) einen niedrigschwelligen Weg haben, Optimierungspotenziale zu erkennen, werden sie auch deutlich eher aktiv.

Wir hoffen, dieser Beitrag war hilfreich. Falls Sie nach weiterführenden Inhalten zu Snowflake-Cost-Management und Query-Optimierung suchen, empfehlen wir folgende Ressourcen:

• Snowflake Cost Optimization: 15 bewährte Strategien zur Kostensenkung
• Snowflake Query Optimization: 16 Tipps für schnellere Queries
• The Analytics Engineering Podcast: Cloud-Warehouse-Kostenoptimierung
• The Missing Manual: Alles, was Sie über Snowflake-Optimierung wissen müssen | SELECT
• Extend the runway: Tiefblick in Data-Warehouse-Kosten
• Snowflake Pricing erklärt | Billing-Model-Guide 2024

Ian Whitestone·Co-Founder & CEO of SELECT

Ian ist Co-Founder & CEO von SELECT, einer SaaS-Plattform für Snowflake-Cost-Management und -Optimierung. Vor SELECT hat Ian sechs Jahre lang Full-Stack-Data-Science- und Engineering-Teams bei Shopify und Capital One geleitet. Bei Shopify verantwortete er die Optimierung des Data Warehouse und den Ausbau der Cost Observability.