Wie Kargo mit SELECT ein Einsparpotenzial von 500.000 USD pro Jahr aufdeckte und einen 5-fachen ROI erzielte

SELECT schuf sofort Kostentransparenz durch umfassendes Query-Tagging bis auf Airflow-Task-Ebene und ermöglichte eine präzise Kostenzuordnung über die konsolidierte Warehouse-Infrastruktur hinweg. Die intuitive Oberfläche nahm der Kostenanalyse jede Reibung, und mit Usage Groups ließen sich aggregierte Kosten für das Leadership-Reporting sauber abbilden.

Kargo setzt Snowflake seit den Anfängen der Plattform ein und gehört damit zu den ersten Anwendern überhaupt. Die Architektur basiert auf der Verarbeitung enormer Mengen roher JSON-Logs aus Microservices, die den Betrieb der Supply-Side-Plattform steuern. Verarbeitet werden Auktions- und Ergebnisdaten aus Web- und CTV-Werbekanälen. Als erfahrener Snowflake-Anwender steuerte Kargo die Kosten zunächst über getrennte Warehouses: Die Logs der einzelnen Microservices liefen in dedizierten Warehouses, um Kosten sauber aufzuschlüsseln. Für die Ressourcenauslastung erwies sich dieser Ansatz jedoch als ineffizient.

Als Diana vor drei Jahren ins Unternehmen kam, war die Führungsebene besorgt über die Snowflake-Kosten und arbeitete gemeinsam mit Snowflake RSAs an einer Optimierung des Setups. Die Empfehlung: Konsolidierung der Warehouses, um die Ressourcennutzung zu verbessern. Die Effizienz stieg dadurch zwar, weil bereits laufende Warehouses besser ausgelastet wurden – gleichzeitig war jede Kostenaufschlüsselung dahin. Statt einer Transparenz auf Microservice-Ebene blieb nur noch eine Pauschalsumme ohne granulare Einblicke. Die Snowflake RSAs stellten einfache Dashboards bereit, doch für die nötige Analysetiefe der komplexen, hochvolumigen Verarbeitungspipelines reichten diese nicht aus.

Automated Savings von SELECT brachte sofort Mehrwert: Die Looker-Warehousing-Kosten von Kargo sanken um 30 % – ganz ohne Aufwand für das Team. Damit erzielte Kargo unmittelbar einen 5-fachen ROI auf SELECT. Diese Kostenreduktion finanzierte nicht nur SELECT selbst, sondern zeigte zugleich, wie wertvoll die Plattform beim Aufspüren von Optimierungspotenzialen ist, die klassischen Monitoring-Ansätzen verborgen bleiben.

Das Kargo-Team führte ein umfassendes Query-Tagging über alle Pipelines hinweg ein – bis auf einzelne Airflow-Tasks – und ermöglichte so eine präzise Kostenzuordnung über die konsolidierte Warehouse-Infrastruktur. Sofort wurde sichtbar, welche Pipeline am teuersten war: Die Verarbeitung von Bid-Request-Events kostete jährlich 500.000 USD – deutlich mehr als erwartet. Auf dieser Grundlage fiel die strategische Architekturentscheidung, den teuersten Workload von Snowflake auf Spark umzustellen und den Umgang mit den kostenintensivsten Operationen grundlegend neu zu denken.

Usage Groups in SELECT lösten eine zentrale Reporting-Herausforderung: Sie ermöglichten die Aggregation von Kosten über mehrere Pipelines und Warehouses hinweg für das Reporting auf Führungsebene. Damit konnte das Team zusammengehörige Workloads gruppieren und der Führungsebene präzise Gesamtkosten ausweisen – auch wenn sich diese Workloads über mehrere Warehouses und Verarbeitungspipelines erstreckten. Fragen wie "Was kostet uns das ganze Targeting eigentlich?" ließen sich ab sofort in Sekunden beantworten.

SELECT demokratisierte die Kosteneinblicke im gesamten Data-Engineering-Team: Einzelne Engineers konnten die Wirkung ihrer Optimierungen eigenständig nachverfolgen. Diese Self-Service-Fähigkeit veränderte die Herangehensweise an Optimierungsarbeit grundlegend – Kosteneffekte wurden für einzelne Beitragende sichtbar und messbar, ohne dass eine zentrale Analyse nötig war. Als das Team ein systematisches Refactoring der Datenpipelines anging, lieferte SELECT die entscheidende Vorher-nachher-Transparenz, um den Erfolg der Optimierungen messbar zu machen.