Kargo identifie 500 000 $ d'économies annuelles et obtient un ROI de 5X avec SELECT

SELECT a apporté une visibilité immédiate sur les coûts grâce à un tagging exhaustif des requêtes jusqu'au niveau des tâches Airflow, permettant une attribution précise des coûts sur l'ensemble de l'infrastructure consolidée. L'interface intuitive de la plateforme a supprimé toute friction dans l'analyse des coûts, tandis que les Usage Groups ont permis un suivi agrégé pour le reporting de direction.

Kargo utilise Snowflake depuis ses débuts et figure parmi les tout premiers adoptants de la plateforme. Son architecture repose sur le traitement de volumes massifs de logs JSON bruts issus des microservices qui font tourner sa supply-side platform. La plateforme traite des données d'enchères et de résultats sur les canaux publicitaires web et CTV. En utilisateur mature de Snowflake, Kargo gérait initialement ses coûts par la séparation des warehouses : les logs de chaque microservice étaient traités dans des warehouses dédiés afin de pouvoir détailler les coûts. Mais cette approche s'est révélée inefficace pour l'utilisation des ressources.

Lorsque Diana a rejoint l'entreprise il y a trois ans, la direction s'inquiétait des coûts Snowflake et a travaillé avec les RSA de Snowflake pour optimiser l'environnement. La recommandation : consolider les warehouses afin d'améliorer l'utilisation des ressources. Si la consolidation a effectivement amélioré l'efficacité en maximisant l'usage des warehouses déjà en fonctionnement, elle a aussi supprimé toute capacité à détailler les coûts. Les équipes sont passées d'une visibilité au niveau microservice à une somme globale unique, sans aucun insight granulaire. Les RSA Snowflake fournissaient des dashboards basiques, mais ceux-ci étaient insuffisants pour le niveau d'analyse requis afin d'optimiser des pipelines de traitement complexes et à fort volume.

La fonctionnalité Automated Savings de SELECT a apporté une valeur instantanée : une réduction de 30 % des coûts de warehousing Looker de Kargo, sans aucun effort de l'équipe, et un ROI immédiat de 5X sur SELECT. Cette baisse immédiate des coûts a non seulement financé SELECT, mais a aussi démontré la capacité de la plateforme à révéler des opportunités d'optimisation invisibles via les approches de monitoring traditionnelles.

L'équipe Kargo a mis en place un tagging exhaustif des requêtes sur l'ensemble de ses pipelines, jusqu'au niveau des tâches Airflow, pour permettre une attribution précise des coûts sur son infrastructure consolidée. Ce tagging granulaire a immédiatement révélé le pipeline le plus coûteux : les événements de bid request, qui représentaient 500 000 $ par an — bien plus qu'anticipé. Cet insight a déclenché une décision d'architecture stratégique : migrer le workload le plus coûteux de Snowflake vers Spark, transformant en profondeur la manière de traiter les opérations les plus onéreuses.

La fonctionnalité Usage Groups de SELECT a résolu un défi de reporting critique en permettant l'agrégation des coûts sur plusieurs pipelines et warehouses pour le reporting business de haut niveau. Les Usage Groups ont permis à l'équipe de regrouper des workloads liés et de fournir à la direction des coûts agrégés précis, même lorsque ces workloads s'étendaient sur plusieurs warehouses et pipelines. La direction pouvait désormais obtenir des réponses instantanées à des questions telles que "combien nous coûte tout ce dispositif de ciblage ?"

SELECT a démocratisé les insights de coûts au sein de l'équipe data engineering, en donnant à chaque ingénieur la possibilité de mesurer en autonomie l'impact de ses efforts d'optimisation. Cette capacité en self-service a transformé la manière dont l'équipe aborde l'optimisation : l'impact sur les coûts devient visible et mesurable pour chaque contributeur, sans dépendre d'une analyse centralisée. Au fil du refactoring systématique des pipelines de données, SELECT a fourni une visibilité avant/après essentielle pour mesurer le succès de chaque optimisation.