Come Kargo ha individuato un'opportunità di risparmio da 500.000 $/anno e ottenuto un ROI 5X con SELECT

SELECT ha garantito visibilità immediata sui costi grazie a un tagging completo delle query fino al livello del singolo task Airflow, abilitando un'attribuzione precisa dei costi sull'intera infrastruttura warehouse consolidata. L'interfaccia intuitiva della piattaforma ha eliminato gli attriti nell'analisi dei costi, mentre le Usage Groups hanno reso possibile il monitoraggio aggregato dei costi per il reporting al management.

Kargo utilizza Snowflake fin dagli esordi della piattaforma, collocandosi tra i primissimi adopter. La sua architettura è imperniata sull'elaborazione di enormi volumi di log JSON grezzi provenienti dai microservizi che gestiscono le operazioni della supply-side platform. La piattaforma elabora dati d'asta e dati di outcome sui canali pubblicitari web e CTV. In quanto utente Snowflake di lungo corso, Kargo gestiva inizialmente i costi tramite la separazione dei warehouse: i log dei diversi microservizi venivano elaborati in warehouse dedicati per consentire una ripartizione dei costi. Questo approccio si è però rivelato inefficiente sul fronte dell'utilizzo delle risorse.

Quando Diana è entrata in azienda tre anni fa, il management era preoccupato per i costi di Snowflake e si era rivolto agli RSA di Snowflake per ottimizzare il setup. La raccomandazione fu di consolidare i warehouse per migliorare l'utilizzo delle risorse. Se da un lato il consolidamento ha aumentato l'efficienza massimizzando l'uso dei warehouse già attivi, dall'altro ha eliminato la possibilità di leggere la ripartizione dei costi. I team sono passati da una visibilità a livello di microservizio a un'unica voce aggregata, senza alcun dettaglio granulare. Le dashboard di base fornite dagli RSA di Snowflake erano insufficienti per il livello di analisi richiesto dalle loro pipeline di elaborazione complesse e ad alto volume.

La funzionalità Automated Savings di SELECT ha generato valore fin da subito, riducendo del 30% i costi di warehousing Looker di Kargo senza alcuno sforzo da parte del team e assicurando un ROI immediato 5X su SELECT. Questa riduzione dei costi non solo ha ripagato SELECT, ma ha dimostrato la capacità della piattaforma di far emergere opportunità di ottimizzazione invisibili agli strumenti di monitoraggio tradizionali.

Il team di Kargo ha implementato un tagging completo delle query lungo tutte le pipeline, fino ai singoli task Airflow, per consentire un'attribuzione precisa dei costi nell'infrastruttura warehouse consolidata. Questo tagging granulare ha subito messo in luce la pipeline di elaborazione più onerosa: gli eventi di bid request, che costavano 500.000 dollari all'anno, ben più del previsto. Da qui la scelta architetturale strategica di spostare il workload più costoso da Snowflake all'elaborazione su Spark, cambiando radicalmente l'approccio alle operazioni più dispendiose.

La funzionalità Usage Groups di SELECT ha risolto una criticità di reporting cruciale, consentendo l'aggregazione dei costi su più pipeline e warehouse per il reporting di business di alto livello. Le Usage Groups hanno permesso al team di raggruppare i workloads correlati e fornire al management costi aggregati accurati, anche quando questi workloads si estendevano su più warehouse e pipeline di elaborazione. Il management può ora ottenere risposte immediate a domande come "quanto ci costa nel complesso tutto l'ambito targeting?"

SELECT ha democratizzato gli insight sui costi all'interno del team di data engineering, consentendo ai singoli engineer di misurare in autonomia l'impatto delle proprie ottimizzazioni. Questa capacità self-service ha trasformato il modo in cui il team affronta il lavoro di ottimizzazione, rendendo l'impatto sui costi visibile e misurabile a livello individuale, senza dover passare da un'analisi centralizzata. Nel corso del refactoring sistematico delle pipeline di dati, SELECT ha fornito una visibilità cruciale sul prima e dopo, permettendo di misurare il successo di ogni intervento di ottimizzazione.