年間50万ドルの削減機会を発見、SELECTで5倍のROIを実現

SELECTはAirflowタスク単位まで踏み込んだ包括的なクエリタグ付けにより即座にコストを可視化し、統合されたウェアハウスインフラ全体で正確なコスト按分を可能にしました。直感的なインターフェースでコスト分析の手間がなくなり、Usage Groupsにより経営層向けレポートに必要な集約コストのモニタリングも実現しました。

KargoはSnowflakeの黎明期から利用しており、プラットフォーム最初期のユーザーの一社です。同社のアーキテクチャは、サプライサイドプラットフォームの運用を支えるマイクロサービスから出力される膨大な生JSONログの処理を中核としています。プラットフォームは、WebおよびCTV広告チャネルにまたがるオークションデータと結果データを処理します。Snowflakeを使いこなしてきたKargoは、当初はウェアハウスを分離してコストを管理していました。マイクロサービスごとに専用のウェアハウスを用意してログを処理し、コストの内訳を把握できるようにしていたのです。しかしこのアプローチは、リソース利用効率の面で課題がありました。

Dianaが3年前に入社した当時、経営層はSnowflakeのコストを懸念しており、Snowflake RSAと協力してセットアップの最適化に取り組んでいました。提案されたのは、リソース利用効率を高めるためのウェアハウス統合です。統合によって稼働中のウェアハウスの利用率を最大化でき、効率は改善されたものの、コストの内訳を把握する手段は失われました。チームはマイクロサービス単位の可視性から、内訳のわからない一括金額しか見えない状態へと後退します。Snowflake RSAから提供されたのは基本的なダッシュボードのみで、複雑かつ大量の処理パイプラインを最適化するために必要な分析レベルには到底及びませんでした。

SELECTのAutomated Savings機能は即座に効果を発揮し、チームの工数ゼロでKargoのLookerウェアハウスコストを30%削減、SELECTに対して即座に5倍のROIをもたらしました。このコスト削減はSELECTの導入費用を回収しただけでなく、従来のモニタリング手法では見えなかった最適化機会を特定するプラットフォームの価値を実証しました。

Kargoチームはパイプライン全体に包括的なクエリタグ付けを実装し、Airflowタスク単位までタグを付与することで、統合されたウェアハウスインフラ全体での正確なコスト按分を可能にしました。この詳細なタグ付けにより、最もコストのかかる処理パイプラインが即座に判明します。それは入札リクエストイベントの処理で、年間50万ドルという想定をはるかに上回るコストがかかっていました。このインサイトをきっかけに、最も高コストなワークロードをSnowflakeからSparkへ移行するという戦略的なアーキテクチャ判断が可能になり、最もコストのかかる処理への取り組み方が根本から変わりました。

SELECTのUsage Groups機能は、複数のパイプラインやウェアハウスにまたがるコストを集約してハイレベルなビジネスレポートに活用できるようにし、重要なレポーティング課題を解決しました。Usage Groupsを使えば、関連するワークロードをグループ化し、それらが複数のウェアハウスや処理パイプラインにまたがっていても、正確な集約コストを経営層に提示できます。経営層は「このターゲティング全体でいくらかかっているのか?」といった問いにも、即座に答えを得られるようになりました。

SELECTの導入により、データエンジニアリングチーム全体でコストインサイトの民主化が進み、個々のEngineersが自分の最適化施策の効果を独立して追跡できるようになりました。このセルフサービス機能はチームの最適化への取り組み方を変革し、中央集権的な分析に頼らずとも、個々のメンバーがコストへの影響を可視化・測定できる環境を整えました。チームがデータパイプラインの体系的なリファクタリングに取り組む中で、SELECTは施策の前後を比較できる可視性を提供し、最適化の成果を測る重要な基盤となりました。