急騰するSnowflakeコストを60%削減——急成長AIスタートアップの実践

SELECTの導入により、1時間足らずのセットアップで即座にコストを可視化。Insights機能で過大なウェアハウスや非効率なdbtモデルを特定し、Automated Savings機能は初日から迅速な成果をもたらしました。SELECTの詳細なコスト内訳により、複雑なデータ基盤全体で的を絞った最適化が可能になりました。

Synthesiaは、Snowflakeを中核のデータウェアハウスとするモダンデータスタックを運用しており、合計300名以上のユーザーを支えています。Snowflakeを直接利用するユーザーは80名、さらにOmni経由で分析やダッシュボードを利用するユーザーが250名以上に上ります。データ基盤は、変換にdbt、データ取り込みにFivetran、イベントデータにSegmentを用いた、レイヤー構造のKimballアプローチを採用しています。急成長中のAI企業であるSynthesiaでは、プラットフォームとユーザー基盤の拡大に伴い、Snowflakeへの支出が2年間で10倍と劇的に増加しました。年間分のクレジットが契約期間の半ばで尽きることが判明して状況は深刻化し、コスト最適化への早急な対応を迫られました。

SELECT導入以前のSynthesiaは、主にSnowflake組み込みのコスト管理インターフェースに頼っていましたが、複雑なインフラのニーズには不十分でした。最大の課題は、プラットフォーム上で稼働する使用状況やworkloadsをまったく把握できないことでした。Snowflake標準のコスト管理UIはごく基本的なもので、詳細な分析には力不足だったのです。さらに、当初のSnowflake環境は非技術系のメンバーが管理しており、初代の管理者はプロダクト担当VPでした。そのため、高度なコストモニタリングと最適化に必要な技術的基盤がチームに不足していたことも、課題に拍車をかけていました。

コストが急騰し、クレジットが想定より早く尽きつつあるなか、SynthesiaにはSnowflakeの支出パターンを即座に把握する手段が必要でした。導入プロセスは驚くほどスピーディーでした。IT部門の承認には1週間ほどかかったものの、権限が整ってからのSELECTのセットアップは1時間足らずで完了。チームはすぐにSELECTの自動削減機能を有効化し、初日からコスト削減効果を得ることができました。

導入から1か月以内に、SELECTによってSynthesiaは主要なコスト要因を特定・対処し、劇的な削減を実現しました。SELECTのAutomated Savings機能を有効化した後は、SELECTの可視化機能とインサイト機能で特定した、的を絞った施策へと移行。インクリメンタル化が必要なdbtモデルや、workloadsに対して明らかに過大なウェアハウスなど、改善すべき領域をSELECTが即座に浮き彫りにしました。なかでも大きな発見は、必要なサイズより3段階も大きいウェアハウスが稼働していたことです。SELECTの稼働率メトリクスが裏付けとなり、自信を持って即座にライトサイジングを実行できました。また、ビジネス側の関係者と協議のうえでリファクタリング、あるいは完全に停止できる、Salesforceへデータを同期する非効率なCensusジョブも特定しました。

SELECTは、Synthesiaのコスト管理を、後手に回る火消し対応から先手を打つモニタリングへと変えました。毎週月曜の朝に、カスタマイズした3〜4個の保存済みビューを確認するルーティンを確立。週次モニタリングでは、週次・月次でのウェアハウスコスト、自社のユースケースに合わせてカスタマイズした長時間実行クエリ、未使用アセット、そして新たに導入されたworkloadsを確認しています。このアプローチは数分で完了するにもかかわらず、Snowflake環境全体を包括的に可視化でき、コストの急増や新たな非効率workloadsの早期検知を可能にします。さらにコスト削減にとどまらず、最適化によってdbtパイプラインのパフォーマンスも向上し、SELECTへの投資から追加の価値が生まれています。

Synthesiaは、Snowflakeのコストレポートと分析をすべて集約する中央ハブとしてSELECTを活用していく計画です。SELECTのdbt連携機能によるdbtメタキーを使った部門別の支出配賦も検討しており、組織全体でより詳細なコスト帰属が可能になります。コスト意識の高い企業として、AIプラットフォームのさらなるスケールを進めるなかで規律ある支出を維持するうえで、この機能は不可欠なものとなるでしょう。今後提供予定のSELECTのOmni連携によりダッシュボードのコストとリネージの可視性が高まるほか、パーティションモニターによってdbtモデル単位での詳細なコスト異常検知も可能になります。