HomeChef domó sus costos de Snowflake y transformó la cultura de costos en su equipo de analítica

SELECT entregó visibilidad inmediata de costos e insights de optimización que las herramientas internas de HomeChef no ofrecían. La puesta en marcha tomó apenas 30 minutos. La integración profunda de SELECT con dbt y su desglose detallado de costos le permitieron al equipo identificar rápidamente oportunidades de optimización de alto impacto en más de 1.200 modelos de dbt, además de darles la visibilidad que antes intentaban lograr con dashboards a medida.

HomeChef migró de EMR a Snowflake hace cinco años. Al principio lo usaba para alimentar dashboards de Looker con actualizaciones batch diarias de dbt, con un setup estable y eficiente en costos. Todo cambió cuando empezaron a apoyar cada vez más workloads operacionales en Snowflake. Pasaron de ejecutar queries una vez al día a hacerlo cada 15 minutos. Cuando haces muchos upserts sobre tablas de churn, el gasto en Snowflake puede subir muy rápido. El aumento fue de un orden de magnitud, prácticamente de la noche a la mañana.

Antes de SELECT, HomeChef había armado un monitoreo de costos interno mediante la extracción incremental del historial de queries, la segregación de warehouses para rastrear el gasto por entorno de dbt y dashboards a medida en Looker. La solución casera funcionaba para el monitoreo rutinario, pero se volvía un problema cuando aparecía algo nuevo. Agregar funciones implicaba hacer un PR para sumar nuevas dimensiones a las tablas y medidas a los dashboards, y los análisis ad-hoc eran lentos por la compleja estructura de metadatos de Snowflake. La inercia y la fricción eran altas. A medida que se ampliaba el set de funcionalidades que usaban dentro de Snowflake, era como aprender un dataset esotérico nuevo cada vez.

Cuando los costos se dispararon, HomeChef necesitaba ver de inmediato qué estaba detrás del gasto. En 30 minutos ya tenían SELECT funcionando. El profundo conocimiento de SELECT sobre el ecosistema de dbt y su visibilidad integral de costos hicieron que la transición fuera fluida y dejara obsoletas las soluciones caseras.

HomeChef obtuvo reducciones de costos significativas: primero atacó los temas de almacenamiento (con un ahorro del 20%) y luego usó SELECT para detectar oportunidades de optimización de rendimiento que sumaron un 40% adicional. Con más de 1.200 modelos de dbt, identificar manualmente qué optimizar habría sido imposible. El desglose de costos y los insights de rendimiento de SELECT le permitieron al equipo concentrar el esfuerzo donde tendría el máximo impacto. SELECT funcionó a la vez como herramienta para identificar objetivos y como panóptico de monitoreo para las optimizaciones de rendimiento.

SELECT cambió el enfoque de HomeChef: pasaron de apagar incendios a un monitoreo proactivo. Devin ahora arranca cada jornada con una revisión rápida en SELECT. Se sirve su café, mira las pipelines y luego abre SELECT. En dos o tres minutos se hace una idea de qué está pasando en su setup de Snowflake. Esta rutina permite detectar a tiempo anomalías, nuevos workloads y picos de costo antes de que se vuelvan un problema mayor. Puede ver cómo cambia el uso en el tiempo y eso les avisa si hay casos de uso nuevos que no habían anticipado, lo que le permite al equipo de business analytics trabajar directamente con esos usuarios finales.

Quizás el cambio cultural más importante fue que los analytics engineers empezaron a pensar en la optimización durante el desarrollo y no después del despliegue. Mediante sesiones de pairing con los insights de SELECT, el equipo amplio aprendió principios de optimización de queries. Hoy los analytics engineers optimizan el rendimiento de forma proactiva antes de enviar sus pull requests. Los AEs ahora se adelantan con un "oye, esta va a ser cara" o cuentan "bajé el runtime de esto de X a Y antes de subir el PR porque sabía que esta window function me iba a matar". Igual de importante, SELECT ayuda a decidir cuándo no optimizar, para no gastar esfuerzo en modelos de bajo impacto.