Segmenta, filtra y atribuye costos usando metadatos de consultas

Niall WoodwardCo-founder & CTO of SELECT

Nos complace anunciar que los usuarios de SELECT ahora pueden aprovechar metadatos adicionales asociados con las cargas de trabajo de consultas para comprender y atribuir mejor su consumo de Snowflake. Si estás usando nuestras integraciones de dbt o cargas de trabajo personalizadas, ¡esto aplica para ti!

Aprovechando meta y tags de dbt

Considera el siguiente ejemplo de dbt_project.yml, que implementa una combinación de campos meta y tags de dbt.

1# dbt_project.yml name: 'select_dbt' version: '1.0.0' config-version: 2 models: +meta: team: 'data' # all models get tagged with team = 'data' by default engineering: +meta: team: 'engineering' marketing: +meta: team: 'marketing' forecasts: +meta: team: 'finance' +tags: - "sensitive" - "critical"

La estructura de archivos de este proyecto dbt se vería similar a lo que se muestra a continuación. Todos los recursos bajo el directorio engineering obtendrían un campo meta team con el valor engineering. De manera similar, el único modelo en el directorio forecasts obtendría un campo team con el valor finance. También tendría los siguientes tags: ["sensitive", "critical"].

1. ├── dbt_project.yml ├── packages.yml └── models/ ├── engineering/ | ├── syncs.sql | └── ai.sql ├── marketing/ | ├── attribition.sql | └── page_clicks.sql └── forecasts/ └── forecast.sql

Para exponer los campos meta de dbt en SELECT, puedes ir a la configuración y especificar qué campos deseas habilitar. No se requiere ninguna especificación para los tags de dbt.

Una vez agregados, ¡puedes filtrar y segmentar por estos metadatos en toda la interfaz!

¿Buscas hacer chargebacks o showbacks de costos usando metadatos de dbt? Ahora puedes asignar costos de manera flexible usando los campos meta y tags de dbt que hayas especificado con la funcionalidad de Usage Groups de SELECT.

Aprovechando campos de metadatos personalizados

Las cargas de trabajo personalizadas permiten a los usuarios etiquetar sus consultas con comentarios o query tags de Snowflake. Aquí hay un ejemplo de comentario de consulta que SELECT tiene para una de sus cargas de trabajo personalizadas:

1select ... from queries group by all order by sum_query_cost desc nulls last limit 1000 /* { "select_schema_version": "1.0.0", "app": "SELECT_WEB_APP", "workload_id": "DailyWorkloadPoPQuery", "environment": "prod", "tenant_id": "scwxhob-ad38017", "referrer_base_url": "https://select.dev/app/scwxhob-ad38017/workloads", "is_admin_user": true, "user_id": "google-oauth2|115381118870474481840" }*/

Los campos de cargas de trabajo personalizadas como app, workload_id y environment ya están disponibles para filtrar y segmentar en la interfaz de forma predeterminada. Para habilitar el mismo comportamiento para otros campos que especifiques en el comentario/tag de tu consulta de carga de trabajo personalizada, ve a Settings → Custom y especifica las claves que deseas habilitar.

Una vez agregados, ¡puedes filtrar y segmentar por estos metadatos en toda la interfaz!

¿Buscas hacer chargebacks o showbacks de costos usando los metadatos que agregaste a tu consulta? Ahora puedes asignar costos de manera flexible basándote en metadatos de cargas de trabajo personalizadas usando la funcionalidad de Usage Groups de SELECT.

Actualmente no soportamos el filtrado/segmentación en claves meta personalizadas que contengan tipos de datos complejos como arrays u objetos. Si esto es un requisito para ti, por favor avísanos y agregaremos esta funcionalidad.

1select * from credit_cards /* { "select_schema_version": "1.0.0", "app": "generated_tables", "workload_id": "my_etl_job", "tags": ["critical", "sensitive"], "meta": {"task_key": "A1SF249X", "attempt_number": 1} }

Ten en cuenta que aún puedes agregar estos datos a tu comentario/tag de consulta y realizar tu propio análisis sobre ellos. Simplemente no podrás interactuar con esos datos en la interfaz de SELECT por el momento.