Suddividi, filtra e attribuisci i costi utilizzando i metadati delle query

Niall WoodwardCo-founder & CTO di SELECT

Siamo lieti di annunciare che gli utenti SELECT possono ora sfruttare metadati aggiuntivi associati ai workload delle query per comprendere e attribuire meglio il proprio consumo Snowflake. Se stai utilizzando le nostre integrazioni dbt o custom workloads, questo si applica a te!

Sfruttare meta e tag di dbt

Considera l'esempio di dbt_project.yml qui sotto, che implementa una combinazione di campi meta e tag di dbt.

1# dbt_project.yml name: 'select_dbt' version: '1.0.0' config-version: 2 models: +meta: team: 'data' # all models get tagged with team = 'data' by default engineering: +meta: team: 'engineering' marketing: +meta: team: 'marketing' forecasts: +meta: team: 'finance' +tags: - "sensitive" - "critical"

La struttura dei file per questo progetto dbt apparirebbe simile a quanto mostrato di seguito. Tutte le risorse nella directory engineering avrebbero un campo meta team aggiunto con il valore engineering. Analogamente, l'unico modello nella directory forecasts avrebbe un campo team con valore finance. Avrebbe anche i seguenti tag: ["sensitive", "critical"].

1. ├── dbt_project.yml ├── packages.yml └── models/ ├── engineering/ | ├── syncs.sql | └── ai.sql ├── marketing/ | ├── attribition.sql | └── page_clicks.sql └── forecasts/ └── forecast.sql

Per esporre i campi meta di dbt in SELECT, puoi accedere alle impostazioni e specificare quali campi vuoi abilitare. Non è necessaria alcuna specifica per i tag di dbt.

Una volta aggiunti, puoi filtrare e suddividere per questi metadati nell'interfaccia!

Vuoi effettuare chargeback o showback dei costi utilizzando i metadati di dbt? Ora puoi allocare i costi in modo flessibile utilizzando i campi meta e i tag di dbt che hai specificato, grazie alla funzionalità Usage Groups di SELECT!

Sfruttare i campi di metadati personalizzati

I custom workloads consentono agli utenti di taggare le proprie query con commenti o query tag di Snowflake. Ecco un esempio di commento di query che SELECT utilizza per uno dei suoi custom workloads:

1select ... from queries group by all order by sum_query_cost desc nulls last limit 1000 /* { "select_schema_version": "1.0.0", "app": "SELECT_WEB_APP", "workload_id": "DailyWorkloadPoPQuery", "environment": "prod", "tenant_id": "scwxhob-ad38017", "referrer_base_url": "https://select.dev/app/scwxhob-ad38017/workloads", "is_admin_user": true, "user_id": "google-oauth2|115381118870474481840" }*/

I campi dei custom workload come app, workload_id e environment sono già disponibili per il filtraggio e la suddivisione nell'interfaccia senza alcuna configurazione. Per abilitare lo stesso comportamento per altri campi che specifichi nel commento/tag delle query dei tuoi custom workload, vai su Settings → Custom e specifica le chiavi che vuoi abilitare.

Una volta aggiunti, puoi filtrare e suddividere per questi metadati nell'interfaccia!

Vuoi effettuare chargeback o showback dei costi utilizzando i metadati che hai aggiunto alle tue query? Ora puoi allocare i costi in modo flessibile basandoti sui metadati dei custom workload, grazie alla funzionalità Usage Groups di SELECT!

Attualmente non supportiamo il filtraggio/suddivisione su chiavi meta personalizzate che contengono tipi di dati complessi come array o oggetti. Se questa è una necessità per te, faccelo sapere e aggiungeremo questa funzionalità.

1select * from credit_cards /* { "select_schema_version": "1.0.0", "app": "generated_tables", "workload_id": "my_etl_job", "tags": ["critical", "sensitive"], "meta": {"task_key": "A1SF249X", "attempt_number": 1} }

Nota: puoi comunque aggiungere questi dati al commento/tag della tua query ed eseguire le tue analisi su di essi. Semplicemente, ad oggi, non potrai interagire con quei dati nell'interfaccia di SELECT.