Découpez, filtrez et attribuez les coûts à l'aide des métadonnées de requêtes

Niall WoodwardCo-fondateur & CTO de SELECT

Nous sommes ravis d'annoncer que les utilisateurs de SELECT peuvent désormais exploiter des métadonnées supplémentaires associées aux charges de travail de requêtes pour mieux comprendre et attribuer leur consommation Snowflake. Si vous utilisez nos intégrations dbt ou custom workloads, cela vous concerne !

Exploiter les meta & tags dbt

Considérez l'exemple de dbt_project.yml ci-dessous, qui implémente une combinaison de champs meta et de tags dbt.

1# dbt_project.yml name: 'select_dbt' version: '1.0.0' config-version: 2 models: +meta: team: 'data' # all models get tagged with team = 'data' by default engineering: +meta: team: 'engineering' marketing: +meta: team: 'marketing' forecasts: +meta: team: 'finance' +tags: - "sensitive" - "critical"

La structure de fichiers pour ce projet dbt ressemblerait à ce qui est montré ci-dessous. Toutes les ressources sous le répertoire engineering recevraient un champ meta team avec la valeur engineering. De même, le modèle unique dans le répertoire forecasts recevrait un champ team avec la valeur finance. Il aurait également les tags suivants : ["sensitive", "critical"].

1. ├── dbt_project.yml ├── packages.yml └── models/ ├── engineering/ | ├── syncs.sql | └── ai.sql ├── marketing/ | ├── attribition.sql | └── page_clicks.sql └── forecasts/ └── forecast.sql

Pour exposer les champs meta dbt dans SELECT, vous pouvez accéder aux paramètres et spécifier les champs que vous souhaitez activer. Aucune spécification de ce type n'est requise pour les tags dbt.

Une fois ajoutés, vous pouvez filtrer et découper par ces métadonnées dans toute l'interface !

Vous souhaitez effectuer des refacturations ou des répartitions de coûts à l'aide des métadonnées dbt ? Vous pouvez désormais allouer les coûts de manière flexible en utilisant les champs meta et les tags dbt que vous avez spécifiés grâce à la fonctionnalité Usage Groups de SELECT !

Exploiter les champs de métadonnées personnalisés

Les custom workloads permettent aux utilisateurs de taguer leurs requêtes avec des commentaires ou des query tags Snowflake. Voici un exemple de commentaire de requête que SELECT utilise pour l'une de ses custom workloads :

1select ... from queries group by all order by sum_query_cost desc nulls last limit 1000 /* { "select_schema_version": "1.0.0", "app": "SELECT_WEB_APP", "workload_id": "DailyWorkloadPoPQuery", "environment": "prod", "tenant_id": "scwxhob-ad38017", "referrer_base_url": "https://select.dev/app/scwxhob-ad38017/workloads", "is_admin_user": true, "user_id": "google-oauth2|115381118870474481840" }*/

Les champs de custom workload tels que app, workload_id et environment sont déjà disponibles pour le filtrage et le découpage dans l'interface par défaut. Pour activer le même comportement pour d'autres champs que vous spécifiez dans le commentaire/tag de votre requête de custom workload, accédez à Settings → Custom et spécifiez les clés que vous souhaitez activer.

Une fois ajoutés, vous pouvez filtrer et découper par ces métadonnées dans toute l'interface !

Vous souhaitez effectuer des refacturations ou des répartitions de coûts à l'aide des métadonnées que vous avez ajoutées à vos requêtes ? Vous pouvez désormais allouer les coûts de manière flexible en fonction des métadonnées de custom workload grâce à la fonctionnalité Usage Groups de SELECT !

Nous ne prenons actuellement pas en charge le filtrage/découpage sur les clés meta personnalisées contenant des types de données complexes tels que des tableaux ou des objets. Si cela est une nécessité pour vous, veuillez nous le faire savoir et nous ajouterons cette fonctionnalité.

1select * from credit_cards /* { "select_schema_version": "1.0.0", "app": "generated_tables", "workload_id": "my_etl_job", "tags": ["critical", "sensitive"], "meta": {"task_key": "A1SF249X", "attempt_number": 1} }

Notez que vous pouvez toujours ajouter ces données à votre commentaire/tag de requête et effectuer votre propre analyse dessus. Vous ne pourrez simplement pas interagir avec ces données dans l'interface SELECT à ce jour.