Exploiter les clés dbt personnalisées de niveau supérieur

Niall WoodwardCo-fondateur & CTO de SELECT

De la même manière que nous permettons aux utilisateurs d'exploiter les clés meta / tags qu'ils ont configurés dans leur projet dbt, les utilisateurs peuvent désormais filtrer et segmenter par n'importe quelle clé personnalisée de niveau supérieur dans les commentaires/tags de requête. Une fois que vous avez spécifié les clés auxquelles vous souhaitez accéder dans les paramètres, vous pourrez y accéder en tant qu'options de filtre/segmentation dans tout SELECT.

Que sont les clés personnalisées de niveau supérieur ?

Considérez l'exemple suivant de modèle dbt, queries :

1{{ config( materialized='incremental', meta={'team': 'data'} ) }} select * from {{ ref('stg_query_history') }}

Une fois ce modèle exécuté et le package dbt-snowflake-query-tags installé dans le projet dbt, le SQL ressemblera à ceci :

1select * from analytics.stg_query_history /* {"app": "dbt", "dbt_snowflake_query_tags_version": "2.3.2", "dbt_version": "1.7.5", "project_name": "select_dbt", "target_name": "prod", "target_database": "SELECT_INGEST", "target_schema": "analytics", "invocation_id": "ac36fd96-48eb-4ab8-b585-f4da8d7e0de5", "node_name": "queries", "node_alias": "queries", "node_package_name": "select_dbt", "node_original_file_path": "models/queries.sql", "node_database": "SELECT_INGEST", "node_schema": "analytics", "node_id": "model.select_dbt.queries", "node_resource_type": "model", "node_meta": {"team": "data"}, "node_tags": [], "full_refresh": false, "which": "build", "invocation_command": "dbt build --vars {'source_schema': 'analytics', 'snowflake_organization_account_source_schema': 'analytics', 'destination_schema': 'analytics'} --target prod --select fqn:*", "node_refs": ["stg_query_history", ], "materialized": "incremental"} */;

Il est possible pour les utilisateurs d'ajouter des clés supplémentaires de niveau supérieur aux métadonnées du commentaire de requête. Une clé personnalisée de niveau supérieur correspond à toute clé non incluse par défaut dans le commentaire ci-dessus. La clé internal_job_name (avec la valeur hourly_run) dans le commentaire ci-dessous en est un exemple :

1select * from analytics.stg_query_history /* {"app": "dbt", "dbt_snowflake_query_tags_version": "2.3.2", "dbt_version": "1.7.5", "project_name": "select_dbt", "target_name": "prod", "target_database": "SELECT_INGEST", "target_schema": "analytics", "invocation_id": "ac36fd96-48eb-4ab8-b585-f4da8d7e0de5", "node_name": "queries", "node_alias": "queries", "node_package_name": "select_dbt", "node_original_file_path": "models/queries.sql", "node_database": "SELECT_INGEST", "node_schema": "analytics", "node_id": "model.select_dbt.queries", "node_resource_type": "model", "node_meta": {"team": "data"}, "node_tags": [], "full_refresh": false, "which": "build", "invocation_command": "dbt build --vars {'source_schema': 'analytics', 'snowflake_organization_account_source_schema': 'analytics', 'destination_schema': 'analytics'} --target prod --select fqn:*", "node_refs": ["stg_query_history", ], "materialized": "incremental", "internal_job_name": "hourly_run"} */;