Aproveite chaves personalizadas de nível superior do dbt

Niall WoodwardCo-fundador & CTO da SELECT

Assim como permitimos que os usuários aproveitem as meta keys / tags que configuraram em seu projeto dbt, os usuários agora podem filtrar e segmentar por qualquer chave personalizada de nível superior nos comentários/tags de consulta. Depois de especificar quais chaves você deseja acessar nas configurações, você poderá acessá-las como opções de filtro/segmentação em todo o SELECT.

O que são chaves personalizadas de nível superior?

Considere o seguinte exemplo de modelo dbt, queries:

1{{ config( materialized='incremental', meta={'team': 'data'} ) }} select * from {{ ref('stg_query_history') }}

Depois que esse modelo é executado e o projeto dbt tem o nosso pacote dbt-snowflake-query-tags instalado, o SQL ficará assim:

1select * from analytics.stg_query_history /* {"app": "dbt", "dbt_snowflake_query_tags_version": "2.3.2", "dbt_version": "1.7.5", "project_name": "select_dbt", "target_name": "prod", "target_database": "SELECT_INGEST", "target_schema": "analytics", "invocation_id": "ac36fd96-48eb-4ab8-b585-f4da8d7e0de5", "node_name": "queries", "node_alias": "queries", "node_package_name": "select_dbt", "node_original_file_path": "models/queries.sql", "node_database": "SELECT_INGEST", "node_schema": "analytics", "node_id": "model.select_dbt.queries", "node_resource_type": "model", "node_meta": {"team": "data"}, "node_tags": [], "full_refresh": false, "which": "build", "invocation_command": "dbt build --vars {'source_schema': 'analytics', 'snowflake_organization_account_source_schema': 'analytics', 'destination_schema': 'analytics'} --target prod --select fqn:*", "node_refs": ["stg_query_history", ], "materialized": "incremental"} */;

É possível que os usuários adicionem chaves de nível superior adicionais aos metadados do comentário de consulta. Uma chave personalizada de nível superior seria qualquer coisa não incluída por padrão no comentário acima. A chave internal_job_name (com o valor hourly_run) no comentário abaixo seria um exemplo disso:

1select * from analytics.stg_query_history /* {"app": "dbt", "dbt_snowflake_query_tags_version": "2.3.2", "dbt_version": "1.7.5", "project_name": "select_dbt", "target_name": "prod", "target_database": "SELECT_INGEST", "target_schema": "analytics", "invocation_id": "ac36fd96-48eb-4ab8-b585-f4da8d7e0de5", "node_name": "queries", "node_alias": "queries", "node_package_name": "select_dbt", "node_original_file_path": "models/queries.sql", "node_database": "SELECT_INGEST", "node_schema": "analytics", "node_id": "model.select_dbt.queries", "node_resource_type": "model", "node_meta": {"team": "data"}, "node_tags": [], "full_refresh": false, "which": "build", "invocation_command": "dbt build --vars {'source_schema': 'analytics', 'snowflake_organization_account_source_schema': 'analytics', 'destination_schema': 'analytics'} --target prod --select fqn:*", "node_refs": ["stg_query_history", ], "materialized": "incremental", "internal_job_name": "hourly_run"} */;