Filtre, segmente e atribua custos usando metadados de consultas

Niall WoodwardCo-fundador & CTO da SELECT

Temos o prazer de anunciar que os usuários do SELECT agora podem aproveitar metadados adicionais associados às cargas de trabalho de consultas para entender e atribuir melhor o consumo do Snowflake. Se você está usando nossas integrações de dbt ou custom workloads, isso se aplica a você!

Aproveitando meta & tags do dbt

Considere o exemplo de dbt_project.yml abaixo, que implementa uma combinação de campos meta e tags do dbt.

1# dbt_project.yml name: 'select_dbt' version: '1.0.0' config-version: 2 models: +meta: team: 'data' # all models get tagged with team = 'data' by default engineering: +meta: team: 'engineering' marketing: +meta: team: 'marketing' forecasts: +meta: team: 'finance' +tags: - "sensitive" - "critical"

A estrutura de arquivos para este projeto dbt seria semelhante ao mostrado abaixo. Todos os recursos no diretório engineering receberiam um campo meta team com o valor engineering. Da mesma forma, o único modelo no diretório forecasts receberia um campo team com o valor finance. Ele também teria as seguintes tags: ["sensitive", "critical"].

1. ├── dbt_project.yml ├── packages.yml └── models/ ├── engineering/ | ├── syncs.sql | └── ai.sql ├── marketing/ | ├── attribition.sql | └── page_clicks.sql └── forecasts/ └── forecast.sql

Para expor campos meta do dbt no SELECT, você pode acessar as configurações e especificar quais campos deseja habilitar. Nenhuma especificação é necessária para tags do dbt.

Uma vez adicionados, você pode filtrar e segmentar por esses metadados em toda a interface!

Deseja fazer chargebacks ou showbacks de custos usando metadados do dbt? Agora você pode alocar custos de forma flexível usando os campos meta e tags do dbt que você especificou com o recurso Usage Groups do SELECT!

Aproveitando campos de metadados personalizados

Custom workloads permitem que os usuários marquem suas consultas com comentários ou query tags do Snowflake. Aqui está um exemplo de comentário de consulta que o SELECT usa para uma de suas custom workloads:

1select ... from queries group by all order by sum_query_cost desc nulls last limit 1000 /* { "select_schema_version": "1.0.0", "app": "SELECT_WEB_APP", "workload_id": "DailyWorkloadPoPQuery", "environment": "prod", "tenant_id": "scwxhob-ad38017", "referrer_base_url": "https://select.dev/app/scwxhob-ad38017/workloads", "is_admin_user": true, "user_id": "google-oauth2|115381118870474481840" }*/

Campos de custom workload como app, workload_id e environment já estão disponíveis para filtragem e segmentação na interface por padrão. Para habilitar o mesmo comportamento para outros campos que você especifica no comentário/tag de consulta da sua custom workload, acesse Configurações → Custom e especifique as chaves que deseja habilitar.

Uma vez adicionados, você pode filtrar e segmentar por esses metadados em toda a interface!

Deseja fazer chargebacks ou showbacks de custos usando os metadados que você adicionou à sua consulta? Agora você pode alocar custos de forma flexível com base nos metadados de custom workload usando o recurso Usage Groups do SELECT!

Atualmente, não oferecemos suporte a filtragem/segmentação em chaves meta personalizadas que contenham tipos de dados complexos, como arrays ou objetos. Se isso é um requisito para você, entre em contato conosco e adicionaremos essa funcionalidade.

1select * from credit_cards /* { "select_schema_version": "1.0.0", "app": "generated_tables", "workload_id": "my_etl_job", "tags": ["critical", "sensitive"], "meta": {"task_key": "A1SF249X", "attempt_number": 1} }

Observe que você ainda pode adicionar esses dados ao comentário/tag da sua consulta e realizar sua própria análise. Você apenas não poderá interagir com esses dados na interface do SELECT no momento.