Kosten mithilfe von Query-Metadaten aufschlüsseln, filtern und zuordnen

Niall WoodwardCo-founder & CTO of SELECT

Wir freuen uns, bekannt zu geben, dass SELECT-Nutzer ab sofort zusätzliche Metadaten von Query-Workloads nutzen können, um ihren Snowflake-Verbrauch besser zu verstehen und zuzuordnen. Wenn Sie unsere dbt- oder Custom Workloads-Integrationen verwenden, betrifft Sie das!

dbt-Meta-Felder und Tags nutzen

Betrachten Sie die folgende beispielhafte dbt_project.yml, die eine Kombination aus dbt-Meta-Feldern und Tags implementiert.

1# dbt_project.yml name: 'select_dbt' version: '1.0.0' config-version: 2 models: +meta: team: 'data' # all models get tagged with team = 'data' by default engineering: +meta: team: 'engineering' marketing: +meta: team: 'marketing' forecasts: +meta: team: 'finance' +tags: - "sensitive" - "critical"

Die Dateistruktur für dieses dbt-Projekt würde in etwa so aussehen wie unten dargestellt. Alle Ressourcen im Verzeichnis "engineering" erhalten ein team-Meta-Feld mit dem Wert engineering. Ebenso erhält das eine Modell im Verzeichnis forecasts ein team-Feld mit dem Wert finance. Außerdem hätte es die folgenden Tags: ["sensitive", "critical"].

1. ├── dbt_project.yml ├── packages.yml └── models/ ├── engineering/ | ├── syncs.sql | └── ai.sql ├── marketing/ | ├── attribition.sql | └── page_clicks.sql └── forecasts/ └── forecast.sql

Um dbt-Meta-Felder in SELECT verfügbar zu machen, können Sie in den Einstellungen angeben, welche Felder aktiviert werden sollen. Für dbt-Tags ist keine solche Angabe erforderlich.

Sobald sie hinzugefügt sind, können Sie in der gesamten Benutzeroberfläche nach diesen Metadaten filtern und aufschlüsseln!

Möchten Sie Kostenverrechnung oder Kostentransparenz mithilfe von dbt-Metadaten umsetzen? Sie können Kosten jetzt flexibel über dbt-Meta-Felder und Tags zuordnen, die Sie mit der Usage Groups-Funktion von SELECT konfiguriert haben!

Benutzerdefinierte Metadaten-Felder nutzen

Custom Workloads ermöglichen es Nutzern, ihre Queries mit Kommentaren oder Snowflake Query Tags zu versehen. Hier ist ein Beispiel für einen Query-Kommentar, den SELECT für einen seiner Custom Workloads verwendet:

1select ... from queries group by all order by sum_query_cost desc nulls last limit 1000 /* { "select_schema_version": "1.0.0", "app": "SELECT_WEB_APP", "workload_id": "DailyWorkloadPoPQuery", "environment": "prod", "tenant_id": "scwxhob-ad38017", "referrer_base_url": "https://select.dev/app/scwxhob-ad38017/workloads", "is_admin_user": true, "user_id": "google-oauth2|115381118870474481840" }*/

Custom-Workload-Felder wie app, workload_id und environment stehen bereits standardmäßig zum Filtern und Aufschlüsseln in der Benutzeroberfläche zur Verfügung. Um dasselbe Verhalten für andere Felder zu aktivieren, die Sie in Ihrem Custom-Workload-Query-Kommentar/-Tag angeben, gehen Sie zu Einstellungen → Custom und legen Sie die gewünschten Schlüssel fest.

Sobald sie hinzugefügt sind, können Sie in der gesamten Benutzeroberfläche nach diesen Metadaten filtern und aufschlüsseln!

Möchten Sie Kostenverrechnung oder Kostentransparenz mithilfe der Metadaten umsetzen, die Sie Ihren Queries hinzugefügt haben? Sie können Kosten jetzt flexibel auf Basis von Custom-Workload-Metadaten mithilfe der Usage Groups-Funktion von SELECT zuordnen!

Derzeit unterstützen wir kein Filtern/Aufschlüsseln nach benutzerdefinierten Meta-Schlüsseln, die komplexe Datentypen wie Arrays oder Objekte enthalten. Falls Sie diese Funktionalität benötigen, lassen Sie es uns bitte wissen, und wir werden sie hinzufügen.

1select * from credit_cards /* { "select_schema_version": "1.0.0", "app": "generated_tables", "workload_id": "my_etl_job", "tags": ["critical", "sensitive"], "meta": {"task_key": "A1SF249X", "attempt_number": 1} }

Hinweis: Sie können diese Daten weiterhin zu Ihrem Query-Kommentar/-Tag hinzufügen und Ihre eigene Analyse damit durchführen. Sie werden diese Daten jedoch derzeit nicht in der SELECT-Benutzeroberfläche interaktiv nutzen können.