3 façons de configurer la taille des warehouses Snowflake dans dbt

Par défaut, dbt utilise le warehouse Snowflake défini dans l'entrée profiles.yml du projet, ou, à défaut, le warehouse par défaut de l'utilisateur Snowflake de dbt. En le remplaçant par un autre warehouse plus grand, ou en redimensionnant simplement le warehouse existant, dbt exécutera désormais toutes ses requêtes sur un warehouse plus puissant. Selon le contexte d'exécution, le warehouse peut être modifié dans le fichier profiles.yml, ou dans dbt Cloud au niveau de l'environnement.

profiles.yml

Dans votre fichier profiles.yml, modifiez le paramètre warehouse pour pointer vers un autre virtual warehouse. La taille de chaque warehouse se configure dans Snowflake.

select_internal:
  outputs:
    dev:
      type: snowflake
      account: org.account
      user: niall
      password: XXXXX
      warehouse: dev
      database: dev
      schema: niall
      threads: 8
  target: dev

dbt Cloud

Dans dbt Cloud, rendez-vous dans Deploy > Environments depuis la barre de menu supérieure. Sélectionnez l'environnement à modifier, puis Settings. Cliquez sur Edit, puis faites défiler jusqu'à Deployment Connection pour changer le warehouse. Sa taille se configure dans Snowflake.

Modifier la taille du warehouse dbt par défaut n'est toutefois pas forcément judicieux : la plupart des requêtes du projet ne tireront pas profit de cette augmentation, ce qui se traduira par une hausse des coûts Snowflake. Pour mieux comprendre l'impact de la taille du warehouse sur la vitesse des requêtes, consultez notre article sur le dimensionnement des warehouses. Plutôt que d'augmenter la taille par défaut, nous recommandons de la fixer à X-Small et de surcharger la taille au niveau de chaque modèle selon les besoins.

Configurer le warehouse au niveau du modèle permet de choisir la taille adaptée aux besoins de chaque modèle, et donc d'optimiser à la fois la performance et le coût.

Warehouse codé en dur

dbt propose la configuration de modèle snowflake_warehouse, qui se présente ainsi dans un modèle donné :

{{ config(
    snowflake_warehouse="dbt_large"
) }}

select
    ...
from {{ ref('stg_orders') }}

Cette configuration peut également s'appliquer à tous les modèles d'un répertoire via dbt_project.yml, par exemple :

name: my_project
version: 1.0.0

---
models:
  +snowflake_warehouse: 'dbt_xsmall'
  my_project:
    clickstream:
      +snowflake_warehouse: 'dbt_large'

Nom de warehouse dynamique selon l'environnement

Dans bien des cas, le warehouse utilisé en production diffère de celui qu'on utilise en développement, en CI ou dans un workflow de tests automatisés. Il en va de même pour les warehouses que nous configurons désormais au niveau du modèle. Pour cela, on peut utiliser une macro à la place de la valeur littérale vue précédemment :

{{ config(
    snowflake_warehouse=get_warehouse('large')
) }}

select
    ...
from {{ ref('stg_orders') }}

Cette macro peut intégrer une logique qui renvoie la taille de warehouse souhaitée selon l'environnement.

Imaginons qu'en production nous ayons créé des warehouses nommés dbt_production_<size> (dbt_production_xsmall, dbt_production_small, dbt_production_medium, etc.), et qu'en CI nous disposions de warehouses nommés dbt_ci_<size>. Pour le développement local, nous voulons simplement utiliser le warehouse par défaut et ignorer la taille configurée. Nous voulons aussi lever une erreur si la taille choisie ne figure pas dans une liste gérée. Voici la logique de macro correspondante :

{% macro get_warehouse(size) %}
    {% set available_sizes = ['xsmall', 'small', 'medium', 'large', 'xlarge', '2xlarge'] %}
    {% if size not in available_sizes %}
        {{ exceptions.raise_compiler_error("Warehouse size not one of " ~ valid_warehouse_sizes) }}
    {% endif %}
    {% if target.name in ('production', 'prod') %}
        {% do return('dbt_production_' ~ size) %}
    {% elif target.name in ('ci') %}
        {% do return('dbt_ci_' ~ size) %}
    {% else %}
        {% do return(None) %}
    {% endif %}
{% endmacro %}

L'utilisation d'une macro pour la configuration snowflake_warehouse ne fonctionne que dans les fichiers de modèle ; elle n'est pas utilisable dans dbt_project.yml.

Il n'est aujourd'hui possible de configurer des warehouses que pour les modèles et les snapshots. Pour suivre l'évolution de la prise en charge d'autres ressources comme les tests, jetez un œil à cette issue GitHub.

Découvrez notre package dbt dbt_snowflake_monitoring, qui fournit un modèle dbt_queries simple d'utilisation pour analyser les performances des modèles dbt dans le temps. Il attribue les coûts à chaque exécution de modèle, ce qui permet de répondre facilement à des questions comme quels sont les 10 modèles les plus coûteux du mois dernier ?.