Lors de cette session, Ian Whitestone (cofondateur et CEO de SELECT by DoiT) et Olivier Soucy (fondateur d'Okube.ai et partenaire Databricks) ont passé en revue ce qu'est réellement Databricks Genie, comment ses différentes briques s'articulent et ce qu'il coûte vraiment à l'usage. Vous trouverez ci-dessous un récapitulatif complet, si vous préférez lire plutôt que regarder, ou si vous souhaitez pouvoir y revenir plus tard.
L'essentiel en bref
- Genie n'est pas une fonctionnalité unique de Databricks. Ce sont trois produits distincts, Genie One, Genie Agents et Genie Code, qui reposent tous sur une couche d'intelligence commune appelée Genie Ontology.
- Genie était gratuit jusqu'à récemment. Depuis juillet dernier, Databricks facture Genie Code, et Genie One et Genie Agents devraient suivre à terme.
- Le coût lié à l'IA est facile à suivre. Le coût de compute déclenché par Genie l'est beaucoup moins, et c'est généralement le poste le plus important.
- Les budgets Genie permettent de plafonner la partie IA de la facture. Pour maîtriser la partie compute, il faut un SQL warehouse dédié et correctement taggé.
Genie : trois produits, pas un seul
Genie est devenu un terme générique, et Databricks n'a pas facilité les choses. Comme le résumait Olivier, le nommage a changé tellement de fois que même des personnes qui travaillent avec Databricks depuis des années s'y perdent. Voici ce que recouvre réellement le nom Genie aujourd'hui.
Genie One
Le point d'entrée pour les utilisateurs métier. Il s'agit d'une interface de chat simplifiée, comparable à ChatGPT ou Claude, à la différence qu'elle est directement connectée à vos données : vos tables, vos métadonnées et les agents que vous avez créés. Elle fonctionne aussi en dehors de Databricks : via l'API de Genie, elle peut être intégrée à Slack, Teams ou à des feuilles de calcul, pour qu'un utilisateur puisse poser une question comme "combien de ventes avons-nous réalisées la semaine dernière ?" sans jamais ouvrir Databricks.
Genie Agents
Par défaut, Genie a accès à toutes les tables de votre catalogue, mais cela ne suffit pas toujours pour bien répondre à une question précise. Les Genie Agents résolvent ce problème en vous permettant de configurer une ressource dotée d'une vraie connaissance métier : les tables à utiliser pour un sujet donné, des instructions en langage naturel et des exemples de calculs ou de métriques. Genie One fait appel à ces agents automatiquement dès qu'une question relève de leur domaine, sans que vous ayez à préciser quel agent utiliser.
Les agents peuvent aussi être configurés pour s'exécuter avec les identifiants de la personne qui pose la question, ce qui signifie que les règles existantes de sécurité au niveau des lignes et de masquage de colonnes continuent de s'appliquer, ou avec un identifiant partagé si vous souhaitez donner à l'agent un accès plus large.
Genie Code
La brique destinée aux développeurs. Elle exécute du SQL et du Python, et peut créer de véritables ressources Databricks : jobs, pipelines, dashboards, et même d'autres Genie Agents. Dans la démo, Olivier n'a pas écrit la configuration d'un agent à la main : il l'a générée avec Genie Code, qui lui a demandé les informations nécessaires avant de tout formater correctement.
La couche sous-jacente : Genie Ontology
Genie Ontology n'est pas un produit avec lequel vous interagissez directement : c'est la couche d'intelligence qui fait fonctionner les trois autres. Construite sur Unity Catalog, elle extrait automatiquement les définitions métier, cartographie les relations entre les tables, analyse votre historique de requêtes pour comprendre ce qui est réellement utilisé et comment, et exploite les métadonnées, commentaires et règles de gouvernance déjà en place. C'est ce qui permet à Genie de répondre à des questions propres à votre activité, au lieu de fournir des réponses génériques et déconnectées.
Un exemple concret : apprendre à Genie à comprendre un portefeuille boursier
Pour montrer comment ces briques s'articulent, Olivier a déroulé une démo simple. Il disposait d'une table Unity Catalog contenant l'historique des cours de Bourse, et a posé à Genie One une question toute simple : comment la valeur de mon portefeuille a-t-elle évolué au cours des deux dernières années ?
Genie One n'a pas su répondre. Il voyait bien la table des cours, mais n'avait aucune idée de ce qu'Olivier possédait réellement : cette information n'existe tout simplement pas dans Databricks.
Il a donc créé un Genie Agent pour y remédier. Les instructions de l'agent précisaient les positions réellement détenues (dans la démo, environ 100 $ d'Apple et 200 $ de Microsoft, achetés deux ans plus tôt) et expliquaient en langage naturel comment calculer la valeur du portefeuille à partir de ces données. Il a également indiqué à l'agent les bonnes tables sources.
Il est ensuite retourné dans Genie One et a reposé exactement la même question, mot pour mot. Cette fois, au lieu d'indiquer qu'il manquait d'informations, Genie a produit un graphique de l'évolution de la valeur du portefeuille, les rendements totaux, les gains et les moments clés des positions. Genie One avait automatiquement identifié l'agent pertinent et l'avait sollicité, sans que personne ne le lui demande.
Cette même configuration permet aussi des cas comme la conversion d'unités. Olivier a donné l'exemple d'une instruction ajoutée directement dans la configuration de l'agent pour convertir les prix de USD en CAD, ou les horodatages en UTC, sans rien modifier dans les tables sous-jacentes.
Quelques autres points abordés autour de cette démo :
- Les agents peuvent se passer le relais. Si une question couvre plusieurs sujets, Genie One peut appeler plusieurs agents, attendre chaque réponse et les combiner en une réponse unique.
- Les définitions d'agents peuvent être exportées en JSON ou YAML et déployées via Databricks Asset Bundles, l'outil de déploiement simplifié de Databricks, dans l'esprit de Terraform. Le support natif de Terraform pour les agents n'est pas encore disponible.
- Les agents peuvent être évalués comme du code, en utilisant MLflow pour définir des questions de test, comparer dans le temps les réponses attendues et les réponses obtenues, et surveiller toute dérive une fois l'agent en production.
Olivier a aussi partagé un exemple concret tiré de son propre travail : un dispositif de monitoring s'appuyant sur plusieurs agents (échecs de workflows, données de coûts, contrôles de qualité des données) pour générer automatiquement des rapports quotidiens, avec en plus la possibilité de poser des questions de suivi comme "pourquoi ai-je des doublons ?" et d'obtenir une réponse précise et exploitable.
Ce que Genie coûte réellement
Genie était gratuit. Cela a changé en juillet dernier. Databricks prévoyait initialement de facturer les trois produits en même temps, mais a fait marche arrière pour laisser aux équipes le temps de s'adapter. Au moment de ce webinaire, seul Genie Code est facturé, à l'usage, même si Genie One et Genie Agents devraient eux aussi être facturés à terme.
Chaque utilisateur bénéficie de 150 DBU gratuits par mois (environ 7 à 8 $, selon le fournisseur cloud et la région) avant que la facturation ne s'applique. Une exception à connaître : les service principals ne bénéficient d'aucun quota gratuit. L'usage automatisé est facturé dès la toute première requête.
Le coût lui-même se décompose en deux volets très différents :
- L'usage du LLM. Facile à suivre : il est mesuré en DBU et apparaît dans vos tables système. Vous pouvez l'interroger directement et filtrer par type de produit pour voir exactement ce que vous coûte l'usage IA de Genie.
- Le compute. C'est là que ça se complique. Exécuter Genie Code (ou n'importe quel agent) revient à exécuter du SQL et du Python sous le capot, et ce compute est facturé comme du compute Databricks ordinaire. Aucune colonne de table système n'indique "cette activité du warehouse provient de Genie". Ce coût reste invisible, à moins de faire l'effort de l'isoler.
Dans la démo du portefeuille, le coût total s'est élevé à environ 5 $. La partie LLM a été facturée 0 $, car elle restait dans le quota mensuel gratuit, mais elle aurait coûté environ 4 $ à elle seule dans le cas contraire. Olivier n'a pu séparer le coût LLM du coût compute que parce qu'il s'agissait de son espace de travail personnel, sans aucune autre activité sur cette plage horaire. Dans un environnement de production partagé, une séparation aussi nette n'est pas réaliste sans configuration supplémentaire.
Comment garder les coûts de Genie sous contrôle
Côté LLM, Databricks propose des budgets Genie, configurables via l'interface ou en tant que code. Vous pouvez définir un plafond mensuel global et un plafond par utilisateur, disposer d'un dashboard pour suivre l'usage, et être alerté par e-mail, Slack ou Teams lorsqu'un utilisateur approche de sa limite. Pour l'instant, cela ne couvre que Genie Code, seul produit actuellement facturé, mais ce mécanisme devrait s'étendre à Genie One et Genie Agents lorsque leur facturation démarrera à son tour.
Côté compute, il n'existe pas de contrôle natif équivalent. L'approche recommandée consiste à créer un SQL warehouse dédié aux Genie Agents, à le tagger correctement et à y faire transiter le trafic des agents. Un coût jusque-là invisible devient ainsi réellement visible, et peut être combiné à votre dashboard de coûts LLM pour obtenir une vision complète.
FAQ
Genie respecte-t-il mes règles existantes de sécurité au niveau des lignes et de masquage des données ? Oui. Vous pouvez configurer un agent pour qu'il s'exécute avec les identifiants de la personne qui pose la question, ce qui signifie que la sécurité au niveau des lignes et le masquage de colonnes existants continuent de s'appliquer. Vous pouvez aussi attribuer à un agent un identifiant partagé si vous souhaitez lui donner un accès plus large que celui d'un utilisateur donné.
Puis-je choisir le modèle d'IA qui alimente Genie ? Non. Databricks gère et sélectionne le modèle pour vous : il s'agit d'un modèle propriétaire conçu spécifiquement pour ses produits data, et il n'est pas possible de le remplacer au sein de Genie lui-même. Le choix du modèle n'est possible que si vous construisez une Databricks App entièrement personnalisée avec votre propre logique.
Plusieurs Genie Agents peuvent-ils collaborer sur une même question ? Oui. Genie One joue le rôle d'orchestrateur. Si une question touche plusieurs sujets, il peut appeler plusieurs agents, attendre la réponse de chacun et combiner les résultats en une réponse unique.
Puis-je versionner mes Genie Agents comme du code ? En partie. Les définitions d'agents peuvent être exportées en JSON ou YAML et déployées via Databricks Asset Bundles, l'outil de déploiement propre à Databricks, dans l'esprit de Terraform. Le support direct de Terraform pour les agents n'est pas encore disponible.
Comment savoir si un agent répond réellement correctement ? Databricks prend en charge les évaluations via MLflow. Vous pouvez définir un ensemble de questions de test avec les réponses attendues, suivre la précision d'un agent dans le temps et surveiller toute dérive une fois qu'il est en production.
Snowflake propose-t-il un produit similaire, avec la même tarification ? Oui. Snowflake propose un produit comparable basé sur des agents, avec un modèle de tarification en deux volets quasi identique : l'usage du LLM, plus le compute déclenché par l'agent. Dans la plupart des cas d'usage, c'est le coût de compute qui pèse le plus lourd, et non le coût du LLM lui-même.
Genie est-il vraiment gratuit ? Plus maintenant. Depuis juillet dernier, Databricks facture spécifiquement Genie Code, à l'usage en DBU, avec un quota mensuel gratuit de 150 DBU par utilisateur (hors service principals). Genie One et Genie Agents devraient eux aussi être facturés à l'avenir.
Ressources complémentaires
Vous voulez la version écrite et plus détaillée de tout ce qui a été couvert ici, y compris la requête exacte sur les tables système pour extraire vos coûts Genie ? Consultez notre guide gratuit : Databricks Genie Explained: What It Is, How to Use It, and What It Costs.