Une réponse à quelques fractions de centime, multipliée par des milliers de salariés : sur le papier, l’assistant d’entreprise semble une bonne affaire. Mais entre la question posée et la réponse utilisable, toute une machinerie travaille. Elle retrouve des documents, vérifie les droits d’accès, interroge un modèle, recommence parfois et conserve des traces. Puis un humain tranche les cas difficiles. À l’horizon de septembre 2026, c’est ce coût complet, plutôt que le seul tarif des tokens, qui devrait structurer le débat budgétaire sur l’IA.
Le token, une unité utile mais trompeuse
Le token, fragment de texte traité par un modèle, est devenu l’unité familière des devis d’IA générative. Les fournisseurs distinguent généralement les entrées et les sorties, avec des conditions variables pour le cache ou le traitement différé. Cette grille permet de comparer des appels. Elle ne suffit pas à comparer des services : deux assistants répondant à la même question peuvent mobiliser des architectures très différentes.
Les tendances déjà établies donnent la direction : diversification des modèles, développement des offres compactes, allongement des fenêtres de contexte et multiplication des outils connectés. Elles rendent certains usages plus accessibles, mais encouragent aussi leur extension. Un appel moins cher ne garantit pas une facture mensuelle plus faible si chaque demande déclenche davantage d’appels ou si l’adoption accélère.
C’est là qu’intervient le FinOps, démarche associant finance, ingénierie et métiers pour piloter la valeur des dépenses technologiques. Appliqué à l’IA, il ne consiste pas simplement à obtenir une remise. Il impose de relier les ressources consommées à un résultat : un dossier traité, une recherche aboutie, une demande correctement résolue.
Avant la réponse, la fabrique documentaire
Prenons un assistant destiné au service après-vente. Un conseiller lui demande si une réparation entre dans la garantie. Pour répondre correctement, le système doit retrouver la bonne version du contrat, identifier le produit, consulter les exceptions et tenir compte du pays. La génération du texte n’est que la dernière étape visible de cette chaîne.
Dans une architecture de génération augmentée par récupération, ou RAG, les documents sont d’abord collectés, nettoyés, découpés et indexés. Les PDF scannés peuvent nécessiter une reconnaissance de caractères. Les tableaux demandent parfois un traitement spécifique. À chaque mise à jour, une partie de ce travail recommence. Une base documentaire volumineuse mais peu consultée peut ainsi coûter avant même de produire sa première réponse utile.
À l’usage s’ajoutent la recherche, les filtres d’autorisation et, éventuellement, un reclassement des passages par un modèle spécialisé. Le contexte récupéré est ensuite transmis au générateur : les documents deviennent aussi des tokens facturés. Injecter davantage de texte « par sécurité » peut donc faire payer deux fois une mauvaise sélection, en infrastructure puis en traitement.
Le stockage ne se résume pas aux fichiers
Il faut compter les originaux, les versions transformées, les représentations vectorielles, les index, les sauvegardes et les journaux. Selon l’architecture, s’ajoutent les transferts réseau et la réplication. Le coût dépend autant des règles de conservation que du volume initial. Garder indéfiniment chaque échange et chaque passage récupéré n’est pas une stratégie gratuite, ni nécessairement souhaitable pour la confidentialité.
Les agents rendent la dépense moins prévisible
Un chatbot simple suit un parcours relativement court. Un assistant capable d’utiliser des outils peut reformuler la question, lancer plusieurs recherches, consulter une application métier puis vérifier son résultat. Cette orchestration ouvre des possibilités réelles. Elle transforme aussi une interaction en une succession d’opérations dont la longueur varie avec la difficulté rencontrée.
Les nouvelles tentatives méritent une ligne comptable distincte. Un service indisponible provoque un nouvel appel ; une sortie mal structurée exige une correction ; une source contradictoire entraîne une autre recherche. Toutes ces reprises ne sont pas inutiles. Mais sans limite d’itérations, délai maximal et règle d’abandon, le système peut dépenser toujours plus sans améliorer sensiblement sa réponse.
Le temps d’attente compte également. Une réponse économique mais lente peut immobiliser un conseiller ou pousser l’utilisateur à relancer sa demande. À l’inverse, maintenir de la capacité pour absorber les pointes coûte, particulièrement avec des modèles hébergés par l’entreprise. Le prix doit donc être lu avec la latence, la disponibilité et la qualité, jamais isolément.
Superviser et vérifier : le coût de la confiance
En production, savoir qu’une requête a réussi techniquement ne suffit pas. Il faut pouvoir repérer une réponse sans source, une fuite d’information, une dérive de qualité ou un outil qui échoue régulièrement. Cette observabilité mobilise des traces, des tableaux de bord, des alertes et du temps d’investigation. Les traces détaillées peuvent elles-mêmes contenir des données sensibles et nécessiter un filtrage.
L’évaluation ajoute un autre étage : jeux de questions représentatives, réponses de référence, tests après modification du modèle ou de l’index. Un second modèle peut aider à noter les sorties, mais il consomme lui aussi des ressources et peut se tromper. Son jugement ne remplace pas automatiquement une validation humaine, surtout pour les décisions à conséquences importantes.
Le contrôle humain est souvent le poste le plus mal décrit dans le dossier initial. Relire une réponse, retrouver sa source et corriger une erreur prennent du temps. Si l’assistant produit un texte convaincant mais difficile à vérifier, il peut déplacer le travail plutôt que le réduire. À l’inverse, une réponse brève, sourcée et sachant signaler son incertitude peut faciliter la validation.
Le bon indicateur : la demande réellement résolue
Diviser la facture du fournisseur par le nombre de messages donne un coût technique partiel. Pour décider, mieux vaut calculer un coût par demande correctement résolue, en explicitant ce que « résolue » signifie. Le numérateur comprend les dépenses techniques, l’exploitation et le travail humain attribuable au service. Le dénominateur exclut les réponses inutilisables et évite de compter les relances comme des succès supplémentaires.
Quelques pratiques rendent ce pilotage concret :
- Attribuer les dépenses par application, équipe et type de tâche, sans journaliser inutilement les données personnelles.
- Mesurer les parcours : appels par demande, reprises, escalades humaines et délai jusqu’à résolution.
- Router selon la difficulté : recherche classique ou petit modèle pour les cas simples, modèle plus puissant lorsque les tests le justifient.
- Tester les économies sur un ensemble stable de cas, afin de détecter une dégradation cachée de la qualité.
Le cache, le traitement par lots et la réduction du contexte peuvent aider. Ils ont cependant des limites : fraîcheur des informations, droits d’accès, délais acceptables. Une réponse mise en cache ne doit pas circuler entre utilisateurs non autorisés. Quant à l’auto-hébergement, son intérêt se juge avec le taux d’utilisation des machines, l’exploitation et les compétences nécessaires, pas seulement avec le prix du matériel.
Et maintenant ? Pour septembre 2026 et au-delà, l’hypothèse raisonnable est celle d’assistants plus capables, mais de chaînes de coûts plus complexes. Les organisations les mieux préparées ne seront pas forcément celles qui auront acheté les tokens les moins chers. Ce seront celles qui sauront expliquer ce que coûte une tâche terminée, où échoue le parcours et quand l’intervention humaine apporte davantage de valeur qu’un appel supplémentaire.
