Baseten Labs, Inc. fournit aux équipes techniques une infrastructure pour transformer des modèles d’intelligence artificielle en services utilisables par des applications. Installée à San Francisco, cette entreprise américaine intervient principalement après l’entraînement : sa plateforme prend en charge l’exécution des modèles lorsqu’ils reçoivent une requête, une opération appelée inférence. Son objectif est de réduire le travail d’infrastructure nécessaire pour exploiter l’IA en production, tout en permettant aux développeurs de garder la maîtrise de leurs modèles.
Des outils de développement à l’inférence
Fondée en 2019, Baseten s’est construite autour d’un problème récurrent : un modèle fonctionnel dans un environnement de recherche ne devient pas automatiquement un service fiable. Son passage en production nécessite de gérer les dépendances logicielles, les ressources de calcul, les interfaces et les variations de trafic. L’entreprise a progressivement recentré son offre sur cette couche d’exécution, alors que les modèles génératifs renforçaient les besoins en puissance de calcul.
Cette spécialisation la place à l’intersection des plateformes de développement et des infrastructures cloud. Plutôt que de concevoir un assistant grand public ou de miser sur un unique modèle propriétaire, Baseten propose un environnement pour servir différents modèles, ouverts ou développés par ses clients. Elle s’adresse ainsi aux entreprises qui intègrent l’IA dans leurs produits et doivent en maîtriser les conditions d’exploitation.
Déployer, accélérer et superviser les modèles
Accessible via baseten.co, la plateforme permet de déployer des modèles derrière des interfaces de programmation. Elle gère notamment l’allocation des ressources, la montée en charge et la supervision des déploiements. Ces fonctions visent à absorber les fluctuations de la demande sans imposer aux équipes de construire elles-mêmes toute la chaîne d’exploitation. Les usages couvrent notamment la génération de texte, le traitement d’images et les applications audio.
Baseten développe également Truss, un outil open source qui sert à préparer et à empaqueter des modèles pour leur déploiement. Cette brique formalise leur code et leurs dépendances afin de faciliter leur exécution dans un environnement de production. L’entreprise travaille aussi sur l’optimisation des moteurs d’inférence et de l’utilisation des GPU, avec un enjeu concret : améliorer le débit et réduire la latence sans faire dériver les coûts.
Et maintenant ?
La diffusion des applications génératives rend l’inférence stratégique, mais aussi très concurrentielle. Baseten doit se différencier face aux grands fournisseurs cloud, aux plateformes spécialisées et aux services proposés directement par les concepteurs de modèles. Sa proposition repose sur la combinaison d’une infrastructure gérée, d’optimisations techniques et d’une certaine liberté de choix des modèles.
La suite dépendra notamment de sa capacité à accompagner des charges plus importantes et des architectures associant plusieurs modèles. Pour ses clients, les critères resteront opérationnels : disponibilité, temps de réponse, confidentialité des données et prévisibilité des dépenses. C’est sur ces résultats, davantage que sur les seules démonstrations de modèles, que se jouera la place de Baseten dans l’écosystème de l’IA.