Groq est une entreprise américaine de semi-conducteurs et d’infrastructure informatique spécialisée dans l’inférence, c’est-à-dire l’exécution de modèles d’intelligence artificielle déjà entraînés. Son positionnement repose sur une architecture matérielle dédiée et sur les logiciels qui l’exploitent. Alors que les GPU occupent une place centrale dans l’IA, Groq cherche à répondre plus spécifiquement aux contraintes de rapidité et de prévisibilité des applications interactives.
Une origine dans la conception de puces pour l’IA
Fondée en 2016, notamment par Jonathan Ross, Groq s’inscrit dans le mouvement de spécialisation des processeurs pour l’apprentissage automatique. Ross avait auparavant participé chez Google au développement du TPU, un circuit conçu pour accélérer les calculs liés à l’IA. Cette expérience nourrit une approche dans laquelle le matériel et le compilateur sont pensés ensemble, plutôt que comme deux couches indépendantes.
L’entreprise a progressivement fait évoluer son discours commercial vers l’inférence des grands modèles de langage, portée par l’essor de l’IA générative. Elle désigne aujourd’hui ses processeurs sous le nom de LPU, pour « Language Processing Unit ». Groq ne doit pas être confondu avec Grok, l’assistant développé par xAI : il s’agit de deux entreprises et de deux offres distinctes.
Des puces au service d’inférence
L’architecture de Groq privilégie une exécution planifiée par le compilateur, avec des échanges de données organisés à l’avance. Elle s’appuie notamment sur de la mémoire SRAM intégrée aux puces. L’objectif est de limiter les aléas d’exécution et les attentes liées aux mouvements de données, afin de produire les réponses des modèles avec une latence maîtrisée. Cette approche implique toutefois des contraintes de capacité mémoire et de répartition des modèles entre plusieurs processeurs.
Avec GroqCloud, l’entreprise rend cette infrastructure accessible aux développeurs par des interfaces de programmation. Ceux-ci peuvent utiliser des modèles disponibles sur la plateforme sans acquérir directement le matériel. Le catalogue a notamment accueilli des modèles des familles Llama et Mixtral. Groq développe également des systèmes destinés au déploiement de son architecture dans des centres de données.
Les usages visés comprennent les assistants conversationnels, la génération de texte et les interfaces vocales. Dans ces applications, le délai avant les premiers éléments de réponse et la vitesse de génération influencent directement l’expérience utilisateur. La comparaison avec d’autres infrastructures doit néanmoins tenir compte du modèle, de la longueur des requêtes, du nombre d’utilisateurs simultanés et du coût global du service.
Et maintenant ?
Le développement de Groq dépendra de sa capacité à transformer ses choix architecturaux en avantages économiques durables. La compatibilité avec les nouveaux modèles, la disponibilité des capacités de calcul et la qualité des outils pour les développeurs seront déterminantes. Face aux GPU et aux accélérateurs conçus par les grands fournisseurs de cloud, l’entreprise devra aussi démontrer la pertinence de son offre à grande échelle. Son enjeu dépasse donc la seule vitesse : il consiste à fournir une infrastructure fiable, intégrable et compétitive pour les usages quotidiens de l’IA.