Du tokenmaxxing au retour sur investissement : comment les entreprises réévaluent leurs dépenses en IA
Au début de l’année 2024, la Silicon Valley s’est emballée pour une pratique appelée « tokenmaxxing » : pousser les modèles de langage à générer le plus grand nombre de tokens possible, dans l’espoir d’exploiter au maximum le potentiel de l’intelligence artificielle générative. Cette frénésie a rapidement rencontré les limites budgétaires, poussant plusieurs géants technologiques à revoir leurs stratégies. Dans cet article, nous examinons comment le passage d’une logique de consommation maximale à une approche centrée sur le retour sur investissement (ROI) redéfinit les priorités des entreprises, notamment dans le secteur de la consommation.
Le phénomène du tokenmaxxing : origines et excès
Le terme « tokenmaxxing » désigne l’utilisation intensive de modèles de langage afin de maximiser le volume de texte produit, souvent sans lien clair avec un objectif métier spécifique. Selon une enquête de The Information (mars 2024), Uber aurait dépensé l’équivalent de son budget annuel d’IA en seulement quelques mois, principalement en raison de requêtes excessives auprès de ses modèles internes.
Cette tendance a été amplifiée par la pression exercée par certains dirigeants qui encourageaient leurs équipes à « pousser l’IA aussi loin que possible ». Toutefois, les coûts associés – licences, consommation d’énergie et infrastructure cloud – ont rapidement dépassé les bénéfices perçus, conduisant à une première vague de rétractation.
Le tournant vers le ROI : mesurer réellement la valeur de l’IA
Face à la facture qui arrivait à échéance, les directions financières ont commencé à exiger des indicateurs de performance plus rigoureux. Tiffany Luck, partenaire chez NEA, explique que les entreprises passent désormais d’une logique de « plus c’est mieux » à une approche basée sur des cas d’usage clairement définis et mesurables.
- Coût par token utile : certaines sociétés calculent désormais le coût réel généré par chaque token qui contribue à une action commerciale (par exemple, une recommandation produit qui conduit à un achat).
- Taux de conversion des interactions IA : le pourcentage d’échanges avec un agent conversationnel qui se traduit par une vente ou une résolution de problème.
- Économies d’opération : réduction du temps moyen de traitement des requêtes clients grâce à l’automatisation.
Ces métriques permettent de distinguer les projets qui créent réellement de la valeur de ceux qui se contentent de consommer des ressources sans retour mesurable.
Les ingénieurs déployés à l’avant : un « cheval de Troie » pour l’adoption de l’IA
Un phénomène observé par plusieurs investisseurs est le rôle croissant des ingénieurs placés en première ligne – ceux qui interagissent directement avec les utilisateurs finaux ou les équipes opérationnelles. Selon Luck, ces techniciens deviennent des vecteurs d’adoption parce qu’ils peuvent traduire les capacités des modèles en solutions concrètes, tout en remontant les besoins réels du terrain.
Cette dynamique rappelle le concept du « cheval de Troie » : plutôt que d’imposer une technologie depuis le siège social, l’IA s’infiltre progressivement par le biais d’initiatives locales qui démontrent un bénéfice immédiat, facilitant ensuite l’adoption à plus grande échelle.
Stratégie de multi‑modélisation : éviter la dépendance à un seul fournisseur
Face à la volatilité des coûts et aux risques de verrouillage fournisseur, de nombreuses entreprises adoptent une approche de « mix‑and‑match » des modèles. Elles combinent, par exemple, un modèle propriétaire pour des tâches nécessitant une haute précision avec un modèle open‑source moins coûteux pour des requêtes à volume élevé.
Cette stratégie présente plusieurs avantages :
- Flexibilité pour choisir le modèle le plus adapté à chaque cas d’usage.
- Réduction du risque lié à une augmentation soudaine des tarifs ou à une discontinuation de service.
- Possibilité de négocier de meilleures conditions en jouant les fournisseurs les uns contre les autres.
Des acteurs comme Meta ont déjà internalisé ce raisonnement en abandonnant certains classements internes propriétaires au profit de solutions hybrides, comme le rapporte TechCrunch (mai 2024).
Où se crée la valeur dans la pile d’IA ?
Tiffany Luck insiste sur le fait que la valeur ne se limite pas au niveau du modèle de langage lui‑même. Elle se répartit sur l’ensemble de la pile :
- Infrastructure : optimisation des coûts de calcul (GPU, TPU) et de stockage.
- Données : qualité, pertinence et gouvernance des jeux de données utilisés pour l’entraînement et le fine‑tuning.
- Middleware : outils d’orchestration, de monitoring et de gestion des coûts en temps réel.
- Application : intégration dans les flux de travail métier (CRM, service client, recommandation produit).
- Expérience utilisateur : conception d’interactions qui génèrent réellement de l’engagement ou de la satisfaction.
En investissant à chaque couche, les entreprises peuvent améliorer l’efficacité globale tout en maîtrisant les dépenses.
Perspectives d’avenir : vers une IA responsable et rentable
Les tendances actuelles suggèrent que l’ère du tokenmaxxing pur touche à sa fin. Les prochains mois seront marqués par :
- Une réglementation accrue sur la transparence des coûts énergétiques liés à l’IA (voir le projet de loi européen sur l’IA durable, proposé en juin 2024).
- L’émergence de plateformes de gestion des coûts IA, similaires aux outils de gestion des dépenses cloud déjà éprouvés.
- Un renforcement du rôle des partenaires capital‑risque comme NEA, qui accompagnent les startups dans la définition