Ainsi, les entreprises ont du mal à prévoir et à contrôler leurs coûts et, comme l’IA évolue si rapidement, de nombreuses organisations manquent de « maturité et de cadres » pour déterminer le retour sur investissement, a-t-il noté. Les flux de travail pilotés par les agents sont difficiles à gérer, les fenêtres contextuelles deviennent surchargées, les budgets sont effacés plus tôt que prévu et les dépenses en jetons deviennent difficiles à justifier.
De plus, les utilisateurs légers, tels que les non-développeurs, augmenteront leur utilisation à mesure qu’ils se familiariseront avec les outils d’IA, voire en dépendront, ce qui augmentera la consommation de jetons et dépensera encore plus.
Tyagi a déclaré que, même si l’IA est incroyablement précieuse, il ne voit aucune « relation directe » entre le nombre de jetons consommés par les développeurs et leurs gains de productivité. Au contraire, l’application des principes d’ingénierie contextuelle pour optimiser ou réduire la consommation de jetons augmente la qualité.
