Les dossiers fournisseurs d’IA se ressemblent. Cas d’usage séduisants, logos clients, engagement de conformité. Pour une DSI, la question utile est plus sèche : que se passe-t-il le jour où l’outil se trompe, où le contrat change, ou où l’on veut sortir. Si la réponse tient en une phrase marketing, le risque est sous-évalué.
Cinq axes d’inspection
Cinq axes d’inspection aident à sortir du brouillard. Localisation et sous-traitants des données. Capacité à journaliser prompts, contextes et actions, et à conserver ces journaux sous contrôle. Périmètre fonctionnel explicite, y compris ce que le système ne fera jamais. Réversibilité : export des données, des configurations, des historiques. Coût réel à l’échelle, tokens, stockage, support, intégration, reprise humaine. Ces axes disent souvent plus qu’un benchmark de modèle. Ils rejoignent nos critères opérationnels de souveraineté des données.
Le lock-in doux mérite une attention particulière. Une base de connaissances qui ne s’exporte pas, des workflows impossibles à reproduire, une API qui change sans préavis. Rien de cela n’est forcément illégal. C’est simplement cher à découvrir trop tard, surtout lorsque le métier s’est déjà appuyé sur l’outil au quotidien.
Tester la réponse sous tension
Il est aussi utile de tester la réponse du fournisseur face à un incident simulé. Qui est joignable. Dans quel délai. Avec quel niveau de détail technique. Une grille de sécurité bien remplie ne remplace pas la capacité à collaborer sous tension. Les équipes qui ont déjà vécu un incident le savent : le contrat se lit autrement le jour où quelque chose casse. Sur le run des agents, voir aussi gouvernance, logs et escalation.
Une évaluation sérieuse prend du temps. Elle en évite davantage ensuite. Mieux vaut des critères exigeants avant signature que des exceptions après incident. La même grille peut d’ailleurs servir en interne, pour juger les briques que l’on construit soi-même. Ce qui ne passe pas le test chez un tiers ne devrait pas le passer chez soi non plus. La même grille éclaire aussi le choix entre souveraineté des données et hébergement cloud correctement cadré.
