Le RAG est devenu le réflexe par défaut dès qu’une entreprise veut brancher l’IA sur ses documents. La démo est rapide : un dossier PDF, un embedding, une question, une réponse convaincante. En production, la même architecture se heurte à des documents obsolètes, des droits d’accès, des doublons, et à l’absence de critère pour dire qu’une réponse est acceptable.
Sources, fraîcheur, citations
Ce qui marche réellement commence avant le modèle. Quelles sources sont autorisées. Qui les maintient. À quelle fréquence sont-elles réindexées. Une réponse sans citation exploitable n’est pas un outil métier, c’est une conversation. Une citation vers un document périmé est pire : elle donne confiance à une erreur. Le même écart entre démo et production apparaît en extraction documentaire.
Les droits d’accès compliquent encore le tableau. Un collaborateur ne doit pas obtenir, via le RAG, une information qu’il n’aurait pas eue autrement. Cela suppose de propager les permissions jusqu’au retrieval, pas seulement au moment de l’ingestion. Beaucoup de démos ignorent ce point parce qu’elles tournent sur un corpus ouvert. Les SI réels, eux, ne sont pas ouverts.
Évaluer pour progresser
L’évaluation reste l’autre angle mort. Sans jeux de questions métier, sans taux de refus quand le contexte est insuffisant, sans mesure de reprise humaine, on ne sait pas si le système progresse. Le « ça a l’air juste » en comité n’est pas une métrique. Les équipes qui avancent se construisent un petit jeu de vérité et le font vivre au fil des versions. Sans couche sémantique, le retrieval pioche aussi dans des définitions contradictoires.
Un RAG de production ressemble moins à un chatbot qu’à un pipeline : ingestion gouvernée, retrieval contraint, génération avec citation, journalisation, boucle de correction. Si l’on est encore au stade de la démo impressionnante, la question utile n’est pas quel modèle choisir. C’est quelles sources et quels critères de vérité on accepte de défendre. Pour cadrer ce pipeline, voir aussi nos offres IA.
