Claude suffit-il pour la réglementation de la construction ?

Non, dès que la réponse dépend de la date du texte. Sur notre banc d’essai interne de 59 questions de réglementation de la construction, Claude utilisé seul, sans consigne, sans outil et sans accès au web, a donné 32 % de réponses exactes. La plateforme Norma, qui utilise le même modèle avec ses propres consignes, une base de textes datés et, en cours d’essai, un moteur qui choisit la version applicable, en a donné 89 à 91 %. Sur les valeurs courantes, en revanche, le modèle seul obtient des résultats presque aussi bons.

Ce guide présente la méthode, les résultats avec leurs limites et les bons usages d’un assistant généraliste. Il s’adresse aux équipes de maîtrise d’ouvrage ; ChatGPT n’a pas été testé dans ce banc, et nous n’avons pas mesuré un assistant avec recherche web : nous n’avançons donc rien sur eux.

Que peut-on demander sans risque à un assistant généraliste ?

Un assistant d’IA généraliste est utile pour de nombreuses tâches :

• expliquer un concept (la différence entre l’avant-projet sommaire et l’avant-projet définitif, le rôle d’un bureau de contrôle) ;
• préparer des questions à poser à l’architecte, au bureau d’études ou au service instructeur ;
• résumer ou reformuler un texte que vous lui fournissez ;
• donner des ordres de grandeur sur des valeurs courantes.

Notre banc le confirme : sur les seuils et la qualification des ouvrages, le modèle seul obtient 80 % de réponses exactes, et 94 % sur les questions à fausse prémisse. Sur ces sujets, l’écart avec une base de textes est plus réduit.

Quand l’assistant seul se trompe-t-il ?

Il se trompe quand la bonne réponse dépend de la version d’un texte à une date donnée. La réglementation de la construction change souvent, avec des dates d’entrée en vigueur, des régimes transitoires et des abrogations différées. Le modèle a lu beaucoup de textes, mais ne connaît pas toujours leur état à telle date.

Un exemple tiré du banc. La question : un permis pour un établissement recevant du public (ERP) est déposé le 15 septembre 2026, la décision est attendue en novembre 2026 ; quel arrêté de résistance au feu s’applique ? Réponse de référence : l’arrêté du 22 mars 2004. Le nouvel arrêté du 22 mars 2026 abroge celui de 2004, mais son article 23 le rend applicable aux seules demandes déposées à compter du 1er octobre 2026 ; c’est le dépôt qui compte, pas la décision.

Le modèle seul a répondu que le nouvel arrêté s’appliquait, avec une date d’entrée en vigueur inventée au 1er juillet 2026 : il a confondu deux textes. Avec la base de textes datés, la réponse était exacte et citait l’article 23. La réponse du modèle seul paraissait assurée, mais elle était fausse sur le point décisif.

Autre exemple : un commerce neuf de 40 m², permis déposé le 15 mai 2026, la RE2020 s’applique-t-elle ? La réponse est non : les commerces entrent dans le champ de la RE2020 depuis le 1er mai 2026, mais le même article exclut les bâtiments de moins de 50 m². Le modèle seul a conclu juste avec un raisonnement faux (textes non publiés, reports successifs).

Comment le banc d’essai a-t-il été conduit ?

Le banc compare deux systèmes qui utilisent le même modèle. L’écart mesuré combine plusieurs différences (base de textes datés, moteur d’applicabilité, consignes et experts spécialisés de l’assistant) : il ne permet pas d’isoler l’effet d’un seul de ces éléments.

• Claude seul : le modèle claude-sonnet-5, sans consigne, sans outil, sans accès au web ; une question, un appel.
• Norma : le même modèle, dans le circuit réel de l’assistant, avec ses consignes, ses experts spécialisés, la recherche dans la base réglementaire datée et le moteur d’applicabilité (en cours d’essai).
• Trois essais par question, dans une conversation neuve : un modèle de langage ne répond pas deux fois de la même façon, et un seul essai ne prouve rien.
• Des références établies avant de lire les réponses, avec leur source. Elles n’ont pas pu être relues sur Légifrance (accès bloqué), et celles des deux premières séries viennent de sources externes ou du fichier de règles de Norma elle-même.
• Une notation à l’aveugle : les réponses sont mélangées, privées de leur étiquette, puis notées par des modèles évaluateurs qui ne voient que la question, la référence et la réponse. Le barème : exacte, partielle, fausse, source inventée.
• Soixante-deux questions en six catégories : applicabilité dans le temps, textes abrogés ou déplacés, règles de Paris, seuils et qualification, fausses prémisses, honnêteté et contrôle. Les chiffres portent sur 59 d’entre elles ; trois questions neuves ont servi de contrôle.

Quels sont les résultats ?

Réponses jugées exactes, trois essais par question (source : Banc interne Norma, octobre 2026) :

Par catégorie, sur les 59 questions :

Deux autres mesures comptent autant que le score :

• Sources inventées : 13 réponses sur 177 pour le modèle seul (7 %), aucune pour Norma, dans les deux versions. Une source inventée est un texte ou un article cité qui n’existe pas.
• Sources vérifiables (texte et article cités précisément) : 40 % pour le modèle seul, 94 à 96 % pour Norma.

L’écart entre le modèle seul et Norma, version 2, est d’environ 59 points, avec un intervalle à 95 % de 47 à 70 points. L’écart entre la version 2 et la version 3, de 2 points, est dans le bruit de mesure : on ne peut pas dire que l’une est meilleure que l’autre.

L’écart est très important lorsque la date détermine le texte applicable (8 % et 0 % pour le modèle seul), et très faible sur les valeurs connues. Sur 18 des 59 questions, le modèle seul a fait au moins aussi bien que Norma, version 2.

Ce que ce banc ne prouve pas

• Le web n’est pas dans la comparaison. Un modèle avec recherche web ferait mieux que le modèle seul. Le banc mesure « avec ou sans base de textes datée », pas « base datée contre recherche web ».
• ChatGPT n’a pas été testé, ni d’autres assistants.
• Les évaluateurs sont des modèles, de la même famille que les systèmes évalués, et la notation à l’aveugle masque l’étiquette, mais pas le style : les réponses de Norma se reconnaissent à leur structure.
• Les questions et les correctifs viennent du même travail. Les deux premières séries ont été lues, analysées et corrigées pendant le travail : elles ne sont pas une mesure indépendante. Les trois questions neuves le sont, mais trois questions ne font pas une statistique.
• Les références n’ont pas pu être relues sur Légifrance (accès bloqué). Celles des deux premières séries viennent de sources externes ou du fichier de règles de Norma, ce qui peut favoriser Norma ; celles de la série de contrôle viennent du texte officiel stocké dans la base. Nous n’avons relu le texte primaire que là où Norma échouait, et plusieurs références ont été corrigées en route.
• Trois essais par question laissent une marge d’erreur de l’ordre de 5 à 8 % par réponse.

La plateforme se trompe elle aussi : le plan de sauvegarde et de mise en valeur du 7e arrondissement de Paris n’est pas dans sa base, et la question correspondante échoue trois fois sur trois ; une clause à deux dates reste mal restituée ; environ 5 à 8 % des réponses sont fausses ou hésitantes à cause du raisonnement du modèle, que ni la base ni les consignes ne suppriment. La méthode complète est détaillée dans le document du banc, que nous pouvons transmettre sur demande.

Comment réduire le risque d’erreur avec un assistant ?

Quelques réflexes réduisent le risque :

1. Donner la date. Demandez toujours « pour une demande déposée le… » et indiquez le type de bâtiment.
2. Exiger l’article. Une réponse sans numéro d’article, ou avec un numéro que vous ne pouvez pas retrouver, n’a aucune valeur.
3. Autoriser le « je ne sais pas ». La documentation d’Anthropic recommande d’inviter explicitement le modèle à reconnaître son incertitude, de faire citer les passages sources et de vérifier chaque affirmation. Elle précise que ces techniques réduisent les erreurs sans les supprimer.
4. Poser la question deux fois. Des réponses qui divergent signalent une incertitude.
5. Se méfier des questions qui supposent un fait (un plafond qui n’existe pas, une zone mal identifiée).
6. Faire valider ce qui engage. Pour un permis, une consultation ou une décision d’investissement, la réponse doit être confirmée par le texte officiel ou par un professionnel : bureau de contrôle, bureau d’études, avocat, service instructeur.