ChatGPTVÉRIFIER SOURCES CHATGPT
Prérequis
- Processus de relecture existant (PR, validation PO, comité technique)
- Liste de sources de référence par domaine (MDN, docs Next.js, help OpenAI)
- Cas réel où une hallucination a failli partir en prod ou chez le client
- Compte ChatGPT avec recherche web ou accès API pour double vérification
Un chiffre inventé dans une spec, une API inexistante citée en recette ou une jurisprudence fictive dans une note client : les hallucinations LLM coûtent cher en crédibilité. Sans protocole, l’équipe diffuse des faits non sourcés vers le client ou en production. Vous allez formaliser une chaîne de vérification applicable aux livrables agence avant toute diffusion externe.
Cartographier les risques par type de livrable
Classez vos usages : specs techniques (API, config), contenus SEO (chiffres marché), juridique/compliance (RGPD, mentions), recommandations stratégiques. Chaque catégorie a un niveau de tolérance différent.
Définissez les livrables « zéro hallucination » : contrats, SLA, documentation d’API publique, guides d’installation. Ils exigent validation expert systématique, pas seulement relecture orthographique.
Construire la chaîne de vérification
Étape 1 : prompt exigeant citations URL ou références doc pour chaque affirmation factuelle. Étape 2 : extraction des claims par le relecteur ou un second prompt « liste uniquement les faits vérifiables ».
Étape 3 : recoupement manuel ou via script (fetch HEAD, grep doc locale). Étape 4 : marquage dans le livrable final : vérifié le [date] par [rôle]. Intégrez cette chaîne dans votre definition of done.
Outils et prompts de contrôle
Demandez explicitement : « Si incertain, répondez “non vérifié” et proposez une méthode de vérification ». Interdisez les formulations assertives sans source.
Pour le code, exécutez toujours en local ou CI. Pour le SEO, croisez Search Console et outils tiers. Pour la doc framework instable, préférez `node_modules/next/dist/docs/` plutôt qu’une réponse mémorisée du modèle.
Erreurs fréquentes
Relire le style but pas les faits : erreur la plus coûteuse en agence.
Accepter des URLs 404 ou des ancres inventées sans clic.
Déléguer entièrement la spec technique à ChatGPT sans revue dev senior.
Ignorer la date des sources : API dépréciée recommandée comme standard actuel.
Absence de traçabilité : impossible de savoir qui a validé quoi avant envoi client.
Ce qu’il faut retenir
ChatGPT accélère la rédaction ; la responsabilité factuelle reste humaine.
Deux sources indépendantes + exécution/test local pour tout élément critique.
Formalisez la chaîne dans le DoD : prompts, extraction, recoupement, archivage.
Documentez les incidents pour affiner prompts et formations internes.
FAQ
Recherchez les noms d’API, numéros de version et URLs dans la doc officielle et le repo. Si l’élément n’apparaît nulle part, traitez-le comme non vérifié jusqu’à preuve du contraire.
Non : encadrez avec une chaîne de vérification et des rôles clairs. L’interdiction totale pousse les usages non déclarés, plus risqués.
Partiellement : scripts de fetch URL, linters doc-as-code, tests d’exemples de code. Le jugement métier et contextuel reste humain pour les recommandations stratégiques.
Cursor