La demande tient en une phrase : « Génère-moi dix questions sur la conduite d’un entretien commercial. »

Quelques secondes plus tard, l’intelligence artificielle propose un questionnaire bien formulé, avec quatre réponses par question. Le résultat paraît professionnel. Mais permet-il de vérifier la compétence attendue ? Le niveau est-il adapté ? Les réponses sont-elles exactes ? Les situations correspondent-elles au métier ? Et quelle décision sera prise à partir du score ?

Générer un questionnaire avec l’IA est facile. Concevoir une évaluation cohérente avec des objectifs pédagogiques, un public, un contexte et un niveau de preuve reste un travail d’ingénierie.

L’IA peut accélérer ce travail. Elle ne remplace ni l’intention pédagogique, ni l’expertise métier, ni la validation humaine.

Table des matières

Le sujet n’est pas encore un objectif pédagogique

« Entretien commercial », « sécurité » ou « management » désignent des thèmes. Ils ne précisent pas ce que la personne devra être capable de faire.

Pour construire une évaluation, il faut distinguer :

  • le sujet : le domaine abordé ;
  • l’objectif pédagogique : l’action attendue à l’issue de la formation ;
  • la compétence : la mobilisation de ressources dans une situation ;
  • le niveau de maîtrise : ce qui différencie une réponse acceptable d’une réponse experte ;
  • la preuve : le comportement, la production ou la réponse permettant de constater l’acquis.

Sur un même thème, les évaluations peuvent être très différentes.

Pour une formation à la sécurité, « citer les étapes de la procédure » peut être évalué par un quiz. « Appliquer la procédure dans une situation imprévue » demande plutôt un scénario ou une observation. « Réagir sans délai à un incident » peut nécessiter une simulation chronométrée et des critères précis.

Si l’objectif n’est pas explicite, l’IA complétera les zones manquantes par des hypothèses. Le texte pourra être convaincant tout en évaluant la mauvaise chose.

Ce que l’IA peut accélérer

Analyser un programme de formation

L’IA peut repérer les thèmes, les verbes d’action, les publics, les prérequis et les objectifs présents dans un document. Elle peut signaler des objectifs vagues ou des incohérences apparentes.

  • Cette analyse constitue une première lecture. Un responsable pédagogique doit vérifier que le programme est correctement interprété et que les éléments implicites ne sont pas transformés en certitudes.

Reformuler des objectifs

À partir d’un objectif comme « comprendre la procédure », l’IA peut proposer une formulation plus observable : « identifier les situations d’application » ou « exécuter les étapes dans l’ordre attendu ».

Elle peut suggérer. Le professionnel décide du résultat réellement attendu, du contexte et du critère de réussite.

Proposer une structure d’évaluation

En fonction des objectifs, l’IA peut répartir les questions par thème, niveau de difficulté ou format : connaissance, application, étude de cas, observation.

Elle peut aussi repérer un déséquilibre, par exemple dix questions de mémorisation pour une formation dont l’objectif principal est la résolution de problèmes.

Générer une première version des questions

L’IA peut produire :

  • des questions à choix ;
  • des scénarios ;
  • des réponses incorrectes plausibles ;
  • des questions ouvertes ;
  • des critères d’observation ;
  • des variantes ;
  • des feedbacks pédagogiques.

Le gain de temps est réel, surtout pour la première version. Mais une question plausible n’est pas nécessairement valide. Des travaux de recherche sur la génération de questions par les grands modèles de langage soulignent précisément la nécessité d’une évaluation par des enseignants ou experts : certaines questions générées peuvent contenir des erreurs ou être pédagogiquement peu utiles.

Adapter et traduire

L’IA peut simplifier une formulation, adapter le registre à un public ou produire une traduction initiale. La validation doit porter sur le sens métier, les termes réglementaires et l’équivalence du niveau de difficulté.

Préparer l’analyse

Après la collecte, l’IA peut regrouper des verbatims par thème, faire ressortir des difficultés récurrentes, proposer une première synthèse ou aider à prioriser les réponses à examiner.

  • Cette capacité est utile lorsque les commentaires sont nombreux. Elle ne dispense pas de revenir aux données sources, de vérifier les regroupements et de traiter les informations personnelles dans un cadre approprié.

Ce que l’IA ne doit pas décider seule

La pertinence de l’objectif

Seuls les responsables métier et pédagogiques peuvent confirmer ce que la formation doit changer.

Le niveau d’exigence

Un seuil de réussite, une erreur éliminatoire ou une compétence attendue engage l’organisation. L’IA peut proposer un seuil ; elle ne possède pas l’autorité pour le fixer.

L’exactitude métier ou réglementaire

Une réponse générée peut être fausse, incomplète ou obsolète. Toute question touchant à la sécurité, au droit, à la conformité, à la santé ou à une procédure interne doit être validée par la personne compétente.

La validité pédagogique

Une question peut être grammaticalement parfaite et mesurer un détail secondaire. La validation doit vérifier l’alignement avec l’objectif, l’absence d’ambiguïté et l’adéquation du format.

L’interprétation définitive

Un score faible peut provenir d’une difficulté réelle, d’une question mal écrite, d’un problème technique ou d’un contexte particulier. L’analyse doit confronter plusieurs hypothèses.

Une décision concernant une personne

Une décision de certification, d’affectation, de progression ou de sanction ne doit pas être abandonnée à une génération automatique sans cadre, critères vérifiés et supervision humaine. Les exigences applicables dépendent du contexte et de l’usage du système.

L’attribution d’un impact

L’IA peut repérer une évolution conjointe entre résultats de formation et KPI métier. Elle ne peut pas conclure automatiquement que la formation a causé cette évolution.

Automatible ou accélérable Assisté par l’IA À valider impérativement par un humain
Extraction d’éléments d’un programme Reformulation d’objectifs Pertinence de l’objectif
Génération de variantes Choix des formats Exactitude métier ou réglementaire
Mise en forme et première traduction Proposition de niveaux de difficulté Critères et seuils de réussite
Regroupement initial de verbatims Structure du questionnaire Validité pédagogique
Première synthèse Interprétation d’anomalies Décision concernant une personne

Un processus de conception assistée en huit étapes

1. Fournir le contexte

Précisez le métier, le public, la situation, le programme, les contraintes et les sources autorisées. Évitez de transmettre des données personnelles ou confidentielles dans un outil non prévu à cet effet.

2. Clarifier les objectifs

Listez les actions attendues. Demandez à l’IA de signaler les formulations non observables, puis faites-les valider.

3. Définir le niveau attendu

La personne doit-elle reconnaître, expliquer, appliquer, diagnostiquer, produire ou décider ? Cette précision influence directement le type de question.

4. Choisir ce qui sera mesuré

Déterminez si l’évaluation porte sur des connaissances, une performance, un transfert ou un résultat. Notre article sur les indicateurs d’efficacité d’une formation aide à choisir le bon niveau.

5. Générer une première proposition

Demandez une matrice reliant chaque question à un objectif, un niveau de difficulté, une réponse attendue et une justification. Cette traçabilité facilite la revue.

6. Vérifier

Contrôlez les sources, la bonne réponse, les distracteurs, l’ambiguïté, le langage, les biais et la cohérence avec l’objectif. Pour un domaine sensible, faites intervenir l’expert compétent.

7. Tester

Faites relire ou passer l’évaluation à un petit groupe représentatif. Analysez les incompréhensions, le temps de réponse et les questions qui ne discriminent pas le niveau attendu.

8. Analyser et améliorer

Après diffusion, examinez les résultats par objectif, les questions problématiques et les verbatims. L’IA peut préparer l’analyse ; l’équipe décide des corrections.

Exemple : évaluer la conduite d’un entretien commercial

« Crée dix questions sur la vente. »

Cette demande ne précise ni le contexte, ni le public, ni l’objectif, ni le niveau. L’IA risque de produire un quiz de culture commerciale générale.

« À partir du programme validé et de notre méthode interne, propose une première version d’évaluation pour des commerciaux B2B expérimentés. L’objectif est de diagnostiquer le besoin d’un prospect lors d’un premier entretien. Prévois deux scénarios, une grille d’observation et trois questions de connaissance. Relie chaque item à un objectif. N’invente aucune règle interne ; signale les informations manquantes. »

Ce que l’IA peut produire

  • des scénarios de rendez-vous ;

  • des questions de relance possibles ;
  • une première grille d’observation ;
  • des variantes de réponses ;
  • une répartition par difficulté ;
  • des feedbacks après chaque choix.

Ce que l’équipe doit valider

  • la conformité avec la méthode commerciale interne ;

  • le réalisme des situations ;
  • les comportements réellement attendus ;
  • la pondération des critères ;
  • le seuil de réussite ;
  • l’absence d’informations confidentielles ;
  • la décision prise à partir du résultat

Le résultat final n’est plus un questionnaire générique. C’est une évaluation reliée à une compétence et à une décision.

Analyser les réponses ouvertes avec prudence

Les réponses ouvertes contiennent une richesse que les questions fermées ne capturent pas toujours : obstacles, exemples, attentes, signaux faibles.

L’IA peut :

  • regrouper les thèmes récurrents ;
  • repérer des difficultés ;
  • produire une synthèse initiale ;
  • suggérer des catégories ;
  • aider à prioriser les points à relire.

Quatre précautions sont essentielles :

Une synthèse ne sera pas meilleure que les réponses collectées.

Un regroupement peut survaloriser une formulation fréquente ou minimiser un point rare mais critique.

L’équipe doit pouvoir revenir aux verbatims qui soutiennent une conclusion.

Les réponses peuvent contenir des données personnelles ou sensibles pour l’organisation. La CNIL rappelle le principe de minimisation : les données doivent être pertinentes et limitées à ce qui est nécessaire au regard de la finalité.

We learn, We do, We share

Simplifiez votre écosystème de formation avec nos solutions

En savoir plus
Demander une démo

Les conditions d’un usage responsable

  • informer les personnes lorsque leurs données sont traitées dans un contexte d’IA, selon les obligations applicables ;
  • limiter les données collectées et leur durée de conservation ;
  • contrôler les sources et les versions utilisées ;
  • documenter les étapes de validation ;
  • tester les résultats et surveiller les erreurs ;
  • maintenir une supervision humaine réelle ;
  • ne pas utiliser une synthèse automatique comme unique fondement d’une décision individuelle ;
  • associer les équipes pédagogiques, métier, sécurité, juridique et protection des données selon le risque.

Le règlement européen sur l’intelligence artificielle prévoit des exigences différentes selon les systèmes et leurs usages. Il met notamment l’accent, pour les cas concernés, sur la transparence, la surveillance humaine, la documentation et la gestion des risques. Une analyse juridique doit partir de l’usage concret, pas du seul mot « IA ».

Mettre l’IA au service d’une méthode

L’IA ne transforme pas une intention vague en bonne évaluation. Elle devient réellement utile lorsqu’elle intervient dans un processus structuré : objectifs explicites, preuves attendues, sources contrôlées et validation humaine.

 

Eval Manager assiste l’analyse des objectifs pédagogiques, la conception des évaluations et l’exploitation des réponses ouvertes, tout en laissant la validation et la décision aux équipes formation.

We learn, We do, We share

Simplifiez votre écosystème de formation avec nos solutions

En savoir plus
Demander une démo

Vous souhaitez accélérer la conception et l’analyse de vos évaluations sans perdre le contrôle pédagogique ? Demandez une démonstration d’Eval Manager.

FAQ

Elle peut produire une première version à partir d’un contexte et d’objectifs. Les questions, réponses, sources, niveaux de difficulté et critères doivent ensuite être vérifiés par les experts pédagogiques et métier.

Fournissez le programme validé, les objectifs, le public, le niveau attendu, les sources autorisées et le format de preuve. Demandez à l’IA de relier chaque question à un objectif et de signaler les informations manquantes.

Oui, pour préparer un regroupement thématique ou une synthèse. Il faut vérifier les résultats, pouvoir revenir aux réponses sources et respecter les règles de protection des données et de confidentialité.

Elle peut contribuer au traitement d’éléments selon des critères définis, mais la décision doit rester encadrée, explicable et supervisée. Le niveau de contrôle requis dépend de l’enjeu, de l’usage et des règles applicables.

Sources

Consultées le 24 juillet 2026 :

À lire et à voir aussi

Mesurer l’impact de la formation : pourquoi c’est (enfin) devenu un enjeu stratégique

Pourquoi l’évaluation des connaissances est essentielle pour réussir vos formations ?

95% de participants satisfaits… Mais qu’ont-ils réellement appris ?

Vos formations sont-elles vraiment efficaces ? Les indicateurs qui permettent de le prouver

Webinaire « Stratégie d’évaluation en formation : diagnostiquer, former et mesurer le succès »