Projet REFRER

Guide de l'évaluateur

(avril 2013)

ccommons byncsa 

Ce guide s'adresse aux évaluateurs de ressources d’enseignement et d’apprentissage (REA).

Les évaluateurs sont des personnes (ou des groupes de personnes) qui ont à se prononcer sur la qualité des REA et à décider si on doit les intégrer ou non dans un référentiel ou une collection. Ces personnes peuvent parfois également jouer le rôle de gestionnaire d’un référentiel de ressources. Parfois aussi, l’indexeur pourra utiliser ce guide pour recommander ou non l’intégration d’une ressource au référentiel.

Le guide fournit des conseils relatifs quant à trois (3) fonctions du rôle de l'évaluateur d'une ressource :

1- Évaluer la qualité d’une REA

2- Informer le ou les contributeurs de ressources et le gestionnaire du référentiel, du résultat de l’évaluation

3- Communiquer avec les autres acteurs pour favoriser la qualité générale du référentiel

Construisez votre propre ensemble d'aide-mémoire, en adaptant ce qui suit à vos besoins.

Vous trouverez à la fin de ce guide des références qui peuvent vous aider dans cette entreprise, ainsi que des grilles et listes de critères pour choisir une ressource selon divers experts du domaine. 

1- Évaluer la qualité de la REA

L'évaluation d'une ressource, en vue de déterminer si elle devrait être acceptée ou non, fait intervenir trois (3) aspects. Tout d'abord, il faut s'assurer que les ressources sont conformes aux politiques établies par l'équipe de gestion du référentiel de ressources. Des grilles d'évaluation approuvées par cette équipe doivent être utilisées. Enfin, le référentiel pourrait aussi fournir d'autres renseignements importants, tels que la conformité avec un système de gestion de l'apprentissage (LMS - Learning Management System) ou avec un standard tel SCORM ou IMS Learning Design (IMS-LD).

a. Consulter les politiques

Il est important que l'évaluateur se tienne au courant des changements dans les politiques de gestion du référentiel de ressources auquel il contribue, et au premier chef, les politiques de propriété intellectuelle et la politique éditoriale.

b. Utiliser une ou des grilles d'évaluation

Il est important d'utiliser les grilles d'évaluation approuvées par l’équipe de gestion du référentiel afin de donner une rétroaction pertinente et adéquate. Voir les grilles d’évaluation suggérées en annexe.

c. Consulter d'autres informations pertinentes

En fonction des exigences du référentiel, l'évaluateur doit connaitre :

  • les outils qui valident la conformité (de la ressource) avec une norme précise telle SCORM, IMS Common Cartridge, IMS QTS, etc. ;
  • de nouvelles fonctionnalités ou de nouveaux règlements de l’institution qui gère le référentiel de ressources ;
  • les rapports d'erreurs qui concernent ce type de ressources.

2- Informer le(s) contributeur(s) et le gestionnaire du référentiel, de l’évaluation

Les évaluateurs doivent informer les contributeurs /auteurs de ressources et le gestionnaire du référentiel.

a. Donner les résultats de l'évaluation

Informer le contributeur/auteur si la ressource :

  • Est acceptée et pourquoi ;
  • Nécessite des modifications ou de l'information complémentaire ;
  • Est rejetée et pourquoi.

b. Fournir une rétroaction formative

  • Donner des idées sur comment améliorer la ressource pour qu’elle puisse être acceptée dans le référentiel.
  • Fournir des références ou des liens à consulter sur les objets d'apprentissage : ce que sont des ressources d'apprentissage, un référentiel de ressources, à quoi elle sert, etc.
  • Inviter les contributeurs à parcourir le référentiel /le référentiel pour voir des exemples de ressources acceptables (une partie de l'interface du guide de l'utilisateur).

c. Fournir des statistiques

Fournir des statistiques sur:

  • Le nombre de ressources intégrées dans le répertoire ce mois-ci, types de ressources etc.
  • La liste des types de rejets, erreurs courantes etc.
  • Les types de demandes de modifications demandés.

3- Communiquer pour favoriser la qualité générale du référentiel

Il est essentiel que tous les acteurs participent au maintien d'un haut niveau de qualité du référentiel. Pour ce faire, chaque acteur, dont l’évaluateur, devrait suggérer des améliorations et signaler les erreurs à l'équipe de gestion du référentiel. Pour ce faire, on peut utiliser les formulaires fournis dans l'interface de l’outil de gestion (COMÈTE ou autre) pour faire des suggestions et pour signaler les erreurs.

        a. Proposer / Suggérer des améliorations

Il est essentiel que l’évaluateur transmette ses avis sur les moyens d'améliorer le référentiel. Les suggestions d'améliorations pourraient porter par exemple sur les politiques, les lignes directrices, les outils et textes explicatifs fournis aux usagers.

        b. Signaler les erreurs

Plus une erreur est relevée tôt dans le processus, plus grande est la qualité. Voici des erreurs typiques que l’évaluateur pourrait signaler :

  • Certains outils ne répondent pas.
  • Un guide contient des incohérences ou des erreurs linguistiques majeures.
  • L'éditeur de métadonnées ne télé verse pas (« upload ») la ressource.

Quelques liens / références utiles

http://helios.licef.teluq.uquebec.ca/resq4r/1/Evaluating_the_quality_of_eLearning_resources.htm

"Evaluating the quality of eLearning resources". Riddy, P. and Fill, K., 2003.
 
"A Learning Object Success Story” (Mason, R., Pegler, C., Weller, M., 2005) dans le Répertoire Q4R /Évaluateur de ressource d'apprentissage.
 
Web Usability: A new International Standard
 
Guide du GTN-Québec pour la sélection des ressources
 
Learnometrics: Metrics for Learning Objects”. Xavier Ochoa, 2008. Présentation PowerPoint décrivant ce qu'est une REA, une banque de REA et un "Contributeur".
 
« Quantitative Analysis of Learning Object Repositories ». Xavier Ochoa et Erik Duval, 2008. Présentation PowerPoint réalisée dans le cadre de la conférence Ed-Media 2008.
 
A Learning Object Manifesto. Erik Duval. 2006.
 
ANNEXE – Grilles et critères d'évaluation d'une ressource

 

Chaque référentiel devrait adopter une ou plusieurs grilles d’évaluation parmi les suivantes.

 Selon Parmentier (1999) - Un objet d’apprentissage doit être :

  • durable
  • adaptable
  • gérable
  • fiable
  • abordable
  • évaluable
  • interopérable
  • retrouvable
  • réutilisable
  • indexable

 Selon Nesbit, J., Belfer, K. et Vargo, J. (Approche LORI, 2002) - Les auteurs proposent une procédure d’évaluation par les pairs. Chaque critère contient des sous-critères :

  • présentation: esthétique
  • présentation: conception en vue d’apprentissage
  • précision du contenu
  • appui aux buts pédagogiques
  • motivation
  • interaction: facilité d’utilisation
  • interaction: rétroaction et adaptation
  • réutilisabilité
  • métadonnées et interopérabilité (compatibilité)
  • accessibilité

 Selon Holmes (2006), la ressource doit être évaluée selon les aspects suivants :

  • l’intention ou l’objectif de formation
  • le mode d’utilisation
  • les besoins d’un apprenant en particulier (adaptabilité)
  • robustesse et convivialité
  • valeur ajoutée
  • pertinence culturelle
  • libre de stéréotypes
  • coût et mode de livraison

 Selon Moral & Cernea (2005), on doit évaluer quatre (4) groupes de critères :

  1. Pertinence comme outil d’apprentissage : qualité du contenu
  2. Design conceptuel : structure du contenu
  3. Caractéristiques techniques
  4. Design médiatique

a- Pertinence comme outil d’apprentissage : Qualité du contenu

  • Précision de l’information : les contenus sont testés et actualisés par des experts
  • Pertinence, intérêt pédagogique du contenu
  • Références académiques appropriées
  • Niveau adéquat de détail et de difficulté
  • Présentation balancée des idées
  • Idées présentées de façon claire et concise
  • Sans fautes de grammaire, de syntaxe ou orthographiques
  • Présente clairement la REA et les compétences visées
  • Apte à motiver et stimuler l’intérêt de l’apprenant identifié
  • Contenu adéquat de la REA proposée
  • Fait la promotion du constructivisme
  • Propose des activités créatives et de la résolution de problèmes liés aux objectifs
  • Fournit un système d’évaluation relié aux objectifs d’apprentissage
  • Rejoint une variété de styles d’apprentissage.

b- Design conceptuel : structure du contenu

  • Inclut : résumé, sujet théorique, activités, conclusion et évaluation
  • Présentations détaillées des préalables minimaux
  • Agrégation et granularité qui permettent la réutilisation dans différents contextes d’apprentissage
  • Structure flexible qui permet la réutilisation de sections.

c- Design médiatique

  • Sélection de polices de caractères et de couleurs qui améliore l’accessibilité du contenu
  • Usage approprié du multimédia pour améliorer l’apprentissage
  • Bon équilibre entre la qualité du multimédia et sa pertinence
  • Présente une navigation compréhensible qui permet l’accessibilité à toutes les parties de la REA
  • Fournit un haut niveau d’interactivité et donne de la rétroaction à l’apprenant
  • Présente différentes formes d’interaction
  • Permet l’adaptation de l’interface utilisateur
  • Interface est prévisible
  • Qualité du système d’aide en ligne
  • Assure l’accessibilité à tous les utilisateurs.

d- Caractéristiques techniques

  • Métadonnées conformes au profil sélectionné
  • Conforme aux standards d’agrégation et d’assemblage (SCORM, AICC)
  • Contient un annotateur sémantique qui pointe sur les ontologies associées.