Guide du gestionnaire

(Guide général - avril 2013)

ccommons byncsa

 

 GuideGestionCe texte est fondé sur le document :

Stratégies d’assurance qualité des ressources d’enseignement et d’apprentissage (REA) - Guide à l’attention des gestionnaires par  Karin Lundgren-Cayrol, Ph.D., avec collaboration d’Ileana de la Teja, Ph.D. et Suzanne Lapointe,TÉLUQ, pour le groupe GTN-Québec, février 2007. Adapté par Gilbert Paquette, avril 2013

 

 

Table des matières

 

Introduction

Partie I : LA MISE EN PLACE DU RÉFÉRENTIEL DE RESSOURCES 
1.1  Faire l'analyse des besoins

     1.2.1 Politique de propriété intellectuelle
     1.2.2 Politique éditoriale
     1.2.3 Politique d'édition
     1.2.4 Politique d'évaluation et de diffusion
1.3 Déterminer l'infrastructure technologique

1.4  Instrumentation du processus et des acteurs

Partie II : LA GESTION DU RÉFÉRENTIEL
2.1 Phase 1 – Conception/sélection des REA
     2.1.1 La dimension pédagogique
     2.1.2 L'accessibilité

    2.1.3 L'interopérabilité

     2.1.4 Contrôle de la qualité d'une ressource
2.2 Phase 2 : Publication dans le référentiel    

2.2.1 Stratégies de qualité liées à l'indexation

2.2.2 Stratégies de qualité liée à la publication de REA non validées

2.3 Phase 3 : Réutilisation
     2.3.1 Les méthodes de recherche et de présentation des résultats

     2.3.2 Annotations et recommandations
    2.3.3 Identification des stratégies de qualité

     2.3.4 La maintenance
Conclusion 

Introduction

Pour assurer la qualité d’un référentiel de ressources éducatives (REA), l’orchestration de différentes expertises est incontournable. Compte tenu de la diversité des connaissances requises, il est fort probable que la responsabilité de la qualité d’une REA repose sur plusieurs individus qui doivent coordonner leurs tâches tout au long des phases de gestion d’une REA. Une REA sera dit « libre » si elle est de domaine public ou protégée par une licence qui en favorise la réutilisation. En ce sent, le but d’un référentiel est de maximiser le nombre de ressources éducatives libres (REL).

Plusieurs acteurs participent à la qualité d’un référentiel. En plus  de l'utilisateur (ou ré-utilisateur) et du contributeur/fournisseur de ressources, on trouve l'évaluateur des ressources (souvent un comité d'évaluation) et l'expert en référencement ou indexeur, ainsi que le gestionnaire qui coordonne la mise en place et l’évolution du référentiel.

Tous ces acteurs, réunis dans une "Équipe de projet", interagissent à travers un système de gestion de référentiels de ressources comme ORI-OAI, Eurêka, Paloma ou COMÈTE afin de mettre en place et de gérer un référentiel de ressources. Les principales tâches de chacun des   acteurs sont résumées ci après.  Des guides spécifiques sont consacrés aux acteurs Contributeur/Auteur, Évaluateur, Indexeur et Ré-utilisateur. 

Acteurs

Principales tâches

Équipe de projet

Cette équipe regroupe tous les principaux participants à un référentiel de ressources. Généralement, ceux-ci seront mandatés par une organisation appelée OPÉRATEUR du référentiel. Cette équipe analyse les besoins, élabore des stratégies d'assurance qualité et coordonne la mise en place et la gestion du référentiel de ressources.

Gestionnaire

Clarifie les besoins, sollicite des contributions, identifie et voit à la correction des problèmes, gère l'équipe de projet et assure la mise en place et la gestion du référentiel de ressources.

Contributeur / Auteur / Fournisseur

Suit les politiques établies par l'équipe de projet, propose des ressources ou de nouveaux référentiels à moissonner, produit les métadonnées relatives au contenu.

Évaluateur

Suit les politiques établies par l'équipe, utilise des grilles d'évaluation, donne un feedback au fournisseur sur l'acception de la ressource, transmet les ressources acceptées  à l'indexeur.

Indexeur

Applique le standard de référencement retenu, entre et vérifie les métadonnées, identifie les erreurs de référencement et vérifie le degré d'interopérabilité.

Ré-utilisateur

Utilise les politiques du référentiel, ainsi que les fonctions d'évaluation à sa disposition pour annoter les ressources après usage.

Le présent guide est destiné principalement au gestionnaire du référentiel de ressources, qui joue un rôle pivot dans une équipe de projet.

Tel qu’illustré dans la figure en tête du guide, les stratégies de qualité reposent sur quatre (4) pivots :

-         -  le schéma de métadonnées ;

-          - la réutilisation annotée par les usagers ;

-         -  la contribution contrôlée par des évaluations de divers acteurs à partir de critères précis ; et

-         -  l’ingénierie pédagogique utilisée lors de la conception de la version initiale d'une ressource.

Ces facteurs doivent être analysés à la lumière de quatre (4) dimensions de base : pédagogique, médiatique, technique et interopérabilité-accessibilité.

Partie I : La mise en place du référentiel de ressources 

Le processus de mise en place et de gestion d'un référentiel de ressources s’apparente à celui de la gestion de l’innovation.  Lors de la mise en place d’un référentiel de REA, plusieurs décisions doivent être prises qui ont une incidence directe sur le niveau de la qualité du référentiel. Ces décisions sont schématisées par le processus d'assurance qualité illustré sur la figure suivante.

REFRER-processus Q4R

 Ce processus qualité, inspiré du projet Q4R (Quality for Reuse/ Qualité pour la réutilisation), comporte quatre (4) phases :

  •  une analyse des besoins  que le référentiel de ressources doit satisfaire. Cette première phase réalisée par l'équipe de projet permet de :
      1. faire la liste des besoins et des contraintes ;
      2. déterminer les objectifs et la mission du référentiel de ressources; et
      3. identifier les politiques qui guideront l'utilisation et l'évolution du référentiel, ainsi que les outils technologiques et méthodologiques à la disposition des différents participants;
  • l'élaboration des politiques et des instruments destinés aux différents participants, leur facilitant l'utilisation et la gestion du référentiel de ressources;
  • l’'évaluation et le retour d'expérience de l'utilisation du référentiel, dans le but d'en maintenir la qualité;
  • l'examen des retours d'expérience pour l'amélioration des analyses, des politiques et des outils. 

Cette première section porte sur les principales tâches des deux premières phases.  Les tâches des deux autres phases seront traitées dans la seconde partie du guide.

1.1  Faire l'analyse des besoins

Il importe de toujours produire une analyse de besoins en consultant les divers usagers et artisans du référentiel de ressources. Il faut s'assurer que le projet est voulu par l'organisation qui l'implante et examiner les impacts et les bénéfices pour l'organisation et les usagers.

Pour établir le niveau de qualité qui sera soutenu par le référentiel, il importe dès le départ d’établir très clairement les types d’utilisateurs que le référentiel de REA desservira et de définir avec précision leurs besoins respectifs. Ces informations, conjuguées aux objectifs de l’organisation responsable du référentiel, permettront de déterminer la mission du référentiel et d’en dégager des objectifs primaires et secondaires. Plus cette information est établie clairement, plus il sera possible par la suite d’établir des critères de qualité et de les appliquer.

  • Identifier les utilisateurs et leurs besoins
  • Formuler le but et les objectifs du référentiel
  • Déterminer les contraintes

Produit : Document de mission

1.1.1 Faire l'analyse préliminaire

  • Si une nouvelle architecture est envisagée pour le référentiel de ressources, étudier sa compatibilité avec l'infrastructure technologique actuelle.
  • Établir les orientations du référentiel en lien les politiques de votre organisation en matière de propriété intellectuelle et d'utilisation des ressources d'apprentissage.
  • Consulter les membres de différents groupes au sein de votre organisation au sujet du projet de référentiel - est-il souhaité ou non ?La création d’un référentiel de ressources va-t-elle impliquer de la formation à son utilisation ?
  • Décider d’adhérer à un réseau de référentiels de ressources existant; déterminer quels référentiels de ressources moissonner, quelle sera votre propre contribution. S’agit-il de construire ou d’adapter un référentiel existant, de l'offrir au moissonnage ou pas ?

1.1.2  Rédiger le document de mission

  • Formuler les énoncés de buts et objectifs, de mission et de vision pour le référentiel de ressources.
  • Identifier tous les usagers potentiels i.e. qui va utiliser votre référentiel ? À l’aide des métadonnées, il est possible de décrire clairement le profil des clientèles à qui est destinée une ressource numérique. Cette description se fait en fonction :

-          de l’ordre d’enseignement

-          de la langue

-          de la discipline

    • Dans les établissements des niveaux primaire et secondaire, vos usagers et fournisseurs seront probablement des directeurs de programmes, des conseillers pédagogiques, des enseignants, des éditeurs de manuels scolaires. Consultez les commissions scolaires, les écoles, les éditeurs et faites des annonces dans les publications et les sites internet professionnels.
    • Dans les institutions postsecondaires, vos usagers et fournisseurs seront fort probablement des experts, des concepteurs pédagogiques, des professeurs, des chercheurs. Contactez les départements des collèges et des universités et leurs services média ou de conception pédagogique.
    • Dans les organisations et les entreprises, vos usagers et fournisseurs seront fort probablement des formateurs, des consultants organisationnels, des superviseurs (''coaches'') et des spécialistes de contenu. Contactez les départements / services de formation, de ressources humaines et de soutien à la performance et des consultants en technologie éducationnelle.
  • Identifier les types de ressources d'enseignement et d'apprentissage (REA) que votre référentiel va héberger, i.e. est-ce que :

-       tous les types de ressources vont être acceptés

-       seulement des ressources SCORM

-       seulement des clips vidéo

-       etc.

  • Définir le schéma de métadonnées et le profil d'application auxquels adhérer : i.e.

-          Schéma de métadonnées : IEEE-LOM, Dublin Core, ISO-MLR

-          Profil d’application utilisant des vocabulaires locaux. Dans ce cas, on favorise l’interopérabilité à l’aide de description en format SKOS ou VDEX
  • Identifier les mécanismes de communications du référentiel, par exemple :

-          Une interface Web d’accès au référentiel et des fonctions d’appui à une communauté de pratique

      -          Une interface Web d’accès au référentiel liée à un système de gestion de la formation (LMS), des blogues, des forums, etc.

  • Faire la liste des contraintes et des projets qui ont une incidence sur le référentiel de ressources, i.e.

-          Le référentiel de ressources doit être compatible l’environnement numérique de travail (ENT, LMS ou LCMS)

-          Le référentiel doit respecter les politiques existantes

-          Les REA doivent afficher clairement la propriété intellectuelle i.e. en utilisant la licence Creative Commons (CC)

Références utiles

http://www.nightingale.com/mission_select.aspx?promo=INTBAx139v1  

Writing mission statements (en anglais)

http://www.timethoughts.com/goalsetting/visionstatements.htm

Defining and articulating your vision, mission and values (en anglais)

http://www.jiscinfonet.ac.uk/infokits/mission-vision-values/

JISC InfoKit (Grande-Bretagne - en anglais)

http://www.bdc.ca/fr/espirit/concours_plans_affaires/sommaire_des_modules/module_2_vue_ensemble_l_entreprise/Pages/section_1_enonces_de_mission_et_de_vision.aspx      Référentiel de développement du Canada

http://www.canal-u.tv/video/ centre_d_enseignement_multimedia_universitaire_c_e_m_u/culture_numerique_17_delicious_et_le_social_bookmarking.8430

1.2 Déterminer les politiques de propriété intellectuelle, d'édition et de contribution

À cette étape, il importe de définir clairement les politiques que les parties prenantes s’engageront à respecter, d’obtenir un commun accord et une compréhension commune sur la propriété intellectuelle et sur la responsabilité de chacun, ainsi que sur l'édition et la contribution des ressources. Les politiques sont importantes pour clarifier les responsabilités des acteurs, faciliter la planification des opérations et choisir/construire les outils d'assistance.

Il y trois politiques particulièrement importantes : la politique de propriété intellectuelle, la politique éditoriale et la politique d'évaluation et de rétroaction.

Produit : Document des politiques du référentiel de ressources

1.2.1    Politique de propriété intellectuelle

  • Décider si les REA seront libres d’accès et quelles licences libres (cf. Creative Commons) seront utilisées.
  • Identifier les responsables du respect de la propriété intellectuelle.
  • Distinguer, s'il y a lieu, quelles REA seront offertes gratuitement et lesquelles seront payantes.

Produit : Document de politique de propriété intellectuelle

1.2.2    Politique éditoriale

Le choix des ressources décrites s’appuie sur une politique éditoriale proposant des critères de sélection précis et partagés par les partenaires (institutions, départements, associations). Cette politique vise à assurer la qualité des ressources. Elle contient des critères sur les dimensions pédagogiques, culturelles, techniques et ergonomiques (accessiblité). Voir à cet effet la section 2 du présent guide et le guide de l'évaluateur. Il est question ici de la spécification du type de REA, du choix d’un profil de métadonnées et du niveau de qualité recherché.

En fonction d’une politique éditoriale définie conjointement, l’opérateur et ses partenaires peuvent décider de privilégier des ressources répondant aux normes d’accessibilité (vidéos avec sous-titres, reformatage selon les dimensions de l’écran de l’appareil de lecture, etc.).

L’opérateur et ses partenaires peuvent également favoriser le référencement de ressources en accès libre ou partagées selon la licence Creative Commons, se donnant ainsi une politique privilégiant les ressources éducatives libres.

Produit : Document de politique éditoriale

   Spécifier le type de REA :

Les REA peuvent prendre des formes multiples. Le référentiel pourra être spécialisé (ex. : scénario IMS-LD, Paquets SCORM, photos, etc.) ou comprendre tous ces types.

De même, il est possible de réaliser un référentiel qui s’apparente à une collection spécialisée, à un domaine, ou traitant de plusieurs domaines.

 Pyramide

Ces choix seront conditionnés directement par le type d’utilisateur visé par le référentiel. De plus, les critères de qualité ne seront pas les mêmes dans un cas comme dans l’autre. En général, on constate que plus un référentiel contient des ressources spécifiques et est limité à une communauté, plus ses stratégies d’assurance qualité seront strictes.

La capacité de réutilisation d’une REA dépend en grande partie de sa granularité. D’après les travaux de Flory (2004), plus la granularité d’une REA est fine, moins cette dernière est décomposable et ses parties sont plus difficiles à modifier. C’est le cas d’une question ou d’une image. Par contre, une REA à granularité fine peut être assemblée facilement à d’autres REA et permettre la création d’une nouvelle REA. Un exemple est l’assemblage d’une question dans un questionnaire. Plus la ressource sera petite, plus ses capacités de réutilisation seront grandes. Par contre, plus une ressource est liée à son contexte (par exemple : objectifs, programmes, collections), moins elle sera réutilisable telle quelle.

   Déterminer le type de métadonnées

Le rôle des métadonnées est de pouvoir décrire une ressource de façon à faciliter le repérage pendant une recherche et de fournir assez d’information à l’usager pour qu’il puisse faire une sélection rapide, sans avoir à l’évaluer longuement.

  • Le LOM (Learning Object Metadata) demeure la norme de référencement la plus répandue. Chaque profil d’application ou adaptation de ces normes sélectionne les éléments convenant à leur contexte. Par exemple, le profil Normetic 1.2 a adopté une approche avec trois (3) volets de ces données et des éléments requis, recommandés et facultatifs dans chaque groupe de données. Les référentiels Eurêka, MuREA et REA.UQ en font usage.
  • La norme Dublin Core (DC) est également très utilisée. Cependant, ces normes auront tendance à être remplacées par l’approche beaucoup plus flexible « Web de données », à la base du nouveau standard ISO-MLR (Metadata for Learning Resources).
  • Un profil d’application local est développé pour assurer la prise en compte des besoins spécifiques à une communauté et pour développer des vocabulaires adaptés.
  • Les référentiels existants reposent sur l’utilisation de la norme ISO 15836:2009 Dublin Core ou du standard IEEE 1484.12.1-2002, Learning Object Metadata (LOM).

L’opérateur veille à assurer l’exactitude des hyperliens vers les ressources. Les redirections sont corrigées et les liens brisés sont retirés.

   Déterminer le niveau de qualité du référentiel

Dépendamment si l'accent est mis sur la qualité ou sur la quantité, il existe une variété de choix.  Si la qualité est plus importante, il faudra utiliser une ensemble de moyens tels que :

  1. contrôler l'appel à contribution, choisir les contributeurs,
  2. mettre en place un comité d'évaluation,
  3. assurer la révision des ressources par les pairs,
  4. favoriser l'annotation des ressources par les usagers.

À l'autre extrême, si la quantité est valorisée, toutes les ressources proposées seront acceptées, mais des mécanismes de rétroaction doivent être prévus tels que l'annotation ou l'indexation sociale (social tagging) afin d'assurer un certain niveau de qualité. 

Il existe plusieurs critères et méthodes pour évaluer la qualité d’une REA.

  • Les évaluations peuvent avoir cours à toutes les phases de gestion de la REA : conception, publication, réutilisation. Ainsi, dès la mise en place du référentiel, on peut établir qui sera en charge de la qualité et on pourra établir quand et comment se fera l’évaluation.
  • On peut aussi mettre en place plusieurs solutions intermédiaires. Par exemple, il est possible de séparer le référentiel en plusieurs divisions. Une première où la qualité des REA est identifiée et certifiée, et une autre où les REA peuvent être de bonne qualité, mais aucun processus n’a été mis en place pour l’évaluer. L’utilisateur effectue alors la recherche en toute connaissance de cause.
  • L’important, c’est de documenter le niveau de qualité et d’être consistant.

Dans les référentiels obtenus par moissonnage d’un grand nombre de référentiels, ceux-ci seront décrits dans le Registre des référentiels, lequel devrait préciser les orientations de chacun, de sorte que les gestionnaires pourront choisir en connaissance de cause lesquels seront moissonnées.

1.2.3    Politique d’édition

Cette politique offre un encadrement aux partenaires afin d’optimiser la description sémantique et technique des ressources en fonction des profils d’application.Le référentiel offre aussi la possibilité de consulter des ressources regroupées en collection, selon un contributeur donné ou selon d’autres critères.

Produit: Document de politique d'édition

   L’entrée manuelle des métadonnées

Lorsque les données sont rassemblées à l’aide d’un éditeur incorporé dans le référentiel, il est important de s’assurer que les éléments obligatoires dans le profil d’application sont présents.

L’éditeur de métadonnées permet un premier niveau de validation en indiquant notamment les champs obligatoires qui doivent être remplis dans la fiche descriptive.

Il est possible de créer des gabarits permettant la création rapide d’un ensemble de fiches partageant des caractéristiques communes, par exemple, une collection de vidéos sur un même thème donné, provenant d’un même contributeur.

L’éditeur de métadonnées permet idéalement la duplication d’une fiche existante pour l’édition rapide de ressources semblables.

Les ressources présentent souvent des métadonnées incluses dans les fichiers, par exemple, la taille d’un document audio, sa durée ou encore sa date de création. Ces métadonnées peuvent être récupérées à l’aide d’outils d’extraction facilitant le travail de description.

   Le moissonnage

Le moissonnage assure la récolte automatisée de données dans des référentiels externes selon un protocole établi.

Le fournisseur de données signale les éléments ajoutés depuis le plus récent moissonnage, de même que les données qui ont fait l’objet d’une mise à jour.

Si le fournisseur de données expose celles-ci en format XML, un script s’assure du moissonnage régulier.

Idéalement, le fournisseur de données utilise le protocole OAI-PMH.

1.2.4    Politique d'évaluation et de diffusion

Cette politique doit expliquer comment établir une procédure suivant laquelle chaque ressource est évaluée avant d'être acceptée par le référentiel. Les politiques du référentiel précisent en général les exigences pour qu'une ressource soit acceptée.

Le processus de description des ressources fait appel à une équipe multidisciplinaire reconnaissant les compétences spécifiques de rédacteurs techniques, de pédagogues et de documentalistes.

Lors du moissonnage ou de l’importation de données, le référentiel utilise un script de validation technique des métadonnées, qui permet de s’assurer de la présence d’éléments obligatoires et du respect des valeurs de vocabulaires permises, selon le profil d’application choisi.

Lorsque des erreurs sont observées en cours d’importation, les descriptions ne font pas l’objet de correction de la part de l’opérateur du référentiel. Si une mise à jour est faite dans le référentiel original, le script remplacera toutes les données corrigées par l’opérateur principal.

Produit : Document de politique d’évaluation et de diffusion

   Les évaluateurs

  • Évaluation par des experts – Dans ce cas, un comité d’édition composé d’experts évalue la qualité des ressources afin de décider si celles-ci satisfont aux normes minimales de qualité du référentiel. Les experts peuvent aussi attribuer un rang, noter, ou classer les ressources par catégorie. Ces cotes d'évaluation peuvent être ajoutées aux métadonnées afin d'aider les utilisateurs potentiels. Voici quelques conseils pour établir un processus d'évaluation par des experts :
      • Établir des critères clairs d'acceptation afin de faciliter le processus d'évaluation.
      • Recruter des réviseurs pour venir compléter les critères d'acceptation.
      • Recruter plusieurs experts réviseurs additionnels qui pourront être requis en tout temps. De cette façon les évaluateurs peuvent être utilisés à tour de rôle, sans surcharger un évaluateur en particulier.
      • Établir des arbres de décision afin d’accélérer le processus d’évaluation. Des échelles numériques sont utiles car elles fournissent une base simple pour l’acceptation ou le rejet des ressources.
  • Évaluations par les pairs – Les évaluations par les pairs sont généralement effectuées après qu'une ressource ait été acceptée, soit avant, soit après sa publication. Les évaluations par les pairs sont habituellement faites par d'autres concepteurs pédagogiques et auteurs de ressources. Alors que les évaluations par les experts servent à déterminer si une ressource devrait être acceptée dans un référentiel, celles par les pairs sont réalisées pour fournir de l’informationà l’intention d’autres usagers. Voici quelques conseils pour établir un processus de révision par les pairs :
      • Établir des critères d'évaluation clairs.
      • Construire un outil d'évaluation dans l'interface du référentiel.
      • Automatiser les processus de collecte et de publication des résultats d'évaluation .

   La transmission de métadonnées

  • Des fonctions de services Web (API) permettent l’interrogation par des applications externes. Les résultats sont disponibles dans une variété de format dont OpenDocument, XML et sous forme de fils RSS.
  • Les résultats sont présentés selon des formats standards et ouverts.
  • Les spécifications des requêtes et les divers formats de données possibles doivent faire l’objet de documentation par l’opérateur.

   Soutien technique

  • L’opérateur s’assure d’un financement récurrent de ses services afin de pouvoir maintenir et développer l’outil de référencement et s’assurer que les données sont à jour.
  • Une surveillance constante est apportée par l’opérateur afin de s’assurer du bon fonctionnement du service en tout temps.
  • Lors d’une mise à jour des applications gérant les serveurs Web, une attention particulière est portée aux anomalies ou bogues qui pourraient survenir.

   Service à la clientèle

  • Les besoins et préférences de la clientèle sont déterminés par une analyse régulière de l’utilisation des services, particulièrement en matière de disciplines ou types de ressources numériques consultées.
  • Par l’utilisation d’un fichier témoin ou d’un compte dans le référentiel, les utilisateurs peuvent conserver un profil de préférences (langue, vocabulaire de navigation).
  • L’opérateur du référentiel effectue un suivi des comptes d’individus afin de retirer ceux qui restent inactifs au-delà d’une période donnée.
  • Les partenaires sont consultés régulièrement afin de pouvoir faire part de leurs difficultés et de leurs interrogations. Cette rétroaction permet de cerner et de prioriser les avenues de recherche et de développement.

Quelques références utiles (sur les politiques)

 

1.3 Déterminer l’infrastructure technologique

La mise en place d’un référentiel de REA est un processus qui requiert une analyse technique.  Les technologies utilisées (base de données, référentiels) sont généralement bien maîtrisées par les programmeurs de l’institution, mais elles évoluent rapidement. Les choix technologiques auront un impact sur la qualité du service lors du repérage. Par exemple, des serveurs plus robustes, la maintenance de l’équipement, le niveau de service offert par l’organisation, etc.

Produit: Document d'infrastructure technologique

a. Faciliter la création de ressources par les auteurs-fournisseurs

La tâche du Gestionnaire consiste à fournir des orientations ou des directives pour mettre en place les outils suivants en vue de soutenir la création de ressources :

  • Outil logiciel de création

Un outil logiciel de création est toute application qui aide à automatiser la création de REA. Défini ainsi, un traitement de textes est un logiciel de création. Même si ceci est exact, les auteurs doivent remanier les documents de traitement de texte de manière assez exhaustive avant qu'ils puissent être utilisés comme ressource d'apprentissage. Un outil logiciel de création efficace prend en charge les parties automatiques de ce processus, de sorte que l'auteur se concentre uniquement sur la création et la mise en séquence des contenus d'apprentissage.

  • Modèles pour la rédaction/création de ressources

Des modèles pour la création sont des formulaires (ou gabarits) pré-formatés qui doivent simplement être remplis de contenus pour être complets. Les modèles sont utiles dans la mesure où les auteurs ont simplement à se préoccuper des contenus d'apprentissage. Les modèles peuvent même faciliter la création de contenus, en rappelant aux auteurs les aspects pédagogiques requis d'une ressource d'apprentissage. Par exemple, si le référentiel exige que toutes les ressources aient des objectifs spécifiques d'enseignement, alors les modèles devraient comporter une section à compléter sur les objectifs.

  • Directives relatives à la production de contenu

Les directives relatives à la production de contenu en général ont une double fonction :

  1. Elles décrivent les exigences du référentiel de ressources relatives à la création de ressources, par exemple : "Toutes les ressources doivent comprendre des objectifs, une introduction, un texte principal et un résumé."
  2. Elles donnent également aux auteurs des conseils qui peuvent faciliter la création. Ces genre de directives sont parfois appelées ''Trucs utiles" ou "Conseils pratiques"
  • Logiciels /programmes de création de contenu (eg. Word, DREAmweaver, Joomla, Wordnet, Drupal, Powepoint, Camtasia)

Certains auteurs sont plus à l'aise pour travailler avec des logiciels avec lesquels ils sont familiers. Si le référentiel exige que les ressources soient dans un certain format, ou qu'elles soient créées avec l'outil logiciel de création du référentiel, certains auteurs pourraient ne pas être intéressés à contribuer. Par contre, si le référentiel peut intégrer des fichiers produits avec différents logiciels / programmes, cela peut réduire cet obstacle à contribution pour plusieurs auteurs potentiels.

b. Faciliter le téléchargement de fichiers par les fournisseurs

Le gestionnaire devrait donner des directives sur comment les auteurs peuvent acheminer / déposer leurs ressources dans le référentiel. Il devrait donner des indications sur :

  • Des procédures de téléchargement simples (se souvenir de la règle des « trois clics » : les auteurs ne devraient pas avoir à cliquer plus de trois fois pour télécharger la ressource)
  • Des procédures de conversion simples

Si les auteurs n'utilisent pas de logiciel de création de contenus fourni par le référentiel, alors ils auront besoin d'un moyen pour acheminer leurs ressources dans le référentiel. En plus, ils vont avoir besoin d'une façon de convertir leurs fichiers dans un format acceptable pour le référentiel. Cette procédure devrait être la plus simple possible pour les auteurs (se souvenir de la règle des « trois clics » !). Des procédures de téléchargement et de conversion complexes frustrent rapidement les usagers, quelles que soient leurs compétences techniques.

c. Faciliter la saisie des métadonnées aux indexeurs

Cette partie du processus peut définitivement bénéficier d'un gabarit. Les métadonnées sont de l'information qui décrit la ressource d'apprentissage. De bonnes métadonnées remplissent plusieurs rôles, dont faciliter le classement des ressources et, pour l'utilisateur, rendre plus faciles la recherche, le repérage et la consultation des ressources.

Toutefois, de bonnes (fiches de) métadonnées prennent du temps à créer et cela en soit peut décourager les auteurs potentiels. Le gestionnaire devrait obtenir ou des créer des gabarits de saisie des métadonnées à l’intention des indexeurs. Les gabarits de métadonnées simplifient le processus, en guidant les indexeurs et les auteurs de ressources à travers chaque étape du processus. Par ailleurs, certains outils permettent de créer automatiquement ou semi automatiquement certaines métadonnées, partout où c’est possible.

d. Rendre la recherche et le repérage plus facile et efficace pour les ré-utilisateurs

Un problème fréquemment invoqué est que les ré-utilisateurs ont de la difficulté à trouver les ressources dont ils ont besoin quand ils en ont besoin. Les gestionnaires de référentiels de ressources doivent recevoir un soutien pour développer des dispositifs de soutient aux usagers efficaces et faciles d’emploi. Tel qu'indiqué précédemment, de bonnes métadonnées ainsi que les rétroactions des usagers fournissent de précieux renseignements sur les ressources. Cette information devrait faciliter le repérage de ressources adéquates.

Voici quelques conseils pratiques aux gestionnaires pour faciliter la recherche de ressources :

  • Copier le succès – Trouver quelles référentiels ou dépôts électroniques similaires ont des stratégies de recherche réussies et s'inspirer de ces réussites pour essayer de les appliquer à votre référentiel / dépôt.
  • Adopter Google pour trouver des ressources et les mécanismes de recherche de Google dans l'engin de recherche du référentiel.
  • Rendre les ressources du référentiel visibles à Google et à d’autres engins de recherche pour que n’importe qui puisse trouver les ressources du référentiel à travers une recherche sur le web.

e. Faciliter le téléchargement de fichiers aux ré-utilisateurs

Une fois qu’un usager a décidé d’utiliser une ressource, il est important que l’expérience soit la plus conviviale possible. Amener la ressource jusqu’au client utilisateur est le premier pas. Les gestionnaires de référentiels doivent s’assurer que :

-          Les ressources peuvent être aisément téléchargées, en 1 ou 2 clics au plus.

-        Les ressources téléchargées sont dans un format courant qui peut se lire avec des applications informatiques aisément disponibles (navigateurs, logiciels de présentation, traitements de texte, lecteurs PDF).

-        Si le fichier peut seulement se lire à l’aide d’un logiciel spécial, cette application devrait être fournie en même temps que la ressource ou, encore mieux, elle devrait être intégrée dans le référentiel de façon à ce que l’utilisateur puisse consulter la ressource directement.

Références utiles (sur l’infrastructure)

        Building Repositories - http://www.rsp.ac.uk/repos/

        EduSource - http://www.edusource.ca/

        eRib - http://demo.licef.teluq.uquebec.ca/eRIB/

        Interoperability for Searching Learning Object Repositories

        http://www.dlib.org/dlib/january08/ceri/01ceri.html

       

        Open Access to Scholarly Information

        http://openaccess.net/de_en/useful_information_for/repository_operators/building_a_repository

       

        Learning Object Repositories: Deployment and Diffusion –(2005) D. MacLeod

        http://www.canarie.ca/funding/elearning/2005_LOR_final_report.pdf

       

        DOOR. ''DOOR Digital Open Object Repository is an Open Source piece of software for creating learning objects repositories''.

        http://door.elearninglab.org/website/index.php

       

        DSPACE - http://dspace.org/

        Fedora -  http://www.fedora.info/

        Fondation Ariadne -  http://www.ariadne-eu.org/  - voir section Technologies, Tools and Services 

1.4  Instrumentation du processus et des acteurs

La gestion d’un référentiel de ressources implique de produire les outils de support au processus de mise en place et de gestion du référentiel de ressources.

Outre les documents de mission, de politique et d'infrastructure technologique décrits précédemment, il faut produire des guides méthodologiques pour soutenir les différents acteurs.

Le présent guide remplit cette fonction pour le gestionnaire et son équipe de projet. D'autres guides sont proposés mais tous devront être précisés et adaptés en fonction des besoins de chaque projet.

Produit : Des guides et des listes de contrôle (''check-lists'') pour chaque acteur

Partie 2 : STRATÉGIE QUALITÉ D'UN RÉFÉRENTIEL DE RESSOURCES

Dans le processus d'utilisation, de gestion et de rétroaction d’une ressource d’enseignement et d’apprentissage (REA), il est possible de distinguer trois phases principales dans le cycle de vie d'une ressource :

  1. Conception de la REA
  2. Publication de la REA dans le référentiel
  3. Réutilisation de la REA

Ces phases sont assujetties à des décisions concernant le type de référentiel de REA, la politique de propriété intellectuelle et le profil de métadonnées choisi. Pourtant, comme on le verra dans les sections suivantes, à chaque phase de gestion correspondent des procédures et des caractéristiques particulières.

Il importe que le gestionnaire du référentiel applique le principe de simplicité, c’est-à-dire qu’il fournisse des outils et des processus simples à suivre et à contrôler. Par exemple, si la REA a été réalisée, produite et/ou validée par des experts selon des méthodes pédagogiques connues, il n’est pas nécessaire de faire des évaluations au moment de la publication.

Le processus d’évaluation des ressources, en particulier, doit être documenté et être accessible à tous les usagers du référentiel. Ainsi, les utilisateurs, les concepteurs et autres pourront juger du niveau de qualité exigé dans ce référentiel.

2.1 Phase 1 - Conception de la REA

La qualité d’une REA peut être évaluée selon trois dimensions :

  • la dimension pédagogique et culturelle
  • l’accessibilité et l'ergonomie
  • l’interopérabilité et la qualité technique

2.1.1 La dimension pédagogique et culturelle

  • Le fait d’utiliser une méthode d’ingénierie pédagogique reconnue et spécialisée selon le type de ressource à concevoir permet de garantir davantage de qualité pédagogique. Il est possible alors de vérifier que tous les éléments sont couverts de façon cohérente et claire pour l’apprenant.
  • Il est suggéré de créer les scénarios pédagogiques en collaboration. Ainsi, on fera intervenir des experts en technologie éducationnelle et des experts de contenus, des responsables de la médiatisation, etc. Le fait d’impliquer des acteurs détenant une expertise variée assure en général un design pédagogique de haute qualité.
  • On s’assurera à cette étape que les problèmes reliés à la propriété intellectuelle sont résolus. Ainsi, on dégagera les droits d’auteur ou on identifiera les licences applicables. On indiquera clairement les parties qui peuvent être réutilisées et on fournira l’information sur les personnes qui ont contribué à la conception et au développement de la ressource.
  • L’indépendance de la REA devrait être assurée. Chaque REA devrait référer à un objectif d’apprentissage spécifique.
  • Il est suggéré de décomposer la REA en unités d’apprentissage pouvant être réutilisées de façon indépendante.
  • Il est suggéré de décrire le contexte de réutilisation de la ressource pour en assurer la meilleure intégration possible dans les modules ou les cours.
  • Finalement, la réutilisabilité culturelle devra être évaluée, non seulement sur le plan de la langue, mais aussi sur le plan des valeurs des usagers de la ressource réutilisée : compétition/collaboration, attitude en regard de l'autorité, situations ouvertes ou fermées, etc.

2.1.2   L’accessibilité et l'ergonomie

L’accessibilité implique de concevoir une REA d’une telle façon qu’elle soit à la disposition de tous les individus, quels que soient leur matériel ou logiciel, leur infrastructure réseau, leur langue maternelle, leur culture, leur localisation géographique, ou leurs aptitudes physiques ou mentales. Au point de vue qualité, ce principe rend la ressource plus réutilisable.  Voici quelques questions à se poser sur ce plan :

  1. Le langage est-il simple ?
  2. L'interface est-elle dans la langue de l'utilisateur ?
  3. L'interface minimise-t-elle la charge en mémoire de l'utilisateur ?
  4. L'interface utilisateur est-elle cohérente et facile d’utilisation?
  5. La rétroaction prévue dans la ressource est-elle visible ?
  6. Les points de sortie sont-ils clairement indiqués ?
  7. Y a-t-il des raccourcis ?
  8. Les messages d'erreur sont-ils explicites ?
  9. Existe-t-il des moyens / systèmes pour détecter et corriger des erreurs ?
  10. Y a-t-il une aide en ligne ?

C’est afin de promouvoir l’accessibilité du Web que le W3C a créé le projet WAI - Web Accessibility Initiative (http://www.w3.org/WAI). À titre d’exemple des recommandations qui sont faites par cet organisme aux concepteurs de sites Internet, on peut citer l’utilisation :

  1. d’un texte alternatif pour décrire le contenu et la fonction de chaque élément ;
  2. de légendes et transcriptions pour les documents audio, et de descriptions pour les vidéos;
  3. d’énoncés pertinents hors contexte pour les liens

Au Canada, le projet TILE énonce un ensemble de mesures favorisant l’accessibilité : http://barrierfree.ca/tile/index.htm

Le projet Web4All développé par l'Adaptive Technology Resource Centre (ATRC) va dans le même sens : http://web-4-all.ca/html/french/w4a_home_f.html

En ce qui a trait à l’ergonomie, plusieurs critères ont été proposés par différents auteurs pour évaluer la qualité ergonomique d’une REA. Voir les listes de critères dans l’annexe du Guide de l’évaluateur d’une ressource.

Références utiles 

          W3 Accessibility Guidelines

          Adaptive Technology Resource Centre

          Accessibility : http://www.w3.org/TR/WCAG10/full-checklist.html;

          Design for Accessibility: A Cultural Administrator's Handbook http://www.digital-web.com/articles/innovative_design_accessibility/

          Web Access Centre http://www.rnib.org.uk/xpedio/groups/public/documents/Code/public_rnib008789.hcsp

          Usability Testing : http://www.utexas.edu/learn/usability/

2.1.3   L’interopérabilité et la qualité technique

Pour ce qui est de l’interopérabilité, Koper, Pannekeet, Hendriks & Hummel (2004) proposent trois exigences de qualité :

  1. Les conditions techniques qui rendent les REA interopérables sont sans erreur.
  2. Les processus techniques de base qui permettent l’échange sont bien identifié: interopérabilité des référentiels, protocoles qui se parlent, etc.
  3. Les politiques d’échanges sont établies :
  • l’information aux utilisateurs du référentiel est mise à jour d’une façon constante ; 
  • la formation en ce qui concerne l’échange, la conception et la réutilisation d’une REA est disponible et appropriée par rapport aux besoins des contributeurs visés par le référentiel. Par exemple, il y a une formation sur les méthodes et restrictions par rapport à certains standards, tels qu’IMS LD, SCORM, IMS-QTI, etc. 

Selon Gold practices il existe trois principaux types de tests d’interopérabilité qui sont importants pour assurer et conserver une haute qualité dans un référentiel de ressources.

  • Tests de conformité – Il s’agit du processus consistant à évaluer la conformité d’un produit avec la spécification ou la norme retenue. Plusieurs outils spécialisés de test sont utilisés pour exercer un contrôle sur un produit afin de déterminer si les bonnes actions et réactions sont produites. L’outil de test est normalement la seule application à laquelle le produit sous évaluation est connecté. Un test de conformité réussi augmente la probabilité d’interopérabilité avec d’autres produits qui ont également passé avec succès les tests de conformité.
  • Tests d’interopérabilité – Il s’agit du processus consistant à évaluer la capacité d’un système à échanger de l’information électronique utilisable par d’autres systèmes, tel que spécifié dans leurs documents de requis techniques.   Des outils spécialisés de tests sont utilisés pour suivre la performance de produits afin de déterminer si les bonnes actions et réactions sont produites. Un système est certifié comme étant interopérable lorsqu’il complète avec succès les tests d’interopérabilité.
  • Tests opérationnels - Il s’agit du processus consistant à évaluer la performance de  produits dans un environnement fonctionnel opérationnel. A cause des requis exigés des ressources pour générer des environnements réalistes,  les tests opérationnels sont généralement effectués dans l’environnement dans lequel le référentiel de ressources sera déployé.

Voici quelques outils permettant de valider l’interopérabilité des REA dont les scénarios doivent se conformer à SCORM ou à la spécification IMS-LD.

Liens/références utiles

http://www.scorm.com/products/scormengine.aspx

Ce site contient des outils pour construire des unités et diffuser des scénarios SCORM, IMSLD ainsi qu’un éditeur des métadonnées et content packaging.

http://www.reload.ac.uk

Reusable eLearning Object Authoring and Delivery

http://www.imsproject.org/learningdesign

Ce site contient toutes les informations de base pour construire des scénarios compatibles avec cette spécification.

http://www.unfold-project.net

Ce site contient des ressources pour comprendre comment implémenter la spécification IMS LD.

http://www.idld.org

Ce site contient une méthodologie d’implantation de la spécification IMS LD, un éditeur MOT+LD pour construire une unité IMS LD, un référentiel d’exemples d’unités d’apprentissage conformes. 

http://coppercore.sourceforge.net/

The Open Universiteit Nederland (OUNL) REAeased the 3.0 version of CopperCore. CopperCore is world’s first open source IMS Learning Design Engine that supports all three levels of IMS Learning Design (A, B and C).

 2.1.4   Contrôle de qualité d’une ressource

Le contrôle de qualité d’une ressource est généralement réalisé par un comité de pairs ou un comité responsable du référentiel regroupant du personnel pouvant juger de la pertinence des contenus. Il sera important aussi d’impliquer du personnel plus technique pouvant juger de l’interopérabilité de la REA.

Il est suggéré d’analyser la réutilisabilité de la REA. Dans ce cas, la demande est analysée par un évaluateur ou un comité d’évaluation, en fonction de sa spécificité et à l’aide de critères de réutilisation. Est-ce que la ressource est particulière à un groupe d’individus? Réfère-t-elle à une situation précise d’apprentissage? S’agit-il d’un contenu pointu? Est-il applicable à différents contextes?   Il convient d’élaborer un formulaire ou une liste de vérification (« check-list ») pour établir les critères de réutilisabilité en fonction des objectifs du référentiel.

Il est recommandé de prévoir un budget et du temps pour cette dernière étape de la phase de conception. Il est aussi possible de créer une communauté de pratique pour les concepteurs ou les fournisseurs/contributeurs afin de promouvoir la collaboration et diminuer les besoins d’évaluation par les pairs/utilisateurs ainsi que des révisions tardives dans la production.

2.2   Phase II : Publication dans le référentiel

Lorsqu’un référentiel de ressources applique une stratégie de qualité à toutes les phases de gestion de la REA, la publication dans le référentiel se limitera à réaliser un référencement de qualité. 

Cependant, plusieurs référentiels permettent à des contributeurs de publier directement dans le référentiel de ressources. Il n’y a pas alors d’évaluation a priori sur la conception de la REA. Il est possible, voire même souhaitable, de limiter l’accès à des contributeurs fiables et de limiter les erreurs lors de la publication. Cette section présente plusieurs moyens de contrôler la qualité de ce type de contribution.

2.2.1   Stratégies de qualité liées à l’indexation

Pour assurer une indexation de qualité, il est important d’impliquer des experts dans le domaine du référencement. Des techniciens en documentation peuvent être très utiles à cette étape. Les techniciens doivent bien comprendre le profil d’application et les règles le régissant.

Peu importe si on peut compter sur des experts en référencement, le captage automatique est la première façon d’éviter des erreurs telles  des fautes de frappe. Les métadonnées visées principalement par le captage automatique sont les suivantes : ID catalogue, schéma de métadonnées, taille et format de la REA, localisation de la REA.

                            http://ariadne.cs.kuleuven.be/amg/http://ils.unc.edu/mrc/amega

                            http://frameworks.jtc1sc36.org/

Lorsque le référentiel doit moissonner ou fédérer d’autres référentiels, il importe de former les techniciens informatiques afin de résoudre les problèmes d’interopérabilité entre référentiels.

Bien que plusieurs protocoles soient toujours en expérimentation, il est possible d’effectuer des transcriptionsd’un standard à l’autre et d'utiliser des logiciels visant la transcription des données provenant d’autres standards, tels que Marc21 et Z39,5 qui sont fréquemment utilisés par les bibliothécaires. En guise d'exemple :

http://libraries.mit.edu/guides/subjects/metadata/mappings.html

http://www.ukoln.ac.uk/metadata/dcmi-ieee/identifiers/

http://www.loc.gov/marc/concise/

http://www.loc.gov/z3950/gateway.html#about

Finalement, plusieurs référentiels font usage d’une fiche simplifiée de métadonnées. Les données XML sont conformes au profil, cependant l’interface utilise un vocabulaire simplifié pour faciliter la saisie par des contributeurs inexpérimentés.

2.2.2   Stratégies de qualité liées à la publication de REA non validée lors de la phase de conception

La publication d’une REA nécessite de la soumettre à un référentiel pour qu’elle soit acceptée, indexée et éventuellement téléchargée dans un dépôt. Si aucune méthode d’évaluation de la qualité n’a été appliquée préalablement à cette phase, il est suggéré d’appliquer diverses méthodes pour améliorer la qualité du référentiel :

  • s'assurer que le contributeur (auteur et ou concepteur) de la REA soit membre d'une organisation accréditée;
  • soumettre la REA à un comité d'évaluation;
  • s'assurer que la REA respecte le standard de métadonnées prévu par l’organisation;
  • assurer le respect des droits de propriété intellectuelle.  Plusieurs enseignants ne sont pas très informés concernant les droits de publication du travail de tiers. Un formulaire où l’enseignant certifie que les droits d’auteur ont été dégagés est peut être souhaitable. Plusieurs référentiels exigent que le matériel référencé dans le référentiel soit entièrement libre de droit, ou sous licence Creative Commons.

2.3   Phase 3 : Réutilisation

À cette phase, la majeure partie des stratégies de qualité à mettre en place dépendent directement du référentiel et non de la REA elle-même. Il s’agit donc de fonctionnalités à mettre en place dans l'outil gestionnaire de la REA, par exemple ORI-OAI, EUREKA, PALOMA ou COMÈTE.

On améliorera les capacités de réutilisation d’une REA en :

  • permettant des méthodes variées de recherche et une présentation ergonomique des résultats ;
  • fournissant des capacités d’annotations, de recommandations, permettant à l’utilisateur de juger de la qualité de la REA etc.;
  • identifiant clairement les stratégies de contrôle de qualité en phase I et II mises en place dans le référentiel ;
  • établissant des méthodes de maintenance pour assurer la qualité des métadonnées. 

2.3.1   Les méthodes de recherche et de présentation des résultats

Les stratégies dans cette phase consistent à fournir des méthodes variées de repérage et des affichages de description de la REA faciles à lire, notamment :

  • Inclure des multiples méthodes de recherche, par exemple par mots-clés, par métadonnées, par relations entre REA, par classification, par accessibilité, etc.
  • Offrir une recherche ontologique grâce à la mise en relation sémantique de différentes métadonnées.
  • Présenter la description, les mots-clés, les contributeurs et le référentiel d’origine.
  • Garantir l’interopérabilité en intégrant des fiches dont l’indexation est de qualité, de façon à permettre de transposer ces métadonnées d’un standard à un autre, et de communiquer et de chercher des ressources dans des référentiels en réseau (Littlejohn, 2003).

2.3.2   Annotations et recommandations

Un des aspects les plus critiques d’un référentiel de ressources est de permettre l’évaluation par les pairs. Les référentiels les plus populaires fournissent :

-          des statistiques intéressantes et parlantes ressource la plus réutilisée, etc.) ;

-          des recommandations et suggestions du contexte d’usage ;

-          des échelles d’appréciation.

Il est suggéré d’utiliser la métadonnée « Annotation » pour recueillir des informations sur l’utilité de la ressource ainsi que sur sa qualité. Conciçấo, Olgren & Ploetz (2006) suggère l’utilisation d’un formulaire d’évaluation détaillé permettant de ressortir les qualités de la ressource. Ainsi, cette information faisant partie intégrante de la fiche de métadonnées décrivant la REA, il n’y aura pas de perte d’information en cas de moissonnage.

Selon Duval (2005), on ne peut évaluer la qualité d’une REA que dans son contexte d’utilisation. Les différentes métriques proposées ne peuvent alors être prises en compte dans un algorithme, car il est impossible de tenir compte du contexte d’utilisation. Son approche, appelée « LearnRank » est basée sur le concept de « PageRank » de Google. Ce système utilise la trace de réutilisation de la ressource pour en induire la qualité. Ainsi, si un grand nombre d’utilisateurs d’un domaine utilisent une ressource, on peut en déduire que la ressource est de qualité. Si une ressource est utilisée dans plusieurs domaines, cela représente aussi un indice de qualité. Finalement, le système tentera de capter les évaluations réalisées par les apprenants suite à l’utilisation d’une REA pour en dégager la qualité.

L’approche « peer trust » est une autre approche qui permet de déduire la qualité d’une ressource selon l’utilisation que l’usager en fait. Émanant des systèmes distribués de P2P (peer to peer), Chen & Yeager (2003) et Wang & Vassileva (2003) proposent d’exploiter des algorithmes de confiance basés sur la réputation entre utilisateurs pour définir la qualité d’une ressource.

Une autre avenue d’évaluation d’une REA porte sur des idées de « Social Tagging» ou «Social Bookmarking », le filtrage collaboratif et « folksomies ». Toutes ces méthodes pour décrire ou évaluer la qualité sont basées sur l’utilisation ou la réutilisation annotée des usagers et non pas sur des standards. Sans une autre stratégie de qualité bien encadrée, le résultat risque d’être ambigu et confus. (Currier, Campell & Beetham, 2005).

Le référentiel MERLOT (http://www.merlot.org/merlot/index.htm) fait largement usage de méthodes d’évaluation et de valorisation des ressources. Ces méthodes sont parmi les plus avancées en termes de statistiques d’utilisation, commentaires et annotations. Elles mettent en œuvre aussi des statistiques par contributeur, permettant ainsi de juger de la qualité par inférence. Comme les responsables de MERLOT intègrent constamment de nouvelles approches d’évaluation, il est fortement suggéré de les consulter régulièrement.

2.3.3   Identification des stratégies de qualité

Comme souligné à la section 1, les niveaux de qualité soutenus par le référentiel doivent être explicites aux concepteurs, aux utilisateurs et aux partenaires du référentiel, de façon à ce qu’ils comprennent les efforts investis dans la démarche, les effets de cette démarche et les avantages qu’elle présente pour eux. La communication auprès des clients et des partenaires doit également avoir pour but de les inciter à s'engager eux-mêmes dans une démarche de qualité.

2.3.4   La maintenance

La maintenance d’un référentiel consiste à :

1. Assurer que les métadonnées sont justes. Les responsables devront vérifier notamment les liens brisés. Il faut aussi prévoir un mécanisme par lequel une REA dont le contenu est désuet puisse être identifiée.

2. Assurer que les REA présentes dans le référentiel sont pertinentes. Les opinions et les rétroactions recueillies aident à évaluer l’utilité et la qualité d’une ressource. Elles facilitent la prise de décision pour statuer sur la conservation d’une ressource dans un référentiel. C’est un processus de mise à jour continue d’un référentiel. Il est possible aussi de se référer aux évaluations des pairs, en enlevant du référentiel des ressources qui n’ont pas été évaluées positivement.

Conclusion

L’évolution de la technologie est très rapide. Pour assurer le contrôle de qualité d’un référentiel de ressources, il importe d’appliquer des principes de contrôle de qualité dans le cadre d’un processus dynamique impliquant divers acteurs, ainsi que des stratégies particulières à chacune des phases de gestion d’une REA. 

Les efforts visant à développer et à maintenir la qualité d’un référentiel de ressources ne peuvent ignorer l’importance d’atteindre une masse critique (tipping point) d’utilisateurs prêts à alimenter le référentiel et à réutiliser les REA.  Pour atteindre une telle masse critique,  il y a trois grandes considérations à prendre en compte, notamment i) la gestion de changement, ii) l’adoption de stratégies de qualité modérées et iii) l’automatisation de plusieurs stratégies de qualité. Voici quelques orientations en lien avec ces considérations.

i) Élaborer des stratégies de gestion de changement

-  S’assurer le support de toutes les catégories d'usagers afin qu’ils deviennent des parties prenantes (stakeholders).

-  Former des communautés de pratique par type d’acteurs.

-  Offrir de la formation adaptée pour satisfaire les besoins des différents acteurs.

ii) Adopter des stratégies de qualité modérées

-   Fournir des guides, des principes et des grilles pour faciliter la conception des REA.

-  Demander l’adhésion ''formelle'' au référentiel à ceux qui veulent proposer une ressource (engagement à respecter certains principes).

-   Permettre des suggestions de contribution au moyen d’un formulaire léger.

-   Mettre en place un mécanisme pour avertir les usagers sur les droits d’utilisation (par exemple, lien aux licences Creative Commons ou GNU).

-   Faciliter la conception des REA en appliquant les initiatives de code source ouvert. 

iii) Inclure des systèmes automatiques parmi les indicateurs de la qualité

- Fournir un système pour formuler des recommandations. Exemple : le nombre des étoiles indique le niveau de qualité; dans Amazon, 5 = excellente ; 0 = pas conseillée.

- Utiliser des formulaires d’évaluation informatisés montrant les résultats instantanément, par exemple une fonction de vote interactif.

- Instaurer un système avertissant l’usager des bris de liens, des changements d’adresse de la ressource et de conditions sur sa qualité, par exemple si elle est obsolète.

-  Inclure un compteur du nombre de téléchargements de la REA.

-  Fournir des moyens graphiques et symboliques pour donner les informations sur la réutilisation.