Avaluar un objecte d'aprenentatge consisteix a proporcionar valors objectius per a un conjunt de criteris que solen incloure la qualitat dels continguts, la conformitat amb estàndards, el potencial de reutilització i altres aspectes. Alguns dels mètodes d'avaluació més utilitzats són la revisió entre iguals i l'ús de qüestionaris estandarditzats.
Els avantatges que poden proporcionar els objectes d'aprenentatge pel que fa a la reutilització no són tals si no hi ha manera de calcular fins a quin punt són bons els objectes d'aprenentatge per a determinades situacions. És important tenir en compte que el paradigma dels objectes d'aprenentatge comporta que un sistema informatitzat és capaç de "recuperar" objectes per a una determinada necessitat accedint a moltes fonts (per exemple, consultant molts repositoris). Per tant, és probable el cas que per a una mateixa necessitat hi hagi més d'un objecte d'aprenentatge (o més d'un disseny per a l'aprenentatge) que s'hi pugui aplicar. Això implica la necessitat de crear criteris i eines per a avaluar la qualitat dels objectes d'aprenentatge.
La primera adopta una perspectiva científica en la revisió, seguint un mètode basat en qüestionaris, mentre que la segona està basada en les revisions i opinions de potencials usuaris dels recursos i empra una avaluació per experts. Tots dos acostaments es poden considerar dos extrems que eventualment es podrien combinar, de manera que no s'han de considerar en cap cas enfocaments excloents.
L'instrument de revisió d'objectes d'aprenentatge (traducció de learning object review instrument, LORI) és un formulari per a avaluar la qualitat dels recursos d'aprenentatge electrònic. Desenvolupat al principi per a la xarxa de recerca d'aprenentatge electrònic i avaluació (Elera Arxivat 2020-02-02 a Wayback Machine.) i el portal per a objectes d'aprenentatge en línia (POOL Arxivat 2013-06-18 a Wayback Machine.), hi ha una traducció feta per l'equip del programa Espai virtual d'aprenentatge, de la Conselleria d'Innovació, Ciència i Empresa de la Junta d'Andalusia.[1] Aquest instrument i altres de semblants faciliten la comparació d'objectes i ofereixen un format comú d'avaluació.
La importància del LORI és tant gràcies a la simplicitat com a la base científica que té, ja que en el desenvolupament es van tenir en compte les opinions de dissenyadors de materials educatius i professors, amb els quals es van dur a terme diverses proves. La versió 1.5 (l'actual) inclou nou categories per a valorar cada objecte d'aprenentatge. En cadascuna, el revisor ha de puntuar en una escala de l'1 al 5 l'objecte, i pot introduir comentaris al marge, tot plegat emplenant un formulari que acompanya el manual d'avaluació.[2]
Com hem dit, el LORI permet avaluar els objectes d'aprenentatge en nou categories:
Per a veure més detalladament com funciona el LORI, ens hem de fixar en l'avaluació del punt 2 (adequació dels objectius de l'aprenentatge). En aquest apartat:
El LORI ha estat objecte d'estudis científics[3] i és, en aquest sentit, un pas endavant en l'obtenció de mesures de qualitat més objectives que la simple mitjana aritmètica de les valoracions subjectives de molts usuaris.
Una proposta semblant al LORI és l'HEODAR,[4] una eina que possibilita l'avaluació de cada criteri de manera individual, cosa que permet una valoració més exacta. Igual que en el LORI, es proposen diverses categories amb criteris que permeten avaluar els objectes d'aprenentatge des de diversos punts de vista: didàctic i curricular, tècnic i estètic, i funcional.
El mètode proposa la participació de diversos experts relacionats amb els objectes d'aprenentatge: dissenyadors instruccionals, dissenyadors gràfics, professors, etc., amb l'objectiu d'obtenir opinions fundades en cadascuna de les categories. Per augmentar la fiabilitat de les avaluacions, suggereix una avaluació col·laborativa i que almenys dos avaluadors siguin experts en cadascuna de les matèries que cal avaluar.
Alguns repositoris (per exemple MERLOT) emmagatzemen, a més dels lògics enllaços a materials educatius en línia, anotacions dels usuaris i altres tipus de revisions com ara una revisió per experts. Es tracta d'una avaluació duta a terme per diversos revisors del mateix rang i de la mateixa experiència que els de l'autor i que duu a terme una feina de manera altruista i en general voluntària.
En la figura que tenim a la dreta es proporciona una visió de la manera com és la descripció d'un objecte d'aprenentatge en el MERLOT. Aquesta figura mostra algunes metadades de l'objecte d'aprenentatge -descripció, tipus, qui l'ha enviat, l'"audiència principal" (destinataris), etc. El més interessant, però, és que també es pot veure que hi ha una valoració del recurs des de dues perspectives:
Fixeu-vos que, mentre que els comentaris de membres són simplement valoracions en una escala entre una i cinc estrelles, al costat d'un comentari breu, les revisions entre iguals tenen una estructura específica que inclou valoració per diferents criteris i són subjectes a un control de qualitat per part de panels de revisors (review panels).
Aquest tipus d'avaluació és una excel·lent font d'informació qualitativa. L'únic inconvenient que s'hi pot atribuir és que el format és de “text lliure”, i això fa que no sigui gaire útil com a informació de metadades perquè agents o altres sistemes programari en facin el processament automatitzat (per exemple, amb vista a prendre aquestes valoracions com a criteri d'ordenació dels resultats d'una cerca). Tot i això, estructurant una mica les revisions, es pot arribar a aprofitar més bé l'esforç dels revisors amb l'objectiu d'aconseguir registres de metadades més complets.