L’avaluació és la peça clau del cicle formatiu; les dades que ens aporti ens diran si tots els esforços previs han tingut sentit. L’avaluació forma part del disseny de l’acció formativa. Com ja hem dit, a l’apartat del disseny i desenvolupament hi ha una avaluació centrada en l’acció formativa, que depèn del formador i que té diferents fases o moments (inicial, formativa o de procés, i sumativa o final). I també hi ha una altra avaluació que interessa més a l’organització i que té diferents nivells: satisfacció, aprenentatge, transferència, impacte…
No hauríem d’implementar la formació sense conèixer quina repercussió esperem en el funcionament de l’organització.
Cal, doncs, fer una valoració de tot el conjunt de la formació, d’ençà que es detecten mancances o oportunitats de millora fins que s’apliquen els nous coneixements al lloc de treball. Una definició d’avaluació podria ser aquesta: «Avaluar és mesurar i comparar per demostrar i replantejar». A continuació detallem el significat de cadascun d’aquests quatre termes:
Mesurar | Identificar les dades que s’han de contrastar i triar els instruments que aplicarem. |
Comparar | Marcar un patró de referència amb el qual valorarem els resultats de la formació (cal definir un abans i un després). |
Demostrar | Comunicar que s’han assolit els objectius establerts per a la formació. |
Replantejar | Prendre decisions sobre la formació, per millorar, canviar, o esmenar el que s’ha fet. |
És important demostrar que la formació no és una finalitat en si mateixa, sinó que constitueix un mitjà per fer més eficients les organitzacions, per millorar el rendiment de les persones en termes de productivitat, estalvi de temps, més bon servei, més seguretat…, en benefici de tota l’organització i dels clients o ciutadans.
Si no avaluem, no podrem demostrar el valor de la formació, justificar els pressupostos ni introduir canvis substancials en les polítiques de formació i de recursos humans.
Preguntes clau sobre l’avaluació
Avantatges d’avaluar
Amb l’aplicació d’un projecte integral d’avaluació, el responsable de formació podrà:
Hi ha diversos models d’avaluació de la formació a les organitzacions, plantejats amb diferents enfocaments i amb diferents metodologies. No obstant això, el model més estès és el de Donald Kirkpatrick. El model de Kirkpatrick ha estat revisat i ampliat per diversos especialistes, incorpora un nivell de retorn de la inversió i, com diu Pilar Pineda, un nivell de «coherència pedagògica».
El model de Kirkpatrick preveu tot el procés d’avaluació en quatre nivells seqüencials:
Nivell 1: Reacció/Satisfacció
Nivell 2: Aprenentatge
Nivell 3: Transferència (Conducta)
Nivell 4: Impacte/Resultats
L’avaluació és un procés que afecta transversalment tota l’organització, tot i que hi ha figures que intervenen més activament en determinats moments.
En aquest quadre-resum podem veure la intervenció de cadascun d’ells en cada nivell:
Qui dissenya l’avaluació ? | Qui avalua? | Qui és l’avaluat ? | Què obtenim? | |
Nivell 1 Satisfacció |
|
|
|
|
Nivell 2 Aprenentatge |
|
|
|
|
Nivell 3 Transferència |
|
|
|
|
Nivell 4 Impacte/Resultats |
|
|
|
|
Aquest model és d’una complexitat i cost creixent: el nivell 1 és relativament fàcil i barat d’implementar; la dificultat i el cost augmenta en els nivells següents. Fins i tot hi ha un nivell 5 en què es pot mesurar la rendibilitat econòmica de les accions formatives; és l’anomenat ROI (retorn de la inversió).
Les avaluacions de nivell 3 i 4 queden molt restringides en funció dels objectius estratègics de l’organització i dels recursos disponibles.
Pel que fa al nivell plantejat per Pilar Pineda, avalua la coherència pedagògica del disseny d’una acció formativa concreta.
Disposem de diverses tècniques i instruments de recollida de dades d’avaluació; alguns es poden aplicar a totes les fases o nivells i d’altres són més específics d’un nivell en particular.
A continuació, s’ofereix una llista bàsic de tècniques segons la seva adequació a cadascun dels nivells:
Nivell 1 Reacció/Satisfacció |
Nivell 2 Aprenentatge |
Nivell 3 Transferència |
Nivell 4 Impacte/Resultats |
|
|
|
|
El més habitual a les organitzacions és avaluar la reacció (nivell 1) mitjançant els qüestionaris de satisfacció. Un cop recollida i tabulada la informació, el/la responsable de formació hauria d’estudiar i modificar, si s’escau, aquests elements en particular:
Àmbit didàctic
Àmbit organitzatiu
Característiques dels principals instruments de recollida de dades
Els instruments per obtenir dades de fonts personals són limitats (ja els hem vist en tractar l’anàlisi de necessitats formatives); aquí fem una valoració dels punts forts i febles d’alguns d’aquests instruments.
Punts forts | Punts febles | |
Qüestionari |
|
|
Entrevista |
|
|
Mostra de treball |
|
|
Simulació |
|
|
Observació |
|
|
Proves objectives de coneixement (pretest i posttest) |
|
|
Avaluar la formació suposa comprovar que les necessitats estaven ben detectades, que el disseny formatiu era adequat, que la impartició ha produït aprenentatge i que les persones han pogut aplicar satisfactòriament el que han après al lloc de treball.
Per tant, avaluar és una exigència per a tota l’organització. Així doncs, plantejar un projecte d’avaluació (més enllà dels qüestionaris de satisfacció) implica:
1. Una formació triada «a la carta» (en contraposició a una formació feta «per prescripció») possiblement provocarà una bona reacció en els participants; però no assegura cap d’aquests dos factors:
2. El procés d’avaluació no comença després de la impartició sinó en el mateix moment d’iniciar el cicle formatiu (amb l’anàlisi de necessitats): cal determinar des del primer moment quins són els resultats que volem aconseguir per determinar el buit de competències i planificar la formació en conseqüència. A partir d’aquí ja podrem avaluar totes les fases del cicle.
3. No servirà de res avaluar la formació si ja des del principi no teníem ben establerts els problemes de rendiment imputables a una manca de competències (coneixements, habilitats o actituds). Si no establim clarament la diferència entre un abans i un després de la formació, dur a terme un projecte d’avaluació serà inútil, perquè no tindrem referències (recordem l’element «comparar»).
4. Cal seguir un procés de treball ordenat:
5. Avaluar la formació no és aportar estadístiques del tipus: «tantes persones han assistit a formació, s’ha implementat el 10% de nous cursos, el nombre d’hores impartides puja a…, la satisfacció mitjana és del 7,4 sobre 10», etc. Això són indicadors quantitatius de l’activitat; no ens diu res sobre els seus efectes.
6. Si es decideix avaluar més d’un nivell, cal que comencem pel nivell 1. Si no es fa així, podem trobar resultats contradictoris o sense lògica aparent. Per exemple, una avaluació directa del nivell 3 (canvi de conducta), sense passar pels nivells inferiors, podria mostrar indicadors molt negatius, i s’obviarien els bons resultats en la reacció i l’aprenentatge.
Nivell 1 Reacció/Satisfacció |
Nivell 2 Aprenentatge |
Nivell 3 Transferència |
Nivell 4 Impacte/Resultats |
|
|
|
|