Avaluació de projectes
1.- Cas 2. Dissenyar l’avaluació d’un projecte

1.1.- Introducció: el projecte de l’Escola de Música Municipal

La vila del Camí del Mig ha tingut sempre una forta tradició musical ; és la localitat natal d’un reconegut músic i compositor del segle XIX, i ha estat durant anys la seu de diferents agrupacions corals i conjunts instrumentals.

En l’actualitat conserva bona part d’aquesta empremta musical, i existeixen diferents iniciatives que ho demostren:

  • Un conjunt coral de persones aficionades però de mèrit reconegut (ha participat en diferents manifestacions culturals, fins i tot a escala nacional).

  • Grups d’havaneres i de gralles.

  • Una agrupació sardanista.

  • Un bon grapat de conjunts de música jove i estils diversos, des del hip hop fins al hardcore.

A més de l’educació musical i instrumental que s’imparteix als centres de primària i secundària, al municipi existeixen dues acadèmies privades de formació musical.

Al seu torn, l’Ajuntament desplega des de fa temps i des de diferents regidories diverses iniciatives dirigides a fomentar la pràctica musical. Així, s’impulsen activitats de cant coral en el marc del Pla educatiu d’entorn (PEE), es fa una convocatòria anual de beques per a joves músics, existeixen uns bucs d’assaig en un dels centres cívics, i es programen concerts puntuals o inscrits en els programes dels cicles festius de forma regular.

 

És en aquest context que en els darrers anys els diferents electes que s’han succeït en la Regidoria d’Educació de l’Ajuntament havien reflexionat sobre la possibilitat que la vila es dotés d’una Escola de Música Municipal.

El mes de desembre del 2007, l’actual regidor, el Mateu Fernández, ja va demanar el suport tècnic de la Diputació de Barcelona per estudiar la viabilitat i les característiques que podria tenir una Escola de Música Municipal. Aquest suport es va concretar en el treball conjunt que la cap tècnica de la Regidoria, la Carme Narváez, i els experts de la Diputació van fer al llarg de l’any 2008, estudiant a fons les diferents possibilitats existents.

1.2.- La viabilitat del projecte

L’octubre del 2008, el ple municipal va aprovar una moció que proposava la creació d’una Escola de Música Municipal, amb la qual cosa la idea va esdevenir un mandat al qual calia donar resposta. Poc després, al pressupost per a l’any 2009 es va crear una aplicació destinada a finançar l’establiment de l’escola.

Així doncs, l’abril del 2009 la Regidoria d’Educació va posar en marxa el projecte d’establiment del servei municipal d’Escola de Música, amb l’objectiu general de donar coherència al conjunt d’activitats i iniciatives que es desenvolupen al municipi en l’àmbit de la música, i per tal d’ampliar el ventall d’ofertes formatives, atendre les necessitats generades en l’àmbit de l’educació musical, i garantir el dret de participació cultural activa dels ciutadans i les ciutadanes.

 

La proposta es fonamentava sobretot en una perspectiva de foment de l’afició musical i posava l’accent en el vessant de la pràctica amateur.

No obstant això, precisament per aquelles dates va començar a sentir-se amb força l’impacte de la crisi econòmica. Si bé els comptes de l’Ajuntament no mostraven grans tensions i els ingressos no presentaven desviacions notables respecte de les previsions inicials, diversos indicadors apuntaven que en els mesos següents la situació no evolucionaria de forma positiva.

La comissió d’estudi creada, que estava integrada per la secretària general de l’Ajuntament, l’interventor, la cap d’Educació, el cap de Serveis a les Persones i el regidor d’Educació, va manifestar en diferents ocasions (sobretot a instàncies de l’interventor) les seves inquietuds sobre l’oportunitat del projecte i sobre la seva sostenibilitat.

Revisa el material conceptual que et proposem per comprendre aquesta part del cas.

 

Finalment, es va fixar la sessió del mes de juny del 2009 com el moment en què el ple de l’Ajuntament decidiria sobre el nou servei. Però el regidor mantenia els seus neguits.

Documents

Per reflexionar sobre què i per què avaluar els nostres projectes, llegeix el document Per què avaluar?.

Per què avaluar?

L’avaluació de qualsevol projecte és un procés necessari perquè permet:

  • Comprovar el grau en què s’han assolit els seus objectius inicials.

  • Adquirir aprenentatges, tant a partir dels errors com de les bones pràctiques, amb la finalitat de millorar la forma de dur a terme nous projectes en el futur.

  • Conèixer el grau de qualitat assolit amb el projecte.

 

En el cas de la gestió pública, a aquests tres components s’ha d’afegir també la necessitat de “retre comptes” davant de totes les parts interessades.

Què avaluar?

L’avaluació ha de tenir en compte tots els aspectes que poden ser significatius per a qualsevol dels grups d’interès. Habitualment, en els projectes s’acostumen a avaluar els següents:

  • La necessitat.
  • L’avaluabilitat.
  • La implementació de la planificació.
  • El procés o els processos de treball o les activitats.
  • Els resultats.
  • Els aspectes econòmics.
  • La qualitat.

 

En cadascuna d’aquestes vessants és possible establir objectius específics que complementaran l’objectiu general del projecte.

Per exemple, si l’objectiu general d’un projecte pot ser la realització de la primera fira turística i comercial del municipi, els objectius específics poden ser que la fira assoleixi la xifra de 50.000 persones visitants, o que per a l’Ajuntament no suposi una despesa superior a 30.000 €.

1.3.- El problema: la justificació econòmica del projecte en temps de crisis

A finals de maig del 2009, el regidor va convocar la Carme a una reunió al seu despatx per parlar del projecte d’establiment de l’Escola de Música.

La Carme estava força contenta, ja que finalment havia acabat de tancar uns aspectes pendents de l’oferta formativa que es posaria a l’abast del públic. A més, després de treballar-ho amb el seu cap de Serveis, havia acabat de dibuixar l’estudi econòmic del projecte. Així que va preparar tota la documentació de l’ expedient de l’Escola de Música i es va dirigir a trobar-se amb el seu regidor.

Mateu: –Carme, bona tarda, passa i asseu-te. Com va tot?

Carme: –Doncs la veritat és que bé. Estic contenta perquè ja tinc l’expedient de l’Escola de Música enllestit. Te'n porto una còpia perquè te'l miris abans de convocar la comissió informativa.

Mateu: –Vaja, això està molt bé... Però em temo que t’he convocat per donar-te més feina...

 

Carme: –Un nou projecte? Ja saps que vaig molt saturada...!

Mateu: –No, no. Es tracta de l’Escola de Música. Abans d’ahir vaig tenir una reunió amb l’alcalde, el regidor de Finances i els portaveus dels grups municipals per parlar de les perspectives que la crisi obre sobre el pressupost municipal. Les previsions no són gens optimistes. I jo cada dia tinc més dubtes: no sé si l’esforç de l’establiment de l’Escola de Música és prou justificat en aquest context de crisi.

Carme: –Home, la memòria de justificació és prou explicativa. I al final, l’estudi econòmic i financer dibuixa un escenari que redueix l’aportació municipal, gràcies als ingressos per preus públics i per subvencions, a un màxim d’uns 30.000 € anuals.

Mateu: –Sí, però el tema és que creiem que aviat haurem de qüestionar-nos qualsevol nou projecte, fins i tot per aquesta despesa anual.

Carme: –Tan malament es presenta el panorama?

Mateu: –Es presenta complicat, sí. El cas és que ens veurem obligats a ser molt i molt curosos amb la priorització de les actuacions de l’Ajuntament, i jo no acabo d’estar convençut de fixar un nou servei amb un cost previst de 30.000 € anuals per a... quants alumnes?

Carme: –Inicialment, 70. El curs 2011-2012 arribaríem a 140 places. L’objectiu és abastar l’1 per cent de la població, unes 223 places, que és la referència que la Unió Europea considera òptima per a poblacions de menys de 100.000 habitants.

Mateu: –Sí, ja ho sé. Però l’estudi econòmic només considera despeses directes. I preveu utilitzar les instal·lacions d’una escola de primària per estalviar-nos costos. No sé si això serà viable amb 223 alumnes.

Revisa el material conceptual que et proposem per comprendre aquesta part del cas.

Documents

Recorda de quina manera ens pot ajudar la planificació de l’avaluació del nostre projecte per entendre la problemàtica amb la qual es troba la Carme, llegint l’apartat Preparar l’avaluació.

Definició d’objectius

Els objectius són les referències respecte a les quals s’ha de fer el control i l’avaluació del projecte.

Definir correctament els objectius és, per tant, una tasca crítica, ja que l’absència d’objectius, la confusió entre objectius i activitats, o la definició d’objectius massa genèrics abocarà a una avaluació subjectiva, superficial i poc útil.

 

Una bona forma de definir objectius per als projectes és recordar l’acrònim SMART que utilitzen sovint les persones gestores de l’àmbit anglosaxó, segons el qual els objectius han de ser:

  • Específics.

  • Mesurables.

  • Assolibles.

  • Rellevants.

  • Temporitzats.

1.4.- La importància de planificar l’avaluació del projecte

La Carme va quedar amoïnada després d’aquesta declaració del seu regidor. Feia més d’un any que treballava amb els tècnics de la Diputació en aquest projecte; i el pitjor és que ella ja va dir-li al començament al Mateu que la Regidoria no disposava dels recursos humans suficients per assumir un nou servei, i tot i així, per motius polítics, es va decidir tirar endavant.

Carme: –Així doncs, aturem l’expedient?

Mateu: –No, no, en absolut. Ja saps que es va aprovar una moció al ple presentada per l’oposició, que ja sabia que hi estàvem treballant. A més, al Consell Escolar Municipal se n’ha parlat més d’una vegada, d’aquest projecte, i els professors de música de les escoles fan molta pressió.

Carme: –Què hem de fer, doncs?

Mateu: –Jo, per responsabilitat, no veig clar prendre una decisió que condicioni els futurs pressupostos, fins i tot tenint majoria al ple. Després ningú recordarà què va votar, i sí que jo n'era el regidor responsable.

Carme: –Això ja ho van comentar a les darreres reunions de la comissió d’estudi. L’interventor, sobretot, va insistir molt que féssim quelcom provisional. Per aquest motiu, tot i que a l’expedient es preveu que l’escola serà de gestió indirecta, per la via d’una concessió, es va decidir que el primer curs es gestionarà de forma directa contractant una empresa que s’encarregui d’impartir les classes.

Mateu: –Ja ho recordo, però crec que amb això no n'hi ha prou.

La Carme va reflexionar uns instants sobre el problema que li plantejava el regidor.

Una opció seria reduir l’oferta formativa de manera que es necessitessin menys classes i menys professorat i, per tant, es generessin menys despeses. Però això podria condicionar sensiblement la vocació de l’escola com a centre de promoció de la música i dels aprenentatges musicals entre la població general.

El regidor havia deixat clar al començament del projecte, i els experts de la Diputació hi van estar d’acord, que l' oferta formativa de l'Escola de Música no podia limitar-se a ser un centre perquè alguns infants fessin una activitat extraescolar; aquest rol ja el podien tenir les escoles privades.

A més, si hi ha una demanda suficient també es volen oferir activitats de curta durada i fer accions de difusió per a persones joves i adultes.

Revisa el material conceptual que s’indica al marge. T’ajudarà a comprendre aquesta part del cas.

Una altra alternativa seria reduir el nombre de places per a cada programa, però per disminuir significativament les despeses en professorat que suportarà l’Ajuntament s’haurien d’oferir aleshores molt poques places.

O, finalment, incrementar el preu públic que hauran de pagar les persones que assisteixin als cursos.

Documents

Llegint l’apartat Per què avaluar? podràs entendre de quina manera la planificació de l’avaluació d’un projecte ens permetrà tenir coneixement cert del grau en què el seu objectiu ha estat realment assolit, a més de treure conclusions sobre el seu desenvolupament.

Tipologia de projectes

La forma d’avaluar cada projecte depèn de les seves característiques i tipologia. En l’entorn de l’Administració Pública Local, els projectes més freqüents acostumen a correspondre als tipus següents:

  • Construcció i enginyeria.

  • Tecnologies de la informació i la comunicació.

  • Socioculturals i educatius.

  • Organitzatius.

  • Integrals i comunitaris.

En el nostre cas, ens trobem davant d’un projecte de l’àmbit sociocultural i educatiu que agrupa els projectes que s’acostumen a impulsar des dels àmbits dels serveis a les persones (serveis socials, cultura, educació, esports, etc.).

 

1.5.- Anàlisi del projecte

La previsió de pressupostos i places per als tres primers anys era la següent:

Carme: –Mateu, si no reduïm el nombre de programes que s’ofereixen no sé jo com reduirem encara més les despeses. Només ens queda augmentar el preu públic.

Mateu: –No, Carme. El que jo no vull és prendre decisions sobre un projecte que encara s’ha de materialitzar sense prou informació. Ens arrisquem que no quadrin els números i que a sobre no assolim els objectius i deixem la gent insatisfeta. El que jo faria és acotar clarament el projecte en el temps i obtenir la informació suficient per poder decidir més endavant de forma més estable. Aprofitem que no hem començat amb la concessió.

Carme: –Una solució seria posar en marxa l’escola, amb caràcter provisional, per a dos cursos sencers, l’actual 2009-2010 i el proper curs 2010-2011. Aleshores, abans d’acabar aquest segon curs, caldria que l’equip de govern prengués una decisió.

Mateu: –És el que jo havia pensat. En aquest temps disposarem també d’informació sobre l’evolució de la crisi econòmica i tindrem més clar com actuar. Però no es tracta només d’una qüestió econòmica. El que et vull demanar és que tractis l’establiment de l’escola com un projecte de dos anys de durada, de mitjan 2009 a mitjan 2011, i que abans de tancar-lo es faci una avaluació completa que permeti a l’equip de govern que hi hagi decidir què vol fer. Recorda que el maig del 2011 hi ha eleccions...

Carme: –Una avaluació completa?

Mateu: –Sí, una avaluació completa per decidir, quan es liquidi el pressupost de l’escola del curs 2010-2011, si es vol continuar o no. I a més, tenint en compte els diferents interessos que hi estan implicats. Hi haurà qui voldrà continuar a tota costa i qui veurà l’escola com una competència i no en tindrà cap interès. Jo voldria dades objectives. Com ho podem fer?

Carme: –Així de sobte... Per què no em deixes pensar-hi una mica i et dic alguna cosa en un parell de dies?

Mateu: –Un parell de dies? Si la comissió informativa s’ha de convocar dimarts vinent i jo abans hauré de convèncer els companys de govern! M’hauries de dir alguna cosa demà al migdia sense falta.

Revisa el material conceptual que et proposem per comprendre aquesta part del cas.

Documents

Per ajudar la Carme en la tasca que li demana el seu regidor, consulta els apartats Dissenyar l’avaluació, Mètodes per a l'obtenció d’informació i Instruments per a l’avaluació.

1.6.- El sistema d’avaluació

La Carme va pensar: “Ja hi som... per què mai no disposo del temps que diuen els manuals i els cursos de formació que es necessita per fer les coses ben fetes?”.

Però el regidor és el regidor, així que es va comprometre a tenir una proposta per a l’endemà al migdia. Segurament algun dels companys de l’Àrea de Serveis a les Persones li podria donar un cop de mà, perquè sabia que feia no gaire havien fet un curs de gestió de projectes i haurien treballat el tema de l’avaluació.

Amb tot, abans d’acabar la reunió, la Carme va demanar algunes coses al Mateu.

Carme: –Miraré què puc fer, com sempre.

Mateu: –No esperava menys...

Carme: –Sí, però necessito que em donis alguna pista més sobre el que vols.

Mateu: –Tu diràs...

Carme: –En primer lloc, què t’interessa que avaluem del projecte? En què vols que ens concentrem?

Mateu: –Ja t’he dit que vull una avaluació tan completa com sigui possible. Almenys hauries de preveure tres coses: el vessant econòmic del projecte, la seva qualitat i si s’assoleixen els objectius.

Carme: –Bé, ja és alguna cosa per on començar.

Mateu: –A més, l’avaluació ha de tenir en compte que hi haurà força gent interessada a dir la seva. Hauries de tenir en compte quins són els seus interessos i quina informació necessiten per formar-se una opinió sobre el desenvolupament del projecte durant aquests dos anys. Haurem de preveure algun mecanisme de participació que reforci la decisió que prengui el govern i li doni legitimitat.

Carme: –Així doncs –va dir mentre en prenia nota–, hem d’avaluar la gestió econòmica, l’assoliment dels objectius i la qualitat. I vols també participació.

Mateu: –Correcte. De fet, l’ideal seria que l’avaluació fos al menys política possible.

Carme: –Això no serà possible! Decidir sobre un servei municipal és polític!

Mateu: –Dic “al menys possible”. Em refereixo al fet que es tinguin en compte dades objectives i punts de vista diversos. L’objectiu de l’avaluació seria donar elements suficients per decidir sobre el manteniment del servei en el futur, més enllà del termini de dos anys marcat per al projecte d’establiment.

Carme: –Gairebé és com fer una prova pilot...

Mateu: –Sí, una cosa així. Però pensa que una vegada posem en marxa l’escola, encara que sigui amb caràcter provisional, haurem de carregar-nos de raons si es proposen després canvis... o fins i tot deixar-ho córrer. L’avaluació s’ha de fer molt bé, i s’ha de preparar des del mateix inici.

Carme: –D’acord. Deixa’m el que queda de tarda i el matí de demà i al migdia te'n dic alguna cosa.

Mateu: –Perfecte, gràcies. Fins demà.

Et proposem la lectura del material conceptual que s’indica al marge. T’ajudarà a comprendre aquesta part del cas.

 

Acte seguit, la Carme va tornar a la seva taula de treball i va fer un esquema del que necessitava per presentar una proposta de sistema d’avaluació del projecte d’establiment de l’Escola de Música.

Documents

Recorda els punts principals de la planificació i del disseny de l’avaluació llegint els documents Preparar l’avaluació, Dissenyar l’avaluació i Qui ha de fer l’avaluació?. T’ajudaran a reflexionar sobre els passos que haurà de seguir la Carme per avaluar el projecte de l’Escola Municipal de Música.

Importància de l’avaluació

L’avaluació és un procés de treball d’especial importància dins de la gestió de projectes, ja que és la clau per a la millora i l’aprenentatge de l’equip de treball i de l’organització.

És important fixar-se en les finalitats del procés d’avaluació i en els punts de vista i les expectatives de les diferents parts interessades en el projecte, així com en els aspectes més importants que s’acostumen a avaluar en un projecte.

L’avaluació s’ha de preparar a l’inici del projecte, en la fase de planificació, tenint en compte tots els criteris i els elements que s’han de considerar. Cal també ajustar el sistema d’avaluació a cada tipus de projecte i a les seves característiques específiques.

L’avaluació és una de les fases o dels components essencials de la gestió de projectes. És possible dur a terme un projecte fins a l’assoliment del seu resultat final sense fer-ne cap avaluació. Però és precisament el procés d’avaluació el que permet tenir coneixement cert del grau en què l’objectiu ha estat realment assolit i treure conclusions sobre el seu desenvolupament.

Avaluar un projecte és el procés de treball pel qual s’analitza la informació que permet valorar els aspectes que es consideren significatius, en especial els resultats que ha assolit i en quines condicions ho ha fet, així com treure’n aprenentatges pràctics per a la millora.

Així doncs, l’avaluació és un procés que genera valor per al mateix projecte, per a l’equip que l’ha desenvolupat, i per a l’organització en el marc de la qual s’ha realitzat. Cal, per tant, dedicar-li l’atenció necessària i preparar la seva execució des de la mateixa fase de planificació del projecte.

Per què avaluar?

L’avaluació de qualsevol projecte és un procés necessari, perquè permet:

  • Comprovar el grau en què s’han assolit els seus objectius inicials.
  • Adquirir aprenentatges, tant a partir dels errors com de les bones pràctiques, amb la finalitat de millorar la forma de dur a terme nous projectes en el futur.
  • Conèixer el grau de qualitat assolit amb el projecte.

 

En el cas de la gestió pública, a aquests tres components (resultats, aprenentatge i qualitat) s’ha d’afegir també la necessitat de “retre comptes” davant de totes les parts interessades, com veurem a continuació.

1.7.- Vessants i persones interessades en l’avaluació del projecte

Què avaluar?

En primer lloc, la Carme haurà de determinar-ne l’abast, quins serien els aspectes que serien objecte de l’avaluació.

D’acord amb les indicacions del regidor, hauria de tenir en compte almenys els tres vessants següents del projecte:

  • La gestió econòmica.

  • El grau d’assoliment dels objectius.

  • La qualitat del projecte.

 

Gestió econòmica

Pel que fa al primer d’aquests tres punts, caldria assegurar en primer lloc que les previsions pressupostàries són prou acurades, i després establir un sistema de control tant de la despesa com dels ingressos. Quant a la despesa, bàsicament es tractarà de controlar la facturació mensual de l’empresa que prestarà el servei durant els dos cursos.

Assoliment dels objectius

Quant a l’assoliment dels objectius, la primera tasca serà definir objectius concrets, de forma que es puguin avaluar. Cal tenir en compte que, per la naturalesa del projecte, hi haurà alguns d’aquests objectius, en particular els referits a l’impacte d'aquest, que no seran fàcils d'establir.

Qualitat del projecte

Finalment, pel que respecta a la qualitat del projecte, la Carme creu que el més important serà avaluar la satisfacció dels alumnes durant els dos cursos previstos, però no acaba de tenir clar si també caldria tenir en compte altres components.

 

Per a qui avaluar?

Per altra banda, s’hauran de detectar quines són totes les parts que poden estar interessades en el projecte i en l’avaluació, i preveure quina és la informació que poden aportar i quina pot ser la forma en què podran participar en el procés d’avaluació. Almenys s’haurà de considerar l’alumnat i el professorat, però possiblement també caldrà tenir en compte altres instàncies.

Consulta l’apartat de material conceptual que et suggerim al marge per comprendre aquesta part del cas.

 

Ràpidament, la Carme va ser conscient que dissenyar un sistema d’avaluació completa del projecte no seria una tasca fàcil. El millor era posar-se ja mans a l’obra.

Documents

Llegeix els documents Per a qui avaluar? i Components bàsics del disseny. T’ajudaran a entendre quins passos ha de seguir la Carme.

Components del disseny d’avaluació

Per dissenyar l’avaluació de qualsevol projecte és necessari partir dels següents components bàsics, alguns dels quals ja han estat esmentats anteriorment:

  1. Existència d’objectius clars i definits per al projecte.

  2. Abast de l’avaluació, tenint en compte els punts de vista dels diferents grups d’interès.

  3. Objecte de l’avaluació, és a dir, quins dels vessants del projecte seran examinats, en coherència amb els seus objectius i el seu abast.

1.8.- Ara fes-ho tu: analitza el disseny de l’avaluació del projecte

Et proposem que ajudis la Carme Narváez en la tasca de dissenyar el sistema d’avaluació del projecte d’establiment de l’Escola de Música Municipal, fent la teva pròpia proposta i partint de la informació de què disposes i dels temes tractats en el material conceptual.

El teu disseny haurà de preveure:

  • Qui farà l’avaluació.

  • Quines parts interessades es tindran en compte en el procés.

  • Quins aspectes del projecte s’avaluaran, considerant els seus objectius.

  • Com s’obtindran les dades necessàries.

  • Com es tractaran aquestes dades per obtenir informació significativa.

  • Quins mecanismes de participació s’incorporaran en el procés d’avaluació.

  • Quines eines per comunicar els resultats de l’avaluació s’utilitzaran.

Idea principal

En aquesta activitat et proposem una dinàmica en dos moments. En el primer, resol individualment les qüestions plantejades. En el segon, estableix un debat amb els/les companys/es del curs.

El/la tutor/a, a la plataforma, et proporcionarà oportunament les indicacions.