7. El seguiment i l’avaluació
7.1 El seguiment del pla de millora
El seguiment és una activitat continuada en el temps que té per finalitat principal proporcionar a les persones responsables del pla de millora indicacions primerenques del progrés i l’evolució de les accions implantades, així com del compliment dels objectius marcats.
Es basa en la recollida i l’anàlisi regulars d’informació per contribuir a la presa de decisions i a la correcció de possibles desviacions que vagin sorgint, a través de sistemes de registre d’informació sobre els indicadors i els instruments d’avaluació. Com més sistemàtics i automatitzats estiguin aquests sistemes i instruments, més fàcil serà disposar d’informació periòdica o instantània.
El seguiment també serveix per controlar que les accions i els mitjans disposats per implementar-les (humans, econòmics, etc.) estan en la línia dels objectius plantejats.
El procés de recollida i registre de la informació ha de tenir un enfocament realista, i això implica reflexionar sobre la relació cost-benefici d’obtenir la informació, el grau d'automatització o la freqüència en l'obtenció de les dades, etc.
L'equip de treball ha de consensuar les actuacions de seguiment del pla de millora i establir-ne la periodicitat. Aquesta dependrà, entre altres factors, de l'àmbit de millora, de l'accés a les fonts d'informació i dels recursos humans i materials de què es disposi.
Per exemple, no és el mateix fer el seguiment del grau de compliment dels estàndard de qualitat definits en la prestació d'un servei públic, que comprovar l'efectivitat de les millores implantades en un procés associat. En ambdós casos, el seguiment es fa mitjançant indicadors, però es monitoren aspectes completament diferents i, per tant, la periodicitat de la mesura també variarà.
Els indicadors mesuren l'acompliment dels objectius del projecte i estan estretament lligats a les accions de millora. Constitueixen una mesura quantitativa per monitorar si les accions de millora estan funcionant correctament (indicadors de procés) i també serveixen per comprovar si els objectius del projecte de millora s'estan complint. Aquests indicadors s'anomenen "indicadors de resultat".
També es pot consultar la unitat 7 del curs de l'EAPC Anàlisi i millora de processos, amb continguts en obert.
Els resultats obtinguts s'han d'analitzar i recollir en un document amb les conclusions i les propostes d'actuació, si escau.
7.1.1 Eines per analitzar els resultats: el diagrama d'Ishikawa
Els resultats que no compleixen els objectius programats cal analitzar-los per determinar les causes de l'incompliment. Per fer-ho, tenim a l'abast eines senzilles, per exemple, el diagrama d'Ishikawa.
El diagrama de causa-efecte o diagrama d'Ishikawa és molt útil per esbrinar les causes de les desviacions dels objectius i l'incompliment de les accions previstes.
Consisteix en la representació gràfica de les múltiples relacions causals entre les diverses variables que intervenen en una situació.
El dibuix del diagrama d'Ishikawa recorda el d'una espina de peix, on una línia horitzontal central porta al problema que volem abordar. D'aquesta línia surten tantes línies com causes del problema. Moltes vegades, l'estructura primària d'espina de peix es complica, ja que les causes principals del problema tenen, al seu torn, subcauses, que s'han d'anar representant al gràfic en forma de fletxes o línies que s'inicien en les línies principals.
Per construir-lo, cal seguir els passos següents:
- Descriure la desviació o el problema detectat.
- Llistar les causes mitjançant una pluja d'idees (brainstorming).
- Passar la llista al diagrama. Aquesta acció permet classificar i prioritzar les causes dins del dibuix.
Exemples:
Situació 1: Procediment de gestió de consultes efectuades a través del formulari habilitat al web de l'administració pública
Després d'haver implantat el procediment, s'observa que el temps que transcorre entre la resposta automàtica i la resolució de la consulta és superior al que s'havia previst, que era d'un màxim de set dies.
Es fa una llista de les causes possibles:
- El registre de consultes rebudes mitjançant el formulari web es revisa un cop per setmana.
- Les consultes rebudes es passen als caps de les unitats segons temàtica perquè les reparteixin entre el seu personal tècnic.
- El personal tècnic té altres tasques prioritàries abans que donar resposta a les consultes rebudes.
- Els darrers mesos ha augmentat el nombre de consultes rebudes, perquè s'han activat diversos programes d'ajuts i subvencions.
- La resposta automàtica que es dona quan s'ha enviat el formulari proporciona també el termini màxim de resolució previst, que ara per ara no es pot complir.
Finalment, s'elabora el diagrama:
Situació 2: L'enquesta de satisfacció sobre l'atenció presencial rebuda en una oficina d'atenció ciutadana de l'Ajuntament d'X registra un elevat nombre de queixes sobre el tracte rebut.
Causes possibles:
- El personal d'atenció al públic està sobrecarregat de feina.
- Els espais de treball són petits i provoquen incomoditat als treballadors.
- Els equips de treball estan obsolets i s'espatllen sovint.
- Les aplicacions informàtiques no estan actualitzades i se saturen.
Diagrama d'Ishikawa:
Situació 3: En el servei de transport sanitari urgent adscrit al Departament de Salut d'una administració autonòmica s'ha establert l'estàndard de qualitat següent:
"En el 90% de les situacions en què es presti assistència en una ambulància assistencial de suport vital avançat (SVA), el temps emprat pel personal de l'ambulància per fer un electrocardiograma (ECG) en pacients amb sospita que presentin un infart agut de miocardi (IAM) ha de ser inferior als 10 minuts, mentre que en el 10% restant d'aquestes situacions aquest temps no ha de superar els 20 minuts."
El darrer informe de seguiment conclou que el percentatge de situacions amb un temps de resposta inferior a 10 minuts ha passat del 90% al 80%.
Es fa una reunió per determinar-ne les causes:
- La darrera legislatura es va reduir el parc d'ambulàncies equipades amb tot el material de SVA.
- El personal que ha de fer el manteniment diari de les ambulàncies té un alt grau d'absentisme i els vehicles no sempre estan a punt.
- Costa molt trobar personal sanitari format en aquests tipus d'emergències.
El diagrama resultant és el següent:
↑ 7.1 El seguiment del pla de millora | ↑ Índex de la unitat
7.1.2 Eines per a l'anàlisi dels resultats: l'anàlisi DAFO
Les conclusions de l'informe de seguiment poden consistir en una síntesi dels punts forts i els punts dèbils trobats. Es recomana utilitzar la matriu DAFO per ordenar la informació i fer-ne l'anàlisi.
La matriu DAFO organitza la informació en:
- Els punts forts i les àrees susceptibles de millora (es tracta de l’anàlisi interna i els aspectes intrínsecs o sota la influència de l’organització).
- Les oportunitats i les amenaces (es tracta de l’anàlisi externa, respecte als principals factors de l’entorn de la situació).
La representació gràfica consisteix en una graella amb quatre quadrants on s'ubiquen les categories esmentades: debilitats i amenaces, als quadrants superiors, i fortaleses i oportunitats, als quadrants inferiors.
Observacions sobre l'ús
Cal evitar les entrades superficials i ambigües que puguin quedar a cavall de dues categories. Per contra, s'ha d'anar al fons de la qüestió per esbrinar quina part de positiu i quina de negatiu té.
D’altra banda, s’ha d’evitar caure en el parany de confondre la categoria d’oportunitats com una llista de desitjos o intencions.
Aspectes positius
- Facilitat d’ús
- Fomenta la participació i el treball en equip
- Afavoreix el contrast d’opinions
- Permet definir estratègies i relacionar factors
Exemples d'entrades en una matriu DAFO
A continuació, s'exposen exemples de possibles entrades en una matriu DAFO, corresponents a diferents àmbits de qualitat, com a conclusió de l'anàlisi dels resultats d'un pla de millora.
En el quadre anterior, hi ha les entrades següents:
Debilitats:
- Baixa eficiència en processos i procediments
- Serveis mal valorats
- Equips i/o instal·lacions antiquats
- Manca d’eines o sistemes que agilitin la gestió dels processos i/o serveis
- Falta d’experiència de l’equip de professionals en determinats àmbits
- Desconeixement dels estàndards de qualitat per part del personal
- Escàs temps d’aplicació de les millores (cal més temps per poder arribar a assolir els nivells previstos).
Amenaces:
- Projeccions pessimistes sobre l’economia o sectors clau
- Nova legislació desfavorable als objectius de l’administració o que comporten canvis rupturistes i costosos per a l’ens gestor del servei
- Evolució de les tendències d’hàbits negatius de la ciutadania.
Fortaleses:
- Alta valoració de les persones usuàries
- Poques queixes i reclamacions rebudes pel servei
- Serveis atractius, innovadors i rendibles
- Equip de professionals qualificat, compromès i fidel
- Estàndards de qualitat aconseguits, la qual cosa convida a continuar
- Validesa dels indicadors i dels instruments de mesura dels estàndards de qualitat
- Capacitat d’assumir dificultats afegides o no previstes en el moment d'elaborar el pla de millora.
Oportunitats:
- Previsions oficials favorables quant al creixement de l’economia
- Nova normativa orientada a donar suport als objectius de l’administració
- Evolució de les tendències d’hàbits positius de la ciutadania.
A partir de l’anàlisi DAFO, es poden definir possibles àrees de millora i transformació dels serveis públics, així com elaborar una estratègia a seguir amb l'anàlisi CAME.
L'anàlisi CAME serveix per definir les estratègies a seguir en relació amb les debilitats (corregir), amenaces (afrontar), fortaleses (mantenir) i oportunitats (explorar), tal com es mostra a la il·lustració següent:
La definició de les estratègies definides a l'anàlisi CAME s'associen a cada quadrant de la matriu DAFO:
- Quadrant Debilitats: són els aspectes a corregir en el futur.
- Quadrant Amenaces: són els aspectes a afrontar.
- Quadrant Fortaleses: són els aspectes a mantenir.
- Quadrant Oportunitats: són els aspectes a explorar.
↑ 7.1 El seguiment del pla de millora | ↑ Índex de la unitat
7.2 L'avaluació de la qualitat dels serveis públics
En la mesura que els models de governança es basen cada cop més en la responsabilitat de les institucions i en la participació de la ciutadania en els afers públics, l’avaluació dels serveis cada cop és més important.
En general, l'avaluació dels serveis públics es desenvolupa en tres grans àmbits:
La percepció ciutadana: s'avalua si es produeixen els beneficis esperats per part de la població en relació amb el servei. És a dir, partint de conèixer les valoracions i les expectatives dels destinataris del servei, s’estableix l’efectivitat de la política en relació amb aquestes expectatives.
La rendibilitat: parteix de l'anàlisi cost-benefici. Es valoren els beneficis i els costos de l'execució d'un servei en relació amb no executar-lo.
L'impacte: s'analitza la informació sobre els resultats i l'impacte social dels serveis. Cal diferenciar entre els resultats immediats, directes i concrets sobre els beneficiaris enfront dels impactes sobre el conjunt social.
La qualitat es relaciona especialment amb els àmbits de la percepció ciutadana i de l'impacte social de l'execució dels serveis. Des del punt de vista de la ciutadania, la qualitat s'entén com a comparació entre les expectatives que es tenen respecte al servei (prèvies a l'ús) i la realitat que es percep en el moment de la prestació.
Però des del punt de vista de l'administració prestadora, la situació és més complexa, ja que la qualitat de la prestació d'un servei s'ha de mantenir en un equilibri, moltes vegades difícil, entre els costos de l'execució d'un servei i els beneficis tant per a les persones usuàries com sobre el conjunt de la societat.
En el marc de les administracions públiques catalanes, l'avaluació dels serveis públics constitueix una obligació legal i també una eina estratègica a l'hora de dissenyar polítiques públiques que tinguin un impacte positiu en la ciutadania.
7.2.1 Mandat legal
L'avaluació permanent dels serveis públics a Catalunya està regulada en l'article 60 de la Llei 19/2014, del 29 de desembre, de transparència, accés a la informació pública i bon govern (LTAIPBG).
D'aquest article, destaquen els aspectes principals següents:
- Les persones usuàries tenen el dret de ser consultades periòdicament i de manera regular.
- L’administració ha d’establir els indicadors i la periodicitat de les consultes.
- Les consultes s’han de fer preferentment a les persones usuàries del servei, encara que en serveis bàsics es puguin fer consultes d'abast general.
- El portal de la transparència ha de contenir l’espai específic per fer publicitat.
L'article 61 de la mateixa llei estableix, al seu torn, el dret de la ciutadania de fer propostes d’actuació o millora i suggeriments amb relació al funcionament dels serveis públics.
Els aspectes més importants d'aquest article són:
- Les propostes o actuacions de millora i els suggeriments es poden formular per mitjà del portal de la transparència.
- L’administració ha de donar a conèixer les propostes i els suggeriments i fer públiques les iniciatives ciutadanes que comportin una millora substancial dels serveis públics.
↑ 7.2 L'avaluació de la qualitat dels serveis públics | ↑ Índex de la unitat
7.2.2 Estratègia
En el context polític i organitzatiu de les administracions públiques, s'avaluen els serveis entesos com a part de programes i polítiques transversals analitzant no tan sols els resultats finals sinó també el procés efectuat i la percepció dels beneficiaris, i es fa amb criteris de sostenibilitat, legitimitat i qualitat, afegits a l’eficàcia i l’eficiència.
Les polítiques i estratègies de cada administració pública es recullen en documents clau:
- A la Generalitat de Catalunya, en el Pla de Govern de cada legislatura.
- A l'Administració local, en el pla d'acció municipal (PAM).
- A les universitats, en els plans estratègics o els plans de govern.
A Catalunya, és important la tasca de l'Institut Català d’Avaluació de Polítiques Públiques (IVÀLUA), que té per missió la promoció de l’avaluació de polítiques públiques en l’àmbit autonòmic i local, per contribuir a la millora de l’acció de govern i dels seus efectes en la vida dels ciutadans de Catalunya.
L’IVÀLUA promou l’avaluació de polítiques públiques a Catalunya, com a eina de millora de l’acció de govern i de rendiment de comptes democràtic, facilita l’intercanvi d’informació i l’accés a recursos i està adreçat a gestors, analistes i usuaris de l’avaluació.
↑ 7.2 L'avaluació de la qualitat dels serveis públics | ↑ Índex de la unitat
