• 6.1 El control i el seguiment
• 6.2 L’avaluació
• 6.3 L’auditoria interna

Consisteix a verificar que es respecten les normes, enteses com regles i criteris preestablerts. El conjunt s’anomena referencial. Les regles i els criteris són explícits i coneguts per tots els actors implicats.

Segons el cas, el referencial consisteix en textos legislatius o reglamentaris, nomenclatures o partides pressupostàries.

El control mesura les desviacions respecte a les normes, i assenyala irregularitats en les accions i no conformitats materials o organitzacionals.

Consisteix en la recopilació i l'anàlisi d’informació a mesura que avança el projecte. Es basa, especialment, en un sistema d’indicadors. Per tant, està enfocat a:

• Verificar la realització de les activitats: activitats realitzades enfront d'activitats planificades.
• Elaborar béns o serveis: béns o serveis elaborats enfront de béns o serveis previstos.
• Executar els recursos previstos.
• Complir el calendari previst.

També s'anomena full de control o full de verificació.

Les llistes de control són formats creats per fer activitats repetitives, controlar el compliment d’una llista de requisits o recollir dades ordenadament i sistemàticament.

Són una eina per fer comprovacions sistemàtiques d’activitats o productes i assegurar-se que no ens oblidem res important.

Serveix per dur a terme:

• Activitats la realització de les quals requereix no oblidar-se de cap pas i/o seguir un ordre establert.
• Inspeccions on s’ha de deixar constància de tots els punts inspeccionats.
• Verificació d'articles o productes.
• Examen o anàlisi per localitzar defectes o disfuncions. Verificació de les causes dels defectes.
• Verificació i anàlisi d’operacions.
• Recopilació de dades per analitzar-les en el futur.

A més de ser una eina per sistematitzar el que volem controlar o seguir, un cop emplenada, la llista de control serveix de registre, i permet tenir constància de les activitats que es van dur a terme en un moment donat.

És important que la llista de control s'estableixi clarament i inclogui tots els aspectes que aportin dades d’interès per a l’organització.

Així, ha de quedar recollit en la llista de control:

• Què s'ha de controlar o verificar.
• Quin és el criteri de conformitat o no conformitat (correcte/incorrecte).
• La freqüència del control o de la verificació.
• Qui es responsabilitza del control i quines són les normes o els procediments aplicables.

Cal disposar d’un apartat d’observacions per anotar les informacions rellevants que no es poden posar en els altres apartats.

Exemple de llista de control de la norma ISO 9001-2008.

Checklist d'avaluació d'enfocament Agile d'un projecte

↑ Índex de la unitat

Amb l’avaluació es compara l’impacte real del projecte dut a terme amb l’impacte previst.

Font: Lourdes Simó, "Eines per a la millora continuada de la qualitat dels serveis públics", EAPC, 2018.

• L'eficiència: analitza els resultats en relació amb l’esforç i els recursos esmerçats.
• L'eficàcia: en quina mesura s’ha assolit l’objectiu específic.
• L’impacte: analitza els canvis en relació amb els beneficiaris i altres afectats.
• La pertinença: en quina mesura es justifica el projecte.
• La viabilitat: analitza si els efectes positius del projecte es mantindran en el temps.

Cada avaluació té un àmbit diferent en funció de les qüestions a les quals intenta respondre, el propòsit, la naturalesa, el mètode, la fase en què s'aplica, la consideració dels usuaris o la utilitat. Tots aquests factors determinaran la tipologia de l'avaluació.

A efectes pràctics, hem classificat l'avaluació en funció de dos criteris: criteri temporal o segons la fase de l'avaluació respecte de la intervenció, i criteri segons l'enfocament de l'avaluació.

Així, segons el moment de la implantació del projecte o de l'actuació distingim entre:

• Avaluació ex ante: es du a terme abans d'executar el pla, programa o projecte amb l'objectiu d'analitzar i determinar l'adequació de la intervenció a les necessitats que el motiven i les seves possibilitats d'èxit.

• Avaluació intra o intermèdia: es du a terme un cop executat el pla, programa o projecte, amb els primers resultats de la implementació. Consisteix en l'anàlisi crítica del conjunt de dades recollides sobre la intervenció i en la mesura de la manera que els objectius es van assolint. S'expliquen les diferències i es valoren anticipadament els resultats finals de la intervenció.

• Avaluació ex post: es du a terme un cop finalitzada la intervenció. Permet jutjar l'èxit, l'encert de l'estratègia, el grau de flexibilitat i de capacitat d'adaptació a una realitat canviant, l'eficàcia, l'eficiència i l'adequació dels mecanismes de gestió i seguiment previstos.

* Avaluació de necessitats: l'objectiu és analitzar les característiques essencials del problema que la intervenció vol solucionar i la seva importància.

• Avaluació del disseny: intenta proporcionar informació, en primer lloc, sobre el problema (necessitats detectades) del que s'hauria d'ocupar la intervenció; en segon lloc, sobre el procés de formulació i disseny de la intervenció i, en tercer lloc, sobre fins a quin punt el disseny de la intervenció serveix als seus objectius.

• Avaluació del procés/implementació: consisteix en la valoració, de manera sistemàtica i periòdica, de dues qüestions fonamentals:

• Fins a quin punt el programa, projecte o política està arribant als destinataris.
• La forma en què s'administra la intervenció, tant des del punt de vista de la utilització dels recursos, com dels serveis distribuïts.

• Avaluació de resultats o d'eficàcia / avaluació d'impacte: l'anàlisi dels resultats pressuposa que hi ha un conjunt d'objectius operatius i que aquests són indicatius de l'èxit o del fracàs de la intervenció. L'impacte mesura més enllà de l'avaluació dels resultats, ja que examina en quina mesura la intervenció produeix efectes més enllà dels resultats.

• Avaluació de l'eficiència: sovint, l'avaluació de l'impacte d'una intervenció pot ser insuficient. Llavors, s'ha de jutjar en relació amb el cost econòmic. La identificació, la quantificació i la transformació a una unitat comuna de mesura dels costos i beneficis, poden resultar problemàtiques en alguns projectes, per exemple, en els que incideixen en les polítiques socials.

La graella següent representa l'encreuament d'ambdós criteris. A les columnes trobem els criteris temporals (avaluació ex ante, intra i ex post) i, a les files, l'enfocament de l'avaluació (de necessitats, de disseny, del procés/implementació, de resultats o d'eficàcia, d'impacte i de l'eficiència). S'observa que a cada fase temporal corresponen un o diferents enfocaments d'avaluació:

• L'avaluació de necessitats i l'avaluació del disseny són avaluacions ex ante. L'avaluació del disseny pot continuar durant totes les fases del projecte i fins i tot un cop acabat, ja que, com s'ha dit més amunt, sempre s'ha d'anar comprovant fins a quin punt el disseny de la intervenció serveix als seus objectius.

• L'avaluació del procés/implementació es du a terme en la fase intermèdia (avaluació intra o intermèdia), un cop s'ha implementat el projecte, l'acció o el programa i es comencen a veure els primers resultats. Aquesta avaluació pot continuar un cop implementat tot el projecte, en la fase ex post, i complementa l'avaluació de resultats.

• L'avaluació de resultats o d'eficàcia, avaluació d'impacte i l'avaluació de l'eficiència es duen a terme un cop implementat el projecte (avaluació ex post).

Es tracta d'una eina àmpliament usada per les metodologies d'excel·lència en la qualitat com són EFQM o CAF. És molt útil també per al seguiment de processos i és complementària de l’auditoria interna.

Pot provocar accions correctives, preventives o de millora, a través d’un examen sistemàtic i periòdic dels processos i dels seus resultats.

Estableix un diagnòstic de l’organització eficaç per a la direcció de l’empresa o de la institució.

• Detecta les àrees de millora.
• Es compromet amb les accions planificades.
• Contribueix a desenvolupar una cultura comuna.
• Reforça els processos de canvi.
• Permet la millora contínua i l’aprenentatge mitjançant la identificació i la resolució posterior dels problemes.

↑ Índex de la unitat

• En si mateixa és un procés que aconsegueix una sortida (ouput), la informació, i dona lloc al desenvolupament de nous processos de millora.

• És realitzada per membres de l’organització.

• Està orientada al control.

• Auditoria verificativa: la finalitat és pronunciar-se sobre la consecució dels objectius previstos del procés auditat a partir de la informació de què disposa.

• Auditoria de procediments: s’adreça a comprovar que es compleixen els procediments.

• Auditoria operativa o de gestió: es pronuncia sobre l’adequació i la correcció de les pràctiques o les activitats dutes a terme i la utilització adequada dels recursos. Es preocupa per la rendibilitat de l’empresa.

1. Planificació i preparació

Consisteix en la familiarització de l’auditor o l'auditora amb el procés a auditar, la informació disponible, els procediments, les instruccions i les responsabilitats. Es tracta de comprendre bé els processos. L’objectiu és fer un pla d’auditoria correcte.

2. Execució

Se centra en la documentació dels processos i en la recollida d’informació rellevant.

S’investiga si el procés és el que ha de ser i si s’obté el que se n’espera, i es revisen les definicions sobre els processos recollides en la documentació del sistema.

Es comprova que les activitats o les funcions del procés estan clarament assignades a un lloc de treball concret i sota la responsabilitat d’algú.

3. Redacció de l’informe

Les observacions de l’auditor o l'auditora es recullen en un informe sintètic i comprensible, en què s'assenyalen els punts febles detectats i les accions correctores i de millora, si són necessàries.

4. Mesurament i seguiment del procés d’auditoria interna

S’ha de fer amb una periodicitat estipulada.

↑ Índex de la unitat

<< Unitat 5 | Unitat 7 >>