Objectius:

• Entendre què entenem per impacte d’una política pública.
• Saber identificar els beneficis i costos a incloure.
• Entendre com es quantifiquen els impactes.
• Conèixer les principals estratègies per valorar monetàriament els impactes.

• 3.1 Els impactes de les polítiques públiques: conceptes clau
• 3.2 Identificació dels impactes a incloure
• 3.3 Quantificar els impactes
• 3.4 Valorar monetàriament els impactes

El segon pas clau en una avaluació econòmica és identificar, quantificar i, sempre que sigui possible, valorar monetàriament els impactes de la política sobre el benestar social. Aquest conjunt d’efectes (els beneficis i costos socials de la política, en relació amb l’alternativa de comparació), es comparen amb els costos derivats de l’ús de recursos per poder avaluar l’eficiència global de la intervenció.

Per tant, el benefici no s’ha de confondre amb un guany monetari directe: pot incloure millores en salut, educació, qualitat de vida o inclusió social, entre altres possibles efectes positius en el territori on s’implementa la política. De la mateixa manera, una política pot generar costos socials que no apareixen en una anàlisi financera, com ara l’impacte sobre el medi ambient, ja que no generen despeses monetàries reals. És fonamental incloure també aquests costos indirectes o no intencionats en l’avaluació econòmica.

Però cal tenir en compte que tot allò que passa després d’implementar una política no es pot considerar directament un benefici o un cost social. Cal analitzar quin és l’impacte real de la política.

Quan parlem d’impacte, ens referim a tots els canvis, directes o indirectes, intencionats o no intencionats, que es produeixen a conseqüència de la implementació del programa. Per tant, són els efectes que es poden atribuir causalment a la política. No n’hi ha prou d'observar que, després d’una intervenció, han variat determinats indicadors socials o econòmics: cal establir que aquests canvis són deguts a la política i no a altres factors externs.

Formalment, l’impacte d’una intervenció es defineix com la diferència entre el resultat que s’observa amb la política (Y₁) i el resultat que s’hauria produït en absència d’aquesta (Y₀):

Impacte = Y₁ – Y₀

El principal repte és que Y₀ no és observable, ja que no podem veure què hauria passat si la intervenció no s’hagués dut a terme. Aquest escenari hipotètic s’anomena contrafactual, i estimar-lo amb fiabilitat és essencial per poder parlar d’impacte.

Per superar aquesta limitació, s’utilitzen grups de comparació, formats per persones (o altres unitats d’intervenció) que no han participat en el programa però que són similars a les beneficiàries. La metodologia emprada per definir aquests grups de comparació pot variar, però sempre busca generar una estimació robusta del que hauria passat en absència de la política.

El mètode més rigorós és l’anomenat disseny experimental, en què la participació en el programa es determina mitjançant un procés aleatori que permet que el grup de participants i el de comparació siguin bàsicament idèntics. Altres tècniques —com el matching¹⁾, les dobles diferències, les regressions discontínues, les variables instrumentals o el control sintètic—, són mètodes anomenats quasiexperimentals, que també permeten estimar l’efecte causal de les polítiques quan l’experimentació no és viable. Per a més detalls sobre les tècniques d’estimació d’impacte, es pot consultar la Guia pràctica 5: Avaluació d’impacte (Ivàlua).

En qualsevol cas és necessari subratllar la necessitat que en una avaluació econòmica, l’estimació de l’impacte es faci d’una forma metodològicament robusta, ja que n’és un ingredient fonamental. D’aquesta manera es podrà establir quin és el percentatge de la variació de resultats que realment es pot atribuir a la implementació del programa avaluat enfront de l’alternativa de comparació. Aquests resultats addicionals assolits gràcies al programa seran els que es valoraran respecte dels recursos addicionals necessaris per obtenir-los. En resum, sense una avaluació o estimació adequada de l’impacte no es pot fer una avaluació econòmica robusta.

↑ Índex de la unitat

Un cop definit què entenem per impacte, el pas següent en l’avaluació econòmica és determinar quins impactes s’han d’incloure en l’anàlisi. No es tracta d’incloure tot allò que la política produeix, sinó de posar el focus en els efectes que tenen una incidència significativa sobre el benestar social i que poden ser causalment atribuïbles a la intervenció.

Els impactes que s’han d’incloure es poden agrupar en dues grans categories:

Són els efectes principals que la intervenció vol generar, que habitualment estan recollits en els objectius, entre els quals:

• Objectius operatius, que recullen els resultats de les actuacions que es duen o es volen dur a terme.
• Objectius generals de caràcter més estratègic, o els impactes transformadors a més llarg termini.
• Objectius específics, que recullen com es vol incidir en el problema de base identificat.

La distinció, si s’escau, entre aquests tipus d’objectius és important en el moment d’avaluar: d’una banda, perquè els objectius operatius estan relacionats amb l’assoliment de les activitats plantejades per la política o els seus productes, però no fan referència als impactes sobre el problema a què es vol fer front, i per tant no ens parlen directament d’efectes en el benestar social; de l'altra, en canvi, els objectius generals i específics sí que recullen els canvis esperats en la resolució d’una necessitat social. Tanmateix, sovint la consideració d’objectius massa generals pot dificultar la identificació i la quantificació dels resultats obtinguts o esperats, i per tant cal centrar-se en els objectius específics.

Per concretar els resultats a incloure, és molt útil haver fet prèviament la teoria del canvi de la intervenció, la qual presenta la seqüència lògica d’una política i permet observar com s’espera que unes determinades accions ajudin a millorar un determinat problema social, tal com s’ha exposat en la unitat 1. I ens ajuda a separar entre els objectius operatius (lligats als productes de la política), i els objectius estratègics a curt, mitjà i llarg termini (lligats als resultats).

També és útil consultar guies sectorials d’avaluacions econòmiques que ajudin a identificar quin tipus de resultats es consideren habitualment en les polítiques d’aquell àmbit, o avaluacions de qualitat publicades de polítiques similars.

A continuació, es mostren alguns exemples de resultats a incorporar segons l'àmbit de política pública, així com recursos disponibles per a Catalunya:

Quan es fa una avaluació econòmica, sovint es posa el focus en els beneficis esperats d’una política. Tanmateix, és fonamental incorporar també els impactes que poden aparèixer com a conseqüència indirecta o no volguda de la intervenció. Ometre aquests efectes pot conduir a una valoració esbiaixada, tant per excés com per defecte, de l’eficiència real de la política.

En aquesta categoria es poden incloure externalitats —positives o negatives—, que afecten el benestar de persones o grups que no són directament beneficiaris ni responsables de la intervenció. Entre aquestes, tenen una especial rellevància les externalitats ambientals, com poden ser l’impacte sobre la qualitat de l’aire o de l’aigua, la generació de residus, el soroll, la pèrdua o la preservació de biodiversitat, o l’impacte sobre el canvi climàtic (emissions de gasos amb efecte d’hivernacle). Altres efectes potencials són, per exemple, efectes sobre la salut no previstos o transformacions en l’ús del sòl o en el paisatge, amb implicacions per al patrimoni natural o cultural, així com determinats efectes inesperats que poden alterar l’efectivitat de la intervenció.

Entre aquests últims, cal tenir en compte fenòmens com l’efecte desplaçament, que es produeix quan els beneficis generats en un àmbit o col·lectiu es compensen amb pèrdues en un altre (per exemple, quan una intervenció per reduir la delinqüència en un barri trasllada els delictes a zones veïnes), o l’efecte substitució, que té lloc quan un grup es beneficia en detriment d’un altre que hauria obtingut el mateix resultat en absència de la política (com podria passar amb subvencions per a la contractació de joves, que desplacen la contractació de persones més grans).

Tot i que no és possible fer un llistat exhaustiu dels possibles efectes sobre el benestar social, és important tenir present aquesta dimensió en l’anàlisi, especialment quan els efectes són significatius, quantificables i atribuïbles a la política. En cas que no es puguin quantificar amb dades fiables, es recomana com a mínim incorporar-los qualitativament, i assenyalar-ne la naturalesa i la direcció esperada del seu impacte.

Tan important com identificar els impactes rellevants és saber quins han de quedar exclosos de l’anàlisi, per evitar duplicacions o errors conceptuals. A continuació es recullen alguns dels més habituals:

• Resultats comuns entre alternatives

Només cal incloure els impactes que canvien entre les alternatives comparades. Els efectes que succeeixen de manera idèntica en totes les alternatives no afecten la comparació i, per tant, no cal valorar-los.

• Efectes multiplicadors i altres efectes indirectes de difícil atribució

Els efectes multiplicadors fan referència a l’activitat econòmica addicional que pot derivar indirectament del projecte, com ara augments en el consum, la inversió o l’ocupació induïda. En una avaluació econòmica, només s’inclou l’activitat generada directament per l’actuació. En canvi, els efectes indirectes o induïts, habitualment estimats mitjançant models com les taules input-output, no s’han d’incloure perquè resulta molt difícil atribuir-los de forma causal a la intervenció avaluada.

Un cas especialment rellevant és el de la creació d’ocupació, que sovint s’associa erròniament com un benefici. Tanmateix, el cost de la mà d’obra ja es comptabilitza dins dels costos del projecte, i incloure-la també com un benefici implicaria una doble comptabilització. A més, en una economia amb mercats laborals funcionals, la nova ocupació d’un projecte sovint simplement desplaça treballadors des d’altres sectors. Per tant, la seva valoració monetària com a benefici no és adequada en el marc d’una anàlisi cost-benefici, tot i que pot ser considerada com a informació qualitativa rellevant o en una anàlisi d’impacte econòmic complementària. Per a una explicació més detallada de la distinció entre l’anàlisi d’impacte econòmic i l’anàlisi cost-benefici, consulteu aquesta nota metodològica.

↑ Índex de la unitat

Similarment al que passava amb els recursos, el primer pas per valorar els impactes d’una intervenció és identificar-los clarament. Un cop identificats, cal mesurar-los per saber si hi ha hagut canvis —i en quina magnitud— a conseqüència de la política. Aquesta informació prové principalment d’una avaluació d’impacte.

Ara bé, per poder avaluar l’impacte d’un resultat, aquest ha de ser mesurable, i aquesta tasca no sempre és fàcil. En primer lloc, cal fer l’esforç de definir els resultats d’una manera precisa i operativa; és a dir, hem de traduir objectius generals en indicadors concrets que es puguin observar i mesurar; per exemple, si una política busca “reduir la sinistralitat viària”, cal especificar mesures concretes com ara la disminució del nombre d’accidents o la reducció de víctimes mortals o bé de ferits greus o lleus.

A més, hi ha resultats que, per la seva naturalesa, són especialment difícils de captar. Pensem, per exemple, en aspectes com el benestar d’una persona gran, l’autoestima d’un adolescent o l’efectivitat d’un progenitor. Tot i que semblen dimensions subjectives i difícils d’observar, hi ha eines desenvolupades específicament per poder-les mesurar. Aquestes eines s’anomenen escales de resultat i, habitualment, adopten la forma de qüestionaris estructurats. En àmbits com els serveis socials, la salut o l’educació, aquestes escales són fonamentals per captar canvis reals en la qualitat de vida, l’estat emocional o les capacitats funcionals de les persones.

En qualsevol cas, a l’hora de seleccionar indicadors, una bona pràctica és vetllar perquè aquests siguin SMART:

• Specific – específics.
• Mesurable – mesurables.
• Achievable – assolibles.
• Relevant – rellevants.
• Time-bound - amb un termini temporal clar.

Perquè una avaluació econòmica sigui realment útil per a la presa de decisions, és fonamental que els impactes de la intervenció estiguin ben determinats i valorats. La qualitat de les conclusions dependrà en gran manera del grau de fiabilitat i validesa de les dades utilitzades. La manera d’obtenir aquesta informació dependrà del moment en què es fa l’avaluació: si es tracta d’una avaluació ex post, un cop la política ja s’ha implementat, o bé d’una avaluació ex ante, en què encara no s’ha implementat i cal anticipar els efectes esperats.

En una avaluació ex post, generalment utilitzarem els impactes estimats en una avaluació d’impacte de la mateixa intervenció. De fet, l’avaluació econòmica en aquests casos es pot considerar una extensió natural d’una avaluació d’impacte feta prèviament que utilitzi mètodes experimentals o quasiexperimentals per estimar els efectes causals de la política sobre els resultats observats. En alguns casos, es pot complementar aquesta informació amb dades qualitatives, especialment útils per captar efectes que no són mesurables o dimensions més subjectives dels resultats.

En una avaluació ex ante, quan la política encara no s’ha implementat, cal fer una estimació dels resultats que s’espera assolir. En aquests casos, la font principal d’informació hauria de ser l’evidència generada per avaluacions d’impacte rigoroses d’intervencions similars implementades en contextos comparables. Aquesta revisió pot incloure tant bibliografia acadèmica com metaanàlisis o bases de dades d’evidència ja sistematitzada. Una anàlisi acurada d’aquesta informació permet extrapolar els efectes esperats, tot tenint en compte les diferències de context, població o escala. També és habitual utilitzar aquesta evidència com a base per a models de simulació que projectin diferents escenaris d’impacte.

En tots dos casos, cal documentar clarament les fonts utilitzades, els supòsits realitzats i el grau de confiança associat a les estimacions, per garantir la transparència i la traçabilitat de l’anàlisi. A més, cal tenir present que els impactes que no es poden quantificar també poden ser importants. Encara que no es puguin incloure dins dels càlculs monetaris, s’han d’identificar i descriure de manera explícita, i indicar quina rellevància podrien tenir per al resultat global de l’anàlisi.

↑ Índex de la unitat

La possibilitat de monetitzar els impactes és un factor clau que determina el tipus d’avaluació econòmica. Només en l’anàlisi cost-benefici (ACB) és imprescindible expressar tant els costos com els beneficis en termes monetaris per poder comparar-los. En canvi, en l’anàlisi cost-efectivitat (ACE) i l’anàlisi cost-minimització (ACM), no cal valorar monetàriament els impactes.

En el cas dels recursos utilitzats, es fa habitualment a través dels preus de mercat. Ara bé, molts dels impactes d’una política pública —com la millora de la salut, l’educació, la seguretat o la qualitat ambiental—, no tenen un preu de mercat directe o bé aquest no reflecteix adequadament el seu cost d’oportunitat.

En aquests casos, cal recórrer a metodologies específiques per estimar-ne un valor econòmic. L’instrument habitual per fer-ho és l’ús de preus ombra, que representen el valor econòmic estimat d’un bé o servei quan el mercat no ofereix una referència adequada o quan aquesta no en reflecteix el veritable valor social.

Les metodologies de valoració indirecta permeten estimar els preus ombra de béns o serveis sense preu de mercat, a partir de les preferències de les persones. Aquestes metodologies es divideixen en dos grans grups: les basades en preferències revelades i les basades en preferències declarades.

La idea de les preferències revelades és inferir el preu implícit que els consumidors donen a un bé a través del comportament que aquests consumidors tenen en altres mercats. Les dues principals metodologies relatives a les preferències revelades són els preus hedònics i el model del cost de desplaçament.

Els mètodes de preferències declarades permeten estimar el valor econòmic d’un bé o servei que no té preu de mercat a partir de les respostes dels usuaris en escenaris hipotètics. El principal mètode en aquest grup és la valoració contingent, que consisteix a simular un mercat mitjançant enquestes. S’hi pregunta als participants quant estarien disposats a pagar per accedir a un bé o servei concret, o bé quina compensació econòmica considerarien acceptable per renunciar-hi.

La diferència fonamental amb les preferències revelades és que aquestes s’obtenen a partir de comportaments observats en mercats reals, mentre que la valoració contingent es basa en declaracions fetes en un context hipotètic, ja que els béns o serveis analitzats no tenen un mercat. Aquesta metodologia s’utilitza sovint per avaluar els beneficis ambientals o l’impacte de la contaminació i altres externalitats que no tenen un valor observable directe.

↑ Índex de la unitat

← Unitat 2 | Unitat 4 →