En el moment de reincorporar-me a la participació en aquest espai temàtic, estava redactant un apunt més generalista, en el qual analitzava la situació actual pel que fa a l’obligatorietat de la tramitació electrònica i avançava altres temes que crec que són d’interès, com l’expedient administratiu electrònic, l’estat de la jurisprudència en matèria de notificacions electròniques o la supressió de la inexistent, “normativament”, cita prèvia.
Totes aquestes qüestions poden ser tractades en altres apunts, però he pensat que hi havia una qüestió que, per raó de la seva actualitat, mereixia passar per davant de les anteriors, i és la relativa a la incorporació –o no– de la intel·ligència artificial (IA) en el procediment administratiu.
Puc avançar que, al meu entendre, és possible la utilització dels sistemes d'IA en el procediment administratiu, però, tal com tractem seguidament, no per produir qualsevol tipus d'actes administratius. A més, s'ha de remarcar que la meva aproximació no pretén ser ni exhaustiva, ni rigorosa des del punt de vista doctrinal, sinó que apunta aspectes a ser considerats, que necessàriament requereixen una anàlisi molt més profunda.
1. El concepte d’intel·ligència artificial
Com ja sabeu, la IA ha estat regulada recentment a Europa pel Reglament (UE) 2024/1689 del Parlament Europeu i del Consell, de 13 de juny de 2024, pel qual s'estableixen normes harmonitzades en matèria d'intel·ligència artificial i pel qual es modifiquen els reglaments (CE) 300/2008, (UE) 167/2013, (UE) 168/2013, (UE) 2018/858, (UE) 2018/1139 i (UE) 2019/2144, i les directives 2014/90/UE, (UE) 2016/797 i (UE) 2020/182 (Reglament d'Intel·ligència Artificial –RIA–).
Aquest Reglament defineix els sistemes d’IA com un sistema basat en una màquina que està dissenyat per funcionar amb diferents nivells d'autonomia i pot mostrar capacitat d'adaptació després del desplegament, i que, per a objectius explícits o implícits, infereix de la informació d'entrada que rep la manera de generar resultats de sortida, com ara prediccions, continguts, recomanacions o decisions, que poden influir en entorns físics o virtuals.
Fixeu-vos que els conceptes de prediccions, continguts, recomanacions o decisions connectarien directament, en l’àmbit del procediment administratiu, amb el concepte d’acte administratiu, que ens portaria a plantejar-nos si aquests conceptes, prediccions, continguts, recomanacions o decisions, poden enquadrar-se o arribar a ser tractats com a actes administratius o, cosa que és el mateix, com un acte d'un òrgan administratiu efectuat en l’exercici d’una competència administrativa. D’una manera planera, es tracta de valorar si un sistema d’IA pot arribar a ser un òrgan administratiu, amb els efectes i les conseqüències que es derivarien de les seves actuacions en el si d’un procediment administratiu.
Com a primera aproximació per analitzar aquesta possibilitat, cal analitzar les diferents tipologies dels actes administratius i, pel que fa a sistematitzar l’anàlisi de la qüestió plantejada en aquest apunt, cal tenir en compte, en primer lloc, la diferència entre els actes reglats i discrecionals, i posteriorment la diferenciació doctrinal i legal entre els actes resolutoris i els actes de tràmit.
2. Diferenciació conceptual: sistema d’IA, model d’IA, algoritme i actuació automatitzada
No obstant això, prèviament és recomanable precisar el concepte de sistema d’IA, oposant-lo a un altre concepte, el model d’IA. Si li preguntem a ChatGPT, la resposta és:
“La diferència entre un model d'intel·ligència artificial i un sistema d'intel·ligència artificial rau en el seu abast i funcionalitat:
1. Model d'IA: És un algoritme o conjunt d'algoritmes entrenats per efectuar una tasca específica, com reconeixement d'imatges, processament de llenguatge natural o predicció de dades. Un model d'IA és el nucli matemàtic i estadístic que pren dades d'entrada i genera resultats basats en el seu entrenament.
2. Sistema d'IA: És un conjunt complet que inclou un o diversos models d'IA juntament amb altres components necessaris per al seu funcionament, com interfícies d'usuari, bases de dades, sensors, mecanismes de control i fluxos de treball. Un sistema d'IA pot integrar models d'IA dins d'una aplicació més àmplia, com un assistent virtual, un sistema de recomanació o un vehicle autònom.
En resum, el model d'IA és la part analítica que aprèn i prediu, mentre que el sistema d'IA és l'aplicació completa que fa servir aquest model en un entorn real.”
Crec que ens podem quedar amb aquestes definicions.
Per acabar perfilant els conceptes, podem diferenciar igualment l’algoritme, terme que a vegades també utilitzem de manera indiferenciada en aquest context, però que, atenent que en termes jurídics tots tres conceptes (sistema, model i algoritme) no són el mateix, s’han de precisar.
Els algoritmes són procediments, que es descriuen sovint en llenguatge matemàtic o pseudocodi, que s'apliquen a un conjunt de dades per assolir una funció o un propòsit determinats.
Els models són l'output d'un algoritme que s'ha aplicat a un conjunt de dades.
En termes senzills, un model d'IA s'utilitza per fer prediccions o prendre decisions i un algoritme és la lògica amb què funciona aquest model d'IA.
El RIA és conscient de la importància, en termes de seguretat jurídica, d’entendre i aplicar correctament els conceptes, i a l’extens considerant 97 parla de la diferència entre sistema i model. Reprodueixo una petita part que considero aclaridora: "Encara que els models d'IA són components essencials dels sistemes d'IA, no constitueixen per si mateixos sistemes d'IA. Els models d'IA requereixen afegir-hi altres components, com, per exemple, una interfície d'usuari, per convertir-se en sistemes d'IA. Els models d'IA solen estar integrats en els sistemes d'IA i formar-hi part."
En definitiva, els algoritmes configuren models, i els models s’integren en sistemes que, al seu torn, si són generatius, poden crear i integrar nous models.
Com indica el RIA al considerant 12, una característica principal dels sistemes d'IA és la capacitat d'inferència. Aquesta capacitat d'inferència es refereix al procés d'obtenció de resultats de sortida, com ara prediccions, continguts, recomanacions o decisions, que poden influir en entorns físics i virtuals, i a la capacitat dels sistemes d'IA de deduir models o algorismes, o ambdós, a partir d'informació d'entrada o dades.
Però avançant en la delimitació conceptual, en l’àmbit del procediment administratiu quan pensem en actuació mitjançant màquines parlem habitualment d’actuació administrativa automatitzada, la qual es defineix en l’article 41.1 de la Llei 40/2015, d’1 d’octubre, de règim jurídic del sector públic (LRJSP), com qualsevol acte o actuació efectuat íntegrament a través de mitjans electrònics per una administració pública en el marc d’un procediment administratiu i en la qual no hagi intervingut de manera directa cap empleat públic. Altrament, l’article 44 de la Llei 26/2010, del 3 d’agost, de règim jurídic i de procediment de les administracions públiques de Catalunya (LRJPAC), també fa una menció específica a l’ús d’aquest instrument tecnològic per les administracions públiques catalanes.
En aquesta línia, l’annex 2 del Decret 76/2020, de 4 d’agost, d’administració digital, al glossari, defineix l’actuació administrativa automatitzada com qualsevol acte o actuació efectuada íntegrament a través de mitjans electrònics per una administració pública en el marc d'un procediment administratiu i en què no hi ha intervingut de manera directa cap empleat públic; i a l’article 54 del Decret 76/2020 es fa referència a les condicions de signatura d’aquestes actuacions automatitzades.
L’apartat 2 de l’article 41 de la LRJSP disposa que en cas d’actuació administrativa automatitzada s’ha d’establir prèviament l’òrgan o òrgans competents, segons els casos, per definir les especificacions, la programació, el manteniment, la supervisió i el control de qualitat i, si s’escau, l'auditoria del sistema d’informació i del seu codi font. Així mateix, s’ha d’indicar l’òrgan que s’ha de considerar responsable a efectes d’impugnació. A més, introdueix dos conceptes bàsics, relacionats amb el control de la decisió de la màquina. L'un és de tipus tecnològic, configurat al voltant de la definició o el disseny del sistema o programari que ha d’actuar, i l'altre és configurat al voltant que, en tot cas, en trobar-nos en l’àmbit del procediment administratiu, la capacitat de revisió (d’ofici o per la via de recurs) ha de ser possible.
En el cas de l’actuació administrativa automatitzada, la doctrina i la jurisprudència articulen el control de la decisió administrativa mitjançant el control del disseny de l'algoritme o sistema que ha actuat (com pren la decisió la màquina). En tractar-se de processos o codis informàtics preestablerts, el control del funcionament correcte del programa semblaria més fàcil, ja que una pericial informàtica hauria de permetre comprovar si el sistema funciona o ha decidit correctament amb les premisses sotmeses a la seva consideració –en definitiva, la màquina no pensa sinó que executa el programa. Podem avançar que, en el cas dels sistemes d’IA, aquesta capacitat de revisió o control no sembla tan senzilla a priori, ja que la capacitat d’inferència, a la qual ens hem referit més amunt, dificulta el control de la decisió.
Hem de tenir clar que l’actuació administrativa automatitzada no és IA, almenys als efectes del RIA. En el procés d’elaboració de la norma, l’actuació automatitzada es va excloure de la regulació del RIA a la darrera versió, i al considerant 12 esmentat es deixa clar, en referir-se al concepte de sistema d’IA en els termes següents: la definició s'ha de basar en les principals característiques dels sistemes d'IA que els distingeixen dels sistemes de programari o els plantejaments de programació tradicionals i més senzills, i no ha d'incloure els sistemes basats en les normes definides únicament per persones físiques per executar automàticament operacions.
En resum, si l’actuació automatitzada no és IA a efectes del RIA, tampoc no ho és l’actuació administrativa automatitzada.
3. La incorporació de la IA al procediment administratiu
A continuació, ens centrarem a analitzar si és possible incorporar la IA –tal com l'hem definida– al procediment administratiu.
Tornant al principi d’aquest apunt, hem dit que els sistemes d’IA generen prediccions, continguts, recomanacions o decisions, la qual cosa ens obliga a plantejar-nos si hi ha tipologies d’actes administratius que poden encabir-se en aquests conceptes, i la resposta és positiva. Així, una decisió pot ser l’acte resolutori d’un procediment, una recomanació pot ser un informe no preceptiu, una predicció pot ser un informe tècnic i el concepte de “contingut” és encara més genèric, als efectes de la seva omnicomprensió.
A l’hora d’establir aquesta equiparació conceptual amb els actes administratius, i l’eventual incorporació de la IA, ens interessa diferenciar, tal com es fa doctrinalment, entre actes de tràmit i actes resolutoris. Si bé, prèviament, podem diferenciar els actes administratius reglats dels discrecionals.
Doctrinalment, els actes administratius reglats són actes el contingut dels quals està plenament determinat per l’ordenament jurídic o, cosa que és el mateix, que totes i cadascuna de les condicions d’exercici de la potestat administrativa està predeterminat. Al contrari, els actes discrecionals són aquells en els quals hi ha marge d’apreciació o llibertat a l’hora que l’òrgan administratiu els dicti.
Traslladant aquesta diferenciació a conceptes tractats més amunt, semblaria que els actes reglats estan directament relacionats amb l’actuació administrativa automatitzada, mentre que els actes discrecionals podrien emanar, almenys des d’una aproximació teòrica, d’un sistema d’IA que té capacitat d’autoaprenentatge (ja que els actes discrecionals no apliquen regles, sinó que opten entre diferents possibilitats).
Si recordem que els actes discrecionals requereixen ser motivats –d’acord amb l’article 35 de la Llei 39/2015–, quan aquests actes es derivessin d’un sistema d’IA caldria avaluar si el resultat de sortida derivat del sistema d’IA permetria complir els requeriments de motivació dels actes administratius discrecionals.
Tornant a la diferenciació entre els actes resolutoris i els actes de tràmit, podem concloure que, avui, i a diferència del que passa amb l’actuació administrativa automatitzada, els sistemes d’IA no estarien habilitats per adoptar resolucions finalitzadores del procediment.
Sense ànim d’exhaustivitat, els arguments que ens portarien a aquesta conclusió són els següents:
- a) Des del punt de vista administratiu, no existeix una previsió legal habilitadora, ni existeix un desplegament que estableixi sota quines condicions un sistema d’IA pot dictar actes finalitzadors o resolutoris de procediments.
- b) Des del punt de vista tecnològic, una IA amb capacitat d’autoaprenentatge pot arribar a un nivell d’autonomia en la decisió molt alt i, a l’hora de controlar el procés de presa de decisions de la màquina, seria molt més complex entendre la motivació que el que són actuacions administratives automatitzades. En aquest sentit, i relacionat amb l'apartat a, el control de la decisió, mitjançant el control de la motivació (implícitament del funcionament del sistema) planteja molts dubtes, reptes i incerteses tecnològiques. En definitiva, per entendre la decisió o justificar-la caldria entendre com funciona el sistema, que pot arribar a ser molt complex.
- c) Des del punt de vista de la protecció de dades, tal com indica el considerant 10 del RIA, aquest Reglament no exclou el dret a la protecció de dades i, en aquest marc, l’article 22 del RGPD regula el dret de tota persona interessada a no ser objecte d'una decisió basada únicament en el tractament automatitzat, incloent-hi l'elaboració de perfils, que li produeixi efectes jurídics o l'afecti significativament de manera similar.
No aprofundirem en aquestes qüestions, ja que la voluntat d’aquest apunt és fer una aproximació als extrems més rellevants a ponderar, però, a manera de resum, l’administració sempre hauria d’estar en condicions de justificar les raons que l'han portada a una determinada decisió i, a hores d’ara, no sembla legalment possible que una màquina o sistema, més enllà d’una programació prèviament dissenyada i controlada (totalment automatitzada), prengui decisions com si fos un ésser humà, ni menys encara entrar a controlar-la.
Hem de recordar que la finalitat del procediment administratiu és doble: garantia per a l’administrat i control de l’administració. I, a hores d’ara, un sistema d’IA que adopti resolucions no compliria de manera clara tots dos requeriments: justificar el perquè d’una determinada decisió i controlar que la decisió ha estat adoptada correctament.
Aquesta impossibilitat que prediquem dels actes resolutoris no seria tan estricta en relació amb els actes de tràmit, especialment els que s'efectuen en fase d’instrucció, dins dels quals es classifiquen els informes, preceptius i facultatius, vinculants i no vinculants.
Les raons d’aquesta possibilitat, les tornaríem a valorar sota els paràmetres anteriors:
- a) Que la normativa de procediment no ho disposi no exclou aquesta possibilitat i, des del punt de vista normatiu i tècnic, existeixen àmbits eminentment tecnològics (com ara proves pericials), en les quals els sistemes d’IA poden ajudar de manera rellevant a prendre decisions (ajudar, no substituir la decisió).
- b) El fet que els actes d’instrucció es defineixin com els actes necessaris per a la determinació, coneixement i comprovació dels fets en virtut dels quals s'hagi de pronunciar la resolució (art. 75.1 de la Llei 39/2015), facilita aquesta possibilitat, ja que un sistema d’IA podria incloure’s en aquest concepte.
- c) La garantia de la intervenció humana en fase de resolució permet mantenir les garanties del procediment administratiu, i la intervenció o supervisió humana articulada al voltant de la resolució per part de l’òrgan competent.
En aquest sentit, des d’un vessant pràctic, seria possible que un sistema d’IA inferís resultats de sortida en forma de prediccions, continguts o recomanacions que permetessin a l’òrgan administratiu competent adoptar una determinada resolució, sigui actuant conformement a aquesta o apartant-se'n de manera motivada.
Evidentment, això no exclouria que la responsabilitat de la decisió última recau en l’òrgan resolutori, que ha d’exercir la seva competència de manera irrenunciable.
Com tot, sempre hi ha matisos i, per exemple, podríem plantejar-nos que, en el cas d’informes vinculants, el seu contingut no hauria de provenir d’un sistema d’IA, ja que en la pràctica l’informe vinculant condiciona o pot substituir la decisió última del procediment i, en aquest sentit, la reserva d'humanitat de l’òrgan administratiu que resol un procediment s’hauria de mantenir o garantir.
4. Consideracions finals
Les qüestions plantejades requeririen d’entrada una anàlisi molt més profunda de la que ha estat aquest apunt, que tan sols ha volgut fer una aproximació a la temàtica plantejada.
A títol d’exemple de la complexitat en què ens trobem, hi ha àmbits, com els de les ciutats intel·ligents, en els quals l'explotació de la ingent quantitat d'informació generada contínuament per la ciutat intel·ligent només es pot dur a terme realment mitjançant algoritmes o mitjançant la utilització de la IA, amb la finalitat d’aconseguir un model de gestió eficient de les ciutats i dels serveis que ofereixen, per augmentar l’eficiència operacional, millorar la qualitat de serveis governamentals i, conseqüentment, la qualitat de vida dels seus habitants, optimitzant la gestió de recursos.
En aquests casos, la gestió es basa en la presa de decisions, i aquestes decisions es fonamenten en dades recollides mitjançant sensors fiables. Com més dades es recullen i es tracten, més fiables seran, en principi, les decisions que s’adoptin.
Evidentment, podem diferenciar el que són decisions de gestió de decisions que afectin persones concretes i determinades (tot i que sempre hi ha zones grises). Però no podem obviar, tal com hem analitzat, que les decisions finals, que afecten la ciutadania, es troben, en principi, sota la competència, decisió i responsabilitat dels òrgans administratius o autoritats competents, que les decisions que s’adopten han de ser explicables i que la manca d’explicació dels sistemes d’IA no tan sols és problemàtica des de la vessant de la motivació dels actes administratius, sinó també des de la perspectiva ètica.
Tot el que s’ha dit fins ara no exclou que és innegable que la IA s’està incorporant a tots els àmbits de la societat, i que el procediment administratiu no pot restar al marge de la innovació i la millora que s'ha de derivar dels sistemes d’IA.
Però, com hem analitzat, la incorporació de la IA en el procediment no pot derivar en una pèrdua de garanties de les persones ni, menys encara, del control que ha d’existir de l’actuació de les administracions públiques.
Una darrera consideració. Aquesta aproximació no exclou l'aplicació d'altres previsions o condicionants normatius, siguin derivats de la normativa de procediment, de la normativa de règim jurídic del sector públic o d'altres d'aplicables, com la normativa de protecció de dades.