Transparència i Govern Obert

   Paula Boet Serrano
   Responsable de drets digitals. Ajuntament de Barcelona

   Michael Donaldson Carbón
   Comissionat d'innovació digital. Ajuntament de Barcelona
 

 

Sumari

1. Dades, intel·ligència artificial i serveis públics

2. Oportunitats i reptes per als ajuntaments

3. Per una IA garantista amb els drets humans i els valors democràtics

4. Aprenentatges i recomanacions

5. Un repte per resoldre: propietat intel·lectual vs. transparència?

6. Reflexions finals

7. Notes
 

1. Dades, intel·ligència artificial i serveis públics.

Les tecnologies digitals i les dades estan transformant les nostres societats i la manera com vivim, treballem i ens relacionem. Avui, milers de milions de persones estan connectades i es relacionen a través de dispositius digitals amb una potència de processament enorme. D’aquestes relacions se’n pot recollir una gran quantitat de dades que, combinades amb la utilització d’algoritmes i l’entrenament de sistemes intel·ligents (machine learning), ens aporten noves eines per a dur a terme una gran varietat de tasques.

L’aplicació de tecnologies basades en la intel·ligència artificial al sector públic, la qual encara és incipient en moltes administracions, ofereix moltes oportunitats per poder proveïr serveis més eficients, massius, proactius i adaptats a les necessitats de la ciutadania, així com també per agilitzar els processos interns i donar suport a la presa de decisions. A escala europea, s’ha apuntat que fins a un 30% de potencials perceptors d’ajudes públiques no les sol·liciten perquè desconeixen que existeixen [1]. Si l’Administració coneix bé la realitat dels seus ciutadans a partir de les dades, recollides amb consentiment previ, serà capaç d’anticipar-se i oferir a la ciutadania un servei determinat sense esperar que sigui la ciutadania qui ho demani. Les dades, o més aviat la bona gestió d’aquestes, han esdevingut un nou pont de relació entre administracions públiques i la ciutadania

No obstant això, el desplegament d’aquest tipus de sistemes duu associats múltiples riscos i potencials impactes en els drets fonamentals de les persones. Aquests riscos tenen a veure amb la manca de transparència i explicabilitat de les decisions preses per un sistema que ningú no sap ben bé com funciona; el fet que sovint es prioritza l’optimització sense tenir en compte a qui afecta; la dificultat per atribuir responsabilitats i garantir el rendiment de comptes d’una decisió que ha estat presa per un sistema automatitzat; la vulneració de la privacitat dels individus i amb el fet que tant les bases de dades com el codi dels algoritmes poden incorporar biaixos socials que afectin de manera discriminatòria col·lectius minoritzats.

Un exemple de com les tecnologies basades en IA aplicades al sector públic pot tenir un impacte negatiu en els drets de les persones és sistema SyRI, als Països Baixos, on el Ministeri d’Afers Socials i Ocupació va fer servir grans quantitats de dades personals per crear perfils de risc de frau. Aquest sistema es va fer servir per analitzar persones amb rendes baixes i d’origen estranger per localitzar perfils d’alt risc, la qual cosa era altament discriminatori. I SyRI no és l’únic cas de mala pràctica; de fet, en els darrers anys n’hem conegut diversos gràcies a les denúncies dels mitjans de comunicació i de la societat civil [2].

A l’hora d’aplicar tecnologies basades en intel·ligència artificial en la provisió de serveis públics, els ajuntaments hem de tenir presents aquestes dues vessants: tot i que ens poden facilitar molt la feina, hem de garantir que les fem servir de manera proporcionada, transparent i justa, introduint, en totes les fases del desenvolupament i la implementació d’aquest tipus de sistemes, mecanismes de salvaguarda i garantia dels drets fonamentals; complint amb la legislació vigent i els estàndards ètics i tècnics adequats, i assegurant que el procés afavoreix la participació i deliberació constants amb la ciutadania i les comunitats impactades.

En aquest article oferim una guia pràctica sobre com podem implementar la intel·ligència artificial des de l’àmbit municipal, i ho fem basant-nos en els aprenentatges que hem anat adquirint els darrers anys des de l’Ajuntament de Barcelona.

 

2. Oportunitats i reptes per als ajuntaments. 

En primer lloc, considerem oportú explicar què és la Intel·ligència Artificial i què pot i què no pot fer en el context d’una administració pública local.

Segons l’informe “Directrius ètiques per a una IA fiable” del grup d’experts d’alt nivell en IA de la Comissió Europea”, els sistemes d’intel·ligència artificial (IA) són sistemes de programari (i possiblement també de maquinari) dissenyats per humans que, donat un objectiu complex, actuen en la dimensió física o digital percebent el seu entorn mitjançant l’adquisició de dades, interpretant les dades (estructurades o no estructurades) recollides, raonant sobre el coneixement, o processant la informació, derivada d’aquestes dades i decidint la millor acció o accions per realitzar per aconseguir l’objectiu donat. Els sistemes d’IA poden utilitzar regles simbòliques o aprendre un model numèric, i també poden adaptar el seu comportament analitzant com es veu afectat l’entorn per les seves accions anteriors”.

 

Cal fer un matís a aquesta definició, especialment si parlem d’IA aplicada al sector públic. Sovint, els sistemes que es denominen d’intel·ligència artificial aplicats al sector públic no incorporen l’aprenentatge automàtic, sinó que són més aviat algoritmes [3] o sistemes algorítmics simples. Encara que no incorporin aprenentatge automàtic, aquests sistemes poden tenir un impacte en els drets fonamentals de la ciutadania, i per tant els incloem en el seguit de sistemes que s’han de supervisar i de seguir de ben a prop.

Definir així els sistemes algorítmics i la intel·ligència artificial és clau per entendre que no estem parlant d’una intel·ligència sobrehumana, que té autonomia i que pot prendre decisions de manera totalment racional i objectiva, sinó que estem parlant de sistemes construits i programats per persones, que son entrenats amb bases de dades que poden contenir biaixos i que prenen les decisions per als quals els hem programat. Per tant, no podem esperar que els algoritmes solucionin problemes o reptes que tenim per art de màgia i, sobretot, no podem tendir cap a automatitzar qualsevol decisió complexa. Al contrari: hem de fer servir els algoritmes de manera crítica, definint molt bé les seves tasques, processos i objectius, garantint una supervisió humana i sent molt conscients de les seves limitacions.

Fixant-nos en allò que la intel·ligència artificial sí que pot fer en el context d’un ajuntament, trobem una gran diversitat de tasques i aplicacions. Molts dels ajuntaments que estan aplicant la intel·ligència artificial ho estan fent a través de petits pilots, que permeten testejar de manera flexible l’aplicació del sistema en un cas d’ús concret i avaluar-ne els riscos i els beneficis sense comprometre’n la utilització a llarg termini. 

A grans trets, la intel·ligència artificial en l’àmbit municipal es pot aplicar en:

• La gestió interna municipal. Les tecnologies basades en IA es poden aplicar en la millora dels processos interns i en la simplificació de la tramitació interna. Això pot ser molt útil per sistematitzar el coneixement i les dades generades internament, agilitzar els processos administratius, incrementar la productivitat i l’estalvi de costos, però, sobretot, fer que augmenti la satisfacció dels treballadors i treballadores municipals, que podran centrar els seus esforços en tasques de més valor afegit.
  
  

• Serveis a la ciutadania. La IA permetrà avançar de manera molt significativa cap a una administració que ofereixi serveis centrats en les necessitats reals de la ciutadania optimitzant l’oferta de serveis i fent-los més personalitzats, la mateixa atenció ciutadana i la participació ciutadana, passant d’una administració reactiva a una administració proactiva. Sistemes com els de processament i comprensió del llenguatge natural poden ser clau en aquest àmbit, tot i que precisament per aquest contacte directe amb la ciutadania caldrà garantir l’ús ètic, legal i democràtic d’aquestes tecnologies.
  
  

• L’atenció ciutadana. Molts ajuntaments ja estan introduint bots de conversa com a complement dels canals de comunicació amb la ciutadania ja establerts, fent servir el processament del llenguatge natural per classificar de manera més àgil les queixes o peticions de la ciutadania, així com per potenciar l’atenció multiidioma i millorar l’accessibilitat d’aquests serveis.
  
  

• La gestió de l’espai públic i la mobilitat. La IA i el tractament massiu de dades són clau per comprendre millor les necessitats canviants de la ciutat, tenir dades que permetin fer una diagnosi més precisa i en temps real dels reptes que afronta la ciutat, així com de les polítiques públiques que s’estan desplegant. En última instància, passar a un model de política pública basat en l’evidència, i a un procediment administratiu basat en la dada i no en l’expedient, permetrà avançar cap a serveis públics que s’adaptin a les necessitats de les persones.
  
  

• La participació ciutadana i la democràcia directa. La IA també pot contribuir a millorar la participació ciutadana i promoure una democràcia més directa ajudant, per exemple, a processar milers de comentaris sobre propostes normatives o agilitzant els processos participatius. Així doncs, la IA farà possible adoptar nous enfocaments basats en l’anàlisi de grans quantitats d’informació provinent de la col·laboració ciutadana, de dades que contenen les pautes i els patrons que defineixen la vida urbana (com es mouen, interactuen, utilitzen els serveis i gaudeixen de la ciutat les persones).

L’Ajuntament de Barcelona ha aplicat la Intel·ligència Artificial en alguns àmbits i serveis:

La classificació temàtica de queixes i suggeriments enviats per la ciutadania mitjançant la bústia electrònica de l’Ajuntament. L’IRIS és el servei que permet a la ciutadania comunicar incidències o enviar reclamacions a l’Ajuntament de Barcelona perquè les resolgui. A través de l’IRIS, la ciutadania pot fer arribar informacions i consultes, però també queixes i suggeriments de millora. En aquest procés, el ciutadà o ciutadana que avisa de la incidència ha de classificar-la utilitzant un arbre de temàtiques que se li ofereix a través de l’aplicació informàtica. Aquesta classificació és important perquè s’utilitza per dirigir la incidència directament al departament responsable, i agilitzar així el procés de resposta. Els errors en la classificació temàtica ocasionen respostes inadequades i retards en la resolució de les incidències, per la qual cosa afecten la qualitat del servei ofert.

En el marc del projecte d’actualització del servei IRIS, s’ha desenvolupat un mòdul anomenat MARIO, basat en algoritmes d’aprenentatge automàtic —Machine Learning— i processament del llenguatge natural (una de les tecnologies emmarcades en la IA) per simplificar al ciutadà o ciutadana el procés de classificació de les incidències.

 

A partir de l’anàlisi del text lliure que descriu la incidència, MARIO suggereix al ciutadà o ciutadana les categories més probables on la incidència té cabuda perquè aquest/a triï la categoria més ajustada. MARIO, que està actualment en proves, minimitza la taxa d’error en la classificació inicial de les incidències reduint molt els processos de reclassificació manual. Abans, un 50% de les comunicacions realitzades necessitaven ser reassignades; ara, amb MARIO, s’està assolint una taxa d’encert superior al 85%.

MARIO s’ha desenvolupat fent servir eines de codi obert —Open Source— com Python, Scikit-learn i Pandas, entre d’altres. L’algoritme ha requerit un entrenament que s’ha dut a terme utilitzant un conjunt de dades amb les temàtiques i les preguntes que ha fet el ciutadà/ana prèviament validades per garantir que han estat correctament classificades

 

La detecció de demandes, problemes i l’assignació de recursos a l’Àrea de Drets Socials. L’Àrea de Drets Socials de l’Ajuntament de Barcelona atén una mitjana de cinquanta mil primeres visites a l’any. Les persones que acudeixen als quaranta centres de serveis socials repartits per la ciutat tenen problemes econòmics, de dependència, per malaltia mental, d’alcoholisme, poden necessitar ajuda psicològica, d’adaptació, poden patir una situació de violència de gènere, etc. Aquestes problemàtiques tan diverses són ateses per una plantilla de més de set-cents professionals —entre treballadors/ores socials, psicòlegs/òlogues i educadors/ores socials—. Quan la persona arriba al centre, se l’atén en unes cabines privades. El treballador o treballadora social enregistra la conversa i, en acabar, transcriu la problemàtica, així com l’ajuda o servei al qual se l’ha derivat. En el sistema intern es descriu amb tres lletres: demanda (D), problema (P), recurs (R). Actualment, l’Ajuntament disposa de centenars de milers d’entrevistes, moltes de les quals acaben sent repetitives perquè els problemes s’assemblen. Ara un algoritme, entrenat amb un repositori de tres-centes mil entrevistes amb tècniques d’aprenentatge automàtic, suggereix els recursos destinats a cada cas. L’algoritme aquí és un ajut a la decisió que finalment pren el professional que tracta el cas -és important remarcar que l’algoritme fa una recomanació després que el professional hagi recomanat el recurs a la persona usuària: en cap cas s’automatitza cap decisió o recomanació.

 

Anonimització d’imatges capturades per drons per gestionar l’espai públic. Durant l’any 2022, l’Ajuntament de Barcelona va fer servir la intel·ligència artificial per anonimitzar imatges capturades per drons en l’espai públic. Aquest projecte pilot tenia com a objectiu fer més eficient la gestió de l’aforament de les platges de Barcelona en temps real, i optimitzar els recursos que el servei responsable de platges posa a la seva disposició. El software d’intel·ligència artificial que s’aplicava a les imatges capturades pels drons anonimitzava les cares de les persones que hi apareixien, i feia un recompte automàtic d’aquestes.

 

Aquests són només alguns exemples de projectes pilot. L’Atlas d’Intel·ligència Artificial Urbana, impulsat per l’Observatori d’Intel·ligència Artificial Urbana, una iniciativa dels ajuntaments de Barcelona, Amsterdam i Londres, en col·laboració amb el CIDOB i ONU-Habitat, recull els projectes d’intel·ligència artificial urbana que estan duent a terme diverses ciutats d’arreu del món.

 

3. Per una IA garantista amb els drets humans i els valors democràtics

Com comentàvem a la introducció, la implementació de tecnologies basades en intel·ligència artificial en l’àmbit municipal duu associats alguns riscos. Per tal de mitigar-los, és fonamental establir mecanismes de governança, supervisió i transparència, així com establir els principis que regiran la implementació d’aquest tipus de tecnologies. Des de l’any 2020, a l’Ajuntament de Barcelona hi hem treballat des dels àmbits polític i tècnic per aconseguir-ho.

El juny del 2020, el Plenari del Consell Municipal va aprovar per unanimitat una declaració institucional en què s’explicitava el suport a un model tecnològic municipal ètic i confiable. L’any 2021, l’Ajuntament de Barcelona va aprovar la Mesura de Govern de l’Estratègia municipal d’algoritmes i dades per a l’impuls ètic de la intel·ligència artificial, la qual consta d’una vintena d’accions per introduir tecnologia d’intel·ligència artificial en diferents serveis municipals. L’estratègia fixa també el marc normatiu i els set principis rectors que cal seguir en tota aplicació tecnològica: Acció i supervisió humana; Robustesa tècnica i seguretat; Privacitat i governança de les dades; Transparència Diversitat, inclusió i equitat; Compromís social i ambiental i Responsabilitat, rendició de comptes i control democràtic.

Una de les accions clau que preveia l’Estratègia era l’aprovació del document “Protocol de definició de metodologies de treball i protocols per a la implementació de sistemes algorítmics”, el qual va entrar en vigor el desembre del 2022. El Protocol defineix els mecanismes de salvaguarda de drets que han d’existir en cada etapa de la licitació i la implementació d’un sistema algorítmic per part de l’Ajuntament de Barcelona, i estableix els òrgans de governança i supervisió que vetllaran perquè l’impacte de la intel·ligència artificial (IA) s’alineï amb els principis ètics. Es tracta d’un document pioner pel que fa a la regulació i governança dels sistemes algorítmics en l’àmbit local, ja que és el primer a combinar el procés de contractació pública, el cicle de vida d’un sistema algorítmic, els mecanismes que té l’Ajuntament pel que fa a la protecció de dades i els estàndards ètics definits per diverses administracions i organitzacions.

Aquest protocol defineix que l’Ajuntament de Barcelona avaluarà el risc de cada sistema algorítmic que es vulgui implementar, basant-se en la classificació de riscos feta per la Comissió Europea en el marc del Reglament d’Intel·ligència Artificial. El protocol estableix diferents tipus de mecanismes de garantia en funció del nivell de risc del sistema que es licita.

Els sistemes algorítmics de risc inacceptables [4] —els que suposen una clara amenaça per a la seguretat i els drets de les persones— seran rebutjats automàticament, mentre que per a la resta de sistemes s’establiran mecanismes en funció del nivell de risc. Per als sistemes algorítmics d’alt risc —els que tenen un impacte directe en els drets fonamentals de les persones—, aquest protocol preveu un seguit de mecanismes de garantia més estrictes que per als considerats de risc limitat o mínim, com els estudis d’impacte algorítmic elaborats per un consell assessor extern o la creació de mecanismes de comunicació i transparència, com els registres d’algoritmes.

En el marc de l’Estratègia i el Protocol s’han creat dos òrgans de governança que tenen un paper clau en la supervisió dels sistemes algorítmics. D’una banda, la  Comissió Transversal per l’Impuls de la Intel·ligència Artificial Ètica, un òrgan de coordinació on hi estan representades les diverses àrees i ens municipals que tenen una relació amb el desplegament de sistemes algorítmics i, de l’altra, el Consell Assessor en Intel·ligència Artificial, Ètica i Drets Digitals, format per 15 experts independents, i que té com a missió assistir i assessorar a l’Ajuntament en matèria d’ús de la intel·ligència artificial per al bé comú i avaluar l’impacte dels sistemes algorítmics en els drets fonamentals de les persones abans d’implementar-los, ja que una de les seves funcions és la d’emetre estudis d’impacte algorítmic.

Una de les accions que l’Ajuntament de Barcelona té previst desenvolupar és el registre d’algoritmes. Els registres d’algoritmes són portals web públics on qualsevol persona pot informar-se sobre els sistemes algorísmics que fan servir les administracions públiques. En l’àmbit local, les ciutats d’Amsterdam i Hèlsinki han sigut pioneres en el desenvolupament d’aquestes eines, i cada cop més ajuntaments estan implementant aquest tipus de portals fonamentals per a garantir la transparència dels sistemes algorítmics.

Els registres d’algoritmes són una eina útil per documentar, de manera estandarditzada i indexable, les decisions i supòsits que ha pres una administració pública sobre un sistema algorítmic durant tot el seu cicle de vida: desenvolupament, implementació, gestió i, en última instància, desmantellament.

Per a la ciutadania, un registre d’algoritmes és un mitjà per a conèixer quins algoritmes fa servir l’Ajuntament i com aquests afecten les seves vides, però també per incidir i participar en les decisions sobre el desplegament d’aquests. Per als governs locals, pot ser una eina per gestionar la governança d’aquells serveis públics on els algoritmes exerceixen un paper destacat, especialment en el procés de desenvolupament i funcionament, d’acord amb els principis de responsabilitat, transparència i seguretat dels serveis públics.

En un registre d’algoritmes s’hi pot trobar informació sobre l’àrea responsable del sistema dins de l’Ajuntament i un correu electrònic de contacte. A més, informa sobre les dades que s’han utilitzat per entrenar l’algoritme, el model de processament de la informació, quines discriminacions, riscos i mitigacions s’han detectat i com s’implementa la supervisió humana.

Barcelona, conjuntament amb 8 ciutats europees, col·laborant en el marc d’Eurocities, ha participat en l’estandardització de l’esquema de dades que estableix la informació que s’ha de publicar als registres d’algoritmes. Es tracta d’un estàndard comú i interoperable que qualsevol administració local pugui fer servir: una eina clau per  garantir que es publica tota aquella informació necessària per poder comprendre el funcionament dels algoritmes i els seus riscos associats.

 

4. Aprenentatges i recomanacions

Alguns dels aprenentatges que hem adquirit en els darrers tres anys desplegant l’Estratègia i les accions que s’hi preveien poden ser útils per a altres ajuntaments que estiguin començant a plantejar-se com implementar la intel·ligència artificial. A continuació, plantegem algunes recomanacions pràctiques.

 

• Abans de desplegar qualsevol projecte d’intel·ligència artificial, cal posar la casa en ordre. És important establir el marc de governança, els processos i els mecanismes o òrgans de supervisió, coordinació i responsabilitat, sempre tenint en compte de no actuar en detriment de l’agilitat. Cal involucrar, en la governança de la intel·ligència artificial, tots els departaments i àrees que, d’alguna manera, hi tindran relació: en tant que eina que es pot aplicar en una gran varietat de serveis -des dels serveis socials fins a la mobilitat, la gestió de l’espai públic, o la seguretat-, cal que els seus responsables estiguin involucrats en la presa de decisions. És clau, també, treballar de la mà dels serveis jurídics, dels serveis de contractació i del delegat de protecció de dades, per tal d’incorporar els mecanismes de garantia en els processos ja existents, com per exemple, afegint clàusules específiques per als sistemes algorítmics en la contractació d’aquests, o garantint que els sistemes algorítmics que inclouen el tractament de dades personals compleixen amb els mecanismes existents de protecció de dades.
   

• Apostar pels pilots. Introduir la intel·ligència artificial en la provisió de serveis públics no és una tasca que es pugui fer d’un dia per l’altre. Sovint, els projectes d’intel·ligència artificial -i d’innovació, en general- poden despertar reticències o resistències dins l’organització, perquè el fet que siguin nous i que no hi hagi experiències prèvies que en demostrin uns bons resultats pot generar desconfiança. A més, la intel·ligència artificial també requereix el desenvolupament de noves competències i de la sensibilització del personal municipal. Per últim, és important poder testejar i provar els sistemes algorítmics abans de comprometre’n un ús a llarg termini per tal de veure si aquests s’adeqüen a la tasca que han de dur a terme i si són la millor alternativa per fer-ho. Per tot això, és recomanable començar a implementar la intel·ligència artificial a través de projectes pilot que permetin recollir feedback sobre el propi sistema. Durant tot el pilot, cal recollir errors i encerts i incorporar-los com a aprenentatges, tant per al propi desenvolupament del pilot com en els protocols i mecanismes de governança de la IA de l’ajuntament.
   

• Cal mesurar l’impacte dels sistemes algorítmics en els drets fonamentals de les persones, i adaptar les garanties o les prohibicions a aquests nivells de risc. Abans de comprometre la utilització d’un sistema algorítmic, cal examinar-ne el risc, i per tal de fer-ho és necessari tenir el coneixement in-house que ho permeti. És recomanable no implementar sistemes algorítmics de risc inacceptable, i introduir mecanismes com els estudis d’impacte algorítmic per als sistemes d’alt risc. Aquests estudis examinen l’impacte dels sistemes algorítmics i proposen mesures de mitigació d’aquests, i els pot dur a terme el personal municipal, o es pot comptar amb experts externs per fer-ho [5]. És molt recomanable involucrar la societat civil i les persones o col·lectius potencialment afectats pel sistema per tal de definir una mitigació de riscos adequada i prendre decisions sobre el sistema tenint en compte el parer de les persones a qui afectarà.
   

• En un camp tan canviant i nou com la governança de la intel·ligència artificial, cal involucrar una gran varietat d’actors i recollir i incorporar aprenentatges de manera contínua i flexible. Les decisions sobre com s’implementa i es governa la intel·ligència artificial no es poden prendre de manera vertical, unívoca i unidireccional des de l’Ajuntament: cal incorporar les visions de la quàdruple helix (societat civil, sector privat, acadèmia, administracions públiques), i establir protocols i marcs de governança àgils i flexibles, que siguin un work in progress continu que permeti anar incorporant les demandes dels actors implicats i els aprenentatges adquirits: tenint en compte el ritme accelerat amb què avança el camp de la IA, molt probablement, el que decidim avui quedarà desfasat d’aquí a un mes.
   

• El marc regulatori europeu encara s’està definint. Mentrestant, però, els Ajuntaments tenim eines. A juny del 2023, encara no s’ha aprovat la proposta de Reglament Europeu d’Intel·ligència Artificial, una peça legislativa clau que harmonitzarà i regularà la posada al mercat dels sistemes algorítmics, introduint requisits de seguretat. Ara mateix, tenim un marc regulatori que cobreix parcialment alguns aspectes de la IA -com per exemple, el Reglament General de Protecció de Dades [6] i la Llei Orgànica de Protecció de Dades [7] o, en l’àmbit espanyol, la llei 15/2022, integral per a la igualtat del tractament i la no discriminació [8]. Fins llavors, però, des de l’àmbit local no ens podem quedar amb els braços creuats: cal que, si implementem sistemes d’IA, ho fem amb garanties i de manera democràtica i transparent.
  

En això, la contractació esdevé una eina clau: en una licitació -i en el contracte que se’n deriva-, els Ajuntaments tenim l’oportunitat de definir les regles del joc i establir els requisits mínims i les obligacions contractuals amb les quals haurà de complir el proveïdor. És en aquest moment que podem demanar, per exemple, que les bases de dades que es fan servir per entrenar un algoritme no tinguin cap biaix, o que se’ns garanteixi l’accés al codi per poder-lo publicar. En aquest sentit, els Ajuntaments, més que mers consumidors de serveis TIC, podem adoptar el rol de “donar forma al mercat”, agafant prestada aquesta expressió de Mariana Mazzucato [9]. Aquest rol és clau per definir, ara que podem, les regles del joc per a una governança de la IA en pro dels valors democràtics i el bé comú. De fet, un dels aprenentatges que hem adquirit treballant en xarxa amb altres ciutats en el marc d’Eurocities o de la Cities Coalition for Digital Rights és que els ajuntaments sovint som pioners pel que fa a la regulació de les noves tecnologies, i que d’altres administracions i organitzacions internacionals acaben adoptant les bones pràctiques que impulsem des de les ciutats.

​Transparència? Sempre, però que tingui sentit. La transparència algorítmica “identifica el principi segons el qual els factors que intervenen en les decisions preses pels algoritmes haurien de ser visibles, conegudes, auditables i explicables a les persones que utiliten, regulen  són afectades pels sistemes que fan servir aquests algoritmes” [10]. Una de les eines clau per garantir la transparència algorítmica i posar a disposició de qualsevol part interessada la informació sobre quins sistemes algorítmics fa servir un ajuntament són els registres d’algoritmes.

Els registres d’algoritmes són portals web públics on qualsevol persona pot informar-se sobre els sistemes algorísmics que fan servir les administracions públiques. En l’àmbit local, les ciutats d’Amsterdam i Hèlsinki han sigut pioneres en el desenvolupament d’aquestes eines, i cada cop més ajuntaments estan implementant aquest tipus de portals fonamentals per a garantir la transparència dels sistemes algorítmics.

Els registres d’algoritmes són una eina útil per documentar, de manera estandarditzada i indexable, les decisions i supòsits que ha pres una administració pública sobre un sistema algorítmic durant tot el seu cicle de vida: desenvolupament, implementació, gestió i, en última instància, desmantellament.

Per a la ciutadania, un registre d’algoritmes és un mitjà per a conèixer quins algoritmes fa servir l’Ajuntament i com aquests afecten les seves vides, però també per incidir i participar en les decisions sobre el desplegament d’aquests. Per als governs locals, pot ser una eina per gestionar la governança d’aquells serveis públics on els algoritmes exerceixen un paper destacat, especialment en el procés de desenvolupament i funcionament, d’acord amb els principis de responsabilitat, transparència i seguretat dels serveis públics.

Els registres d'algoritmes són una eina amb un potencial enorme per acconar l'explicabilitat i transparència algorítmica en la implementació de serveis públics més eficiens i proactius. Tanmanteix, un dels aprenentatges fonamentals de les experièncis d'Amsterdam i Hèlsinki ha estat que, més enllà de crear una web i publicar-hi alguns sistemes algorítmics, encara queda un llarg camí per establir criteris sobre com i  què s'hi publica, dotar-los d'una governança clara en el seu desplegament i, en última instància, aconseguir que siguin més que una web que "està bé tenir".

 

5. Un repte per resoldre: propietat intel·lectual vs. transparència?

En tant que administracions públiques, els ajuntaments han de poder explicar sempre perquè i com s’ha pres una decisió i com s’ha fonamentat un procediment administratiu. Això aplica, també, a les decisions o procediments administratius que s’han dut a terme mitjançant un algoritme. Per a aconseguir garantir aquesta explicabilitat algorítmica cal crear un marc de col·laboració i unes condicions que permetin compartir la informació necessària, sobretot quan no és l’ajuntament qui desenvolupa i opera el sistema sinó que ho fa un proveïdor extern.

Una de les eines més útils per poder establir aquest marc de col·laboració són les clàusules de contractació, com ja hem comentat. El repte, en aquest sentit, és definir quina informació ha de facilitar el proveïdor per tal de trobar un equilibri que permeti explicar de manera transparent perquè i com un sistema algorítmic ha pres una decisió mentre es garanteix la protecció de la propietat intel·lectual del sistema i la seguretat d’aquest.

És aquí on comença el debat: cal facilitar l’accés al codi a la ciutadania? O amb proporcionar informació sobre com funciona el sistema -explicant, per exemple, quins mètodes fa servir, o quines bases de dades d’entrenament s’han emprat- n’hi hauria prou? O cal proporcionar ambdós tipus d’informació -accés al codi i a la documentació tècnica, i una explicació entenedora i planera sobre com funciona el sistema-?

 

6. Reflexions finals

Com hem argumentat durant aquest article, les tecnologies basades en intel·ligència artificial i les dades ofereixen moltes possibilitats als ajuntaments per proveir serveis públics més proactius a la ciutadania, així com per agilitzar processos interns i dotar-los de més valor afegit. Hem d’aprofitar aquestes oportunitats, però, de manera crítica, garantint que la implementació de les tecnologies basades en intel·ligència artificial es produeix de manera democràtica, segura i inclusiva, fomentant la reflexió crítica i garantint la participació i el co-disseny amb la ciutadania.

Ens trobem davant d’una època de canvis o potser, fins i tot, davant d’un canvi d’època. Certament, la nostra època està marcada per canvis accelerats i complexos a tots els nivells, entre els quals, la intel·ligència artificial destaca de manera diferenciada-. Són canvis que es produeixen de manera concentrada, que fan que gestionar la realitat esdevingui difícil. Tot i així, i abans que ens agafi vertigen, és important tenir present que, per molt que l’entorn canviï, en essència les respostes que volem donar van de garantir els drets, la igualtat, la inclusió i de fer que ningú no quedi enrere. I això no és nou, i sabem com fer-ho

 

7. Notes

[1] Eurofound (2015), Access to social benefits: Reducing non-take-up, Publications Office of the European Union, Luxembourg.

[2] https://algorace.org/2022/11/26/una-introduccion-a-la-ia-y-la-discriminacion-algoritmica-para-movimientos-sociales/essari conèixer l’origen i els antecedents normatius i qui i com es desenvolupen els controls de compliment i fiscalització a les administracions públiques.

[3] Els algoritmes, en un sentit molt ampli són des de models de regressió i arbres de decisió que poden fer prediccions i agilitzen processos, fins a sistemes més complexos, com ara les xarxes neuronals i els models bayesians, que funcionen amb aprenentatge automàtic a mesura que van fent càlculs i prediccions avançades.

[4] Per consultar la classificació completa, recomanem revisar l’Article 5 i l’Annex 3 de la proposta de Reglament Europeu d’IA. https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=celex%3A52021PC0206

[5] En el cas de l’Ajuntament de Barcelona, aquest estudi d’impacte algorítmic el duu a terme el Consell Assessor d’Intel·Iigència Artificial Ètica.

[6] https://www.boe.es/doue/2016/119/L00001-00088.pdf

[7] https://www.boe.es/buscar/act.php?id=BOE-A-1999-23750

[8] https://www.boe.es/buscar/doc.php?id=BOE-A-2022-11589

[9] Mariana Mazzucato parla del “market-shaping approach”, concepte que fa referència al rol proactiu del sector públic. Mazzucato, M. (2023). "A collective response to our global challenges: a common good and ‘market-shaping’ approach". UCL Institute for Innovation and Public Purpose, Working Paper Series (IIPP WP 2023-01). https://www.ucl.ac.uk/bartlett/public-purpose/wp2023-01.

[10] Vestri, Gabriele. Cinco claves par aentender la transparencia algorítmica en el sector público. https://idpbarcelona.net/cinco-claves-para-entender-la-transparencia-algoritmica-en-el-sector-publico/

Imatges: Freepik.es