“Foi o algoritmo que decidiu” não é resposta

Imagine receber uma notificação da Administração Pública a dizer que o seu apoio  social foi reduzido. Ou que a sua candidatura “ficou para trás”. Ou que o seu processo foi  sinalizado como sendo “de risco”.

Pergunta porquê.

E a resposta, ainda que não venha escrita exatamente assim, acaba por ser: “Foi o  algoritmo que decidiu”.

Há qualquer coisa de profundamente errada nesta resposta. Não porque o Estado não  deva usar inteligência artificial. Deve, quando ela permita tratar melhor a informação,  reduzir tarefas repetitivas, detetar padrões ou prestar serviços mais depressa.

O problema começa quando a tecnologia deixa de ser uma ferramenta e passa a  funcionar como uma espécie de lugar para onde a responsabilidade desaparece.

Porque um algoritmo não acorda um dia e decide reduzir uma prestação social.  Alguém definiu o objetivo do sistema. Alguém escolheu os dados. Alguém determinou os  critérios, os limites e o grau de confiança que seria atribuído ao resultado. E, no fim,  alguém decidiu utilizá-lo para produzir efeitos sobre uma pessoa.

Esse alguém continua a ser o Estado.

A inteligência artificial pode tornar uma decisão mais rápida. Não pode torná-la  anónima.

Esta distinção será cada vez mais importante. O Regulamento Europeu da Inteligência  Artificial já está, em larga medida, em aplicação desde agosto deste ano, embora parte  significativa das regras aplicáveis aos sistemas considerados de alto risco só produza  efeitos mais tarde. Entre esses sistemas estão precisamente alguns dos que podem ser  utilizados pelas autoridades públicas para determinar o acesso a prestações e serviços  públicos essenciais.

Não é difícil perceber porquê.

Imagine-se um município que utiliza um sistema para identificar pedidos de apoio  social potencialmente fraudulentos. À partida, parece razoável. O problema surge se a  sinalização produzida pelo sistema conduzir, quase automaticamente, à suspensão do  pagamento.

Ou um serviço público que ordena famílias por prioridade através de um modelo  treinado com decisões tomadas ao longo dos últimos vinte anos. Se essas decisões  históricas refletirem desigualdades ou enviesamentos, o algoritmo pode não os corrigir.  Pode apenas reproduzi-los muito mais depressa.

A aparência de neutralidade tecnológica é particularmente perigosa por isso mesmo:  números, percentagens e classificações transmitem uma sensação de objetividade que nem sempre existe.

E colocar uma pessoa no final do processo também não resolve necessariamente o  problema.

O Tribunal de Justiça da União Europeia deixou isso bastante claro no caso SCHUFA.  Em determinadas circunstâncias, um resultado produzido automaticamente pode ser  considerado determinante para uma decisão, ainda que exista formalmente outra pessoa  ou entidade a tomar a decisão final.

Traduzindo para linguagem corrente: não basta ter um ser humano a carregar  no botão “aceitar”.

A supervisão humana só existe verdadeiramente quando essa pessoa compreende  o que está a avaliar, dispõe da informação necessária e tem autoridade para discordar da  máquina.

É aqui que a discussão sobre inteligência artificial no Estado se cruza com uma  questão bastante menos mediática, mas decisiva: a contratação pública.

Grande parte da tecnologia utilizada pela Administração não é desenvolvida  internamente. É comprada.

E aquilo que o Estado exigir — ou não exigir — no momento em que compra um  sistema condicionará aquilo que conseguirá controlar quando o sistema estiver a  funcionar.

Um caderno de encargos para adquirir inteligência artificial não pode, por isso,  limitar-se a pedir uma “solução inovadora”, “inteligente” ou “baseada em IA”.

Isso diz muito pouco.

É preciso saber como serão registadas as decisões do sistema, que informação ficará  disponível para auditoria, como serão avaliados os erros, de que forma poderão ser  alterados os modelos e os dados, quem acompanha os incidentes e que intervenção  humana continuará a existir.

É igualmente importante saber o que acontece quando o contrato termina. Esta é uma questão subestimada na contratação de tecnologia.

O Estado não pode descobrir ao fim de quatro anos que os seus dados estão num  formato que mais ninguém consegue utilizar, que só o fornecedor conhece  suficientemente bem o sistema ou que mudar de solução implicaria praticamente começar  tudo do zero.

Portabilidade, interoperabilidade, acesso à documentação e apoio na transição não são  pormenores técnicos. São instrumentos de independência da própria Administração.

Comprar tecnologia sem prever uma saída é uma forma sofisticada de criar  dependência.

Também a responsabilidade tem de ser pensada antes de surgir o primeiro problema.

É evidente que um contrato pode — e deve — definir responsabilidades do  fornecedor. Pode prever deveres de cooperação, mecanismos de auditoria, obrigações  perante incidentes, indemnizações ou outras consequências quando o sistema não  funciona como contratado.

Mas há uma fronteira que o contrato não consegue apagar.

Perante o cidadão, a autoridade pública não deixa de ser autoridade pública  porque comprou o software a uma empresa privada.

O Estado não pode dizer a alguém prejudicado por uma decisão: “fale com a empresa  que nos vendeu o sistema”.

Seria uma inversão completa da lógica do Estado de Direito.

O próprio direito europeu caminha no sentido contrário. O Regulamento da  Inteligência Artificial prevê deveres próprios para quem utiliza determinados sistemas de  alto risco, incluindo obrigações relacionadas com supervisão humana, monitorização e  conservação de registos. O RGPD já protege as pessoas relativamente a determinadas decisões exclusivamente automatizadas. E continuam naturalmente a existir os meios  administrativos e judiciais para reagir contra decisões públicas ilegais.

Tecnologia nova não elimina garantias antigas.

Talvez esta seja, aliás, a questão mais importante de todas.

A transformação digital do Estado é frequentemente apresentada como uma discussão  sobre eficiência. Quanto tempo se poupa? Quantos processos podem ser automatizados?  Quanto custa o sistema? Quantos funcionários serão libertados para outras funções?

São perguntas legítimas.

Mas não são as únicas.

Também devemos perguntar quem responde quando o sistema se engana. Quem  consegue explicar uma decisão. Quem verifica os dados. Quem pode interromper o  processo. Quem consegue reconstruir, seis meses mais tarde, aquilo que aconteceu.

E, sobretudo, quem pode dizer à máquina: não.

Estas perguntas parecem jurídicas porque são jurídicas. Mas são também  profundamente democráticas.

Quanto maior for a capacidade dos sistemas de inteligência artificial para  influenciar decisões públicas, mais importante será garantir que existe uma pessoa  identificável, uma decisão compreensível e uma responsabilidade que não  desaparece dentro do sistema.

A inteligência artificial pode calcular, classificar, prever e recomendar. A Administração Pública é que tem de decidir, fundamentar, corrigir e responder. O Estado pode comprar um algoritmo.  Não pode comprar uma desculpa.

Fontes principais: Regulamento (UE) 2024/1689 (AI Act); Regulamento (UE)  2016/679 (RGPD); TJUE, SCHUFA Holding, C-634/21; TJUE, Dun & Bradstreet  Austria, C-203/22; Diretiva 2014/24/UE; Comissão Europeia, EU AI Model Contractual  Clauses for Public Procurement; Diretiva (UE) 2024/2853.