Quem controla os números?

O uso de ferramentas de machine learning no sistema de segurança pública não é um tema simples. Oferece riscos – grandes riscos. O acelerado desenvolvimento tecnológico traz a ilusão de que a humanidade, em algum momento, poderá resolver todos os seus problemas: criar uma economia sustentável, acabar com a miséria, oferecer oportunidades equânimes para todos, superar o racismo e até mesmo vencer a morte.

Mas, não, isso não acontecerá. E podemos afirmar sem muita chance de errar porque, não havendo evolução moral, a tecnologia só potencializa a capacidade de fazer o bem e o mal.

A evolução (no sentido puramente temporal) dos padrões de comportamento humano mostra que todas as paixões que moviam os antigos continuam a nos habitar. Porém, não sou pessimista.

Não evoluirmos moralmente não é a mesma coisa que a moral não ter um papel importante em nosso futuro.

Joshua Greene, professor e diretor do Laboratório de Cognição Moral do Departamento de Psicologia de Harvard, em Moral Tribes (Penguin Books, 2013), explica que a moralidade é uma vantagem competitiva no que tange à evolução natural. O trabalho em equipe (cooperação e todos os desafios de se relacionar e depender de outras pessoas) aumenta a probabilidade de sobrevivência.

A cooperação revela-se a nossa única chance de contornar os perigos que a tecnologia de inteligência artificial aplicada à segurança pública e ao sistema de justiça criminal oferece à sociedade - sobretudo aos grupos vulneráveis – na projeção de vieses discriminatórios.

Do ponto de vista global, a certeza de que alguns players não sofrerão com amarras éticas no desenvolvimento de tecnologias questionáveis será contrabalanceada pelas sociedades abertas (no sentido popperiano). Nelas, seremos capazes de trazer ao debate público – forma de cooperação por excelência das democracias – a discussão sobre a melhor forma de implementação de técnicas de proteção de direitos fundamentais.

O papel do debate público no momento em que vivemos (de desenvolvimento de tecnologias disruptivas) é crucial. Cada vez mais, aumenta o abismo entre uma pequena elite que domina essas novas ferramentas e o resto.

E o resto somos nós, os 99,99% da sociedade que são apenas números neste grande parque de diversões de bilionários brincando de construir um mundo novo, baseado em um nível de controle nunca imaginado.

Sistemas algorítmicos por big data vem sendo adotados em um número crescente de contextos. Filtram, classificam, recomendam e personalizam, moldam a experiência humana, ao tomar ou informar decisões com grande impacto no acesso a crédito, seguro, serviços de saúde, liberdade condicional, previdência social, imigração... Embora esses sistemas apresentem benefícios, eles também oferecem riscos inerentes, como preconceitos de codificação, redução da responsabilidade, obstaculização do devido processo; aumento da assimetria de informação entre indivíduos cujos dados alimentam esses sistemas e grandes players capazes de inferir informações potencialmente relevantes.

Como um colega de universidade salientou, devemos entender que a construção desses sistemas é unilateral, preocupa-se com um determinado tipo de eficiência e prioriza determinados valores, em regra reprodutores do passado. Ou seja, não se trata de melhorar processos (em um sentido deontológico), mas sobre automatizá-los com ganhos de eficiência e escala (num sentido puramente utilitarista). Ele concluiu que “a onda de automatização que estamos vendo simplesmente varre pra debaixo do algoritmo todos os problemas profundos de um sistema quebrado, com o adicional de desresponsabilizar os sujeitos pelas tomadas de decisão e pelas consequências”.

Tudo o que está sendo feito neste momento, sem nenhum controle, às vezes com apoio ingênuo do Estado, instrumentaliza poder. A microelite – que detém tais ferramentas tecnológicas, acumula recursos em escala inédita na história da humanidade e acredita saber o que é melhor para todos – beneficia-se da complacência dos poucos que entendem ou suspeitam o que está a se construir.

O debate público sério sobre essas questões – que dizem respeito a qual tipo de vida deixaremos como legado para as próximas gerações – deve ser fomentado com a participação de todos, inclusive daqueles que talvez sejam desaparelhados para entender a dimensão do problema, mas que fatalmente sofrerão as consequências das escolhas feitas.

Porque só subsiste democracia com controle público.

Só existe controle com transparência.

E só há transparência com conhecimento e acesso.

Não é um caminho fácil. Precisamos nos aparelhar para confrontar aqueles que estão construindo a infraestrutura de um novo mundo.

Felizmente, há cientistas, em todo mundo, tentando decifrar o enigma que se coloca à nossa frente. Cito a ACM FAccT (facctconference.org),  uma conferência interdisciplinar dedicada a reunir uma comunidade diversificada de acadêmicos da ciência da computação, direito, ciências sociais e humanas, com o objetivo de investigar e resolver questões nessa área.

Os desafios não se limitam a soluções tecnológicas relacionadas ao problema da reprodução de potential bias por parte de sistemas. Incluem entender se algumas decisões devem ser terceirizadas para sistemas de computação orientados por dados e códigos.

Catarina Correia

Juíza de Direito do Tribunal de Justiça do Distrito Federal e Território

Fonte: fontesegura.org.br/