Pesquisar
Close this search box.

ALGORITMO E PRECONCEITO

Publicado em
algoritmo

Isabela Ferrari e Daniel Becker

A expressão “algoritmo” entrou no vocabulário popular há pouco mais de uma década e, desde então, é vista como algo místico, quase mágico, devido ao crescente hype em torno da inteligência artificial. No entanto, o algoritmo nada mais é do que um passo a passo, uma sequência de instruções pré-definidas, expresso em uma linguagem matemática estilizada[1] e desenvolvido com a finalidade de determinar o que um computador tem de fazer[2]. Em curtas linhas, todo algoritmo tem um input e um output: os dados alimentam o computador, o algoritmo segue suas instruções e daí surge o resultado esperado.

No entanto, recentemente, o subcampo da ciência da computação, conhecido como aprendizado das máquinas (machine learning), ganhou especial atenção e importância. Enquanto a ciência da computação é tradicionalmente determinística, a machine learning, por outro lado, opera de forma probabilística e seus algoritmos, conhecidos como learners, são autoprogramáveis, isto é, “aprendem” por conta própria, sem a necessidade de programação prévia e explícita. Enquanto o input consiste nos dados e no resultado esperado, o output é o algoritmo que mescla ambos[3].

Apesar de existir há décadas, a machine learning ganhou enorme relevância na última década em razão da explosão na disponibilidade de dados[4], que servem como combustível para a aprendizagem de máquinas.

Não é exagero dizer que, embora muitas vezes não nos demos conta, os learners ditam o ritmo da sociedade moderna. Atividades como ofertas de cartão de crédito, cálculos do valor de seguros, recomendação de filmes e notícias são todas conduzidas por algoritmos alimentados pelos dados que produzimos.

É importante perceber que as decisões tomadas pelas máquinas que interpretam o volume massivo de dados produzidos pela sociedade não se fundam em leis da natureza ou referências objetivas claras (clear benchmarks). Como destaca Cathy O’Neil, algoritmos nada mais são do que opiniões codificadas e é um truque de marketing fazer com que eles pareçam puramente matemáticos[5].

Não devemos, portanto, naturalizar tais decisões. É preciso, ao revés, adotar uma postura crítica com relação aos critérios utilizados para a tomada de decisões e questionar a forma como os algoritmos operam.

Um primeiro problema se refere aos dados utilizados para informar as decisões. Dados são uma representação do passado que, de alguma forma, foi digitalizado. Em nossa era, essa quantidade de dados cresce exponencialmente[6]. Com uma boa munição de dados, os learners repetem as práticas que já adotamos, automatizando o status quo[7].

A pretendida cientificidade da decisão tomada por algoritmos é, por isso, em boa medida falsa. Decisões algorítmicas, por serem informadas por dados, refletem a sociedade que os produziu. Sem controle da qualidade desses dados, estamos sujeitos a codificar nossos preconceitos e vieses[8]. A inteligência artificial criada por machine learning não deixa de ser, por isso, uma extensão da cultura e do senso comum[9].

A título de exemplificação, imagine um algoritmo hipotético utilizado por uma empresa de recrutamento para selecionar candidatos a cargos executivos. Na sociedade em que vivemos, grande parte dessas posições de alto escalão ainda são ocupadas por homens brancos. Um algoritmo que fosse buscar possíveis CEOs a partir de uma base de dados existente possivelmente “aprenderia” fatores de sucesso questionáveis a partir dos valores constitucionalmente consagrados, ao mesmo tempo em que a sua utilização transmitiria a ideia de uma avaliação científica, técnica, neutra, matemática.

Essa situação reflete a chamada lavagem de dados (data laundering), mecanismo por meio do qual tecnólogos e cientistas da computação “escondem”, voluntária ou involuntariamente, falhas ou preconceitos em algoritmos para que eles pareçam objetivos e meritocráticos, seja através de propriedade intelectual ou de sigilo comercial[10].

Ainda que os dados utilizados para informar a decisão sejam completamente fidedignos, a operação de machine learningnão deixa de ser problemática, eis que, como não conseguimos entender exatamente o quê e como o sistema aprendeu, seu funcionamento é, em boa medida, uma caixa preta.

Nesse contexto, a sociedade moderna já se depara com constrangedoras situações que parecem ter sido retiradas de roteiros de ficção científica. A chamada inteligência híbrida (human plus machine) é a prática pela qual humanos e algoritmos trabalham juntos para tomar decisões “melhores” [11]. Contudo, se em âmbito privado, como no caso do algoritmo de recrutamento, o resultado pode ser problemático, a situação se torna ainda mais crítica quando a human plus machine é aplicada indiscriminadamente pela Justiça Criminal.

Em alguns Estados americanos, algoritmos são utilizados por juízes para determinar o grau de periculosidade dos réus, o que é determinante na opção entre conceder-lhes liberdade provisória ou determinar a sua prisão preventiva. No Estado de Winsconsin, um homem foi sentenciado a seis anos de prisão com fundamento inclusive em uma análise de risco levada a efeito por um sistema de inteligência artificial. O sistema operacional completamente secreto não possibilitou que a defesa do réu examinasse os cálculos envolvidos nessa análise de risco. Nenhuma avaliação independente da eficácia do sistema foi apresentada. Com base em que elementos o magistrado avaliou a confiabilidade do sistema? Ainda que a lógica do algoritmo fosse aberta, o magistrado médio não é programador, logo não teria sequer como avaliar a presença de erros ou vieses no sistema[12]. É impossível não lembrar de Minority Report (2002).

Além disso, um estudo realizado pela organização americana Pro Publica, verificou que os algoritmos utilizados para prever reincidência de réus criminais estava enviesado contra afro-americanos[13].

Outra situação real que ilustra bem a polêmica dos learners é o caso do chatbot Tay, lançado pela Microsoft para conversar – e “aprender” – com jovens humanos na rede social Twitter. Em menos de 24 horas, Tay se tornou racista, antissemita e misógina[14], tendo que ser desativada às pressas pela empresa.

Até que se note que há uma falha ou viés, algoritmos que funcionem errado podem gerar muitas consequências perniciosas. Como vírus, eles têm a capacidade de espalhar seus vieses preconceituosos em larga escala[15], criando, de forma não intencional, situações discriminatórias com efeitos deletérios.

Por essa razão, nos parece que ao menos os algoritmos utilizados em decisões públicas precisam ser auditados (algorithmic auditing). Essa discussão é recente e demanda aprofundamento mas, à primeira vista, parece necessário que a integridade dos dados que alimentam os algoritmos e que os seus efeitos de longo prazo (sobretudo seu impacto social) sejam examinados.

Além dessa exigência de transparência, é preciso que se crie uma política de accountability dos algoritmos, de forma a outorgar a alguém a responsabilidade pelas decisões por eles tomadas e, assim, levar a sério o dever de supervisioná-los de perto.

Essa reflexão se torna ainda mais relevante à medida que os algoritmos passam a ser progressivamente utilizados para decidir questões subjetivas. A tensão que a inteligência artificial e as decisões algorítmicas trazem para o sistema é tanta que os tecnólogos não têm capacidade de responder sozinhos a ela. É necessária uma construção de inteligência coletiva e interdisciplinar sobre o assunto.

Diante de tal cenário, aqueles que integram o campo das ciências humanas e sociais precisam resgatar o papel central que devem desempenhar no tocante às questões morais e éticas suscitadas pelas decisões computacionais. Caso contrário, regrediremos para uma sociedade marcada pelo preconceito social e dividida, como no clássico britânico de Jane Austen. Só que, no nosso caso, quem ditará as regras serão as máquinas e não a aristocracia.

Fonte https://www.jota.info/artigos/algoritmo-e-preconceito-12122017

COMPARTILHAR
VEJA TAMBÉM
ia artigo

O Uso da Inteligência Artificial (IA) para Viabilizar a Controladoria Jurídica e o Combate às Fraudes Processuais

Imagem: Pixabay

Inovação na Tomada de Decisão

Imagem: Pixabay

O Impacto do DJE na Modernização do Sistema Judiciário Brasileiro

computer-4484282_1280

Uso de sistemas low/no code para gerenciamento de rotinas jurídicas

Imagem: Pixabay

Evolução da criatividade - da teoria para a prática

artigo obs

Ausência da parte Autora e do Preposto nas Audiências Judiciais Cíveis e Juizados Especiais. Quais as diferenças e quais as consequências?

Imagem: Pixabay

Advogados contra a Tecnologia: as máquinas irão substituir os advogados?

interface-3614766_1280

Desenvolvimento responsável da IA com a nova norma ISO/IEC 42001.

EMPRESAS ALIADAS E MANTENEDORAS

Receba nossa Newsletter

Nossas novidades direto em sua caixa de entrada.