No texto anterior (já leu? Se não, clica aqui) falamos um pouco sobre o que é um algoritmo e como não existe neutralidade nas decisões tomadas de forma automatizada.
Então como evitamos que decisões injustas sejam tomadas? Como podemos prever se um algoritmo pode ter consequências indesejadas?
Pra responder essas perguntas acreditamos que vale a pena pensarmos sobre o impacto que um algoritmo pode ter na vida das pessoas.
Vamos começar falando de redes sociais.
O objetivo das empresas que as criaram é fazer com que passemos o maior tempo possível vidrados na rede. Quanto mais tempo passamos em em uma rede social, mais anúncios vemos e mais dados nossos podem ser coletados (o que curtimos? Que tipo de conteúdo passamos mais tempo olhando? E por aí vai).
Essas são as principais fontes de renda de empresas como Facebook, dona também do Instagram. O que significa que o algoritmo da rede vai ser desenhado de acordo com esse objetivo: te deixar o maior tempo possível interagindo com a rede social.
Para te manter engajada, a empresa utiliza informações das suas usuárias que podem ir desde posts que a pessoa curtiu e comentou até informações pessoais, localização, idade, gênero, círculo social.
Nós não temos como saber exatamente quais de nossas informações estas redes utilizam e nem como. E isso nos preocupa.
O caso da Cambridge Analytica
A Cambridge Analytica criou um teste de personalidade aparentemente inofensivo e ofereceu o teste para usuárias do Facebook. Ao fazer isso, a empresa não só coletava as respostas do teste, como também as informações do perfil (bem como do perfil de amigos) na rede social. 50 milhões de pessoas tiveram suas informações pessoais do Facebook entregues para a Cambridge Analytica, que é na verdade uma empresa de marketing político.
Além de pegar informações de quem preencheu o teste, a empresa também teve acesso à rede de contatos dessas usuárias e usou essa massa de dados para criar perfis psicológicos que indicavam a intenção de voto de cada pessoa. O objetivo era direcionar e aumentar os votos do candidato à presidência Donald Trump. Não é possível afirmar que essa é a causa da vitória de Trump nas eleições, mas certamente foi uma ferramenta que ajudou muito.
Além da coleta e uso de dados para direcionar o comportamento das usuárias de rede sociais.
O caso dos tribunais dos EUA
Esse outro exemplo ilustra bem como ferramentas automatizadas podem ter implicações sociais danosas: Nos EUA tribunais começaram a utilizar um programa para classificar réus de maneira “automática”. Um software proprietário foi adquirido de uma empresa privada e implementado em diversos estados. Esse software prometia uma análise mais imparcial do que a feita por uma pessoa. A Pro Publica fez uma pesquisa completa sobre esse assunto que você pode ler aqui.
O resultado do uso desse software foi que pessoas negras eram consideradas mais perigosas que pessoas brancas independente do histórico criminal.
O problema de não saber como o algoritmo toma decisão
Quando falamos de software de código fechado, como os mencionados nos dois exemplos acima, estamos falando de algoritmos que desconhecemos os parâmetros. Não temos como saber exatamente o que aquele software foi desenhado para fazer.
Esse é o tipo de software utilizado pelas grandes empresas de tecnologia. Facebook, Google, Youtube, Uber não divulgam como construíram o seu software, quais informações elas utilizam e para o quê. Assim, ficamos vulneráveis à tomada de decisão dessas empresas. Não sabemos que parâmetros o Uber utiliza para calcular o valor da corrida, não sabemos como o Youtube recomenda vídeos, não sabemos como o Google rankeia o conteúdo na internet. O que fazemos é observar e confiar que essas empresas estejam sendo transparentes com suas usuárias.
Quando a construção de software é financiada pelo setor privado, a tendência é que o objetivo esteja conectado a interesses privados (lucro) e não o bem comum.
O que significa que entender esses interesses é um ponto de partida importante.
Sabemos que é importante que uma mudança sistêmica, inclusive através de regulamentações, aconteça. E sabemos também que usar as redes sociais de forma consciente é algo praticamente impossível.
Jonathan Crary ilustra isso muito bem no livro 24/7: Capitalismo Tardio e os Fins do Sono, onde diz que ““é totalmente impossível que o sujeito do dispositivo o use ‘de modo correto’”, e mostra como nossa atual sociedade usa a tecnologia para fazer com que a gente sinta que precisa estar conectado e responsivo o tempo todo. Além de fazer com que possamos consumir a qualquer hora e local, e que com o tempo passemos a nos sentir culpados até por dormir.
Ele mostra que um adulto norte-americano médio dorme agora aproximadamente seis horas e meia por noite, uma redução do patamar de oito horas da geração anterior e (por incrível que pareça) de dez horas do começo do século XX.
No texto da semana que vem falaremos sobre uma possível alternativa: os softwares de código aberto.
Até lá 🙂
tecnocríticas 