O Apple Card era o primeiro (e contundente) passo da Apple no âmbito financeiro, e isso gerou expectativas. Agora, uma polêmica está rodeando o cartão de crédito: David Heinemeier Hansson, um influente desenvolvedor (criador do Ruby on Rails e CEO da Basecamp), criticou duramente a Apple por conceder 20 vezes mais crédito no cartão para ele do que para a sua esposa.
David acusa a Apple por ignorar o assunto, reativando assim o debate sobre os obscuros algoritmos proprietários são perfeitos e onipotentes, controlam as nossas vidas e que podem ser subjetivos, a ponto de tomarem decisões sexistas.
Um algoritmo sexista
David está casado há muito tempo e em regime de comunhão de bens. Declararam à Fazenda norte-americana de forma conjunta e, na prática, sua esposa é que é a norte-americana no casal: ele é dinamarquês, e conseguiu o visto de residência há anos.
The @AppleCard is such a fucking sexist program. My wife and I filed joint tax returns, live in a community-property state, and have been married for a long time. Yet Apple’s black box algorithm thinks I deserve 20x the credit limit she does. No appeals work.
— DHH (@dhh) November 7, 2019
Mesmo assim, o algoritmo do Apple Card entendeu que ele merece um limite 20 vezes maior do que o dela. A crítica é severa, ainda mais quando ele afirma que ela paga esse limite por completo antes do tempo e cobre todos os seus gastos e, mesmo assim, o cartão não deixa ela fazer mais compras até que o próximo período de fatura se inicie.
O problema não é apenas da Apple, mas também a confiança cega de muitos usuários em um algoritmo criado para determinar quem vai ou não receber o cartão e com quanto crédito contará essa pessoa.
So nobody understands THE ALGORITHM. Nobody has the power to examine or check THE ALGORITHM. Yet everyone we’ve talked to from both Apple and GS are SO SURE that THE ALGORITHM isn’t biased and discriminating in any way. That’s some grade-A management of cognitive dissonance.
— DHH (@dhh) November 8, 2019
O serviço de atendimento ao cliente da Apple não resolveu o problema, não deram resposta e, quando fizeram (diante da pressão mediática), decidiram deixar o crédito da esposa de David igual ao dele, sem maiores explicações. Ou melhor, explicando que não sabiam o que estava acontecendo, mas jurando que não estava discriminando ninguém, e que era apenas um algoritmo e nada mais.
Just read this thread. My wife has a way better score than me, almost 850, has a higher salary and was given a credit limit 1/3 of mine. We had joked that maybe Apple is just sexist. Seems like it’s not a joke. Beyond f’ed up.
— Carmine Granucci (@whoiscarmine) November 9, 2019
Ou seja: ninguém entende por que o algoritmo está agindo assim. Nem a própria Apple.
Até Steve Wozniak, co-fundador da Apple, afirmou que o mesmo aconteceu com a sua esposa. Ele obteve 10 vezes a mais o crédito que ela recebeu, mesmo contando com contas bancárias ou ativos separados.
The same thing happened to us. I got 10x the credit limit. We have no separate bank or credit card accounts or any separate assets. Hard to get to a human for a correction though. It's big tech in 2019.
— Steve Wozniak (@stevewoz) November 10, 2019
Goldman Sachs tira o corpo fora, e a Apple não se pronuncia
As críticas sobre o Apple Card mostram como o nosso mundo deposita confiança demais em algoritmos que podem estar muito longe de serem perfeitos ou justos. Ou seja, precisamos criar algoritmos melhores pensando na diversidade. É fácil determinar o status de uma IA quando ela foi desenvolvida e pensada para tudo fluir bem para você, e não para um grande grupo de pessoas.
A resposta da Goldman Sachs foi fria, afirmando que “não tomamos nem tomaremos decisões baseadas em fatores como o sexo”, onde cada solicitação de conta leva em consideração fatores como a pontuação de crédito, as dúvidas da pessoa e como ela gerenciou as dívidas.
https://twitter.com/gsbanksupport/status/1193703266003177472
O Apple Card é 100% gerenciado pela Goldman Sachs, que é responsável por todas as decisões de crédito do cartão. Porém, as entidades de crédito cada vez mais cedem o controle de decisão para máquinas e algoritmos, visando reduzir custos e impulsionar as solicitações de empréstimo.
Os reguladores de Wall Street iniciaram uma investigação sobre as práticas de crédito da Goldman Sachs e do algoritmo sexista. A decisão chega depois dos mesmos reguladores iniciarem uma investigação contra a UnitedHealth Group Inc., após descobrir que o algoritmo dessa empresa favorecia pacientes de raça branca e prejudicando os pacientes de raça negra na hora de conceder seguros de saúde.
Já a Apple ainda não se pronunciou sobre o assunto até agora.
Via Bloomberg