O ChatGPT segue chamando a atenção do grande público, e a ferramenta da OpenAI é hoje muito utilizada em diferentes âmbitos profissionais. Mas não podemos deixar de lembrar que esse chatbot conta com limitações que todos devem estar cientes.
Reformular textos em segundos, oferecer receitas e redigir e-mails são coisas que o ChatGPT faz muito bem. Mas a plataforma conta com limitações importantes, como ausência de fontes para a informação que oferece e a ocorrência de erros e até mesmo informações inventadas.
Essa IA pode sim revolucionar a relação laboral, mas ainda é uma mentirosa em potencial. Incluindo na área de programação, criando precedentes perigosos. Até porque o chatbot está mentindo com convicção.
Mais da metade de respostas falsas
Uma pesquisa lançou luz sobre as respostas geradas pelo ChatGPT. Quando o chatbot foi questionado sobre temas que envolvem engenharia de software, os pesquisadores se depararam com um resultado surpreendente.
Das 512 perguntas feitas, a taxa de respostas incorretas atingiu 52%, enquanto as corretas se mantiveram em 48%. Um olhar atento aos números revela um detalhe interessante: uma grande porcentagem das respostas incorretas, 77% para ser exato, era apresentada de forma detalhada e abrangente.
Esse fenômeno levanta questionamentos sobre a própria natureza das respostas geradas. Mesmo quando a precisão falha, a riqueza dos detalhes permanece, criando um verdadeiro paradoxo de conhecimento e imprecisão.
Os pesquisadores enfatizam que, apesar das respostas não confiáveis, a abordagem abrangente é uma constante, com 65% das respostas explorando todos os aspectos das perguntas.
Ou seja, o ChatGPT não só está mentindo descaradamente nas perguntas diretas, como está contando suas mentiras com enorme convicção.
Em uma análise ainda mais profunda, os especialistas buscaram a opinião de profissionais de programação com diferentes níveis de experiência. A preferência por respostas do Stack Overflow se mostrou evidente.
Entretanto, um aspecto intrigante ganhou destaque neste estudo: a habilidade dos participantes em identificar corretamente as respostas equivocadas do ChatGPT foi limitada, marcando 39,34% de taxa de erro nesse quesito.
E aqui, temos uma deficiência dos próprios profissionais, que ignoram por completo alguns aspectos do seu segmento, a ponto de não conseguirem identificar uma mentira contada pelo ChatGPT.
E isso é tão (ou mais) preocupante que um chatbot mentiroso e convicto.
O sinal de alerta está ligado
À medida que as conclusões se desenham, surge um alerta para todos os envolvidos.
A crescente popularidade do ChatGPT não deve obscurecer a preocupação inerente a sua natureza gerativa. Riscos evidentes de desinformação em massa pairam no horizonte, e é fundamental que se tome medidas para prevenir o mundo dessa ameaça.
Modelos de linguagem em larga escala como o ChatGPT têm o potencial de espalhar informações objetivamente incorretas para o coletivo. Além disso, a sua propensão a criar textos fictícios que se assemelham a informações reais representa um desafio para os usuários que buscam discernir entre fatos e ficção.
Uma sombra de desinformação paira no ar, e o cenário atual pode confundir até mesmo os usuários mais atentos. Em resposta a esse risco, o Stack Overflow tomou uma medida drástica: proibiu a publicação de respostas geradas pelo ChatGPT. Uma decisão estratégica que ecoa o debate em curso sobre a responsabilidade e os limites da inteligência artificial.