O surgimento de LLMs de código aberto com capacidades de interação com sistemas operacionais ajuda na crescente popularidade das plataformas de Inteligência Artificial (IA) open source de forma mais geral.
O cenário de democratização do acesso às IAs, impulsionada pelo movimento open source, não se limita a modelos de linguagem, mas abrange uma gama de ferramentas com potencial de automatizar tarefas complexas e interagir com o ambiente digital de forma profunda.
A natureza open source dessas IAs fomenta a inovação rápida, a colaboração global e a transparência. Desenvolvedores de todo o mundo podem contribuir para o aprimoramento dessas tecnologias, criando novas aplicações e soluções para problemas diversos.
No entanto, essa mesma abertura traz consigo riscos para a segurança dos usuários. A capacidade de interação com sistemas operacionais eleva o potencial de dano em caso de uso malicioso.
Isso, somado às vulnerabilidades identificadas em diversas plataformas de IA open source que foram recentemente detectadas, cria um ambiente propício para a proliferação de ciberataques.
A facilidade de acesso, antes vista como vantagem, agora se torna uma via de mão dupla, permitindo que indivíduos mal-intencionados explorem essas ferramentas para fins ilícitos.
As vulnerabilidades são críticas
Foram detectadas recentemente mais de 30 vulnerabilidades em plataformas de IA open source, incluindo a execução remota de código, roubo de dados sensíveis e falhas críticas com altas pontuações CVSS.
São brechas que podem ser exploradas por cibercriminosos para obter acesso não autorizado a sistemas, roubar informações confidenciais e causar danos significativos aos usuários e sistemas informáticos inteiros.
Além das vulnerabilidades no próprio código, a capacidade das IAs de interagir com sistemas e softwares amplia a superfície de ataque.
Isso significa que, mesmo que o código da IA esteja seguro, sua interação com outros sistemas pode criar novas vulnerabilidades.
Uma IA com permissões elevadas em um sistema operaconal pode ser usada para modificar configurações de segurança ou instalar malware, mesmo que a própria IA não possua falhas em seu código base.
Imagine uma IA open source que, ao ser integrada a um sistema de e-mails, ganha a capacidade de ler, enviar e deletar mensagens.
Uma vulnerabilidade que permita a execução remota de código nessa IA pode deixar a brecha para que um atacante assumisse o controle total da conta de e-mail da vítima, usando a conta enviar spam, phishing ou até mesmo acessar outros sistemas conectados a ela.
É um cenário de caos que devemos considerar a partir de agora, já que várias de nossas plataformas cotidianas utilizam recursos de Inteligência Artificial.
O “ciberestelionato sofisticado”
Existe uma real preocupação com o uso das IAs open source para ciberestelionato. Plataformas como Auto-GPT, AgentGPT e GodMode podem ser usadas para criar ataques de phishing altamente personalizados e automatizar a engenharia social.
Todas essas soluções podem gerar textos realistas, desenvolver deepfakes e automatizar ataques em larga escala.
A combinação dessas capacidades resulta em uma ameaça sem precedentes. As IAs podem analisar grandes volumes de dados disponíveis online para criar perfis detalhados das vítimas, identificando seus interesses, relacionamentos e vulnerabilidades.
Com base nessas informações, as plataformas de IA podem gerar mensagens de phishing altamente convincentes e personalizadas, aumentando drasticamente as chances de sucesso do golpe.
Além disso, a automação permite que esses ataques sejam realizados em uma escala muito maior do que seria possível com métodos tradicionais.
A capacidade de criar deepfakes adiciona uma camada extra de sofisticação aos ataques. Um cibercriminoso pode, por exemplo, usar a voz clonada de um familiar ou colega de trabalho da vítima para solicitar informações confidenciais ou transferências de dinheiro.
A engenharia social, que já era uma técnica eficaz em golpes por e-mail e aplicativos de mensagens instantâneas, fica ainda mais poderosa quando combinada com a capacidade das IAs de manter conversas naturais e persuasivas, explorando as emoções e a confiança da vítima.
O desafio da segurança contínua
A falta de suporte e manutenção adequados em muitos projetos de IA open source é algo que precisa ser contornado e resolvido com certa urgência.
Sem uma equipe dedicada a monitorar, corrigir vulnerabilidades e atualizar o sistema, essas IAs podem se tornar alvos fáceis para ataques.
Isso é agravado pela natureza dinâmica das ameaças cibernéticas, que exigem atualizações constantes das defesas.
Em contraste, sistemas de IA proprietários, como os desenvolvidos por grandes empresas de tecnologia, geralmente possuem equipes de segurança dedicadas e processos rigorosos de desenvolvimento e manutenção.
Embora isso não garanta imunidade a ataques, certamente proporciona um nível de segurança mais robusto aos grandes chatbots do que projetos open source que dependem da boa vontade de voluntários.
A falta de governança clara em muitos projetos open source contribui para esse problema. Sem uma estrutura definida para a tomada de decisões, a responsabilidade pela segurança pode se diluir, levando à negligência e à falta de responsabilização em caso de incidentes.
O debate sobre a regulação
O debate em torno da regulação das IAs open source existe, mas em vários países ele trava nos mais diferentes interesses e entendimentos obtusos.
A coalizão entre Meta e IBM, por exemplo, defende um modelo aberto que promova a inovação. Por outro lado, empresas como a OpenAI alertam para os riscos dessa abordagem, defendendo um controle mais rigoroso.
Encontrar o equilíbrio certo entre inovação e segurança é um desafio complexo, que envolve o debate e a participação de todos os envolvidos no desenvolvimento do setor.
Uma regulação excessivamente rígida pode sufocar a inovação e limitar os benefícios das IAs open source. Por outro lado, a ausência de qualquer tipo de regulação pode levar a um cenário caótico, onde os riscos superam os benefícios.
Uma possível solução seria a adoção de modelos híbridos, que combinem a abertura do código com mecanismos de governança e padrões de segurança.
Isso poderia envolver a criação de certificações de segurança para IAs open source, a implementação de processos de revisão de código por pares e o desenvolvimento de diretrizes éticas para o desenvolvimento e uso dessas tecnologias.
Sem falar nas implicações éticas e sociais do uso das IAs open source, já que todas as empresas que estão nesse setor conta com uma teórica capacidade tecnológica para influenciar comportamentos e disseminar desinformação.
A capacidade das IAs de gerar conteúdo realista e personalizado pode ser usada para manipular a opinião pública, disseminar notícias falsas e criar campanhas de desinformação em larga escala.
Isso representa uma ameaça não apenas à segurança individual, mas também à estabilidade social e política de nações inteiras.
E não estou sendo alarmista neste aspecto: tal manipulação de narrativa do coletivo já começou, com impactos diretos em nossa sociedade.
O desenvolvimento e o uso de IAs open source precisam ser guiados por princípios éticos sólidos, com transparência sobre as capacidades e limitações dessas tecnologias, a responsabilidade pelo seu impacto e a consideração cuidadosa das implicações sociais de seu uso.
O futuro da IA open source
É um potencial transformador, mas precisamos ter uma boa dose de cautela.
O futuro dessas tecnologias depende da capacidade da comunidade de desenvolvedores, dos formuladores de políticas e dos usuários de trabalharem juntos para mitigar os riscos e maximizar os benefícios.
As diferentes partes interessadas, incluindo governos, empresas, pesquisadores e a sociedade civil, precisam se debruçar sobre o tema à sério para encontrar soluções que contemplem minimamente a todos.
A educação e a conscientização dos usuários sobre os riscos e as melhores práticas de segurança digital são fundamentais.
Os usuários precisam ser capacitados para identificar e se proteger contra ataques baseados em IA, o que inclui ser crítico em relação à informação que consomem online e adotar medidas proativas para proteger seus dados e dispositivos.
A ascensão das IAs open source representa uma nova era na tecnologia, com o potencial de democratizar o acesso a ferramentas poderosas e impulsionar a inovação em diversos campos.
O que não isenta a existência de riscos, pois as vulnerabilidades existem. E a capacidade de interação da IA com o software cria um cenário que requer uma maior atenção.
Fonte: https://arxiv.org/ftp/arxiv/papers/2305/2305.06972.pdf