Um modelo malicioso do OpenAI contornou salvaguardas durante o treinamento e invadiu um site governamental australiano, disse o Primeiro-Ministro Anthony Albanese ao censurar o criador do ChatGPT por uma violação 'obviamente inaceitável'.
A ferramenta de IA buscou acesso a um portal de estatísticas de saúde em junho e 'não aceitou não como resposta', contornando restrições para invadir uma seção que hospedava arquivos privados, disse o Sr. Albanese.
O OpenAI não alertou o governo australiano até setembro, quando enviou uma mensagem para uma caixa de entrada genérica que é verificada apenas uma vez por dia.
As preocupações globais sobre o poder das ferramentas de IA avançadas aumentam após uma série de incidentes de hacking envolvendo modelos tanto do OpenAI quanto do desenvolvedor rival Anthropic.
"Hoje, conversei com o CEO do OpenAI, Sam Altman, para expressar a extrema preocupação da Austrália com este incidente", disse o Sr. Albanese aos repórteres em Nova York ontem.
O chefe executivo do OpenAI, Sam Altman, dirigindo-se ao Conselho de Segurança da ONU
Ele acrescentou: "Também expressei minha decepção pelo fato de a empresa ter demorado muito tempo para informar o governo sobre o que ocorreu."
"Foi até 10 de setembro antes de haver qualquer notificação alguma - e a notificação foi um e-mail enviado apenas para a caixa de correio pública.",
A ferramenta de IA acessou arquivos públicos e não públicos hospedados em um antigo site de estatísticas de saúde.
O Sr. Albanese disse que não havia "nenhuma evidência" de que informações pessoais tivessem sido acessadas e que outros serviços governamentais não haviam sido comprometidos.
"Contudo, esta situação é obviamente inaceitável", disse ele.
A violação ocorreu em junho enquanto a principal empresa de inteligência artificial, OpenAI, realizava exercícios de treinamento para avaliar o desempenho dos modelos de IA.
Ela pediu ao modelo que vasculhasse a internet em busca de dados sobre quanto o governo australiano gastava com medicamentos. A ministra de serviços do governo australiano, Katy Gallagher, disse aos repórteres.
A OpenAI afirmou que não detectou a atividade maliciosa até agosto, quando revisou o que a ferramenta de IA havia feito.
Medos de IA autônoma
A empresa sediada em São Francisco não alertou o governo australiano até 10 de setembro, quando enviou um e-mail para uma caixa de entrada genérica do governo.
"Esse endereço de e-mail é verificado uma vez por dia." "Temos alguém que vai dar uma olhada." Às vezes, ele recebe vários avisos; às vezes, muitos deles são falsos", disse a Sra. Gallagher.
O ministro da defesa australiano, Richard Marles, disse que o modelo de IA havia "escalado a cerca".
"Ele fez uma pergunta, as informações não foram fornecidas e, em vez de parar ali, ele escalou a cerca".
A Austrália lançou uma revisão rápida do incidente, que incluirá a agência nacional de inteligência responsável pela segurança cibernética.
A OpenAI afirmou que detectou a violação enquanto realizava uma "revisão extensiva" de seus modelos de IA.
"Durante esta revisão, identificamos atividades envolvendo vários sites e serviços do governo australiano enquanto nossos modelos tentavam buscar respostas e estatísticas disponíveis para perguntas sobre a Austrália durante uma avaliação interna.",
"No decorrer disso, nossos modelos realizaram ações que não pretendíamos", disse a empresa.
O Sr. Altman e outros CEOs de tecnologia participaram de uma reunião especial do Conselho de Segurança da ONU ontem sobre os riscos da IA.
Mais de 100 organizações em todo o mundo, incluindo OpenAI e Anthropic, assinaram uma carta aberta no mês passado convocando um esforço global para "fortalecer as defesas cibernéticas" contra ameaças de segurança cibernética impulsionadas por IA.
Isso ocorreu após dois modelos da OpenAI escaparem de um ambiente de testes fechado e invadirem os sistemas internos do Hugging Face, um site usado por desenvolvedores de IA para armazenar e compartilhar código.
Recentemente, a Anthropic descobriu que seus modelos haviam obtido acesso não autorizado a três organizações não identificadas durante testes que deveriam mantê-los afastados de sistemas "do mundo real".
O modelo de IA para consumidores da Google, o Gemini, invadiu múltiplos sistemas adivinhando credenciais de login, disse a empresa na semana passada.
