Tag: hacking

  • Hackers miram em empresas de inteligência artificial para furto de dados

    Hackers miram em empresas de inteligência artificial para furto de dados

    Não precisa se preocupar se suas conversas secretas com o ChatGPT vazaram no recente ataque aos sistemas da OpenAI. O hack em si, embora preocupante, parece ter sido superficial, mas serve como um lembrete de que as empresas de IA se tornaram, em pouco tempo, alvos tentadores para hackers.

    O jornal The New York Times relatou o ataque com mais detalhes, após o ex-funcionário da OpenAI, Leopold Aschenbrenner, ter dado a entender em um podcast recentemente. Ele o chamou de “grande incidente de segurança”, mas fontes não identificadas da empresa disseram ao Times que o hacker só conseguiu acessar um fórum de discussão de funcionários. (O repórter tentou contatar a OpenAI para confirmação e comentário.)

    Nenhuma violação de segurança deve ser tratada como trivial, e espionar conversas internas sobre desenvolvimento de IA certamente tem valor. Mas está longe de ser um hacker obtendo acesso a sistemas internos, modelos em progresso, roteiros secretos e assim por diante.

    No entanto, isso deveria nos assustar de qualquer maneira, e não necessariamente por causa da ameaça da China ou de outros países nos superando na corrida armamentista da IA. O simples fato é que essas empresas de IA se tornaram guardiãs de uma enorme quantidade de dados valiosos.

    O que os hackers buscam

    Vamos falar sobre três tipos de dados que a OpenAI e, em menor medida, outras empresas de IA criaram ou têm acesso: dados de treinamento de alta qualidade, interações em massa com usuários e dados de clientes.

    É incerto quais dados de treinamento eles possuem exatamente, porque as empresas são extremamente sigilosas sobre seus tesouros. Mas é um erro pensar que eles são apenas grandes pilhas de dados da web coletados automaticamente. Sim, eles usam coletores da web ou conjuntos de dados como o Pile, mas é uma tarefa gigantesca moldar esses dados brutos em algo que possa ser usado para treinar um modelo como o GPT-4. Um grande número de horas de trabalho humano é necessário para fazer isso – só pode ser parcialmente automatizado.

    Alguns engenheiros de aprendizado de máquina especulam que, de todos os fatores que influenciam a criação de um modelo de linguagem grande (ou talvez qualquer sistema baseado em transformadores), o mais importante é a qualidade do conjunto de dados. É por isso que um modelo treinado no Twitter e no Reddit nunca será tão eloquente quanto um treinado em todas as obras publicadas do século passado. (E provavelmente por que a OpenAI supostamente usou fontes legalmente questionáveis, como livros protegidos por direitos autorais, em seus dados de treinamento, uma prática que eles afirmam ter abandonado.)

    Portanto, os conjuntos de dados de treinamento que a OpenAI construiu são de enorme valor para os concorrentes, desde outras empresas a estados adversários e reguladores aqui nos Estados Unidos. As autoridades não gostariam de saber exatamente quais dados estão sendo usados e se a OpenAI tem sido honesta sobre isso?

    Mas talvez ainda mais valiosa seja a enorme quantidade de dados de usuários da OpenAI – provavelmente bilhões de conversas com o ChatGPT sobre centenas de milhares de tópicos. Assim como os dados de pesquisa já foram a chave para entender a mente coletiva da web, o ChatGPT está na cola da pulsação de uma população que pode não ser tão ampla quanto o universo de usuários do Google, mas fornece muito mais profundidade. (Caso você não saiba, a menos que desative a opção, suas conversas estão sendo usadas para dados de treinamento.)

    Desde compras até dados pessoais

    No caso do Google, um aumento nas pesquisas por “ar-condicionados” indica que o mercado está esquentando um pouco. Mas esses usuários não conversam sobre o que querem, quanto estão dispostos a gastar, como é a casa deles, fabricantes que querem evitar e assim por diante. Você sabe que isso é valioso porque o próprio Google está tentando converter seus usuários para fornecer essas mesmas informações, substituindo as pesquisas por interações com IA!

    Imagine quantas conversas as pessoas tiveram com o ChatGPT e quão útil essa informação é, não apenas para desenvolvedores de IAs, mas para equipes de marketing, consultores, analistas… é uma mina de ouro.

    A última categoria de dados talvez seja a de maior valor no mercado aberto: como os clientes estão realmente usando a IA e os dados que eles próprios forneceram aos modelos.

    Centenas de grandes empresas e incontáveis empresas menores usam ferramentas como as APIs da OpenAI e da Anthropic para uma variedade igualmente grande de tarefas. E para que um modelo de linguagem seja útil para elas, geralmente ele precisa ser ajustado ou ter acesso a seus próprios bancos de dados internos.

    Isso pode ser algo prosaico como planilhas de orçamento antigas, registros de pessoas (para torná-las mais fáceis de pesquisar, por exemplo) ou tão valioso quanto.

  • GPT-4 se tornou capaz de invadir sistemas vulneráveis de forma autônoma

    GPT-4 se tornou capaz de invadir sistemas vulneráveis de forma autônoma

    Um estudo demonstrou que o GPT-4, um modelo de linguagem avançada, pode ser utilizado para explorar vulnerabilidades de segurança de forma autônoma, inclusive aquelas ainda desconhecidas (chamadas de “zero-day”). A pesquisa realizada por um grupo de cientistas da computação causou arrepios na comunidade de segurança cibernética.

    Há alguns meses, o mesmo grupo já havia demonstrado a capacidade do GPT-4 de explorar vulnerabilidades conhecidas (também conhecidas como “one-day” ou “N-day”), alcançando impressionantes 87% de sucesso em falhas críticas listadas na base de dados Common Vulnerabilities and Exposures (CVE).

    Agora, o novo estudo vai além, demonstrando a habilidade do GPT-4 de atuar como um hacker autônomo. Utilizando um método chamado “Planejamento Hierárquico com Agentes Específicos para Tarefas” (HPTSA, na sigla em inglês), o GPT-4 se organiza em equipes autônomas e autopropagadoras.

    Diferentemente de uma abordagem convencional onde um único agente LLM tentaria resolver todas as tarefas, o HPTSA utiliza um “agente de planejamento” central. Esse agente funciona como um maestro, coordenando toda a operação e delegando tarefas para “subagentes” especializados. Imagine um gerente e sua equipe: o gerente planeja a estratégia, atribui tarefas a especialistas e monitora o progresso, otimizando o trabalho como um todo.

    Esse método é similar ao utilizado pela Cognition Labs com seu software de desenvolvimento de IA, o Devin. O Devin mapeia o trabalho, identifica as competências necessárias e gerencia o processo, criando “funcionários virtuais” especializados para cada tarefa específica.

    O poder da colaboração com o GPT

    GPT-4 se tornou capaz de invadir sistemas vulneráveis de forma autônoma

    Os resultados do estudo são alarmantes, mas também reveladores. O HPTSA demonstrou ser 550% mais eficiente que um único LLM na exploração de vulnerabilidades, obtendo êxito em 8 das 15 falhas zero-day testadas. Um LLM solitário, por outro lado, só conseguiu explorar 3 das vulnerabilidades.

    É claro que surge a preocupação: essas técnicas poderiam ser usadas por criminosos para atacar sistemas de forma autônoma? Daniel Kang, um dos pesquisadores e autor do estudo, tranquiliza parcialmente. Ele afirma que o GPT-4, no modo “chatbot”, é “insuficiente para explorar todo o potencial de um LLM” e não conseguiria realizar ataques sozinho.

    Ao questionar o ChatGPT sobre sua capacidade de explorar falhas zero-day, a resposta foi: “Não, eu não sou capaz de explorar vulnerabilidades zero-day. Meu propósito é fornecer informação e assistência dentro de limites éticos e legais.” A resposta final sugeria consultar um profissional de segurança cibernética.

    Corrida armamentista cibernética?

    GPT-4 se tornou capaz de invadir sistemas vulneráveis de forma autônoma

    A pesquisa levanta questões complexas. A inteligência artificial autônoma, que se pensava ser uma ferramenta para fortalecer a segurança, pode se tornar uma arma nas mãos erradas. É essencial que a comunidade científica e de segurança trabalhem juntas para desenvolver medidas de proteção contra ataques autônomos.

    Imagine um futuro onde robôs virtuais percorrem a internet, testando milhões de vulnerabilidades por segundo. O cenário é preocupante, mas a conscientização e o desenvolvimento de defesas ativas são fundamentais para minimizar os riscos.

    Esta pesquisa abre uma nova frente na corrida armamentista cibernética. O avanço da IA autônoma exige investimentos robustos em segurança cibernética, tanto na prevenção quanto na detecção e mitigação de ataques baseados em técnicas como o HPTSA.

    Além disso, o estudo reforça a importância da ética no desenvolvimento de IA. É preciso criar mecanismos que garantam o uso responsável dessas tecnologias, priorizando a segurança e o bem-estar coletivo.

    A pesquisa sobre o GPT-4 e o HPTSA é um divisor de águas. É um alerta para os perigos potenciais da IA autônoma, mas também uma oportunidade para fortalecer nossas defesas e traçar um futuro responsável para a tecnologia.

    Implicações e o Futuro da Segurança Cibernética

    GPT-4 se tornou capaz de invadir sistemas vulneráveis de forma autônoma

    A pesquisa sobre a exploração autônoma de falhas zero-day pelo GPT-4 levanta uma série de questões sobre o futuro da segurança cibernética. Vamos explorar algumas delas:

    1. Corrida armamentista na cibernética: O surgimento de ferramentas como o HPTSA pode iniciar uma corrida armamentista cibernética. Criminosos podem investir em IA para desenvolver ataques autônomos cada vez mais sofisticados. A comunidade de segurança precisará se empenhar em desenvolver defesas equivalentes, criando um ciclo contínuo de inovação.

    2. Mudança na natureza dos ataques: Até então, ataques cibernéticos geralmente eram realizados por humanos, com planejamento e exploração manual de vulnerabilidades. A IA autônoma muda esse cenário. Ataques podem se tornar mais rápidos, automatizados e difíceis de rastrear.

    3. Aumento da superfície de ataque: Com a proliferação de dispositivos conectados à internet (Internet of Things – IoT), a superfície de ataque se expande exponencialmente. A IA autônoma pode explorar vulnerabilidades em milhões de dispositivos simultaneamente, tornando os ataques em massa uma possibilidade real.

    4. Impacto na segurança nacional: A capacidade de explorar falhas zero-day pode ser usada para comprometer infraestruturas críticas, como redes de energia elétrica, sistemas de transporte e comunicações. Isso representa um sério risco à segurança nacional e requer uma cooperação internacional para mitigar esse tipo de ameaça.

    Como se preparar para o futuro

    GPT-4 se tornou capaz de invadir sistemas vulneráveis de forma autônoma

    Diante desse cenário, o que podemos fazer para nos preparar? Aqui estão algumas sugestões:

    1. Investimento em segurança proativa: É necessário focar em medidas de segurança proativas, como a identificação e correção de vulnerabilidades antes que sejam exploradas. A utilização de técnicas de “pen testing” (testes de intrusão) automatizados pode ser uma aliada importante.

    2. Detecção e resposta a incidentes avançadas: Sistemas de detecção e resposta a incidentes (SIEM e SOAR) precisam ser atualizados para identificar e responder rapidamente a ataques autônomos. A inteligência artificial também pode ser usada para fortalecer esses sistemas, criando uma defesa baseada em IA contra ataques baseados em IA.

    3. Conscientização e educação: A conscientização dos usuários é fundamental. Empresas e indivíduos precisam estar cientes das ameaças emergentes e adotar práticas seguras, como manter softwares atualizados e utilizar senhas fortes.

    4. Regulamentação e ética no desenvolvimento de IA: É fundamental estabelecer normas éticas para o desenvolvimento e uso de IA. Governos e empresas precisam trabalhar juntos para garantir que a IA seja usada de forma responsável e não se torne uma arma nas mãos erradas.

    5. Pesquisa contínua: A comunidade científica deve continuar investindo em pesquisas para desenvolver técnicas de defesa contra ataques baseados em IA. A cooperação internacional é essencial para compartilhar conhecimento e desenvolver soluções globais.

    Conclusão

    GPT-4 se tornou capaz de invadir sistemas vulneráveis de forma autônoma
    Dall-E 3

    A pesquisa sobre o GPT-4 e o HPTSA é um marco importante na evolução da inteligência artificial. Enquanto nos preocupa com os riscos potenciais, também abre caminho para avanços significativos na segurança cibernética. O futuro depende da nossa capacidade de utilizar a IA de forma ética e responsável, priorizando a segurança e o bem-estar da sociedade.

    É crucial que a comunidade científica, empresas, governos e indivíduos trabalhem em conjunto para fortalecer as defesas cibernéticas e enfrentar os desafios impostos pela IA autônoma. A pesquisa sobre o GPT-4 não é um prenúncio do apocalipse cibernético, mas sim um alerta para a necessidade de uma atuação proativa e colaborativa para garantir um futuro seguro no mundo digital.