Índice:
- IA e linguagem humana
- Por que o pânico de notícias falsas da IA é exagerado
- Em defesa dos avisos da OpenAI
Vídeo: I.A. do Elon Musk & Medo das Fake News (OpenAI GPT-2) | Bit de Prosa #3 (Novembro 2024)
O laboratório de pesquisa sem fins lucrativos de IA OpenAI causou uma onda de pânico no apocalipse da IA no mês passado quando apresentou uma IA de geração de texto de última geração chamada GPT-2. Mas, embora tenha comemorado as conquistas do GPT-2, a OpenAI declarou que não divulgaria seu modelo de IA ao público, temendo que, em mãos erradas, o GPT-2 pudesse ser usado para fins maliciosos, como gerar artigos de notícias enganosos, se passando por outros on-line. e automatizar a produção de conteúdo falso nas mídias sociais.
IA e linguagem humana
Os computadores têm lutado historicamente para lidar com a linguagem humana. Existem tantas complexidades e nuances no texto escrito que converter todas elas em regras clássicas de software é praticamente impossível. Mas os recentes avanços no aprendizado profundo e nas redes neurais abriram o caminho para uma abordagem diferente para a criação de software que pode lidar com tarefas relacionadas ao idioma.
O aprendizado profundo trouxe grandes melhorias em áreas como tradução automática, resumo de texto, resposta a perguntas e geração de idioma natural. Ele permite que os engenheiros de software criem algoritmos que desenvolvem seu próprio comportamento analisando muitos exemplos. Para tarefas relacionadas ao idioma, os engenheiros alimentam as redes neurais com conteúdo digitalizado, como notícias, páginas da Wikipedia e postagens em mídias sociais. As redes neurais comparam cuidadosamente os dados e anotam como certas palavras seguem outras em seqüências recorrentes. Eles então transformam esses padrões em equações matemáticas complexas que os ajudam a resolver tarefas relacionadas ao idioma, como prever palavras ausentes em uma sequência de texto. Em geral, quanto mais dados de treinamento de qualidade você fornecer a um modelo de aprendizado profundo, melhor ele se tornará no desempenho de sua tarefa.
De acordo com a OpenAI, o GPT-2 foi treinado em 8 milhões de páginas da web e bilhões de palavras, o que é muito mais do que outros modelos similares. Ele também usa modelos avançados de IA para aplicar melhor os padrões de texto. A saída de amostra do GPT-2 mostra que o modelo consegue manter a coerência em seqüências de texto mais longas que seus predecessores.
Mas, embora o GPT-2 seja um passo à frente no campo da geração de linguagem natural, não é um avanço tecnológico para a criação de IA que possa entender o significado e o contexto do texto escrito. O GPT-2 ainda está empregando algoritmos para criar sequências de palavras que são estatisticamente semelhantes aos bilhões de trechos de texto que ele já viu anteriormente - não tem absolutamente nenhuma compreensão do que está gerando.
Em uma análise aprofundada, o Tiernan Ray do ZDNet aponta para vários casos em que as amostras de saída do GPT-2 traem sua natureza artificial com artefatos conhecidos, como duplicação de termos e falta de lógica e consistência nos fatos. "Quando o GPT-2 passa a lidar com a escrita que requer mais desenvolvimento de idéias e de lógica, as brechas se abrem bastante", observa Ray.
O aprendizado estatístico pode ajudar os computadores a gerar texto gramaticalmente correto, mas é necessário um entendimento conceitual mais profundo para manter a consistência lógica e factual. Infelizmente, esse ainda é um desafio que as misturas atuais de IA não superaram. É por isso que o GPT-2 pode gerar bons parágrafos de texto, mas provavelmente seria difícil gerar um artigo autêntico de longo prazo ou personificar alguém de uma maneira convincente e por um longo período de tempo.
Por que o pânico de notícias falsas da IA é exagerado
Outro problema com o raciocínio da OpenAI: ele assume que a IA pode criar uma crise de notícias falsas.
Em 2016, um grupo de adolescentes macedônios espalhou notícias falsas sobre a eleição presidencial dos EUA para milhões de pessoas. Ironicamente, eles nem tinham o inglês adequado; eles estavam encontrando suas histórias na web e juntando conteúdo díspar. Eles tiveram sucesso porque criaram sites que pareciam autênticos o suficiente para convencer os visitantes a confiar neles como fontes de notícias confiáveis. Manchetes sensacionais, usuários negligentes de mídia social e algoritmos de tendências fizeram o resto.
Então, em 2017, atores maliciosos desencadearam uma crise diplomática na região do Golfo Pérsico, invadindo sites de notícias estatais do Catar e contas de mídia social do governo e publicando comentários falsos em nome do Sheikh Tamim bin Hamad Al Thani, Emir do Catar.
Como mostram essas histórias, o sucesso das campanhas de notícias falsas depende do estabelecimento (e traição) da confiança, e não da geração de grandes quantidades de texto em inglês coerente.
Os avisos da OpenAI sobre como automatizar a produção de conteúdo falso para postar nas mídias sociais são mais justificados, porque a escala e o volume desempenham um papel mais importante nas redes sociais do que nos meios de comunicação tradicionais. O pressuposto é que uma IA como a GPT-2 poderá inundar a mídia social com milhões de postagens exclusivas sobre um tópico específico, influenciando algoritmos de tendências e discussões públicas.
Mas ainda assim, os avisos ficam aquém da realidade. Nos últimos anos, as empresas de mídia social têm desenvolvido continuamente recursos para detectar e bloquear comportamentos automatizados. Portanto, um ator mal-intencionado armado com uma IA geradora de texto teria que superar vários desafios além da criação de conteúdo exclusivo.
Por exemplo, eles precisariam de milhares de contas de mídia social falsas para postar seu conteúdo gerado pela IA. Ainda mais difícil, para garantir que não há como conectar as contas falsas, eles precisariam de um dispositivo e endereço IP exclusivos para cada conta.
Piora: as contas teriam que ser criadas em momentos diferentes, possivelmente ao longo de um ano ou mais, para reduzir semelhanças. No ano passado, uma investigação do New York Times mostrou que apenas as datas de criação da conta poderiam ajudar a descobrir contas de bots. Para ocultar ainda mais sua natureza automatizada de outros usuários e algoritmos de policiamento, as contas teriam que se envolver em comportamentos semelhantes aos humanos, como interagir com outros usuários e definir um tom único em suas postagens.
Nenhum desses desafios é impossível de superar, mas eles mostram que o conteúdo é apenas uma parte do esforço necessário para realizar uma campanha de notícias falsas nas mídias sociais. E, novamente, a confiança desempenha um papel importante. Alguns influenciadores de mídia social confiáveis que publicam algumas postagens falsas terão um impacto maior do que um monte de contas desconhecidas que geram grandes volumes de conteúdo.
Em defesa dos avisos da OpenAI
Os avisos exagerados do OpenAI desencadearam um ciclo de hype e pânico na mídia que, ironicamente, cercavam as próprias notícias falsas, provocando críticas de renomados especialistas em IA.
Eles convidaram o pessoal da mídia a obter acesso antecipado aos resultados, com um embargo à imprensa para que tudo fosse divulgado no mesmo dia. Nenhum pesquisador que eu conheço conseguiu ver o modelo grande, mas os jornalistas viram. Sim, eles intencionalmente explodiram.
- Matt Gardner (@nlpmattg) 19 de fevereiro de 2019
Todo novo humano pode ser potencialmente usado para gerar notícias falsas, disseminar teorias da conspiração e influenciar as pessoas.
Devemos parar de fazer bebês, então?
- Yann LeCun (@ylecun) 19 de fevereiro de 2019
Queria apenas avisar a todos, nosso laboratório encontrou uma inovação incrível no entendimento de idiomas. mas também nos preocupamos que possa cair nas mãos erradas. então decidimos descartá-lo e publicar apenas o material * ACL normal. Grande respeito pela equipe pelo excelente trabalho.
- (((? () (? () 'Yoav))))) (@yoavgo) 15 de fevereiro de 2019
Zachary Lipton, pesquisador de IA e editor da Approximately Correct, apontou a história da OpenAI de "usar o blog e dar atenção excessiva a catapultar o trabalho imaturo para a visão do público, e muitas vezes reproduzindo os aspectos de segurança humana do trabalho que ainda não possui recursos intelectuais". pernas para se apoiar ".
Embora a OpenAI mereça todas as críticas e calor que recebeu na sequência de suas observações enganosas, também é certo estar genuinamente preocupado com os possíveis usos maliciosos de sua tecnologia, mesmo que a empresa tenha usado uma maneira irresponsável de educar o público sobre ela.
- O Ano do Reconhecimento Ético da Indústria de IA O Ano do Reconhecimento Ético da Indústria de IA
- Vantagem injusta: Não espere que a IA jogue como um humano Vantagem injusta: Não espere que a IA jogue como um humano
- Esta IA prevê trolling online antes que aconteça Esta IA prevê trolling online antes que aconteça
Nos últimos anos, vimos como as tecnologias de IA tornadas públicas sem pensamento e reflexão podem ser armadas para intenções maliciosas. Um exemplo foi o FakeApp, um aplicativo de IA que pode trocar rostos em vídeos. Logo após o lançamento do FakeApp, ele foi usado para criar vídeos pornográficos falsos que apresentavam celebridades e políticos, causando preocupação com a ameaça de falsificação com IA.
A decisão da OpenAI mostra que precisamos pausar e pensar nas possíveis ramificações da tecnologia de lançamento público. E precisamos ter discussões mais ativas sobre os riscos das tecnologias de IA.
"Uma organização que pausou um projeto em particular não vai mudar nada a longo prazo. Mas a OpenAI recebe muita atenção por tudo o que faz… e acho que eles devem ser aplaudidos por dar destaque a esse assunto", David Bau, um pesquisador do Laboratório de Ciência da Computação e Inteligência Artificial (CSAIL) do MIT, disse à Slate.
