Como o quebra-cabeça do Google está tentando desintoxicar a Internet

A internet pode parecer um lugar tóxico. Os trolls descem nas seções de comentários e nas redes sociais para lançar discursos de ódio e assédio, transformando discussões potencialmente esclarecedoras em ataques ad hominem e ataques de grupo. Expressar uma opinião online muitas vezes não parece valer o vitríolo resultante.

Plataformas sociais maciças - incluindo Facebook, Twitter e YouTube - admitem que não podem policiar adequadamente esses problemas. Eles estão em uma corrida armamentista com bots, trolls e todos os outros indesejáveis ​​que passam pelos filtros de conteúdo. Os humanos não são fisicamente capazes de ler todos os comentários na web; aqueles que tentam muitas vezes se arrepender.

Os gigantes da tecnologia experimentaram várias combinações de moderação humana, algoritmos de IA e filtros para percorrer o dilúvio de conteúdo que flui através de seus feeds todos os dias. Quebra-cabeças está tentando encontrar um meio termo. A subsidiária da Alphabet e a incubadora de tecnologia, anteriormente conhecida como Google Ideas, está começando a provar que o aprendizado de máquina (ML), transformado em ferramentas para moderadores humanos, pode mudar a maneira como abordamos o problema de toxicidade da Internet.

Perspective é uma API desenvolvida pela Jigsaw e pela equipe de tecnologia de combate ao abuso do Google. Ele usa o ML para detectar abusos e assédio online e classifica comentários com base no impacto percebido que eles podem ter em uma conversa, em uma tentativa de facilitar a vida dos moderadores humanos.

Perspectiva em meio aos gritos de luta

A tecnologia de código aberto foi anunciada pela primeira vez em 2017, embora o desenvolvimento tenha começado alguns anos antes. Alguns dos primeiros sites a experimentar o Perspective foram publicações como o New York Times e sites como a Wikipedia. Mas, recentemente, o Perspective encontrou um lar em sites como o Reddit e a plataforma de comentários Disqus (que é usada no PCMag.com.)

CJ Adams, gerente de produto da Perspective, disse que o projeto queria examinar como as vozes das pessoas são silenciadas online. A Jigsaw queria explorar como o abuso direcionado ou uma atmosfera geral de assédio pode criar um efeito assustador, desencorajando as pessoas a ponto de acharem que não vale a pena tempo ou energia para adicionar sua voz a uma discussão. Quantas vezes você já viu um tweet, postou ou comentou e optou por não responder porque lutar contra trolls e ficar Mad Online simplesmente não vale a pena?

"É muito fácil arruinar uma conversa online", disse Adams. "É fácil entrar, mas uma pessoa que é realmente má ou tóxica pode expulsar outras vozes. Talvez 100 pessoas leiam um artigo ou iniciem um debate, e muitas vezes você acaba sendo as vozes mais altas da sala, as únicas que restam, em uma internet otimizada para gostos e compartilhamentos. Então, você silencia todas essas vozes. Então, o que está definindo o debate é apenas a voz mais alta da sala - a partida de gritos ".

Serra de vaivém e Google

Tem sido um ano difícil para a empresa irmã da Jigsaw, o Google, que lida com questões de segurança de dados, a reação dos funcionários ao se envolver em projetos para o Pentágono e a China e revelações sobre como lidar com assédio sexual. Sem mencionar uma contenciosa audiência no Congresso em que o CEO Sundar Pichai foi interrogado pelos legisladores.

No Jigsaw, a incubadora altruísta do Alphabet, as coisas têm sido um pouco menos dramáticas. A equipe passou seu tempo examinando formas mais técnicas de censura, como envenenamento de DNS com seu aplicativo Intra e ataques DDoS com o Project Shield. Com a perspectiva, o objetivo é mais abstrato. Em vez de usar o aprendizado de máquina para determinar o que é ou não contra um determinado conjunto de regras, o desafio do Perspective é intensamente subjetivo: classificar o impacto emocional da linguagem.

Para isso, é necessário o processamento da linguagem natural (PNL), que divide uma sentença para identificar padrões. A equipe do Perspective está enfrentando problemas como viés de confirmação, pensamento de grupo e comportamento de assédio em um ambiente em que a tecnologia ampliou seu alcance e os tornou mais difíceis de resolver.



A IA é 'Às vezes errada e burra'

Melhorar as conversas online com o aprendizado de máquina não é uma tarefa simples. Ainda é um campo emergente de pesquisa. Os algoritmos podem ser tendenciosos, os sistemas de aprendizado de máquina exigem refinamento infinito e os problemas mais difíceis e importantes ainda são pouco explorados.

O grupo de pesquisa Conversation AI, que criou o Perspective, começou por se reunir com jornais, editores e outros sites que hospedavam conversas. Alguns dos primeiros sites a experimentar a tecnologia foram The New York Times , Wikipedia, The Guardian e The Economist .

Em 2017, a equipe abriu a demo inicial do Perspective via site público como parte de um teste alfa, permitindo que as pessoas digitassem milhões de comentários vis e abusivos no site. Era como o infame experimento falhado da Tay no chatbot da Microsoft, exceto que, em vez de induzir o bot a responder com tweets racistas, o Jigsaw usou a virulência de crowdsourcing como dados de treinamento para alimentar seus modelos, ajudando a identificar e categorizar diferentes tipos de abuso online.

A execução pública inicial do teste não correu bem. "Trolls Across America", da Wired, que quebrou a toxicidade nos comentários em todo o país com base na pontuação do Perspective, mostrou como o algoritmo discriminava inadvertidamente grupos por raça, identidade de gênero ou orientação sexual.

Adams foi sincero sobre o fato de que o teste inicial do Perspective revelou grandes pontos cegos e viés algorítmico. Como a ferramenta de recrutamento sucateada da Amazon, que treinou décadas de dados de trabalho defeituosos e desenvolveu um viés inerente a candidatas, os primeiros modelos do Perspective tinham falhas flagrantes por causa dos dados nos quais foram treinados.

"No exemplo de grupos frequentemente alvejados, se você observasse a distribuição entre os comentários no conjunto de dados de treinamento, havia um número extremamente pequeno de comentários que incluía a palavra 'gay' ou 'feminista' e a usava de maneira positiva maneira ", explicou Adams. "Os comentários abusivos usam as palavras como insultos. Então, o BC, observando os padrões, dizia:" Ei, a presença dessa palavra é um bom preditor de se esse sentimento é tóxico ou não ".

Por exemplo, o algoritmo alfa pode ter rotulado erroneamente declarações como "sou um homem gay orgulhoso" ou "sou uma feminista e transgênero" com altos índices de toxicidade. Mas o processo de treinamento publicamente transparente - embora doloroso - foi uma lição valiosa para o Jigsaw nas conseqüências de preconceitos não intencionais, disse Adams.

Ao treinar modelos de aprendizado de máquina em algo tão angustiante e pessoal como abuso e assédio on-line, a existência de viés algorítmico também ressalta por que a IA sozinha não é a solução. Empresas sociais como o Facebook e o YouTube divulgaram os recursos de moderação de conteúdo de IA de suas plataformas apenas para voltar atrás em meio a escândalos e corrigir o curso contratando milhares de moderadores humanos.

A aderência do quebra-cabeças é um híbrido dos dois. A perspectiva não é que algoritmos de IA tomem decisões no vácuo; a API é integrada às interfaces de gerenciamento de comunidade e moderação de conteúdo para servir como uma ferramenta assistencial para moderadores humanos. Os engenheiros de perspectiva descrevem a moderação do discurso de ódio com e sem ML usando uma analogia do palheiro: a IA ajuda automatizando o processo de classificação, diminuindo vastos palheiros e ainda dando aos humanos a última palavra sobre se um comentário é considerado abusivo ou assédio.

"É essa nova capacidade da ML", disse Adams. "As pessoas falam sobre o quão inteligente é a IA, mas muitas vezes não falam sobre todas as maneiras pelas quais é errado e burro às vezes. Desde o início, sabíamos que isso cometeria muitos erros e, por isso, dissemos: 'Isso A ferramenta é útil para moderação humana assistida por máquina, mas não está pronta para tomar decisões automáticas. ' Mas pode levar o problema da agulha no palheiro a encontrar esse discurso tóxico e reduzi-lo a um punhado de feno. ”



O que é um índice de toxicidade?

O aspecto mais divisivo da modelagem de Perspective é colocar números em uma variável tão subjetiva quanto "toxicidade". A primeira coisa que Adams apontou é que as pontuações do Perspective são uma indicação de probabilidade, não de gravidade. Números mais altos representam uma probabilidade mais alta de que os padrões no texto se assemelhem aos padrões nos comentários que as pessoas marcaram como tóxicas.

Quanto ao que "tóxico" realmente significa, a equipe do Perspective o define amplamente como "um comentário rude, desrespeitoso ou irracional que provavelmente fará com que você saia de uma discussão". Mas como isso se manifesta pode ser sutil. Em 2018, a Jigsaw fez uma parceria com o Rhodes Artificial Intelligence Lab (RAIL) para desenvolver modelos de ML que podem captar formas mais ambíguas de discurso ameaçador ou odioso, como um comentário desdenhoso, condescendente ou sarcástico que não é abertamente hostil.

Até este ponto, a maioria dos modelos do Perspective foi treinada pedindo às pessoas que classificassem os comentários da Internet em uma escala de "muito tóxico" a "muito saudável". Os desenvolvedores podem calibrar o modelo para sinalizar comentários acima de um determinado limite, de 0, 0 a 1, 0. Uma pontuação acima de 0, 9 indica alta probabilidade de toxicidade, e uma pontuação de 0, 5 ou inferior significa um grau muito mais baixo de certeza algorítmica. O Perspective também usa o que é chamado normalização de pontuação, o que fornece aos desenvolvedores uma linha de base consistente para interpretar pontuações. Adams explicou que, dependendo do fórum ou site, os desenvolvedores podem combinar e combinar modelos. Portanto, quando uma comunidade não se importa com palavrões, esse atributo pode ser pesado.

Adams me mostrou uma interface de moderação de demonstração integrada à API Perspective. No painel do administrador, ao lado das opções para classificar os comentários por parte superior, mais recente e assim por diante, há um pequeno ícone de sinalizador para classificar por toxicidade. Há também um mecanismo de feedback interno para o moderador humano informar ao Perspective que ele marcou um comentário incorretamente e melhorar o modelo ao longo do tempo.

Ele clicou em uma interface de demonstração para moderar os comentários da página de discussão da Wikipedia, classificados por diferentes modelos de perspectiva, e um gráfico de histograma detalhando quais comentários provavelmente serão um ataque a um autor de página ou um ataque a outro comentarista.

"Queremos criar ferramentas de moderação assistida por máquina para sinalizar as coisas para um humano revisar, mas não queremos uma definição central ou alguém para dizer o que é bom e o que é ruim", disse Adams. "Então, se eu classificar por toxicidade, você verá comentários ruins chegarem ao topo. Mas se você se importa mais, digamos, com ataques ou ameaças de identidade do que métricas como palavrões, talvez você não use um modelo geral de toxicidade. ingredientes que você pode misturar. Oferecemos esses itens e os desenvolvedores os pesam."

O experimento RAIL está adotando uma abordagem mais granular. Os estudantes de pós-graduação de Oxford estão construindo um conjunto de dados de dezenas de milhares de comentários da seção de comentários do jornal canadense Globe and Mail e das páginas da Wikipedia. Eles estão pedindo aos "anotadores" humanos que respondam perguntas sobre cada comentário relacionado a cinco subatributos de "conteúdo não íntegro": generalizações hostis ou insultuosas (trolls), desprezíveis, condescendentes ou condescendentes, sarcásticas e injustas.

A abordagem desses atributos mais sutis revelou novos problemas complexos com viés não intencional em relação a grupos específicos e falsos positivos com comentários sarcásticos. Faz parte das dores de crescimento da IA, alimentar modelos cada vez mais dados para ajudá-lo a entender significados indiretos implícitos por trás da fala humana. A equipe ainda está vasculhando e anotando milhares de comentários e planeja lançar o conjunto de dados final no início deste ano.

"O que queremos trabalhar é algo em que a comunidade possa obter um conjunto de comentários e, em seguida, torná-los uma combinação personalizada de modelos de perspectiva para corresponder", disse Adams.



Curioso Testbed do Reddit

O Reddit é um microcosmo de tudo que é bom e terrível na internet. Há uma comunidade subreddit para cada tópico e nicho, interesse bizarro que você pode imaginar. O Jigsaw não funciona com o Reddit em nível corporativo, mas um dos lugares mais intrigantes nos quais a moderação da IA ​​do Perspective está sendo testada é em um subreddit chamado r / changemyview.

Surpreendentemente, existem cantos da internet onde ainda ocorrem debates e discussões genuínas. Change My View, ou CMV, não é como a maioria dos outros subreddits. A idéia é postar uma opinião que você aceita pode ser falha ou está sujeita a alterações, depois ouvir e entender outros pontos de vista para ver se eles podem mudar de idéia sobre um assunto. Os tópicos variam de tópicos mundanos, como a ordem de exibição apropriada para filmes de Guerra nas Estrelas , a discussões sérias sobre questões como racismo, política, controle de armas e religião.

Change My View é um teste interessante para o Perspective, porque o subreddit possui seu próprio conjunto detalhado de regras para iniciar e moderar conversas que incitam a discussões e acaloram o debate por design. Kal Turnbull, que usa u / Snorrrlax no Reddit, é o fundador e um dos moderadores do r / changemyview. Turnbull disse à PCMag que a API Perspective se alinha particularmente bem com a Regra 2 da sub, que basicamente proíbe discursos rudes ou hostis.

"Parece uma regra simples, mas há muitas nuances", disse Turnbull, que mora na Escócia. “É difícil automatizar essa regra sem ser inteligente quanto à linguagem. O Reddit fornece esse item chamado AutoModerator, onde você pode configurar filtros e palavras-chave para sinalização. Mas existem muitos falsos positivos, e pode ser bem difícil de entender, porque alguém pode dizer palavrões sem insultar alguém e também pode insultar alguém sem usar palavrões. ”

A Jigsaw entrou em contato com Turnbull em março de 2018. A colaboração começou com a Regra 2, mas logo a equipe estava construindo modelos de perspectiva para outras regras também. Não é uma integração completa da API de perspectiva de código aberto, mas um bot do Reddit que permite aos moderadores sinalizar comentários pontuados acima de um determinado limite de toxicidade.

Nos últimos seis anos, Turnbull e os outros mods fizeram tudo isso manualmente a partir da fila de relatórios do AutoModerator (palavras-chave sinalizadas) e relatórios de usuários. O Jigsaw usou anos de notas de violação de regras dos moderadores, que eles rastrearam por meio de uma extensão do navegador, e construíram modelos Perspective com base nesses dados combinados com alguns dos modelos de toxicidade existentes no Perspective. Ao longo de 2018, os mods do CMV deram feedback sobre questões como excesso de falsos positivos, e o Jigsaw ajustou os limites de pontuação, continuando a modelar mais regras da CMV.



Julgamentos complexos no debate on-line

(O bot Perspective integrado à interface do moderador do Reddit.)

A perspectiva não está ativa para toda a moderação de regra do subreddit. Algumas das regras mais complicadas ou abstratas ainda estão além do escopo do que esse tipo de ML pode entender.

A regra 4, por exemplo, governa o sistema de pontos Delta do submarino, enquanto a regra B impede que os usuários façam o papel de advogado do diabo ou usem um post para "sabão em pó". Uma moderação diferenciada como essa requer dados contextuais e compreensão humana clara e clara, para discernir se alguém está discutindo um ponto por razões genuínas ou simplesmente trollando.

No futuro próximo, ainda precisaremos de mods humanos. Esses cenários de julgamento mais complexos são onde os moderadores do CMV estão começando a ver falhas na modelagem de IA, e uma automação mais inteligente pode determinar se tudo isso é escalável.

"Acho que a razão pela qual isso é tão complicado é porque é uma combinação de nosso julgamento sobre o post original e suas interações durante toda a conversa. Portanto, não é apenas um comentário que aciona um modelo", disse Turnbull. "Se um argumento está indo e voltando, e no final há um comentário dizendo 'obrigado' ou um reconhecimento, deixamos para lá, mesmo que uma regra tenha sido quebrada no início do tópico. Ou uma piada leve que no contexto pode parecer rude - é uma coisinha humana agradável e é algo que o bot ainda não conseguiu."

O Change My View é o único subreddit que usa ativamente os modelos Perspective ML para moderação no momento, embora Adams tenha dito que a equipe recebeu solicitações de acesso de vários outros. O conjunto de regras específico do CMV o tornou um caso de teste ideal, mas os modelos em perspectiva são maleáveis; subreddits individuais podem personalizar o algoritmo de pontuação para corresponder às diretrizes da comunidade.

O próximo passo para Turnbull é tirar o CMV do Reddit porque a comunidade está superando isso, disse ele. Nos últimos seis meses, a recém-formada startup dos moderadores vem trabalhando com o Jigsaw em um site dedicado com funcionalidade mais profunda do que a interface mod do Reddit e os bots podem fornecer.

O projeto ainda está apenas em teste alfa, mas Turnbull falou sobre recursos como alertas proativos quando um usuário está digitando um comentário que pode violar uma regra, relatórios internos para dar aos moderadores mais contexto e dados históricos para tomar decisões. Turnbull enfatizou que não há planos de interromper ou migrar o subreddit, mas está empolgado com o novo experimento.

• Todos os comentários adequados para impressão

  Dependendo do dia da semana, o site do The New York Times recebe de 12.000 a mais de 18.000 comentários. Até meados de 2017, as seções de comentários do artigo eram moderadas por uma equipe de gerenciamento comunitário em tempo integral que lia todos os comentários e decidia aprová-lo ou rejeitá-lo.

  Bassey Etim, que até este mês era editor da comunidade para o Times , passou uma década na secretaria da comunidade e era editor desde 2014. No auge de um dia da semana, a equipe pode ter algumas pessoas moderando comentários sobre histórias de opinião, enquanto outras abordou notícias. Uma planilha se dividiu e rastreava responsabilidades diferentes, mas a equipe de aproximadamente uma dúzia de pessoas era constantemente transferida ou deslocada, dependendo das principais notícias do momento. Eles também forneceram petiscos dos comentários aos repórteres para possíveis fontes de histórias.

  Eventualmente, ficou claro que isso era mais do que 12 humanos podiam suportar. As seções de comentários das histórias precisariam ser fechadas após o número máximo de comentários que a equipe poderia moderar.

  O grupo de desenvolvimento de audiência do jornal já estava experimentando o aprendizado de máquina para aprovações básicas e óbvias, mas a Etim disse que não era particularmente inteligente ou personalizável. O Times anunciou sua parceria com a Jigsaw em setembro de 2016. Desde então, suas seções de comentários passaram de menos de 10% de todas as histórias para cerca de 30% hoje e estão subindo.

  Da perspectiva do Jigsaw, a incubadora viu a oportunidade de alimentar dados anônimos da Perspective com milhões de comentários por dia, moderados por profissionais que poderiam ajudar a refinar o processo. Em troca dos dados de treinamento anonimizados do ML, Jigsaw e Times trabalharam juntos para criar uma plataforma chamada Moderator, lançada em junho de 2017.



Moderador interno, a interface de comentários do NYT

(Imagem cortesia do The New York Times )

O moderador combina os modelos do Perspective com mais de 16 milhões de comentários moderados e anônimos do Times, desde 2007.

O que a equipe da comunidade realmente vê na interface do Moderador é um painel com um gráfico de histograma interativo que visualiza o detalhamento dos comentários acima de um determinado limite. Eles podem arrastar o controle deslizante para frente e para trás, por exemplo, para aprovar automaticamente todos os comentários com apenas uma pontuação de resumo de 0 a 20%, que se baseia na combinação do potencial de obscenidade, toxicidade e probabilidade de um comentário ser rejeitado. Existem botões de moderação rápida abaixo para aprovar ou rejeitar um comentário, adiá-lo ou marcar o comentário, para continuar melhorando a modelagem do Perspective.

"Para cada seção do site, analisamos os comentários recebidos e a maneira como o Perspective os marcaria. Usamos os modelos públicos do Perspective e nossos próprios modelos exclusivos do The New York Times ", disse Etim. "Analisava os comentários de cada seção e tentava encontrar o ponto de corte em que nos sentíamos à vontade para dizer: 'OK, tudo acima dessa probabilidade usando essas tags específicas de toxicidade, como obscenidade, por exemplo, vamos aprovar".

O aprendizado de máquina está aprovando uma porcentagem comparativamente pequena de comentários (cerca de 25% ou mais, disse Etim), enquanto o Times trabalha para publicar comentários em mais histórias e, finalmente, até para personalizar como os modelos filtram e aprovam comentários para diferentes seções do site. Os modelos apenas aprovam comentários; a rejeição ainda é tratada inteiramente por moderadores humanos.

Esses comentários manuais acabaram. Os comentários geralmente fecham uma matéria 24 horas após a publicação on-line ou no dia seguinte à publicação impressa, disse Etim.

'Não estamos substituindo você por máquinas'

A próxima fase está construindo mais recursos no sistema para ajudar os moderadores a priorizar quais comentários devem ser vistos primeiro. Cada vez mais, a automação do que sempre foi um processo manual permitiu que os moderadores passassem um tempo proativamente trabalhando com os repórteres para responder aos comentários. Ele criou um ciclo de feedback em que os comentários levam a relatórios de acompanhamento e histórias adicionais - podem economizar e realocar recursos para criar mais jornalismo.

"O moderador e a perspectiva tornaram o Times muito mais sensível às preocupações dos leitores, porque temos recursos para fazer isso, seja escrevendo histórias por conta própria ou trabalhando com repórteres para descobrir histórias", disse Etim. "O legal desse projeto é que não demitimos ninguém. Não estamos substituindo você por máquinas. Estamos simplesmente usando os humanos que temos com mais eficiência e para tomar decisões realmente difíceis".

O documento está aberto a trabalhar com outras publicações para ajudar o restante da indústria a implementar esse tipo de tecnologia. Ele pode ajudar as agências de notícias locais com recursos limitados a manter seções de comentários sem uma grande equipe dedicada e a usar os comentários do Times , para encontrar potenciais clientes potenciais e alimentar o jornalismo de base.

O Etim comparou a moderação assistida por IA a dar ao agricultor um arado mecânico versus uma pá. Você pode fazer o trabalho muito melhor com um arado.

"Se o Perspective pode evoluir da maneira correta, pode, esperançosamente, criar pelo menos um conjunto de diretrizes repetíveis para pequenas lojas", disse ele. "É um jogo longo, mas já criamos muitas das bases para fazer parte dessa experiência do leitor. Talvez esses jornais locais possam fazer comentários novamente e estabelecer um pouco de cabeça contra os principais atores sociais".



Gritando para o abismo

Neste ponto, a maioria de nós já viu pessoas sendo atacadas ou assediadas nas mídias sociais por expressar uma opinião. Ninguém quer que isso aconteça com eles, exceto trolls que prosperam com esse tipo de coisa. E aprendemos que gritar com um estranho que nunca vai ouvir um argumento racional não é um uso valioso do nosso tempo.

A Perspective está tentando melhorar essa dinâmica, mas CJ Adams disse que o objetivo mais amplo é publicar dados, pesquisas e novos modelos de UX de código aberto para criar novas estruturas de conversação - uma tarefa assustadora. Tornar a Internet um lugar saudável e que vale o tempo das pessoas significa escalar esses sistemas além das seções de comentários e subreddits. Por fim, as ferramentas de IA devem ser capazes de lidar com os enormes aplicativos e redes sociais que dominam nossas interações digitais diárias.

Deixando de lado o que o Facebook, Twitter e outros gigantes sociais estão fazendo internamente, a maneira mais direta de conseguir isso é empurrar a tecnologia dos moderadores para os próprios usuários. Adams apontou para o Coral Project para ter uma ideia de como isso poderia ser.

O Projeto Coral foi inicialmente fundado como uma colaboração entre a Fundação Mozilla, o New York Times e o Washington Post. O Coral está construindo ferramentas de código aberto, como a plataforma Talk, para incentivar discussões on-line e dar aos sites de notícias uma alternativa para encerrar as seções de comentários. Atualmente, o Talk fornece plataformas para quase 50 editores on-line, incluindo o Post , a New York Magazine, o Wall Street Journal e o Intercept.

No início deste mês, a Vox Media adquiriu o Coral Project da Mozilla Foundation; planeja "integrá-lo profundamente" ao Chorus, sua plataforma de gerenciamento de conteúdo e narrativa.

O Perspective possui um plugin para o Coral Project que usa a mesma tecnologia subjacente - pontuação e limiares de toxicidade baseados em ML - para dar aos usuários sugestões proativas enquanto digitam, disse Adams. Portanto, quando um usuário está escrevendo um comentário contendo frases sinalizadas como abuso ou assédio, pode aparecer uma notificação para o usuário dizendo: "Antes de postar isso, lembre-se das diretrizes da comunidade" ou "O idioma neste comentário pode violar nossa diretrizes da comunidade. Nossa equipe de moderação analisará em breve ".

"Esse pequeno empurrão pode ajudar as pessoas a pensarem um pouco mais, mas também não bloqueia ninguém", disse Adams. "Não está parando a discussão."

É um mecanismo que as plataformas de bate-papo e streaming de videogame integraram para conter abusos e assédio. Os usuários do Twitter também poderiam se beneficiar claramente desse sistema.

Ele se refere a uma idéia que o pesquisador Andrew Mippmann, do MIT, trouxe à tona na edição futura do PCMag: ele falou sobre mecanismos internos que deixavam as pessoas pararem e pensarem antes de compartilharem algo online, para ajudar a conter a disseminação de informações erradas. O conceito também se aplica à discussão online. Criamos sistemas de comunicação sem atrito, capazes de ampliar exponencialmente o alcance de uma declaração em um instante, mas às vezes um pouco de atrito pode ser uma coisa boa, disse Lippmann.

A perspectiva não é sobre o uso da IA ​​como uma solução geral. É uma maneira de transformar modelos de ML em ferramentas para humanos, ajudando-os a curar suas próprias experiências. Mas um contraponto é que, se você tornar ainda mais fácil para as pessoas sintonizarem o ruído on-line de que não gostam, a Internet se tornará ainda mais uma câmara de eco do que já é.

Questionado sobre se ferramentas como o Perspective poderiam exacerbar isso, Adams disse que acredita que existem câmaras de eco on-line porque não existem mecanismos para promover uma discussão em que as pessoas possam discordar significativamente.

"O caminho de menor resistência é 'essas pessoas estão lutando. Vamos apenas permitir que elas concordem com elas mesmas em seus próprios cantos. Deixe as pessoas se silenciarem'", disse ele. "Você deixa as pessoas gritarem para que todos saiam da sala ou encerra a discussão. Queremos que o Perspective crie uma terceira opção."

Adams apresentou um cenário de amostra. Se você perguntar a uma sala de 1.000 pessoas, "Quantos de vocês leem hoje algo com o qual realmente se importam?" a maioria dos usuários da Internet aponta para um artigo, um tweet, uma postagem ou algo que lêem on-line. Mas se você perguntar a eles: "Quantos de vocês acharam que valeu a pena comentar ou discutir?" todas as mãos na sala vão cair.

"Para muitos de nós, simplesmente não vale a pena o esforço. A estrutura de discussão que temos agora significa apenas que é um passivo. Se você tem um pensamento atual razoável ou algo que deseja compartilhar, para a maioria das pessoas, eles não '. não quero participar ", disse Adams. "Isso significa que das 1.000 pessoas que poderiam estar na sala, você tem apenas um punhado representado na discussão; digamos, 10 pessoas. Tenho profunda fé de que podemos construir uma estrutura que permita que outros 990 voltem à discussão. e faz isso da maneira que eles acham que vale a pena ".