A inteligência artificial é o domínio da linguagem. Devemos confiar no que ele diz?

“Acho que isso nos permite ser mais atenciosos e reflexivos sobre questões de segurança”, diz Altman. “Parte da nossa estratégia é: a mudança incremental no mundo é melhor do que a mudança repentina.” Ou, como disse a vice-presidente da OpenAI, Mira Moratti, quando perguntei a ela sobre o trabalho da equipe de segurança restringindo o acesso aberto ao software: “Se vamos aprender a implantar essas tecnologias poderosas, vamos começar quando os riscos são muito baixos .”

Enquanto o próprio GPT-3 Rodando em 285.000 núcleos de CPU em um cluster de supercomputadores em Iowa, o OpenAI opera na área de Mission de São Francisco, em uma fábrica de bagagens reformada. Em novembro do ano passado, encontrei Ilya Sotskefer lá, tentando obter uma explicação de um leigo sobre como o GPT-3 realmente funciona.

“Essa é a ideia básica do GPT-3”, disse Sotskever atentamente, inclinando-se para frente em sua cadeira. Ele tem uma maneira interessante de responder a perguntas: alguns falsos começos – “Posso lhe dar uma descrição que corresponde aproximadamente à descrição que você pediu” – interrompidos por longas pausas meditativas, como se ele estivesse mapeando toda a resposta em andamento.

Ele finalmente disse: “A ideia básica do GPT-3 é uma forma de relacionar uma noção intuitiva de compreensão a algo que pode ser medido e entendido mecanicamente, e essa é a tarefa de prever a próxima palavra no texto. Outras formas de inteligência artificial tentam codificar informações sobre o mundo: as estratégias de xadrez dos grandes mestres, os princípios da climatologia. Mas inteligência GPT-3, se inteligência é a palavra para isso, vem de baixo para cima: através do verbo elementar para prever a próxima palavra. Para o treinamento GPT-3, o modelo recebe um “prompt” – algumas frases ou parágrafos de texto de um artigo de jornal, por exemplo, ou um romance ou artigo científico – e, em seguida, pede-se que sugira uma lista de possíveis palavras que ele pode completar a sequência, ordenada por probabilidade. Nos estágios iniciais do treinamento, as palavras propostas não fazem sentido. Pergunte ao algoritmo com uma frase como “O escritor apagou a última palavra da primeira palavra . . . ”” e as suposições seriam uma espécie de fluxo de bobagens: lista – a palavra ausente correta aparece: “parágrafo”. fortalece e enfraquece todas as conexões neurais aleatórias que geram essa sugestão específica Todas as conexões que geraram suposições incorretas. Em seguida, ele se move para o próximo roteador. Com o tempo, com iterações suficientes, o programa aprende.

Em janeiro, a OpenAI adicionou um recurso que permite aos usuários fornecer instruções diretas do GPT-3 como um prompt, em vez de apenas exigir que eles estendam um segmento de texto de amostra. Por exemplo, usando o modo Ajuda, o GPT-3 recebeu uma vez o prompt: “Escreva um ensaio discutindo o papel da metaficção na obra de Italo Calvino”. Um breve parágrafo que começou assim:

O autor italiano Italo Calvino é considerado um especialista em metaficção, tipo de escrita em que o autor quebra a quarta parede para discutir o próprio ato de escrever. Para Calvino, a metaficção é uma maneira de explorar a natureza da realidade e as maneiras pelas quais as histórias podem moldar nossas percepções do mundo. Seus romances geralmente incluem estruturas lúdicas e labirintos que manipulam as fronteiras entre realidade e fantasia. No caso em que o viajante está em uma noite de inverno, por exemplo, o leitor é constantemente interrompido por discussões no meta-nível do ato de ler e da natureza da narrativa. . . .

Você pode dar ao GPT-3 exatamente o mesmo prompt, repetidas vezes, e cada vez ele gerará uma resposta única, algumas mais persuasivas que outras, mas quase todas notavelmente diretas. Os avisos indicativos podem assumir todos os tipos de formas: “Dê-me uma lista de todos os ingredientes do molho à bolonhesa”, “Escreva um poema sobre uma vila costeira francesa no estilo John Ashbery”, “Explique o Big Bang na linguagem que um Às vezes, nos primeiros estímulos GPT-3 desse tipo, senti arrepios reais percorrendo minha espinha. Parecia quase impossível para uma máquina gerar um texto tão claro e responsivo inteiramente baseado no treinamento inicial para prever a próxima palavra.

Mas a IA tem um longo histórico de criar a ilusão de inteligência ou compreensão sem realmente entregar as mercadorias. no papel muito discutido Publicado no ano passado, a professora de linguística da Universidade de Washington Emily Bender, o ex-pesquisador do Google Timnit Gebru e um grupo de coautores declararam que grandes modelos de linguagem eram apenas ‘papagaios aleatórios’: ou seja, o programa estava usando randomização apenas para remixar frases escritas por humanos. . Bender recentemente me disse por e-mail: “O que mudou não foi um passo acima de um certo limite em direção à ‘inteligência artificial’. conjuntos de dados’ — bem como cultura A tecnologia que “as pessoas que constroem e vendem essas coisas podem ter” está longe de construí-la com base em dados imprecisos.”