Música para meus ouvidos! Pesquisadores reconstroem música do Pink Floyd a partir da atividade cerebral

Em artigo recentemente publicado em Biologia PLoSOs pesquisadores reconstruíram uma peça musical a partir de gravações neurais usando modelagem computacional enquanto investigavam a dinâmica neural espacial que sustenta a percepção musical usando modelos de codificação e análise de ablação.

Estádio: A música pode ser reconstruída a partir da atividade do córtex auditivo humano usando modelos de decodificação não linear. Crédito da imagem: LianLeonte/Shutterstock

fundo

A música, uma experiência humana universal, ativa muitas das mesmas áreas cerebrais que a fala. Pesquisadores de neurociências acompanharam a base neural da percepção musical por muitos anos e identificaram correlatos neurais distintos de elementos musicais, incluindo timbre, melodia, harmonia, altura e ritmo. No entanto, ainda não está claro como essas redes neurais interagem para processar a complexidade da música.

“Uma coisa para mim sobre a música é que ela tem prosódia (ritmos e tons) e conteúdo emocional. À medida que o campo das interfaces cérebro-máquina avança, esta pesquisa poderá ajudar a adicionar musicalidade a futuros implantes cerebrais para pessoas com deficiência”, explica. Distúrbios neurológicos ou de desenvolvimento que afetam a fala.”

-doutor. Robert Knight, Universidade da Califórnia, Berkeley

Sobre o estudo

No estudo atual, os pesquisadores usaram a reconstrução de estímulos para examinar como o cérebro processa a música. Eles implantaram 2.668 eletrodos de eletrocorticografia (ECoG) em 29 superfícies corticais de um paciente neurocirúrgico (o cérebro) para registrar a atividade neural ou coletar dados de eletroencefalografia (iEEG) enquanto ouviam passivamente um trecho de três minutos da música do Pink Floyd: “Another Brick Na parede, parte um.

Usar a escuta passiva como método de apresentação de estímulos evita confundir o processamento neural da música com a atividade motora e a tomada de decisões.

Com base nos dados dos eletrodos 347/2668, eles reconstruíram a música, que se assemelhava muito à música original, embora com menos detalhes – por exemplo, as palavras da música reconstruída eram muito menos claras. Especificamente, eles implantaram modelos de decodificação baseados em regressão para reconstruir com precisão esse estímulo auditivo (neste caso, um trecho de música de três minutos) a partir da atividade neural.

No passado, os pesquisadores usaram métodos semelhantes para reconstruir a fala a partir da atividade cerebral; No entanto, esta é a primeira vez que tentam reconstruir a música usando tal abordagem.

O iEEG possui alta resolução temporal e excelente relação sinal-ruído. Ele fornece acesso direto à atividade de alta frequência (HFA), um indicador de atividade neural não oscilatória que reflete o processamento local de informações.

Da mesma forma, modelos não lineares de decodificação do córtex auditivo e sensório-motor forneceram a mais alta precisão de decodificação e notável capacidade de reconstruir a fala inteligível. Portanto, a equipe combinou modelos de iEEG e decodificação não linear para revelar a dinâmica neural subjacente à percepção musical.

A equipe também mediu o efeito da duração do conjunto de dados e da densidade do eletrodo na precisão da reconstrução.

Localização anatômica dos eletrodos responsivos ao canto.a) Cobertura de eletrodos para todos os 29 pacientes mostrados no modelo MNI (n=2.379). Todos os eletrodos fornecidos estão livres de qualquer atividade artificial ou epiléptica. O hemisfério esquerdo é desenhado à esquerda. (B) Localização dos eletrodos que codificam significativamente a acústica da música (N_Sábio = 347). A significância foi determinada pela precisão das previsões STRF inicializadas em mais de 250 amostras dos conjuntos de treinamento, validação e teste. A cor do marcador indica a nomenclatura anatômica determinada usando o atlas FreeSurfer, e o tamanho do marcador indica a precisão das previsões STRF (coeficiente de Pearson entre HFA real e previsto). Usamos o mesmo código de cores nos painéis e figuras a seguir. (c) Número de eletrodos significativos por região anatômica. A cor escura indica a localização do hemisfério direito. (Dr.) Precisão média de previsão de STRF para cada região anatômica. Eletrodos previamente classificados como supramarginais, outros eletrodos temporais (ou seja, diferentes de STG) e outros eletrodos frontais (ou seja, diferentes de SMC ou IFG) são agrupados, rotulados como outros e são representados em branco/cinza. Barras de erro indicam SEM. Os dados por trás deste número podem ser encontrados em https://doi.org/10.5281/zenodo.7876019. HFA, atividade de alta frequência; IFG, giro frontal inferior. MNI, Instituto Neurológico de Montreal; SEM, erro padrão da média; SMC, córtex sensório-motor. STG, giro temporal superior; STRF significa Campo Receptivo Temporal Espectral.https://doi.org/10.1371/journal.pbio.3002176.g002

resultados

Os resultados do estudo mostraram que ambos os hemisférios do cérebro estavam envolvidos no processamento musical, com o giro temporal superior (STG) no hemisfério direito desempenhando um papel mais importante na percepção musical. Além disso, embora os lobos temporal e frontal estivessem ativos durante a percepção musical, a nova sub-região STG estava sintonizada com o ritmo musical.

Dados de 347 dos quase 2.700 eletrodos ECoG ajudaram os pesquisadores a descobrir a codificação musical. Os dados mostraram que ambos os hemisférios do cérebro estavam envolvidos no processamento da música, com os eletrodos no hemisfério direito respondendo mais ativamente à música do que no hemisfério esquerdo (16,4% vs. 13,5%), uma descoberta que contrasta diretamente com a fala. Vale a pena notar que a fala provoca respostas mais importantes no hemisfério esquerdo do cérebro.

No entanto, em ambos os hemisférios, a maioria dos eléctrodos responsivos à música foram implantados numa área chamada giro temporal superior (STG), sugerindo que provavelmente desempenharam um papel crucial na percepção musical. O STG está localizado logo acima e atrás da orelha.

Além disso, os resultados do estudo mostraram que os modelos não lineares forneceram a maior precisão de decodificação, r-quadrado, de 42,9%. No entanto, adicionar eletrodos além de uma certa quantidade também reduz a precisão da decodificação; Assim, a remoção dos 43 eletrodos de ritmo corretos reduziu a precisão da decodificação.

Os eletrodos incluídos no modelo de decodificação possuíam características funcionais e anatômicas únicas, o que também afetou a precisão da decodificação do modelo.

Finalmente, em relação ao efeito da duração do conjunto de dados na precisão da decodificação, os autores observam que o modelo atingiu 80% da precisão máxima de decodificação observada em 37 segundos. Este resultado ressalta o uso de métodos de modelagem preditiva (como usados ​​neste estudo) em pequenos conjuntos de dados.

Os dados do estudo podem ter implicações para aplicações de interface cérebro-computador (BCI), por exemplo, ferramentas de comunicação para pessoas com deficiência que têm problemas de fala. Como a tecnologia BCI é relativamente nova, as interfaces disponíveis baseadas em BCI geram fala com uma qualidade robótica não natural, que pode melhorar com a incorporação de elementos musicais. Além disso, os resultados do estudo podem ser clinicamente relevantes para pacientes com distúrbios do processamento auditivo.

Conclusão

Nossos resultados confirmam e ampliam descobertas anteriores sobre a percepção musical, incluindo a dependência da percepção musical de uma rede bilateral com o lado direito. Dentro da distribuição espacial da informação musical, componentes redundantes e únicos foram distribuídos entre o GST, giro temporal médio (SMC) e giro frontal inferior (GIF) no hemisfério esquerdo e concentrados no GST no hemisfério direito, respectivamente.

Pesquisas futuras poderiam ter como objetivo expandir a cobertura dos eletrodos para outras áreas corticais, alterar características dos modelos de decodificação não linear e até mesmo adicionar uma dimensão comportamental.