블로그

Apr 05, 2024

AI는 뇌 활동 기록을 통해 핑크 플로이드 노래 클립을 재현합니다.

인공 지능은 사람들이 노래를 듣는 동안 녹음된 뇌 활동 패턴을 기반으로 노래가 어떤 소리인지 추측할 수 있습니다. Carissa Wong 작성, 2023년 8월 15일 AI가 다음 클립을 재현했습니다.

인공지능은 사람들이 노래를 듣는 동안 기록된 뇌 활동 패턴을 기반으로 노래가 어떤 소리인지 추측할 수 있습니다.

카리사 웡

2023년 8월 15일

AI가 뇌 녹음에서 핑크 플로이드의 노래 Another Brick in the Wall, Part 1의 클립을 재현했습니다.

스미스 컬렉션/가도/알라미

인공지능이 사람들이 원곡을 듣는 동안 녹음된 뇌 활동을 분석하여 핑크 플로이드 노래의 무난한 커버를 만들었습니다. 이번 연구 결과는 우리가 소리를 인식하는 방식에 대한 이해를 더욱 심화시키고 궁극적으로 언어 장애가 있는 사람들을 위한 장치를 개선할 수 있습니다.

캘리포니아 대학교 버클리 캠퍼스의 로버트 나이트(Robert Knight)와 그의 동료들은 간질 치료를 위해 29명의 뇌 표면에 외과적으로 이식한 전극에서 녹음된 내용을 연구했습니다.

핑크 플로이드(Pink Floyd)의 Another Brick in the Wall, Part 1을 듣는 동안 참가자들의 뇌 활동이 기록되었습니다. 연구진은 뇌 신호를 노래와 비교함으로써 노래의 피치, 멜로디, 하모니 및 리듬과 강력하게 연결된 전극 하위 집합의 녹음을 식별했습니다.

광고

그런 다음 훈련 데이터에서 노래의 15초 부분을 제외하고 뇌 활동과 이러한 음악적 구성 요소 사이의 연결을 학습하도록 AI를 훈련시켰습니다. 훈련된 AI는 참가자의 뇌 신호를 기반으로 보이지 않는 노래 조각에 대한 예측을 생성했습니다. AI가 생성한 클립의 오디오 파동을 시각화한 스펙트로그램은 실제 노래 클립과 43% 유사했습니다.

다음은 스펙트로그램에서 오디오로 변환할 때 약간의 성능 저하를 겪는 AI 생성 클립과 공정한 비교를 가능하게 하기 위해 몇 가지 간단한 처리를 거친 원본 노래 클립입니다.

https://images.newscientist.com/wp-content/uploads/2023/08/14171701/audio-file-1.wav

The Daily 뉴스레터에 가입하세요

최신 과학 뉴스가 매일 받은 편지함으로 전달됩니다.

AI가 생성한 클립은 다음과 같습니다.

https://images.newscientist.com/wp-content/uploads/2023/08/14171709/audio-file-2.wav

연구자들은 노래에서 기타의 리듬을 처리하는 상측두회(superiortemporal gyrus)라는 영역 내에서 뇌의 한 영역을 확인했습니다. 그들은 또한 뇌의 오른쪽 반구에서 나오는 신호가 왼쪽 반구에서 나오는 신호보다 음악을 처리하는 데 더 중요하다는 사실을 발견하여 이전 연구 결과를 확인했습니다.

뇌가 음악을 인식하는 방식에 대한 우리의 이해를 심화함으로써 이 연구는 결국 언어 장애가 있는 사람들을 대신하여 말하는 장치를 개선하는 데 도움이 될 수 있다고 Knight는 말합니다.

"근위축성 측삭 경화증(신경계 질환)이나 실어증(언어 질환)이 있어 말하기가 어려운 사람들을 위해 우리는 누군가와 인간적인 방식으로 의사소통하는 것처럼 들리는 장치를 원합니다."라고 그는 말했습니다. 말한다. "뇌가 어조와 감정을 포함하여 말의 음악적 요소를 어떻게 표현하는지 이해하면 그러한 장치가 덜 로봇적으로 들리게 만들 수 있습니다."

뇌 임플란트의 침습적 특성으로 인해 이 절차가 비임상 용도로 사용될 가능성은 거의 없다고 Knight는 말합니다. 그러나 다른 연구자들은 최근 자기공명영상(MRI) 스캔을 사용하여 녹음된 뇌 신호에서 노래 클립을 생성하기 위해 AI를 사용했습니다.

AI가 뇌 신호를 사용하여 사람들이 단지 듣는 것이 아니라 상상하는 음악을 재구성할 수 있다면 이 접근법은 음악을 작곡하는 데에도 사용될 수 있다고 연구 팀의 일원인 캘리포니아 대학교 버클리 캠퍼스의 Ludovic Bellier는 말합니다.

더 읽어보세요:

AI는 뇌 스캔을 분석하여 사람들이 보고 있는 것에 대한 그림을 만듭니다.

기술이 발전함에 따라 뇌 활동을 사용하여 AI 기반 노래를 재구성하는 것은 재구성이 원본 음악과 얼마나 유사한지에 따라 저작권 침해에 대한 의문을 제기할 수 있다고 워싱턴 DC에 있는 법률 회사 Rothwell Figg의 Jennifer Maisel은 말합니다.