5월 4일부터 8일까지 5일간 스페인 바르셀로나 국제 컨벤션 센터에서 개최된 ICASSP 2026에 참가했다.
이번 논문을 준비하면서 처음 ICASSP을 알게 되었는데, ICASSP은 International Conference on Acoustics, Speech, and Signal Processing의 약자로 음향, 음성, 신호처리 분야를 대표하는 세계적인 학회이다.
이름에서 알 수 있듯이 오디오와 신호처리 분야가 중심이지만, 실제로는 이미지·비디오 처리부터 IoT(Internet of Things), 원격탐사(Remote Sensing)까지 매우 다양한 연구 분야를 폭넓게 다루고 있다.
올해 ICASSP에는 약 1만 편의 논문이 제출되었으며, 이는 지난해 약 6천 편 대비 크게 증가한 수치이다.
전체 채택률은 약 40% 수준이었다.
국가별 채택 논문 수를 살펴보면 중국이 가장 큰 비중을 차지했으며, 한국도 5위로 높은 순위를 기록했다.
실제로 학회장을 돌아다녀 보면 소속 기관은 미국이나 유럽이지만 연구자가 중국인인 경우가 매우 많았다.
특히 포스터 세션에서는 체감상 발표자의 90%가 중국인이라고 느껴질 정도였다.
이번 학회에서 가장 활발하게 다뤄진 주제는 오디오-비주얼 멀티모달 학습(Audio-Visual Multimodal Learning)과 오디오 생성(Audio Generation)이었다.
최근 생성형 AI가 텍스트와 이미지를 넘어 영상까지 생성하는 단계에 이르면서, 영상과 함께 현실감 있는 오디오를 생성하는 기술의 중요성이 더욱 커지고 있는 것 같다.
대표적인 사례로 Apple은 StereoFoley를 발표했다.
이 프레임워크는 비디오 속 객체의 위치와 움직임을 인식하여 스테레오 오디오를 생성한다.
예를 들어 화면 속 물체가 왼쪽에서 오른쪽으로 이동하면, 해당 움직임에 맞춰 공간감이 반영된 사운드 효과를 자동으로 생성한다.
Sony는 Woosh라는 파운데이션 모델을 소개했다.
이 모델은 텍스트와 비디오를 입력받아 현실적인 배경음과 사운드 효과를 생성한다.
Meta는 스마트 글라스에 탑재된 마이크를 활용해 주변 환경 속에서도 사용자의 음성을 정확하게 인식하는 연구를 발표했다.
이러한 연구들을 보며 앞으로의 멀티모달 AI는 단순히 텍스트와 이미지를 이해하는 수준을 넘어, 소리까지 포함하여 현실 세계를 더욱 자연스럽게 인식하고 생성하는 방향으로 발전하고 있다는 인상을 받았다.
이번 학회에서 Meta 워크샵을 가장 재미있게 들었다.
Reality Labs의 Michael Mandel은 EMG 신호를 활용한 제스처 인식 연구를 소개했다.
현재 수행 중인 과제의 기반이 되는 연구를 진행한 연구자로부터 직접 설명을 듣고 궁금했던 점을 질문할 수 있어 매우 뜻깊은 시간이었다.
사실 처음에는 멀리서 보고 주커버그인 줄 알고 놀라기도 했다.
워크숍이 끝난 뒤에는 Meta에서 준비한 굿즈도 받을 수 있었다.
부스에서는 스마트 글라스도 직접 체험해 보았다.
학회장처럼 사람이 많고 소음이 많은 환경에서도 음성 인식 성능이 매우 안정적이어서 인상적이었다.
다만 생각보다 무게감이 있었다.
학회장을 돌아다니며 흥미로웠던 점은 오디오를 분석할 때 음향 신호뿐만 아니라 다양한 생체 신호를 함께 활용하는 연구가 많았다는 것이다.
대표적인 예로 EEG(뇌파)를 활용한 연구가 있었다.
사람들이 동시에 대화하는 환경에서는 여러 목소리가 섞여 들리지만 실제로는 특정 화자의 음성에 집중하게 되는데, 이를 칵테일파티 효과(Cocktail Party Effect) 라고 한다.
연구자들은 EEG 신호를 분석하여 사용자가 현재 어떤 화자의 음성에 집중하고 있는지를 추정하고, 해당 화자의 음성만 증폭한 뒤 나머지 소음을 제거하는 기술을 연구하고 있었다.
이러한 기술은 향후 스마트 보청기나 웨어러블 이어폰에 적용될 가능성이 높아 보였다.
EMG(근전도) 신호를 활용한 연구도 활발했다.
얼굴과 목 주변 근육의 움직임을 측정하여 사용자의 감정을 인식하거나 발화자를 식별하는 연구들이 소개되었다.
특히 인상 깊었던 것은 Silent Speech Interface 연구였다.
안구 움직임(EOG)과 안면 근육의 움직임(EMG)을 활용하여 실제로 소리를 내지 않고도 사용자가 전달하려는 내용을 텍스트나 음성으로 변환하는 기술이다.
향후에는 주변 사람에게 들리지 않게 기기를 조작하거나, 발성에 어려움을 겪는 사용자를 지원하는 인터페이스로 활용될 수 있을 것으로 보였다.
다음은 대망의 포스터 세션이다.
이번에 발표한 AROMMA는 단일 분자와 혼합물을 공통 임베딩 공간으로 투영하여, 주어진 분자 조합에서 어떤 향이 발현될지를 예측하는 프레임워크다.
논문을 제출할 때 AI4Science 분야의 연구로서 학회의 스코프와 잘 맞을지 걱정이 있었다.
하지만 리뷰어들은 만장일치로 적합하다는 의견을 주었고, 최종적으로 신호처리와 머신러닝을 결합한 트랙에 채택되었다.
신호처리를 주제로하는 포스터들처럼 많은 인파가 몰리지는 않았지만, 오히려 연구 주제 자체가 생소하고 흥미롭다며 찾아와 주셨다.
Human Perception이 무엇인지, 어떻게 향기 데이터가 표현되는지, 모델 구조는 왜 그렇게 설계했는지 등에 대한 질문을 받으며 이야기를 나눌 수 있었다.
특히 도메인이 다른 연구자들에게 직접 연구를 설명하고, 그들이 어떤 관점에서 연구를 바라보는지 들을 수 있었다는 점에서 더욱 의미 있는 경험이었다.
이번 학회에서 가장 인상깊었던 장면 중 하나는 영상 속 텍스트와 이미지 정보만을 활용해 오디오를 생성하는 연구였다.
Amazon에서 근무 중인 연구자가 해당 연구에 큰 관심을 보였고, 나와 직접 관련된 연구 주제는 아니었지만 옆에서 대화를 들으며 자연스럽게 관심을 갖게 되었다.
그는 독립 영화나 게임 제작 과정에서 효과음을 생성하는 데 매우 필요한 기술이라며 관련 연구 과제가 있는지 질문했고, 이후 펀딩 논의를 위해 연락처를 남기고 갔다.
이 장면을 보며 학회가 단순히 연구 결과를 발표하는 자리가 아니라 연구의 가치를 알리고 새로운 협업 기회를 만드는 중요한 공간이라는 점을 느낄 수 있었다.
ICASSP 2026 참가는 연구적으로도, 개인적으로도 매우 의미 있는 경험이었다.
세계 각국의 연구자들이 어떤 문제를 고민하고 있는지 직접 확인할 수 있었고, 최신 연구 동향을 현장에서 접할 수 있었다.
무엇보다 연구 결과를 발표하고 다양한 사람들과 의견을 나누면서 연구에 대한 동기부여를 크게 얻을 수 있었다.
혼자 학회에 참여했었는데, 앞으로도 좋은 연구를 수행하여 연구실 구성원들과 함께 국제 학회에 참가할 수 있기를 기대한다.
