지난 3월 14일, Bay K-AI 그룹은 구글의 머신러닝 엔지니어 안을지님을 연사로 모시고 Scaling Brain Decoding using Foundation Models를 주제로 세미나를 진행했습니다.
이번 자리는 뇌과학이라는 거대한 미지의 영역을 현대 AI의 핵심 동력인 파운데이션 모델로 어떻게 해석하고 정복해 나갈 수 있는지 그 가능성을 확인하는 시간이었습니다. 특히 강연 중간중간 이어진 현직 전문가들의 날카로운 Q&A는 기술적 담론을 더욱 입체적으로 만들어 주었으며, 실무 현장의 고민이 더해져 기술의 지향점을 더욱 명확히 볼 수 있었습니다.
현재 브레인 디코딩의 기술적 지형은 상위 인지 개념을 해석하는 fMRI 기반의 방식, 뉴런의 직접적인 신호를 읽는 Spiking 등, EEG와 MEG처럼 다양한 수단을 통해 역동적으로 변화하고 있습니다. 발표에 따르면, 현재 뇌 신호 해독의 가장 큰 어려움은 데이터의 희소성과 개인 간 변동성으로 인해 모델의 일반화가 제한된다는 점입니다. Vision Language Model (VLM)을 포함한 최신 Foundation model은 대규모 사전학습을 통해 유의미한 Representation을 제공함으로써 이러한 한계를 완화하고, 제한된 데이터에서도 더 나은 일반화 성능과, 목적에 따른 효율적인 fine-tuning을 가능하게 하는 핵심적인 접근으로 주목받고 있습니다.
이러한 기술적 도전을 해결하기 위해 을지님은 Nature계열 저널 및 탑 AI 학회에서 연구되고 있는 최신 연구 방향과 아이디어를 소개하고, 특히 RAPTOR (ICML 2025 Spotlight) 연구를 통해 2D 이미지 파운데이션 모델의 능력을 3D 뇌 데이터에 이식하는 혁신적인 방법론도 발표 했습니다. 기존 방식의 한계를 넘어 3D 큐브 데이터를 각 축별 슬라이스로 투영하고 DINO Vit, LLAVA variant와 같은 강력한 인코더로 특징을 추출한 뒤 다시 3D로 재구성하는 전략은, 데이터 처리의 효율성과 정확도를 동시에 잡은 성과였습니다. 특히 일반적인 데이터를 학습한 멀티모달 파운데이션 모델이 의료 데이터 특유의 편향에서 자유로워 오히려 더 높은 성능을 보였다는 결과는, 범용 AI 기술이 뇌 과학과 같은 특수 도메인에서도 얼마나 유연하게 확장될 수 있는지를 보여주는 고무적인 사례였습니다.
세미나를 더욱 풍성하게 만든 것은 현직 종사자분들의 깊이 있는 논의였습니다. 뇌 연구의 대원칙인 비침습성 (non-invasive)을 유지하며 노이즈가 많은 신호를 어떻게 유의미하게 해석할 것인지, 그리고 뇌 신호를 0과 1의 디지털로 단순화하기 어려운 물리적 본질에 대해 활발한 토론이 오갔습니다. 8픽셀의 미세한 움직임을 포착해내는 해상도의 정의부터, 이를 확장하는 adaptive한 방법 부터, 시각과 연상되는 자극을 결합하려는 멀티모달적 접근까지 폭넓은 주제가 다뤄졌습니다.
귀한 시간 내어 혁신적인 연구 성과와 깊이 있는 통찰을 나누어 주신 안을지 연사님께 진심으로 감사드립니다. 또한, 주말에도 자리를 채워 주시고 수준 높은 질문으로 세미나의 가치를 더해 주신 모든 참석자분께도 깊은 감사를 전합니다. 모든 참여와 선한 기여에 감사드립니다.
*Bay K-AI 그룹 소개
Bay K-AI는 실리콘밸리를 중심으로 활동하는 Bay Area K-Group 내의 전문 AI 소모임입니다. 최신 AI 기술 트렌드를 심도 있게 공부하고, 현업 엔지니어 및 연구자들이 서로의 지식을 나누며 함께 성장하는 것을 목표로 합니다.
Bay K-AI 카카오톡 오픈채팅방: https://open.kakao.com/o/gOtB0Tyh (AIAgents)
세미나에 함께해 주신 모든 분들과 진행해 주신 운영진 분들께 감사드립니다.
*리뷰 제공 : Bay K-AI
