지난 6월에는 Bay K-AI 그룹은 Secure & Scalable Agents를 주제로 5회차 세미나를 성공적으로 마쳤습니다. 온·오프라인 총 약 165명의 참석자가 함께해 주셨습니다.
이번 세미나 “AI Agents Are All You Need”는 AI Agent가 단순히 모델 하나를 잘 쓰는 수준을 넘어, Agentic AI 흐름을 Hyperscale 시스템 관점과 보안 관점으로 확장하는 자리였습니다. Multi-Agent 시스템을 기반으로 실제 보안 문제를 패치하고 신뢰할 수 있는 reliable한 시스템과 막대한 데이터와 Trillion-scale 학습과 서빙을 위한 필요한 구조와 엔지니어링을 깊이 있게 다루었습니다.
본 세션에 앞서, 이번 세미나를 후원해 주신 KOTRA Silicon Valley에서 AI 및 Big Data, Physical AI, Robotics 분야와 관련된 KOTRA의 지원 활동과 향후 계획을 공유해 주셨습니다. 60년 이상 한국 기업의 글로벌 진출과 산업 교류를 지원해 온 대표 기관인 만큼, 앞으로도 실리콘밸리 현지 기술 커뮤니티와 산업 생태계를 연결하고 기술 인재 네트워킹을 돕는 다양한 장을 만들어가실 계획과 관련된 이벤트를 소개해주셨습니다.
첫 번째 메인 세션에서는 Microsoft AI의 Principal Researcher로 계시는 김동관 연사님께서 AI Agent 기반 보안 red teaming 연구와 DARPA AIxCC 참여 경험을 공유해 주셨습니다. 김동관님은 KAIST 박사 과정, Samsung Security Center, Georgia Tech 포닥, Microsoft Security Research 등에서 cellular security, cyber-physical sensor security, firmware binary analysis, AI-powered security automation을 연구해 오셨고, DEFCON finalist, CTF winner, Samsung CTF organizer로도 활동해 오신 보안 분야의 깊은 전문가입니다. 김동관 연사님은 실제 오픈소스 생태계가 마주한 AI 생성 패치의 신뢰성 문제와 이를 해결하기 위한 보안 자동화의 필요성을 짚으며 세션을 시작하셨습니다.
세션의 출발점은 최근 AI coding 시대에 보안 커뮤니티가 마주한 새로운 현상이었습니다. 최근 AI 코딩의 대중화로 오픈소스 생태계에 저품질 패치나 PR이 쏟아지며 maintainers에게 부담이 가중되는 등 새로운 보안 리스크가 떠오르고 있습니다. 이제는 단순히 “AI가 코드를 잘 짠다”는 기대를 넘어, AI가 만든 결과를 어떻게 검증하고 실제 생태계에 안전하게 기여하게 할 것인지가 중요한 과제입니다.
이러한 맥락에서 김동관 연사님은 리눅스 커널처럼 방대한 실제 코드베이스에서 취약점을 찾고 패치까지 자동 수행하는 DARPA AIxCC 대회의 의미를 설명해 주셨습니다. DARPA의 역사적인 챌린지들이 늘 산업적 흐름으로 이어졌듯, AIxCC 역시 단순한 벤치마크가 아닌 실제 보안 자동화 시스템의 고난도 테스트베드 역할을 하고 있습니다.
대회 초기에는 단일 모델에 큰 작업을 통째로 맡기는 단순한 접근이 동작하지 않아 다양한 에이전트 프레임워크와 프롬프팅 방식이 실험되었습니다. 이후 Claude Code나 Gemini CLI 같은 강력한 도구들이 등장하며 Agentic Coding 환경이 빠르게 발전했음에도 불구하고, 실제 난도 높은 보안 챌린지에서는 여전히 단일 모델에 의존하기보다 다양성(Diversity)과 앙상블(Ensembling)을 중요하게 보는 방향으로 수렴하게 되었습니다. 특히 인상적이었던 부분은 전통적인 보안 기법인 퍼징(Fuzzing)과 LLM의 결합이었습니다. 복잡한 코드베이스에서 LLM이 코드 맥락을 읽고 입력값 스키마를 구성하거나 도구를 활용해 효율적으로 버그를 찾아내는 구체적인 접근법은 매우 실용적이었습니다.
나아가 취약점 위치를 찾고(Fault Localization) 기존 기능을 깨뜨리지 않는 패치를 생성하는 핵심 작업에서는 하네스 설계와 에이전트 앙상블이 승패를 갈랐음을 알 수 있었습니다. 대회 이후에는 경험을 바탕으로 OSS-CRS와 CRS-Bench가 공개되었을 뿐만 아니라, CoTFuzz 연구가 저명한 학회(ASE)에 발표되고 DARPA로부터 추가 연구비를 받아 후속 연구가 계속 진행 중이라는 점이 공유되었습니다. 이러한 실질적인 성과를 거친 인재들이 빅테크와 AI 보안 스타트업으로 이어지며 생태계가 빠르게 커지고 있으며, 마지막으로 소개해 주신 Microsoft의 MDASH는 이러한 앙상블 시스템을 기반으로 한 고성능 보안 서비스 모델로서 AI 보안의 미래를 선명히 보여 주었습니다. 특히 최근 LLM과 Coding을 포함한 Agentic AI 성능이 너무 올라와서, Microsoft의 MDASH가 CyberGym 계열 보안 benchmark에서 높은 성능을 최근 연이어 multi-agent 기법으로 갱신하면서, 예전의 구조적으로 부여했던 방식을 한 단계 더 뛰어넘어, 보안 취약점을 찾아내는 성능이 많이 오르고 있다는 생생한 현업의 입장에서의 트렌드 공유는 아주 인상적이었습니다.
두 번째 메인 세션에서는 xAI에서 MTS로 일하시고, KAIST AI의 교수 부임 예정인 김세훈 연사님께서 Scalable, Efficient, and Reliable AI Agents: A Systems Perspective를 주제로 발표해 주셨습니다. 김세훈 교수님은 Berkeley에서 efficient AI를 연구하고, xAI에서 inference와 RL infrastructure를 경험하신 뒤, 현재 KAIST AI에서 AI systems와 agent 연구를 이어가고 계십니다. 또한 enterprise-scale AI agent solution을 다루는 Narada와 관련된 경험도 함께 공유해 주셨습니다.
세션의 시작은 Hyperscale LLM 및 Agentic AI가 왜 지금 가능해졌는지에 대한 systems 관점이었습니다. 최근 몇 년 사이 inference cost가 크게 낮아지고, reasoning, multimodality, long context, tool use가 발전하면서 AI agent가 현실적인 시스템 구성 요소로 자리 잡기 시작했습니다. 발표에서는 토큰 비용이 과거와 비교해 급격히 낮아진 점, 작은 모델부터 수십-Billion 모델까지 효율성이 개선된 점, 그리고 Jensen Huang의 “엔지니어가 상당한 양의 토큰을 써야 한다”는 관점까지 언급되며, 이제 token budget과 compute를 어떻게 설계하느냐가 agent system의 중요한 경쟁력이 되고 있음을 보여주었습니다.
김세훈 연사님은 좋은 AI agent를 만들기 위해 먼저 “좋은 모델을 어떻게 만드는가”를 시스템 관점에서 설명해 주셨습니다. 좋은 모델은 단순히 architecture 하나로 만들어지는 것이 아니라, model architecture, data recipe, evaluation, training system, inference system이 모두 함께 작동해야 만들어집니다. 특히 RL training에서는 rollout generation, reward model, trainer update가 반복되는데, 이때 rollout이 주요 bottleneck이 되는 경우가 많습니다. 이를 개선하기 위해 replay buffer를 사용해 throughput을 높이거나, inference engine에서 vLLM, SGLang 등을 활용하고, FP8이나 speculative decoding 같은 최적화를 적용할 수 있습니다.
하지만 효율을 높이는 과정에서 instability가 생길 수 있다는 점도 중요하게 다뤄졌습니다. Temporal mismatch, precision mismatch, kernel mismatch 같은 문제들은 RL system이 단순히 빠르기만 해서는 안 되고, 안정성과 재현성까지 고려해야 함을 보여줍니다. 예를 들어 deterministic kernel을 사용하면 numerical reproducibility를 보장할 수 있지만, throughput이 10~20% 줄어드는 trade-off가 생길 수 있습니다. 이처럼 AI system engineering에서는 단순히 성능을 올리는 것이 아니라, 속도, 비용, 안정성, 재현성 사이의 균형을 정교하게 맞추는 것이 중요하다는 점이 잘 드러났습니다.
이어 발표는 “좋은 모델을 어떻게 좋은 AI agent로 바꿀 것인가”라는 질문으로 넘어갔습니다. 김세훈 교수님은 agent를 perceive, process information, take action 하는 시스템으로 정의하고, web, mobile, coding environment, cars, in-the-wild environment 등 다양한 환경에서 agent가 작동할 수 있다고 설명해 주셨습니다. 하지만 실제 agent는 단순히 모델 호출을 반복하는 구조가 아니라, long-horizon task를 수행하고, symbolic grounding을 추가하며, 필요한 정보를 찾아오고, 도구를 사용하고, 실패를 복구하는 복합 시스템으로 설계되어야 한다고 소개해 주셨습니다.
특히 이러한 enterprise-scale agent에서는 long-horizon task와 grounding 관점에서, 효율적인 agent를 만들기 위한 세 가지 mechanism으로는 parallelization, speculation, caching이 소개되었습니다. Parallelization은 DAG로 나눌 수 있는 작업을 병렬로 수행해 latency를 줄이는 방식입니다. Speculation은 query가 끝나기 전에 가능한 tool call을 미리 실행하거나, 충분한 정보가 모였을 때 지능적으로 결정을 내리는 방식입니다. Caching은 반복되는 workflow를 찾아 하나의 action으로 압축해 불필요한 LLM call을 줄이는 접근으로, 일종의 JIT compilation과 유사한 관점으로 설명되었습니다.
이번 5회차 세미나는 두 세션 모두 서로 다른 영역을 다뤘지만, 공통 메시지는 분명했습니다. 2026년의 AI Agent는 더 이상 “LLM을 잘 호출하는 wrapper”가 아니라, context, tool, harness, evaluation, verification, recovery, cost, stability까지 함께 고려해야 하는 복합적인 software and systems stack으로 진화하고 있습니다. AI Security와 Hyperscale AI Systems 모두에서 중요한 것은 모델 성능 자체보다, 모델이 안전하고 반복 가능하며 검증 가능한 방식으로 작동하도록 만드는 engineering loop라는 점이었습니다.
공식 세션이 끝난 후에는 인근의 펍으로 장소를 옮겨 네트워킹 시간을 가졌습니다. 편안한 분위기 속에서 발표자분들과 참석자분들이 한데 어우러져, 미처 나누지 못한 기술적인 질문부터 현업에서의 생생한 고민까지 밤늦도록 뜨거운 교류와 대화가 이어졌습니다.
귀한 시간을 내어 깊이 있는 경험과 통찰을 나눠 주신 Microsoft 김동관 연사님과 KAIST AI 김세훈 연사님께 깊이 감사드립니다. 또한 Bay K-AI 세미나를 위해 후원해 주신 KOTRA Silicon Valley께도 감사드립니다. 바쁜 일정에도 참석하여 활발한 질문과 토론으로 세미나를 더욱 풍성하게 만들어 주신 모든 참석자분들께도 진심으로 감사드립니다. Bay K-AI는 앞으로도 최신 AI 기술과 현장의 변화를 함께 공부하고, 깊이 있는 토론과 교류를 이어갈 예정이니 많은 기대 부탁드립니다.
*Bay K-AI 그룹 소개
Bay K-AI는 실리콘 밸리를 중심으로 활동하는 Bay Area K-Group 내 전문 AI 소그룹입니다. 500명 이상의 다양한 분야 전문가들이 함께 모여 최신 AI 기술 트렌드를 깊이 있게 공유하고 논의하는 커뮤니티입니다. 현재 매주 또는 격주로 약 120명 이상의 학생, 포닥, 엔지니어, 연구자들이 모여 2026년 최신 AI 기술과 현장의 흐름을 함께 공부하고, 깊이 있는 토론을 이어가며 서로의 지식과 경험을 나누고 있습니다. Bay K-AI는 이러한 선순환과 시너지를 계속 만들어 가는 것을 목표로 합니다.
Bay K-AI 카카오톡 오픈채팅방 [링크] (AIAgents)
*리뷰 제공: Bay K-AI
