공간 지능이 온다... 엔비디아의 로봇 전략은?

안녕하세요, 앞서가는 더밀크 구독자 여러분을 위한 프리미엄 리포트 ‘위클리AI브리핑(Weekly AI Briefing)’입니다.

한 주 동안 쏟아지는 AI 뉴스 홍수 속에서 놓치지 않고 꼭 챙겨봐야 할 정보를 선별해 드립니다. 핵심 요약으로 독자분들이 시간을 아낄 수 있도록 돕고 ‘실리콘밸리+실리콘앨리’ 현장에서 빅테크, 유망 스타트업의 움직임을 취재하는 더밀크만의 인사이트를 추가했습니다. 보다 자세한 내용은 더 알아보기 링크로 확인하실 수 있습니다.

팩트 요약: LLM 에이전트 = 로봇 훈련 자동화 

1. 엔비디아는 3일(현지시각) 소스 코드 저장소 깃허브에 ‘닥터유레카(DrEureka)’라는 새로운 LLM(대규모 언어 모델) 에이전트를 공개했습니다.   

2. 닥터유레카는 시뮬레이션 환경에서 학습한 정책(policy), 즉 로봇이 어떻게 움직여야 하는지에 대한 규칙을 그대로 현실 세계에 적용할 수 있게 도와줍니다.

3. 공개된 영상에는 짐볼(운동용 공) 위에서 균형을 잡는 로봇 개(4족 보행 로봇)가 등장합니다. 시뮬레이션 환경에서 훈련한 로봇은 현실에 존재하는 횡단보도, 불규칙한 노면 위를 이동하면서도 짐볼 위에서 균형을 유지할 수 있었습니다. 

왜 중요한가: 

로봇을 현실 세계에서 활용하기 위해서는 다량의 데이터와 훈련이 필요합니다. 다양한 경우의 수를 고려해야 하기 때문입니다. 예상하지 못했던 변수가 발생하기도 합니다. 

시뮬레이션은 사례를 학습하고, 변수에 대응할 수 있도록 로봇의 뇌를 훈련하는 좋은 수단이 됩니다. 시뮬레이션으로 훈련 시간과 비용을 줄일 수 있습니다.  

문제는 시뮬레이션에서 훈련한 정책을 물리 환경에 적용할 때 사람의 반복적인 수작업이 필요하다는 점입니다. 닥터유레카는 LLM을 활용, 이 과정을 자동화합니다. 로봇 개발 및 활용의 가속화가 기대되는 이유입니다.

👉더 알아보기: 닥터유레카 논문

팩트 요약: 시각 정보 기반 AGI 나온다

1. ‘AI 대모’로 불리는 페이페이 리 스탠퍼드 대학교 교수가 AI 스타트업을 설립했습니다.  

2. 3일(현지시각) 로이터에 따르면 리 교수는 최근 자신의 스타트업을 위한 시드(seed, 초기) 투자금을 모금했고, 실리콘밸리 유명 VC(벤처캐피털) 앤드리슨 호로위츠, 캐나다 VC 래디컬 벤처스가 투자에 참여했습니다. 

3. 리 교수는 새로운 스타트업을 통해 ‘공간 지능(spatial intelligence)’을 구축할 것으로 알려졌습니다. 공간 지능이란 이미지가 3차원 환경에서 어떻게 존재하는지 추정하고, 이 예측에 따라 행동할 수 있는 AI를 의미합니다. 리 교수는 올해 TED에서 ‘공간 지능’의 개념을 발표하며 “공간지능이 로봇 학습을 촉진, 세상을 더 가깝게 만들 수 있다”고 역설했습니다. 

왜 중요한가: 

우리의 눈의 2차원으로 사물, 이미지 정보를 받아들이지만, 물리 세계에서 사물은 3차원으로 존재합니다. 우리의 뇌 속에서 우리도 모르는 사이에 2차원 시각정보를 3차원 정보로 재구성하는 작업이 이뤄지는 것이죠. 

AI 모델 개발에 있어서 멀티모달(multimodal, 다중모드)이 떠오르는 배경입니다. 문자를 넘어 2차원 정보인 이미지, 3차원 정보를 담은 동영상 데이터를 활용, 더 똑똑한 AI를 구축할 수 있습니다.  

컴퓨터 비전 등 시각 관련 AI 분야 석학인 리 교수가 개발할 공간 지능에 업계의 관심이 집중되고 있습니다. 

👉더 알아보기: 페이페이 리 GTC 2024 강연

팩트 요약: Med-Gemini, 의료 분야 AI 최고 기록

1. 구글은 4월 29일(현지시각) 의료 분야에 특화된 AI 모델 ‘메드-제미나이(Med-Gemini)’를 소개하는 논문을 발표했습니다. 

2. 구글에 따르면 메드-제미나이는 14개의 의료 벤치마크(성능 평가) 중 10개에서 새로운 최첨단 성능(SOTA, State of The Art)을 기록했습니다.  

3. 이는 기존 최고 AI 모델로 평가되던 GPT-4 모델 제품군을 넘어선 결과입니다. 특히 미국 의사 면허 시험 문제인 ‘MedQA(USMLE)’ 벤치마크에서 불확실성 기반 검색 전략을 사용, 91.1%의 높은 정확도를 기록했습니다.  

왜 중요한가: 

의료 분야는 인력 부족에 시달리고 있습니다. 풍부한 의학적 지식을 바탕으로 적절한 치료를 제공하기 위해선 탁월한 학습, 연구, 경험이 필요한데, 이런 인력을 양성하려면 오랜 시간이 걸립니다. 

생명과학을 비롯한 의료 분야에서 생성 AI에 기대를 거는 까닭이 여기에 있습니다. 메드-제미나이 모델은 의료 텍스트 요약 같은 벤치마크에서 인간 전문가를 능가하는 점수를 기록하기도 했습니다. 

예컨대 의료 텍스트 작성에 투입하는 시간을 절약해 준다면 의사들은 더 많은 환자를 돌볼 수 있게 됩니다. 구글 측은 “메드-제미나이는 멀티모달 의료 대화, 의료 연구 및 교육에 대한 유망한 잠재력을 입증했다”고 밝혔습니다.

👉더 알아보기: 구글 메드-제미나이 논문

오늘의 레터에서 다룬 세 가지 이슈에서 한발 더 나아가 더밀크만의 뷰(view)를 제공해 드리는 <이주의 인사이트>코너입니다. 

엔비디아가 AI 에이전트를 통해 얻으려 하는 것, 페이페이 리가 얘기하는 공간 지능이 왜 파급력을 지니는지, 구글의 의료 AI로 어떤 일들을 할 수 있는지 살펴보세요!

💡이주의 인사이트 Topic

①: ‘닥터유레카’로 보는 엔비디아의 전략

②: 이제는 시각! 공간 지능이 지닌 잠재력

③: 구글의 의료 AI, 어떤 일 가능케 할까

👉인사이트 확인하기