메타 라마3는 오픈 소스일까요? 팩트를 체크해 보면 답은 ‘아니오’에 가깝습니다. “공개적으로 설계에 접근할 수 있어 누구나 해당 기술을 수정하고 공유할 수 있다”는 오픈 소스의 정의에 해당하지 않기 때문입니다. 결정적으로 라마3는 소스 코드가 공개돼 있지 않습니다. 소스 코드가 공개돼 있느냐, AI 모델을 훈련한 데이터가 공개돼 있느냐, AI 모델의 특성 및 성능을 결정하는 가중치(weights)가 공개돼 있느냐 등 세부 항목을 따져서 ‘개방성’ 정도를 평가하는 차트가 등장할 정도로 ‘개방성’은 AI 업계의 중요 이슈가 되고 있습니다.
마크 저커버그 메타 CEO는 19일 IT 전문 팟캐스트 채널 ‘드와르케시’에 출연해 “라마3 405B를 현재 훈련하고 있다. 훈련 단계에서 이미 MMLU(대규모 다중작업 언어 이해) 85%를 기록했다”며 이같이 밝혔다. 라마3 405B는 AI 모델의 규모를 비교하는 기준 중 하나인 매개변수(parameters)가 4050억 개인 모델이다. 메타는 전날 차세대 개방형 AI 모델인 라마3 모델 중 매개변수 80억 개(8B) 버전, 700억 개(70B) 버전 두 가지를 먼저 공개했다. AI 업계에서는 “메타 라마가 AI 모델의 판도를 바꾸고 있다”는 평가가 나왔다. 강력한 성능의 개방형 AI 모델인 라마3가 AI 기술 및 산업 트렌드에 어떤 영향을 미치게 될지 3가지 시사점을 중심으로 살펴봤다.
메타가 메타버스를 활용하기 위해 교육 분야 진출을 시도하고 있습니다. 지난 15일(현지시간) 메타는 올해 하반기 교육용 가상현실 헤드셋 퀘스트 소프트웨어를 출시할 계획이라고 밝혔습니다. 학교 등에서 VR 헤드셋을 더 쉽게 활용하면서 기존 게임과 엔터테인먼트 분야에 머물렀던 메타버스 영역을 더욱 확장하면서 헤드셋 활용도를 높이겠다는 건데요. 지난해 '메타 퀘스트 포 비즈니스'가 직장 환경을 위해 만들어진 것처럼, '메타 퀘스트 포 에듀케이션'을 내놓을 것으로 예상됩니다. 메타는 교사와 강사, 관리자 등 교육 관계자들이 교육전용 앱에 접근해 여러 대의 퀘스트 기기를 동시에 관리할 수 있을 것이라고 밝혔는데요. 이 신제품은 전 세계 교육계 교육자, 연구원, 제3자 개발사와의 자문과 협력으로 만들어졌습니다. 궁극적 목적은 학생들이 현실에서는 불가능한 곳을 방문하고 경험할 수 있게 하는 건데요. 학생들에게 공룡에 대해 말로 설명하는 대신, 직접 공룡 사이를 걸어다니거나, 구입이 어려운 장비로 가상 과학 실험실을 구축할 수도 있습니다. 박물관을 원격으로 견학하거나, 위험하거나 비용이 많이 드는 기술, 직업 훈련에도 활용할 수 있을 것이라고 메타는 전망했습니다. 이미 여러 대학과 기관에서 교과과정에 VR 기술을 도입하는 트렌드가 이어지고 있는데요. 메타에 따르면 뉴멕시코주립대는 가상 범죄현장에 학생들을 투입, 수사 방법을 교육하고 있고, 스탠퍼드대는 가상현실로 어려운 대화법, 면접 기술 등 소프트스킬을 교육하고 있습니다. 글래스고대학에서는 가상으로 인체 장기 속을 보여주면서 신체가 박테리아와 싸우는 과정을 보여주는 등 다양하게 활용되고 있습니다. 👉 VR 학습 효과 있다 vs "비용 부담... 활용 어려울 것" 메타의 이런 전략 변화는 애플의 비전프로 등장과 함께 메타버스 영역을 더욱 확대하려는데 있습니다. 퀘스트의 판매가 게임이나 엔터테인먼트 영역에 머물러있다보니 급진적인 모멘텀을 가져가는데 어려움을 겪고 있기 때문인데요. 교육 전용 플랫폼을 활용해 VR 기술 도입을 확대하겠다는 겁니다. CNN은 "교사와 학생들을 위해 VR 접근성을 높이려는 노력은 메타버스에 대한 메타의 장기적인 계획의 일환"이라며 "메타는 멀지 않은 미래에 사람들이 가상현실 헤드셋을 통해 일하고 배우며 디지털 세계와 상호작용하는 시간이 늘어날 것으로 내다보고 있다"고 분석했습니다. 가상현실이 학생들의 학습 개선에 정말 유용한지는 확실치 않습니다. 연구에 따라 결과도 극명하게 갈리는데요. 메타는 VR 학습이 성적, 참여도, 출석률, 만족도를 높인다고 주장합니다. 메타는 모어하우스 대학의 사례를 인용, "지난 2022년 이 대학의 VR 학습자의 평균 최종시험 점수가 대면 학습자보다 85점 대 78점으로 높았다"고 밝혔습니다. XR협회 조사에서는 77%의 교육자가 이 기술이 호기심을 자극하고 수업 참여를 높인다고 답했습니다.반면 교육계에서는 우려의 목소리도 나옵니다. 빈센트 콴 교육 연구원은 CNN과의 인터뷰에서 "기술은 많은 약속을 할 수 있지만, 동시에 과대포장일 수도 있기 때문에 엄격히 평가하는 것이 중요하다"고 말했습니다. 비용 문제도 있습니다. 학교에서 VR 헤드셋 도입 비용이 저렴하지 않기 때문인데요. 가장 저렴하다는 메타 퀘스트 3는 개당 499달러입니다. 이 때문에 교육계에서는 "새로운 기술이 이론상 평등한 기회를 제공하는 것처럼 보이지만, 인프라 자원이 부족할 경우 불평등이 더 커질 수 있다"고 입을 모으고 있는데요. 장기적으로는 가치가 클 수 있지만, 당장 도입할 수 있는 비용이 문제라는 지적들이 나오고 있습니다.
대규모 언어모델(LLM)은 역사의 산물이다. 오픈AI의 챗GPT 발표는 AI의 언어 추론 능력과 생성 능력이 인간 수준으로 진화했음을 보여주며 주요 기술로 빠르게 정착했다. 지난 2022년 11월 공개된 오픈AI의 챗GPT는 2024년 현재 월별 방문자 16억, 고정사용자가 1억8000명에 이른다. 전세계 인구의 3분의 1 이상이 사용하는 기술로 정착했다. 제한된 정보를 바탕으로 내용을 유추하는 추론과 인간과 유사한 수준의 매끄러운 문장 생성 능력이 서비스의 대중화를 이끈 주된 요인으로 평가 받는다. 발전 속도는 매우 빠르다. GPT4가 나온지 1년 됐지만 그 사이 구글 제미나이, 클로드 등의 경쟁 모델이 나왔고 메타는 오픈소스 LLM '라마'로 빠르게 시장을 장악하고 있다. 초기 언어 모델의 문제는 주어진 데이터 입력(input)으로 문맥의 의미를 이해할 수 없다는 점이었다. 언어 이해의 핵심은 현재 데이터 입력이 이미 학습된 사회적 의미 및 주어진 전체 데 이터의 선후 관계에 기반한 문맥적 정의를 이해하는 데 있다. 이를 해결한 것이 구글의 트랜스포머 아키텍처다. 하지만 2024년 4월을 넘어서며 LLM 기반의 모델은 기존 자연어 처리에서 멀티모달 모델(Multimodal, 다중모드)로 진화하고, 텍스트를 넘어 오디오, 비디오 등으로 확장되고 있다. 기업들은 훈련 방식에 있어 모델 개발의 차별화, 실제 최적화된 이용 사례에 맞는 모델 선택을 요구 받는다. 특히 각 기업은 한번 생성AI를 도입하면 돌이킬 수 없다는 '불가역적' 선택이라는 점에서 무엇을 어떻게 도입해야 할지 고민이 깊어진다.
2013년 초 미국 실리콘밸리. 안익진 구글 엔지니어, 박세혁 오라클 엔지니어는 스타트업 창업을 목표로 새로운 앱을 설계하고 있었다.게임 회사가 모바일 게임을 배포하기에 앞서 스마트폰에서 제대로 작동하는지 테스트 해주는 ‘테스팅 앱’ 사업을 구상한 것이다. 당시만 해도 안드로이드 운영체제(OS)를 기반으로 한 다양한 스마트폰이 존재했고, 칩, 화면 크기 등 제원이 각양각색이라 오류가 빈번했다. 한데 예상치 못했던 걸림돌이 튀어나왔다. 여러 스마트폰 기기를 인터넷 클라우드 기반으로 연결해 진행하는 테스트의 특성 때문에 네트워크 지연 현상이 발생했다. 사용자가 게임 내 캐릭터를 조작하면 실시간으로 반응해야 하는데, 한 박자씩 늦어 제대로 게임을 테스트할 수 없게 됐다.
메타가 차세대 AI 칩 ‘MTIA(Meta Training and Inference Accelerator, 메타 학습 및 추론 가속기)’ 최신 버전을 공개했다. 전날 구글과 인텔이 각각 새로운 AI 반도체를 공개한 가운데, 빅테크와 반도체 업체 간의 칩 개발 경쟁이 가열되는 양상이다. 메타는 10일(현지시각) 회사 블로그를 통해 AI 작업용으로 설계된 맞춤형 차세대 MTIA 칩의 사진과 자세한 제원을 공개했다. 2023년 5월 1세대 제품인 MTIA v1을 공개한 지 1년여 만의 신제품이다. 메타에 따르면 새로운 MTIA 칩은 전 세대 제품 대비 컴퓨팅 및 메모리 대역폭이 두 배 이상 커졌다. 메타가 개발한 고품질의 추천 광고 및 순위 모델을 효율적으로 구동할 수 있도록 설계됐다는 점이 특징이다. 내부 테스트 결과 차세대 MTIA는 1세대 모델 대비 4개 AI 모델에서 3배 나은 성능을 기록했다. 메모리 반도체로는 디램(DRAM)을 수직으로 여러 개 쌓은 HBM(고대역폭 메모리)가 아닌 SRAM이 사용됐으며 전 세대 칩 대비 SRAM 용량이 두 배로 늘었다. SRAM과 함께 LPDDR5 디램 용량도 두 배로 확장한 칩이다. TSMC의 7나노(10억분의 1미터, 반도체 회로 선폭을 지칭) 공정으로 생산됐으며 최대 72개의 가속기를 담을 수 있는 대형 랙(rack) 기반 시스템도 함께 개발했다. 여러 개의 가속기를 하나의 가속기처럼 묶어 더 강력한 연산 성능을 제공하기 위한 설계다. 메타 관계자는 “MTIA는 AI 인프라에 대한 메타의 투자 확대의 일환”이라며 “미래 AI 인프라를 보완해 서비스 전반에 걸쳐 새롭고 더 나은 경험을 제공하겠다”고 밝혔다.
구글이 자사 클라우드 제품에 생성인공지능(Generative AI) 기능을 대거 도입했다. 클라우드 제품에 대형언어모델(LLM) ‘제미나이(Gemini)’를 전면 적용했다. 코드작성 보조도구 ‘제미나이코드어시스트’, AI 앱 최적화 프로그램 ‘제미나이클라우드어시스트’ 등이 그 예다.‘구글 분산형 클라우드(Google Distributed Cloud, GDC)’이라는 큰 체제 하에 소버린 클라우드(Google Sovereign Clouds), 크로스 클라우드(Cross-Cloud) 등을 제시하며 각 고객사가 각자 사정에 맞게 ‘맞춤화’할 수 있는 기능을 강조한 게 특징이다. 여기에 더해 인프라 단에는 엔비디아의 블랙웰 등을 도입, 생성AI 클라우드 제품에서 기술적 우위도 강조했다. 구글은 지난 2월 개인대상(B2C) 서비스 주력 제품이었던 제미나이가 부정확한 역사적 이미지 생성으로 논란을 겪은 바 있다. 이번 발표에서 기업별 맞춤형 생성AI 기능을 강화한 클라우드 제품을 강조하며 기업대상(B2B) 서비스로 돌파구를 마련하겠다는 의지로 풀이된다. 제미나이가 소비자용 시장에선 고전하고 있지만, ‘기업용 시장에선 다르다’는 게 토마스 쿠리안 구글 클라우드 대표의 말이다.
메타가 이미지, 오디오, 비디오를 포함한 AI 생성 콘텐츠에 대한 ‘라벨 표시(Labeling, 꼬리표 달기)’를 본격화한다. AI 기술로 만들어 낸 이미지, 영상, 목소리가 실제와 구별이 어려울 정도로 정교해짐에 따라 혼동을 줄이기 위한 조치다. 메타는 5일 회사 블로그를 통해 “감독위원회(oversight board)의 의견에 따라 페이스북, 인스타그램, 스레드(threads)에 게시되는 조작된 콘텐츠를 처리하는 방식을 변경하고 있다”며 “5월부터 AI가 생성한 콘텐츠에 ‘AI로 제작됨(Made with AI)’ 라벨을 붙이기 시작할 예정”이라고 밝혔다.
안녕하세요 구독자 여러분, 오픈해 주셔서 감사합니다. 바야흐로 AI 패권 전쟁 시대입니다. 마이크로소프트(MS)와 오픈AI가 1000억달러(약 135조원) 규모의 초대형 슈퍼컴퓨터 및 데이터센터 개발 프로젝트인 '스타게이트'를 추진하고 있다는 소식은 패권 전쟁의 규모를 짐작케 합니다. 135조원이라뇨. 기존 클라우드 기반 데이터 센터 건설 비용의 100배입니다. 샘 알트만은 오픈AI의 새 반도체 프로젝트를 위해 무려 7조달러를 조달하려 한다는 보도가 나오기도 했습니다. MS와 오픈AI는 135조원을 확보, 어디에 쓸까요? 서비스 뿐 아니라 반도체, 데이터, 에너지를 확보하는데 '올인'할 것이며 이 분야에 미래 비즈니스가 있을 것입니다. 이 전쟁의 핵심이 AI 반도체로 흐르고 있습니다. AI가 미래 비즈니스의 근간이 되는 기술이 되면서 생성AI 서비스를 만드는데 필수재인 AI칩 구하기에 혈안이 되고 있습니다. 오픈AI, 마이크로소프트, 구글, 메타, 삼성 등 내로라 하는 개별 기업 뿐만 아닙니다. 미국, 중국, 일본, 유럽연합(EU) 등도 AI 반도체 부품을 만들고 패키징(조립)하는 공장을 짓는 기업에 앞다퉈 보조금을 뿌립니다. 기업전에서 국가대항전으로 번지고 있죠. AI가 기업간 대결이 아닌 국가간 패권 전쟁인 이유입니다. <더밀크 주요 기사>알고리즘, 사랑과 관계를 바꾼다... 앱은 필수, 만남은 선택(영문)Technology Has Turned New York Dating Into 'Perfectionism'아마존의 실패. 무인 매장 핵심 '저스트워크아웃' 포기 왜?테슬라, 인도에 생산 거점 확보...수요와 생산 부진 벗어날 묘수될까?창업가가 미국에 있는 이유: 작은 우연이 큰 결과 만든다AI 칩에 이어 품귀 현상을 보이는 게 또 있습니다. 생성AI 서비스의 기반이 되는 대형언어모델(LLM) 등을 훈련하려면 엔진 격인 AI 가속기와 함께 방대한 양의 훈련 데이터가 필요합니다. 언어모델은 인간의 언어, 행동, 관습 등을 모방하는 구조이기 때문에 많은, 정제된 훈련 데이터를 넣어야 AI가 더 똑똑해질 수 있습니다.