추론

메타가 차세대 AI 칩 ‘MTIA(Meta Training and Inference Accelerator, 메타 학습 및 추론 가속기)’ 최신 버전을 공개했다. 전날 구글과 인텔이 각각 새로운 AI 반도체를 공개한 가운데, 빅테크와 반도체 업체 간의 칩 개발 경쟁이 가열되는 양상이다. 메타는 10일(현지시각) 회사 블로그를 통해 AI 작업용으로 설계된 맞춤형 차세대 MTIA 칩의 사진과 자세한 제원을 공개했다. 2023년 5월 1세대 제품인 MTIA v1을 공개한 지 1년여 만의 신제품이다. 메타에 따르면 새로운 MTIA 칩은 전 세대 제품 대비 컴퓨팅 및 메모리 대역폭이 두 배 이상 커졌다. 메타가 개발한 고품질의 추천 광고 및 순위 모델을 효율적으로 구동할 수 있도록 설계됐다는 점이 특징이다. 내부 테스트 결과 차세대 MTIA는 1세대 모델 대비 4개 AI 모델에서 3배 나은 성능을 기록했다. 메모리 반도체로는 디램(DRAM)을 수직으로 여러 개 쌓은 HBM(고대역폭 메모리)가 아닌 SRAM이 사용됐으며 전 세대 칩 대비 SRAM 용량이 두 배로 늘었다. SRAM과 함께 LPDDR5 디램 용량도 두 배로 확장한 칩이다. TSMC의 7나노(10억분의 1미터, 반도체 회로 선폭을 지칭) 공정으로 생산됐으며 최대 72개의 가속기를 담을 수 있는 대형 랙(rack) 기반 시스템도 함께 개발했다. 여러 개의 가속기를 하나의 가속기처럼 묶어 더 강력한 연산 성능을 제공하기 위한 설계다. 메타 관계자는 “MTIA는 AI 인프라에 대한 메타의 투자 확대의 일환”이라며 “미래 AI 인프라를 보완해 서비스 전반에 걸쳐 새롭고 더 나은 경험을 제공하겠다”고 밝혔다. 

데이터 관리 및 AI 솔루션 기업 데이터브릭스가 현존 최고 성능의 새로운 오픈소스 대형 언어 모델(LLM) ‘DBRX’를 출시했다. 표준 벤치마크(성능 평가)에서 메타가 개발한 ‘라마2(Llama 2)’를 포함한 모든 오픈 소스 모델을 능가했다는 게 데이터브릭스 측 설명이다. 상업적 사용이 가능한 고성능, 고효율, 무료 AI 모델이라는 점에서 업계의 관심이 집중되고 있다.

뷰스레터 구독자 여러분 안녕하세요, 박원익입니다. 오늘은 미국 캘리포니아주 산호세에서 열린 엔비디아의 연례 기술 콘퍼런스 ‘GTC 2024’ 소식 2탄으로 전해드립니다. 3월 18일부터 나흘간 열린 GTC 2024는 온오프라인으로 약 30만 명이 등록, 역대 최대 규모로 진행됐습니다. 900개 세션, 300여 개 기업이 참여한 전시, 20개 넘는 기술 워크숍과 다양한 네트워킹 이벤트로 현장 열기가 뜨거웠습니다. 개인적으로도 매우 보람 있고 뜻깊었던 일정이었습니다. GTC 2024에 참석한 분들의 생각과 경험을 공유한 ‘K-나이트’ 행사를 개최했고, 젠슨 황 CEO 기자간담회 현장에 참여, 엔비디아의 방향성도 확인할 수 있었습니다. 이번 GTC 2024를 관통한 핵심 화두는 ‘챗GPT 이후 무엇이 등장할까(what’s next)’였습니다. 앞으로 떠오를 생성 AI 기술·산업 트렌드에 따라 삶의 풍경이 빠르게 바뀔 것이기 때문입니다. AI 반도체 등 핵심 산업도 크게 요동칠 수 있습니다.AI 최전선에 있는 과학자, 전문가들의 머릿속엔 무엇이 있을까요?

브래드 라이트캡 오픈AI 최고운영책임자(COO)는 19일(현지시각) 미국 캘리포니아주 산호세 컨벤션 센터에서 열린 엔비디아의 연례 기술 컨퍼런스 GTC 2024 ‘생성 AI의 미래’ 세션에서 “AI 시스템 확장으로 여러 기능이 놀랍게 발전할 것”이라며 이같이 말했다. 생성 AI 기술의 발전 속도, 고객의 반응에 미뤄볼 때 앞으로 더 큰 혁신이 이어질 것이란 관측이다. 오픈AI가 2022년 11월 30일 선보인 AI 챗봇 ‘챗GPT’는 기업 고객용 제품이 아니었으나 많은 기업의 관심으로 2023년 8월 기업 버전(ChatGPT Enterprise)이 출시됐다. 최근에는 더 적극적으로 기업용 제품을 지원하고 있다는 게 라이트캡 COO의 설명이다.그는 “포춘지 선정 500대 기업 중 90% 이상이 챗GPT를 사용하고 있다”며 “실제 고객 대상 설문조사를 통해 기업용 제품이 기업 고객에 매우 적합하다는 것을 확인했다”고 말했다. 라이트캡 COO는 이어 “더 놀라운 건 수직적인 사용 사례(use case) 혹은 애플리케이션을 구축할 필요가 없었다는 점”이라며 “(직무에 관계없이) 챗GPT는 재무팀 직원, HR 담당자 등을 데이터 과학자로 변신시킬 수 있다”고 강조했다. 그는 “오픈AI는 현재 AI 모델에 여전히 존재하는 결함을 해결하는 일, AI 모델이 일을 잘할 수 있도록 맥락(context) 조정하는 일을 하고 있다”며 “AI 모델 성능 개선에 따라 결함은 점차 사라질 것”이라고 했다. JP모건, 드롭박스를 거쳐 와이콤비네이터에서 투자자로 활동했던 브래드 라이트캡은 샘 알트만 오픈AI CEO의 최측근 중 하나로 평가받는다. 블룸버그는 최근 그를 오픈AI의 ‘비밀병기(secret weapon)’라고 묘사하기도 했다. 라이트캡 COO와 마누비르 다스 엔비디아 엔터프라이즈 컴퓨팅 부문 VP의 대담을 통해 오픈AI가 바라보는 생성 AI 산업의 미래, 오픈AI의 미래 전략을 살펴봤다.

안녕하세요, 앞서가는 더밀크 구독자 여러분을 위한 프리미엄 리포트 ‘위클리AI브리핑(Weekly AI Briefing)’입니다.  한 주 동안 쏟아지는 AI 뉴스 홍수 속에서 놓치지 않고 꼭 챙겨봐야 할 정보를 선별해 드립니다. 핵심 요약으로 독자분들이 시간을 아낄 수 있도록 돕고 ‘실리콘밸리+실리콘앨리’ 현장에서 취재하는 더밀크만의 인사이트를 추가했습니다. 보다 깊이 있는 내용은 더 알아보기 링크로 확인하실 수 있습니다. 그럼 출발해 볼까요?