DEEPFAKE

영화 ‘솜 레퀴엠(Somme Requiem)’은 1914년 제1차세계대전 크리스마스 휴전 당시 눈보라에 갇힌 군인들의 이야기를 다룬다. 마일스(MYLES)스튜디오가 만든 이 2분30초 길이의 영화는 생성AI 영상 제작 프로그램 런웨이(Runway)가 제작에 활용됐다. 런웨이로 초벌영상을 제작하고 인간이 시나리오와 음악, 영상 편집 작업을 하는 방식이다. 생성AI로 영상 제작 환경이 급변하고 있다. 현재 시장은 런웨이, 피카랩스 등이 이미 서비스를 제공하고 있고, 높은 영상 퀄리티로 화제가 된 오픈AI의 소라(Sora)는 연내 정식 출시를 예고했다. 구글 클라우드도 최근 AI 동영상 제작 솔루션 비즈(Vids)를 내놓는 등 시장은 커지고 있다. 영상 제작 환경이 인간과 생성AI가 협업하는 하이브리드 체제로 변할 것이라는 전망이 나온다. 단순 프롬프트(명령어)만으로 높은 퀄리티의 영상을 생성하는 AI 제작 프로그램의 기술적 완성도가 높아지는 가운데, 인간의 역할은 전체 시나리오 기획, 영상 추출, 수정, 편집 업무로 옮겨갈 것이란 분석이다. 딥페이크 영상 등에 대한 우려를 불식하려는 서비스에서도 역할을 찾을 수 있다.

메타가 이미지, 오디오, 비디오를 포함한 AI 생성 콘텐츠에 대한 ‘라벨 표시(Labeling, 꼬리표 달기)’를 본격화한다. AI 기술로 만들어 낸 이미지, 영상, 목소리가 실제와 구별이 어려울 정도로 정교해짐에 따라 혼동을 줄이기 위한 조치다.  메타는 5일 회사 블로그를 통해 “감독위원회(oversight board)의 의견에 따라 페이스북, 인스타그램, 스레드(threads)에 게시되는 조작된 콘텐츠를 처리하는 방식을 변경하고 있다”며 “5월부터 AI가 생성한 콘텐츠에 ‘AI로 제작됨(Made with AI)’ 라벨을 붙이기 시작할 예정”이라고 밝혔다. 

최근 생성인공지능(Generative AI) 허들에 대한 논의가 활발해졌다. AI개발 속도를 둘러싼 오픈AI 이사회와 샘 알트만 공동창업자 간 내부 갈등이 드러난 데다, 실제 AI가 비즈니스와 일상의 많은 부분을 자동화하며 인간의 일자리를 위협하거나 가짜정보 확산에 이용되고 있는 탓이다. 이 AI 부작용들을 완화하는 방법을 두고 누가, 누구에게, 어떤 조치를 해야 할지에 대한 논의가 활발하다. 더밀크는 어떻게 사회적 합의를 이룰 수 있는지 가늠하기 위해 구독자 설문조사와 글로벌 AI 업계 전문가들을 인터뷰했다. 다수 더밀크 구독자∙AI업계 리더는 AI로 인해 지식노동자의 대량 실직과 변화가 불가피하다는 데 의견을 모았다. 이 디지털 격차를 대비하기 위해 누가 누구를 어떻게 제재하고 자원을 배분하는지에 대한 질문이 남는다. 더밀크 설문조사는 2023년 12월 3일부터 2023년 12월 26일간 한국어로 진행됐으며 78명의 구독자가 응답했다. 응답자 중 41.6%는 기술 분야에, 19.5%는 콘텐츠(미디어, 음악, 영상, 디자인 등) 분야에, 18.2%는 금융/투자 분야에 근무한다. 46세~55세 이하 응답자 비율이 28.6%로 가장 높았으며 26~35세 이하가 26%, 36세~45세 이하 22.1%, 56~65세 이하가 18.2%였다. 응답자 중 남성은 76.3%, 여성이 23.7%다. 👉 더밀크 구독자380명은 미디어가 AI를 적극 활용해 초격차를 만들어야 한다고 말했다.이와 함께 구글에서 광고 부문을 이끌었던 스리드하르 라마스와미(Sridhar Ramaswamy) 스노우플레이크 수석부사장(SVP)∙그레이그록파트너스 벤처파트너, 샌프란시스코 내 최대 AI 커뮤니티인 라마라운지(llama Lounge)AI를 이끄는 제레미아 오양 블리츠스케일링벤처스 파트너, 벤 바자린(Ben Bajarin) 크리에이티브스트레터지스 최고경영자(CEO)∙수석애널리스트, 한국의 MZ 투자자로 알려진 장원준(Zoon Chang) 슈미트 벤처캐피털리스트 등 국내외 전문가가 더밀크와의 인터뷰에 참여했다.

생성 인공지능(AI)이 글로벌 일자리 지형을 바꾸고 있다. AI로 업무가 자동화되고 효율성이 높아지면서 더 이상 필요가 없어지는 직업이 생기고 있는 것. 이에 일자리를 위협받는 근로자와 업무 생산성을 높이려는 기업 간 갈등도 커지는 추세다. 할리우드 콘텐츠 제작진의 파업은 대표적 사례다. 그럼 생성AI는 인간의 일자리를 위협하기 때문에 막아야 할까? 복수 연구에서는 생성AI로 새로이 직업이 생길 수 있다고 본다. 대표적인 분야가 의료, 공학, 친환경에너지 등이다. 다만 전환 과정에서 발생하는 단기적으로 실직하는 근로자들을 위한 재교육, 지원 프로그램을 만들어야 한다는 주문도 나온다.

메타 플랫폼, 알파벳, 마이크로소프트와 같은 빅테크 기업들이 지난 몇 달 동안 수천 명의 직원을 해소하면서 비용 줄이기에 나섰는데요. 오히려 비용이 늘어난 부분이 있습니다. 바로 인공지능(AI) 분야입니다. 지난해 생성AI 등장으로 촉발한 AI경쟁이 치열하게 전개되면서 다른 분야는 줄여도 인공지능 도구를 구축하고, 상용화할 수 있는 역량을 확보하기 위해 서버나 다른 기술 인프라에 대한 지출을 늘리고 있습니다. 디인포메이션은 지난 1일(현지시간) 빅테크 기업들의 자본지출(CAPEX), 즉 미래의 이윤 창출을 위해 지출한 비용을 조사했는데요. 메타의 1분기 자본 지출은 71억달러를 기록했습니다. 1년 전보다 28%나 증가한 수치입니다. 또 MS의 자본 지출은 1년 전보다 24% 증가한 78억달러를 기록했습니다. 다만 구글의 모회사 알파벳의 자본 지출은 오히려 36% 감소한 63억달러를 기록했는데요. 루스 포랏 최고재무책임자는 "2분기부터 자본지출을 늘릴 것"이라면서 "올해 자본지출이 지난해보다 높을 것"이라고 밝혔습니다.👉 메타 AI부문 자본지출, 알파벳 웃돌아 기업들의 이 같은 지출은 인간이 쓰는 것 같은 글쓰기와 복잡한 이미지와 비디오, 그리고 그리고 컴퓨터 코드를 생성하는 제너레이티브AI 도구를 제품과 서비스에 통합하는 방법을 찾기 위해 경쟁하고 있기 때문입니다. 이를 위해서는 가격이 비싼 특수칩을 사용해야 하는 것은 물론, 고성능 컴퓨터를 필요로 하기 때문에 비용이 늘어날 수밖에 없는 건데요. 알파벳의 2018년 보고서에 따르면 지난 몇 년 동안 AI작업을 처리하기 위해 서버에 자본을 쏟아부었던 것으로 알려졌습니다. 특히 메타를 주목할만한데요. 메타의 1분기 자본지출은 알파벳의 절반도 안 되는 매출을 기록했음에도 불구하고, 알파벳의 자본지출을 뛰어넘었습니다. 메타는 가상현실과 증강현실을 아우르는 메타버스 개발과 광고 도구에 모두 AI를 활용하고 있습니다. 메타의 수잔 리 최고재무책임자는 지난주 실적 발표에서 메타의 자본지출에 대해 설명했는데요. 기존 비즈니스를 지원하기 위한 일반 컴퓨팅 파워와 스토리지, 사람들이 관심을 가질 만한 콘텐츠를 보여주는 검색 엔진과 같은 회사의 AI투자, 그리고 제너레이티브 AI 추진 등 세 가지 카테고리로 구분된다고 설명했습니다. 그는 "가까운 미래에 제너레이티브AI 부문의 자본지출이 가장 많이 늘어날 것"이라고 전망했는데요. 생성AI가 빅테크 기업의 사업모델을 어떻게 바꾸고 있는지를 엿볼 수 있습니다.

인공지능(AI)가 미국 대선까지 침투했습니다. 와이어드에 따르면 2024년 미국 대통령 선거는 AI 딥페이크의 영향을 받을 것으로 보이는데요. 딥페이크란 AI 기술을 이용해 만들어진 가짜 영상이나 음성을 뜻합니다. AI 기술 발전으로 인해 실제 영상과 가짜 영상을 구분하는 것이 점점 더 어려워지고 있죠. 👉 딥페이크의 문제: 가짜 영상, 사칭, 허위 사실 유포딥페이크는 잘못된 정보를 퍼뜨리고 여론을 조작하는 등 선거에 영향을 미칠 수 있습니다. 정치인의 가짜 동영상을 만드는 것뿐만 아니라 언론인이나 다른 공인을 사칭하는 데에도 사용될 수 있는데요. 또 후보자가 실제로 이야기한 것과는 다른 내용을 유포할 수 있습니다. 후보자의 이미지가 손상될 뿐만 아니라, 대선 결과에도 영향을 미칠 수 있습니다. 이는 민주적 제도에 대한 신뢰를 약화시키는 작용을 하는데요. 이처럼 딥페이크의 접근성이 높아지고 제작이 쉬워지면서 선거에 미칠 잠재적 영향에 대한 우려가 제기되고 있습니다. 정책 입안자들이 정치 캠페인에서 딥페이크 사용을 규제하는 방안을 고려할 필요가 있습니다. 무엇보다 개인은 딥페이크를 식별하고 대처할 수 있는 미디어 리터러시 및 비판적 사고 능력을 갖춰야 할 것입니다. 2024년 미국 대통령 선거에서 딥페이크가 사용될 경우, 민주주의와 정치 캠페인의 미래에 중대한 영향을 미칠 수 있습니다. 딥페이크를 악용하지 않기 위해서 국제적인 규제와 윤리적인 논의가 필요한 때입니다.

이미지 생성AI 기술을 보유한 미드저니가 무료 서비스를 중단했습니다. 이유가 도널드 트럼프 전 미국 대통령 때문이라고 하는데요. 무슨 일일까요? 30일(현지시간) 더버지에 따르면 딥페이크 기술이 개선되면서 진짜 같은 AI를 활용한 이미지가 급속도로 확산하고 있는데요. 이에 따라 무료 이미지 생성기인 미드저니가 무료 평가판을 중단했습니다. 실제 온라인상에서는 도널드 트럼프 전 대통령이 체포되는 모습이나 교황이 세련된 재킷을 입은 모습 등 조작된 사진이 퍼지기도 했는데요. 일론 머스크 테슬라 최고경영자(CEO)가 메리 바라 제너럴모터스(GM) 최고경영자나 알렉산드라 오카스오코르테스 미국 민주당 하원의원 등과 열애하는 모습 등이 확산되기도 했습니다. 모두 조작된 이미지였는데요. 미드저니와 같은 무료 AI이미지 생성기가 이런 남용사태를 불러왔다는 지적에 변화를 모색하게 된 겁니다.👉 미드저니 업데이트 버전, 딥페이크 남용 키웠나? 미드저니는 이전까지 누구나 디스코드를 통해 소프트웨어 사용 신청이 가능했는데요. 10달러부터 시작하는 구독료를 내지 않아도 25장의 무료 이미지를 생성할 수 있었습니다. AI가 잘못된 정보를 생성할 수 있다는 경고는 계속되어 왔는데요. 과거에는 이런 이미지가 실제와 다르고 쉽게 분별할 수 있었기 때문에 문제가 없었죠. 그러나 최근 기술이 더욱 발전하면서 현실과 가짜를 구분하기가 어려워졌습니다. 실제 미드저니는 지난달 15일 사람을 묘사하는 이미지를 개선한 새로운 버전의 소프트웨어(버전 5)를 선보였는데요. 이전에 AI가 생성한 이미지에 나온 사람의 손이 기형적이었다면, 이제는 이런 문제가 획기적으로 개선됐습니다. 조명이나 옷감도 더욱 사실적으로 표현되면서 유명인들의 이미지를 생성할 수 있게 된 겁니다. 전문가들은 딥페이크에 속지 않으려면 의심스러운 계정으로 작성된 게시물인지 일단 살펴봐야 한다고 조언하는데요. 생성 AI가 만든 또 다른 '노이즈'와의 전쟁이 시작된 것으로 보입니다.

마이크로소프트(MS)가 새로운 인공지능(AI) 기반 음성합성 모델 ‘발리(VALL-E)’를 발표했습니다. 3초가량의 오디오 샘플만 있으면 사람의 목소리에 근접하게 시뮬레이션할 수 있는 모델입니다. MS에 따르면 VALL-E는 일단 목소리를 학습하면 그 목소리로 대부분 오디오 파일을 제작할 수 있습니다. 나아가 목소리의 감정 톤까지 조절할 수 있는 기능도 포함했습니다. VALL-E는 메타(Meta)가 지난해 10월 발표한 AI 기반 오디오 압축 기술인 엔코덱(EnCodec)에 기반해 만들어졌습니다. 해당 기술로 음성을 품질 손실 없이 64kbps MP3 형식보다 10배 작은 오디오로 압축할 수 있고, 전화 통화 같은 저품질 음성도 극적으로 음질을 향상할 수 있다는 게 MS의 설명입니다. MS는 VALL-E를 ‘신경 코덱 언어 모델(neural codec language model)"로 정의했습니다.VALL-E는 메타의 리브리라이트(LibriLight)라는 음성 라이브러리에서 훈련받았습니다. 리브리라이트는 7000명 이상 화자와 6만시간 분량의 영어 연설로 구성돼있는 라이브러리죠. 현재까지는 VALL-E가 고품질 음성을 생산하려면 3초 샘플 음성이 훈련 데이터의 음성과 거의 일치해야 하는 가능한 것으로 알려졌습니다. 👉 하지 않은 말도 한 것처럼…괜찮을까?MS는 VALL-E가 음성녹음의 내용을 변경하고 편집할 수 있을 것으로 기대하고 있습니다. GPT-3와 등 다른 생성 AI 모델과도 결합해 오디오 콘텐츠를 생성할 수 있다고 설명하죠. 이는 화자가 원래 말하지 않은 것도 말한 것처럼 편집할 수 있다는 의미입니다. VALL-E는 화자의 발화 내용과 감정 톤을 보존하는 것 외에도 샘플 오디오의 음향 환경도 모방할 수 있습니다. 일례로 샘플 음성이 전화 통화에서 나온 경우 다른 오디오를 생성할 때 전화 통화의 음향 및 주파수 속성을 합성합니다. 음성을 전화 통화에서 나온 것처럼 들리게 할 수 있다는 뜻입니다. 내 목소리가 녹음된 단 3초의 파일로 내가 하지 않은 말, 전화가 아니지만 전화인 것처럼 꾸밀 수 있다면 어떨까요? 이 경우 사회적으로 범죄, 사기 등에 활용될 수 있다는 우려가 나옵니다. 특정 화자를 사칭하거나 음성 식별 시스템을 악용하는 등 악용의 소지가 있죠. 이에 대해 MS는 “이러한 위험을 완화하기 위해 오디오 클립이 VALL-E에 의해 합성되었는지 여부 등을 식별하는 감지 모델을 구축할 수 있다”면서 “모델을 추가로 개발할 때 MS의 AI 원칙을 적용할 것”이라고 전했습니다.

‘인공지능(Artificial Intelligence, AI)과 로봇의 미래’에 대해 물으면 어떤 장면이 먼저 떠오를까? 개개인마다 차이는 있겠지만, 밀레니얼 세대, 혹 이보다 앞선 베이비부머 세대는 SF 고전 영화 ‘터미네이터’를 떠올릴 것 같다. 지난 2015년 출간된 베스트셀러 ‘로봇의 부상’의 저자 마틴 포드는 “로봇의 발전과 치명적인 자율 무기에 대한 우려를 ‘터미네이터’와 같은 SF 영화와 결부시키는 것은 언론의 흔한 실수”라고 지적한다. 인간과 로봇의 전쟁은 공상과학(SF) 영화의 단골 소재가 된 지 오래다. 그러나 현재의 인공지능 기술로 보면 AI가 인간의 통제를 벗어나 자유의지를 갖고 인간을 공격하는 것은 상상하기 어렵다. 생각보다 더 오랜 시간이 걸릴 것이라는 의미다. 포드는 오히려 2017년에 발표된 단편영화 ‘슬러터봇(Slaughterbots)’이 현실에 더 가깝다고 말한다. 수백 대의 미니어처 드론이 미국 국회의사당 건물을 공격한다. 폭발물을 탑재한 드론은 얼굴 인식 기술을 통해 특정 인물을 타깃으로 삼고 돌진한다. 사람이 없는 소형 ‘가미카제(제2차 세계 대전 당시 적군의 전함을 향해 전투기와 폭탄을 내던진 일본의 자살 특공대)’인 셈이다. 나중에 표적이 된 의원들은 모두 한 정당 소속임이 밝혀진다.영화는 캘리포니아대 버클리 캠퍼스 스튜어트 러셀 교수(컴퓨터과학)와 그 팀이 제작했다. 영화에 사용된 기술은 모두 현존하는 기술이다. 영화는 고도화된 인공지능이 치명적인 살상 무기가 될 수 있다는 위험을 경고하기 위해서 만들어졌다. 포드는 이 영화에 대해 “이것은 미래에 국한된 우려가 아니다”라며 “터미네이터에 대한 걱정보다 아이폰보다 똑똑하지는 않지만, 표적을 식별하고 추적하는 데는 망설임이 없는 (드론과 같은) 무기로 인간이 무엇을 할 지에 대해 더 걱정해야 한다”라고 강조한다. 포드의 새 저서 ‘로봇의 지배(Rules of Robots)’는 생각보다 가깝게 다가온 AI의 발전과 로봇의 미래, 그리고 이로 인해서 앞으로 일어날 일들을 설득력 있는 사례로 그려냈다. 더밀크는 마틴 포드와 인터뷰를 나눴다.

1989년 오리온의 초코파이 광고에서 내세운 광고카피이자 CM송 가사다. 말하지 않아도 내 마음을 이해해 주고, 내가 바라던 따뜻한 말과 행동으로 답하는 것. 인간이라면 누구나 바랄 것 같은 마음을 담은 이 카피는 30년이 지난 지금도 대중의 사랑을 받고 있다.우리는 이런 반응을 친한 이에게만 바라지 않는다. 같이 일하는 직장 동료, 그리고 기계에게까지 바란다. 그리고 2021년의 기계, 즉 AI(인공지능)은 실제로 그렇게 발전하고 있다. 바로 생활환경 지능, 앰비언트 인텔리전스(Ambient Intelligence)로의 발전 덕분이다.

최근 소셜 미디어 서비스나 유튜브 등 동영상 플랫폼에서 인공지능(AI)을 통해 합성된 가짜 영상들이 사회적 문제가 되고 있다. 이른바 딥페이크(Deepfake)영상인데 AI의 어두운 그늘로도 불린다. 그러나 할리우드(Hollywood)에서 딥페이크(Deepfake) 기술을 이용, 창의적으로 활용하는 사례가 나왔다. 딥페이크를 이용, 관객을 영화에 깜짝 등장시키는가 하면 팬데믹 상황에서 영화 제작에도 이를 활용하고 있는 것이다. 할리우드 스튜디오 워너브러더스는 오는 8월 20일 극장과 스트리밍 서비스 HBO MAX에 개봉하는 신작 영화 ‘레미니센스(Reminiscence)’의 예고편에 딥페이크 기술을 탑재했다. 딥페이크 기술 스타트업과 손잡고 팬들의 사진을 영화 예고편에 합성시켜 세상에 하나 밖에 없는 ‘개인 예고편’을 만들어주는 것이다.D-ID와 워너미디어가 함께 만든 영화 웹사이트(https://www.bannisterandassociates.com/)에는 누구나 자신의 사진을 올릴 수 있다. 사진을 게재한 뒤 이름과 몇몇 질문에 답하면 ‘일반인이 주인공이 된 새로운 영화 예고편’이 만들어진다. 이 웹사이트에는 누구나 사진을 올리고 움직이는 딥페이크 홍보 영상을 만들 수 있다. 사진 한잔 만으로 이 영화의 주인공인 휴 잭맨(Hugh Jackman)의 기억 속에 들어갈 수 있다.