“AI가 그랬다”는 변명일 뿐… 기업의 AI 리스크 막는 5가지 방법

데이터 과학자이자 사회과학자인 럼만 초우드리(Rumman Chowdhury)는 지난 2018년 테드엑스(TEDx) 강연 ‘도덕적 외주화: AI 시대의 인간성(Moral Outsourcing: Humanity in the Age of AI)’에서 ‘도덕적 외주화(moral outsourcing)’라는 개념을 제시했다.

사람이 만든 기술에 “폭주한다”, “스스로 판단한다”, “악의적이다” 같은 인간의 언어를 입히는 순간, 정작 그 기술을 설계하고 배포한 사람의 책임은 흐려질 수 있다는 지적이다.

AI를 사람처럼 설명할수록 결과에 대한 책임도 시스템에 넘기기 쉬워진다. 초우드리는 지난 8월 20일 엠아이티 테크놀로지 리뷰(MIT Technology Review)에 기고한 글에서도 이 문제를 다시 짚었다.

현재 AI 논쟁은 크게 두 갈래로 나뉜다. 데미스 하사비스(Demis Hassabis), 다리오 아모데이(Dario Amodei), 샘 알트만(Sam Altman) 같은 기술 기업 리더들은 인간을 뛰어넘는 ‘초인적 AI’의 위험과 규제 필요성을 강조한다. 다른 한편에서는 효율적 이타주의(Effective Altruism) 계열의 정책 단체와 철학자들을 중심으로, 인간이 고도로 발전한 AI를 통제할 도덕적 권리가 있는지를 묻는다.

출발점은 다르지만 두 논쟁에는 공통점이 있다. AI를 인간이나 기업이 통제하고 책임지기 어려운 독립된 존재처럼 바라본다는 점이다.

초우드리가 경계하는 것도 바로 이 지점이다. AI가 기업이 만든 제품과 시스템이 아닌 독립된 ‘존재’로 받아들여지기 시작하면, 문제가 생겼을 때 기업은 “AI가 알아서 한 일”이라며 한발 물러설 수 있다. 마치 직원이 회사의 지시를 벗어나 독단적으로 행동한 것처럼 AI를 설명하며 책임을 분리할 여지가 생기는 것이다.

‘도덕적 외주화’라는 표현이 나온 지 10년도 채 지나지 않았다. 그러나 이제 이 문제는 철학적 논쟁을 넘어 기업의 실제 의사결정과 책임 구조에서 다뤄야 할 현실적인 문제가 됐다.

🚀 더밀크 멤버십 가입하고 AX 혁명 기사 더 읽기

회사를 다니거나 경영해 본 사람이라면 어떤 일을 할지 정하는 것만큼 중요한 일이 그 일의 책임과 역할을 분명히 하는 것이다.

기업이 AI를 대하는 방식에서도 이 책임 문제는 이미 드러나고 있다. 현장에서는 크게 두 가지 태도가 나타난다.

우선은 책임 회피다. AI와 함께 일하는 개발자가 있다고 가정해보자. 설계에 결함이 있었거나 배포 후 오류가 발견됐을 때 담당자가 "AI가 제안한 대로 했을 뿐"이라고 말한다면 책임의 경계는 금세 흐려진다. 어떤 판단을 사람이 했고, 어느 부분을 AI가 제안했는지 기록돼 있지 않다면 조직이 책임을 묻기도 어렵다. 결과물을 만든 사람과 AI의 역할이 뒤섞이면서 책임의 주체도 함께 사라지는 것이다.

두 번째는 책임 강요다. 신사업 담당자가 AI를 활용해 만든 기획안을 임원에게 보고한다고 가정해보자. AI 활용에 유보적인 임원이 "AI가 만든 기획안을 본인이 책임지고 사업화할 수 있겠어요?"라고 묻는 경우다.

표면적으로는 책임을 확인하는 질문처럼 들린다. 그러나 실제 조직에서는 산출물 자체를 신뢰하지 않겠다는 뜻으로 사용되기도 한다. 정식 검토 테이블에 올리기 전에 AI를 사용했다는 이유만으로 결과물을 배제하는 것이다.

책임 회피와 책임 강요는 정반대처럼 보인다. 한쪽은 AI 뒤에 숨고, 다른 쪽은 AI를 이유로 결과물을 밀어낸다. 그러나 두 태도가 만드는 결과는 비슷하다. 결국 AI가 관여한 결과물에 대해 끝까지 책임지는 사람이 사라진다.

기업에서 큰 사고가 발생하면 누군가는 책임을 진다. 경영진이 자리에서 물러나기도 하고, 대표가 고객 앞에서 사과하기도 한다. 책임자가 존재한다는 것은 조직이 문제를 인정하고 다시 고칠 수 있다는 최소한의 전제다.

이제 AI가 조직 안으로 깊숙이 들어올수록 이 전제가 흔들리고 있다. “AI가 그렇게 했다”는 한마디가 너무 쉽게 면책의 언어로 쓰일 수 있기 때문이다.

이런 문제는 특정 기업이나 국가에만 나타나는 현상이 아니다. 엠아이티 슬론 매니지먼트 리뷰(MIT Sloan Management Review)는 여러 산업의 글로벌 기업 AI 리더와 윤리 책임자, 경영진 20여 명을 인터뷰해 책임 있는 AI가 조직 안에서 제대로 작동하지 않는 이유를 분석했다.

문제는 크게 세 가지로 요약된다. 첫 번째는 책임 갭(Accountability Gap)이다. 책임의 주인이 없다는 뜻이다.

많은 기업이 공정성, 투명성, 설명 가능성, 프라이버시 같은 AI 윤리 원칙을 발표한다. 그러나 실제 프로젝트로 들어가면 상황이 달라진다. 공정성 검토에는 누가 최종 서명하는가. 설명 가능성은 누가 검증하는가. 문제가 발견되면 출시를 중단할 권한은 누구에게 있는가. 사고가 발생하면 누가 최종 책임을 지는가.

이런 질문에 바로 답할 수 있는 조직은 많지 않다. 책임은 여러 부서에 걸쳐 있지만 누구의 이름으로도 귀속되지 않는다. 문서에는 ‘모두가 책임진다’고 적혀 있어도 실제로는 최종 책임자가 없는 상태가 된다.

평가 체계도 문제를 키운다. AI를 사용하는 실무자는 주로 속도, 정확도, 성과, 납기로 평가받는다. 모델을 빨리 만들고 프로젝트 일정을 맞추는 것은 성과로 인정받지만, 윤리적 문제를 제기하거나 검토를 위해 일정을 늦추는 행동은 평가에서 보상받기 어렵다. 조직이 보상하지 않는 행동을 구성원이 계속 선택하기는 어렵다.

두 번째는 전략 갭(Strategy Gap)이다. AI 윤리와 사업 전략이 따로 움직이는 문제다.

많은 기업에서 책임 있는 AI는 컴플라이언스(compliance), 법무, 보안 등 리스크 부서가 담당한다. 문제는 이들이 프로젝트에 참여하는 시점이다. 데이터를 고르고 변수를 설계하는 초기 단계에는 빠져 있다가 제품이나 서비스가 거의 완성된 뒤에야 검토에 들어가는 경우가 많다.

손해보험사의 상품개발팀의 사례에서도 이를 확인할 수 있다. 이 손보사는 가입자의 병력, 직업, 생활습관 데이터를 학습시켜 위험도를 자동 평가하는 AI 모델을 만들었다. 심사 시간을 절반 가까이 줄일 만큼 성능도 좋았다.

하지만 출시 두 달 전 준법감시인이 모델을 검토하면서 문제가 발견됐다. 배달 라이더나 대리운전 기사 같은 일부 플랫폼 노동자의 과거 손해율이 높게 나타난 데이터를 모델이 그대로 학습하면서 특정 직업군 전체에 구조적으로 불리한 결과를 만들 가능성이 드러난 것. 결국 모델 사용은 보류됐다.

문제는 "이 변수를 이런 방식으로 사용해도 되는가”라는 질문을 프로젝트 초기에 던질 사람이 없었다는 점이다.

준법감시팀이 설계 단계부터 참여했다면 다른 변수를 선택하거나 모델 구조를 조정할 수 있었을 것이다. 하지만 제품이 거의 완성된 뒤에야 문제가 드러나면서 수개월의 작업이 멈췄다. 이런 경험이 반복되면 현업에서는 AI 윤리를 사업을 돕는 장치보다 프로젝트를 막는 규제로 받아들이기 쉽다.

세 번째는 자원 갭(Resource Gap)이다. 책임 있는 AI를 하겠다는 의지만으로는 조직이 움직이지 않는다. 이를 실행할 사람과 도구, 예산과 시간이 함께 배정돼야 한다.

공정성 검사나 편향 분석은 기술적으로 가능하다. 하지만 실제 현장에서는 담당 인력이 부족하고 일정도 빠듯한 경우가 많다.

마이크로소프트는 2023년 구조조정 과정에서 AI 조직 내 ‘윤리 및 사회(Ethics & Society)’ 팀을 해체했다. 이 팀은 한때 약 30명 규모였으나 이후 7명으로 줄었고, 결국 조직 자체가 사라졌다. 회사는 AI 원칙과 정책을 담당하는 조직은 유지한다고 설명했지만, 그 원칙을 실제 제품 설계에 반영하도록 돕던 기능이 약해졌다는 비판이 나왔다.

책임 있는 AI는 선언만으로 굴러가지 않는다. 조직이 중요하다고 말하는 가치와 실제로 돈과 사람을 배치하는 곳이 다르면 구성원은 결국 후자를 따른다.

MIT 연구진은 책임 있는 AI 원칙과 실제 실행 사이의 간극을 줄인 조직에서 다섯 가지 공통 전략을 찾아냈고, 앞 글자를 따 샤프(SHARP)라고 이름 붙였다.

첫 번째(S)는 책임 소재를 구조로 명확히 하는 것이다(Structure ownership)

윤리 문제를 법무팀이나 컴플라이언스 부서에 일임하는 기업이 적지 않다. 이런 경우 윤리 검토는 제품이 완성된 뒤 형식적으로 거치는 절차에 그치기 쉽다. 반면 간극을 좁힌 조직들은 실제로 제품과 서비스를 만드는 조직 내부에 책임자를 지정했다. 문제를 누가 살피고 최종 판단을 누가 내리는지 이름을 명확히 해둔 것이다.

두 번째(H)는 윤리를 개발 절차 안에 심어 넣는 방식이다. (Hardwire ethics)

한 헬스케어 분석 기업은 AI 모델을 배포하기 전 확인해야 할 윤리 항목을 개발운영(DevOps) 과정에 포함시켰다. 보안 취약점 점검이나 품질 테스트를 건너뛸 수 없는 것처럼, 윤리 검토 역시 배포의 필수 관문으로 만든 것이다. 사후에 위원회가 검토하는 방식과는 구조적으로 다르다.

세 번째(A)는 윤리 리스크를 비즈니스 리스크로 바꾸는 작업이다. (Align risk)

알고리즘 편향으로 발생할 수 있는 고객 이탈, 규제 비용, 브랜드 훼손을 수치화하고, 이를 사이버보안 리스크와 같은 층위에서 전사 리스크 관리 체계에 편입시킨다. 리스크로 환산되는 순간 비로소 사업 책임자의 관리 대상이 된다는 것이 이 전략의 요지다.

다음은(R) 책임 있는 행동에 실제로 보상을 주는 것이다. (Reward)

북유럽의 한 에너지 기업은 윤리적 충돌을 먼저 제기하거나 모델의 투명성을 높인 직원의 행동을 성과평가에 반영했다. 문제를 제기한 사람이 '업무 속도를 늦추는 사람'으로 평가받던 관행을 바꾼 사례다. 평가 체계가 뒷받침되지 않으면 아무리 훌륭한 원칙도 실무자 입장에서는 굳이 감수할 이유가 없는 리스크로 남는다.

마지막 다섯 번째(P)는 체크리스트 대신 판단력을 훈련하는 것이다. (Practice judgment) 모든 윤리적 상황을 사전에 규정으로 정리하는 것은 애초에 불가능하다. 일부 조직은 실제 사례를 놓고 토론하는 'AI 윤리 랩'을 운영하거나, 기존 스프린트 회고에 데이터 활용과 예상치 못한 영향에 관한 질문을 끼워 넣어 판단력을 반복적으로 훈련시킨다.

다섯 가지 전략은 실제 업무 안에서 누가 판단하고, 누가 행동하고, 누가 최종 책임을 질 것인가 하는 문제를 다룬다. MIT가 찾은 '샤프(SHARP)'는 이미 존재하는 원칙을 실제로 작동시키기 위한 조직 설계의 문제에 가깝다.

더밀크 회원에 가입하시면 AI 리스크 관리 사례와 방법을 찾으실 수 있습니다.

구글 검색과 뉴스에서 더밀크(The Miilk)를 ‘선호하는 출처’로 추가하시면 AI·테크·비즈니스의 중요한 변화를 찾을 때 더밀크의 기사와 인사이트를 더 쉽게 만날 수 있습니다.

아래 링크를 누르시고, 목록에서 더밀크 옆 체크박스를 눌러주세요. (구글 로그인 상태여야 합니다)

[구글에서 더밀크를 선호 소스로 지정하기]