AI, 다 쓰는데 왜 성과 안 날까… BCG가 본 상위 5%의 차이 ‘엔터프라이즈 IQ’

“기업들이 원하는 것은 달러당 최선의 결과다.”

샌프란시스코에 본사를 둔 데이터·AI 기업 데이터브릭스의 알리 고드시 CEO는 “기업들이 ‘토큰맥싱(Tokenmaxxing)’에서 ‘밸류맥싱(Valuemaxxing, AI의 투자 대비 수익(ROI)과 실질적인 비즈니스 가치를 극대화하는 전략)’으로 이동하고 있다”고 분석했다.

실리콘밸리의 화두가 “어떤 AI 모델을 쓰느냐”, “토큰(Token, AI가 생성·처리하는 데이터의 최소 단위)을 얼마나 많이 쓰느냐”에서 실질적 성과, 비즈니스 가치로 이동하고 있는 것이다.

멀티 모델 라우팅(Routing, 선택) 플랫폼 오픈라우터(OpenRouter)의 인기도 이런 흐름을 뒷받침한다. 지난 5월 오픈라우터는 주간 토큰 처리량이 6개월 만에 5조 개에서 25조 개로 5배 증가했다고 밝혔다. 비즈니스 가치 극대화를 위해 기업들이 여러 모델을 함께 사용하는 추세가 반영됐다. 오픈라우터는 현재 400개 이상의 모델과 70개 이상의 공급사를 연결해, 800만 명 이상의 사용자를 확보한 상태다.

어떻게 효율적으로 AI를 활용하느냐, AI로 실질적인 성과를 만들어 내느냐에 따라 기업의 경쟁력이 좌우될 전망이다. AI 밸류맥싱 시대, 기업들은 구체적으로 어떤 전략을 펴야 할까.

보스턴컨설팅그룹(BCG)이 전 세계 1,250개 기업을 대상으로 조사한 ‘The Widening AI Value Gap’ 보고서에 따르면, AI를 통해 실질적인 가치를 대규모로 창출한 기업은 전체의 단 5%에 불과했다.

특히 60%의 기업은 AI에 투자하고도 매출이나 비용 측면에서 의미 있는 성과를 내지 못하는 ‘후발 기업군(Laggards)’에 머물러 있었다. 나머지 35%는 AI 활용을 확장하며 일부 성과를 내기 시작한 ‘확장기(Scaling)’ 기업으로 분류됐다.

더 중요한 것은 성과를 내는 기업과 그렇지 못한 기업 사이의 격차가 계속 벌어지고 있다는 점이다.

BCG는 AI 혁신을 선도하고 실질적인 가치를 지속적으로 창출하는 5%를 ‘퓨처빌트(Future-built)’ 기업으로 분류했다. 퓨처빌트 기업은 후발 기업군보다 매출 성장률이 1.7배, 영업이익률이 1.6배 높았다.

격차를 더욱 벌리는 핵심 동력은 AI 에이전트(Agent, 대리인)다. 에이전트가 창출하는 가치는 전체 AI 가치의 약 17%를 차지했지만, 2028년에는 29%까지 늘어날 것으로 BCG는 전망했다. 조사 기업의 30%는 이미 AI 예산의 15% 이상을 에이전트에 배정하고 있었다.

성과를 내는 기업은 AI 툴을 기존 업무에 적용해 효율성을 높이는 도입(Deploy)에 머물지 않는다. AI를 중심으로 핵심 업무와 비즈니스 프로세스를 엔드투엔드로 재설계하는 재편(Reshape)으로 나아가며, 이 변화를 CEO와 최고경영진이 직접 이끈다.

핵심 업무와 비즈니스 프로세스를 AI 중심으로 재편하려면, AI가 기업 고유의 사업 맥락과 판단 기준을 이해하고 이를 바탕으로 일관되게 의사결정을 내릴 수 있도록 해야 한다. 이 지점에서 ‘엔터프라이즈 IQ’가 중요해진다.

BCG가 말하는 엔터프라이즈 IQ는 기업이 오랜 시간 축적해 온 비즈니스 지식과 판단 방식, 운영 원칙을 AI가 활용할 수 있도록 구조화하고 내재화한 체계다. 쉽게 말해 기업만의 시장 인사이트와 경쟁 방식이 담긴 ‘기업의 뇌’다.

고객을 어떻게 정의하는지, 어떤 시장과 사업 기회를 우선하는지, 성과를 어떤 KPI로 평가하는지, 규제와 브랜드 원칙 안에서 어떤 결정을 내려야 하는지 등이 여기에 포함된다. 문서화된 데이터와 업무 규정뿐 아니라 현장에서 축적된 암묵지와 노하우, 의사결정의 전제와 예외 기준까지 AI가 이해하고 활용할 수 있도록 구조화해야 한다.

이러한 엔터프라이즈 IQ가 구축돼야 AI 에이전트도 단순히 업무를 빠르게 처리하는 걸 넘어 기업이 시장을 바라보고 인사이트를 도출하는 방식, 고유한 성공 기준에 따라 판단하고 실행할 수 있다. 같은 AI 모델을 사용하더라도 기업마다 결과가 달라지는 것이다.

엔터프라이즈 IQ는 범용 AI 모델이나 솔루션만으로 완성하기 어려운 영역이다. 같은 AI를 활용하지만 기업마다 고객과 시장을 바라보는 방식, 핵심 KPI, 경쟁우위와 운영 원칙은 상이하다. 비즈니스와 산업을 깊이 이해하고 전략, 기술, 조직 변화를 함께 연결할 수 있는 파트너가 필요한 이유다. AI 시대 경영 컨설팅의 역할이 AX(AI 전환) 전반으로 확장되는 배경이기도 하다.

BCG는 지난 5월 ‘Where Strategic Clarity Meets Applied AI’를 새로운 방향성으로 제시했다. 크리스토프 슈바이처 BCG 글로벌 CEO는 월스트리트저널 인터뷰에서 “AI를 대규모로 도입하려는 엄청난 수요가 있다”고 밝혔다. 그는 BCG X 출범을 비롯한 AI·기술 역량 강화를 이끌어 왔다. 이를 바탕으로 BCG는 전략 수립부터 기술 구현, 업무와 조직의 재설계까지 연결하며 기업의 AI 전환을 엔드투엔드로 실현하고 있다. 

① Strategic Clarity: 명확한 전략이 먼저다

‘BCG, Where Strategic Clarity Meets Applied AI(명확한 전략과 Applied AI가 만나는 곳, BCG)’

이 방향성은 BCG가 60여 년간 축적한 산업 전문성과 AI 기반 실행 역량을 결합해 측정 가능한 임팩트를 만들겠다는 의미를 담고 있다. AI가 무엇을 할 수 있는지보다, 기업이 어떤 성과를 목표로 하고 어디에 AI를 적용할지 먼저 명확히 해야 한다는 것이다.

BCG의 ‘AI at Work 2026’ 조사에서도 명확한 전략의 중요성이 확인됐다. AI를 정기적으로 사용하는 직원 가운데 전략과 활용 지침은 명확하지만 툴 접근성이 제한적인 경우, 80%가 측정 가능한 비즈니스 임팩트를 경험했다고 답했다. 반면 툴 접근성은 높지만 전략과 활용 지침이 불명확한 경우에는 60%에 그쳤다. AI 툴을 얼마나 폭넓게 제공하느냐보다, 무엇을 위해 어떻게 활용할지 명확히 제시하는 것이 성과에 더 중요할 수 있다는 의미다.

② Applied AI: BCG X·플래티니언이 기술 설계부터 실행까지

명확한 전략은 기술 설계와 현장 실행으로 이어질 때 비로소 성과가 된다. 이를 뒷받침하는 두 축이 BCG 플래티니언과 BCG X다.

BCG 플래티니언(Platinion)은 전략을 실행 가능한 디지털·IT 설계로 구체화하는 엔터프라이즈 기술 전문 조직이다. 클라우드·데이터·플랫폼 아키텍처를 설계하고, 대규모 디지털·IT 전환 프로그램의 구현과 관리를 지원한다.

BCG X는 전략과 기술을 실제 제품·서비스·AI 솔루션으로 구현하고 확산하는 실행 중심 조직이다. 전 세계 3000명 이상의 기술 전문가와 프로그래머, 엔지니어 등이 AI·생성형 AI 기반 제품과 솔루션의 구축부터 운영과 확산까지 지원한다. 특히 고객 현장에 직접 투입돼 문제를 깊이 파악하고 해결하는 FDE(전방 배치 엔지니어) 조직을 강화해 현장 실행력을 높이고 있다.

공급망 최적화와 제조 운영, 헬스케어, 리테일, 금융 등 산업별 특화 솔루션뿐 아니라 마케팅·영업·운영·조직 관리 등 다양한 기업 기능에 적용할 수 있는 크로스 인더스트리 솔루션도 확대하고 있다.

이를 통해 BCG는 전략 수립부터 기술 설계와 구축, 현장 적용과 확산까지 기업의 AI 전환 전 과정을 엔드투엔드(End-to-End)로 지원한다.

③ 글로벌 AI 생태계: AI 전환을 확장하는 파트너십

AI 전환은 한 기업이나 하나의 기술만으로 완성하기 어렵다. BCG는 글로벌 기술 기업과 전문 파트너를 연결하는 생태계를 기반으로 전략 수립부터 기술 구현, 실행, 역량 내재화까지 지원하며, 전 세계 주요 기업 및 기관과 협력하고 있다.

오픈AI와의 ‘프론티어 얼라이언스(Frontier Alliance)’도 이러한 협력 체계의 한 축이다. BCG는 기업의 전략과 업무 맥락에 맞는 기술과 파트너를 조합해 개별 실험을 전사적 변화와 비즈니스 성과로 확장하는 데 초점을 둔다.

BCG 코리아 파트너 4인은 EO 다큐멘터리에서 AI 도입의 성패를 가르는 요인과 도입과 재편의 차이, 기업 고유의 지식과 판단 방식을 AI에 내재화하는 방법을 실제 AX 경험을 바탕으로 설명했다. AI를 비즈니스 성과를 만들기 위한 수단으로 보고 전략 수립, 기술 구현과 실행, 조직·인재 변화를 연결하는 BCG의 AX 접근법은 영상으로 확인할 수 있다.

BCG 파트너들은 AI가 기업 현장에서 실제 성과로 이어지려면 기술 도입과 함께 엔터프라이즈 IQ가 갖춰져야 한다고 강조한다.

고객 정의, 의사결정 기준, 성과 측정 프레임워크 등 기업이 시장에서 이기기 위해 축적해 온 운영 지식과 맥락을 AI 구조 안에 이식하지 않으면 아무리 정교한 AI도 성과로 이어지지 않는다는 것이다.

결국 AI는 수단이고 목표는 기업의 운영 방식 자체를 바꾸는 전환, 이에 따른 혁신이다. BCG는 전략을 제시하는 데서 그치지 않고 기술 구현과 재설계, 조직 변화까지 AI 전환 전 과정을 함께하는 파트너로 진화하고 있다.

기업이 필요로 하는 인재상도 바뀌고 있다. AI 시대가 요구하는 인재 역시 비즈니스와 기술을 동시에 이해하고 활용할 수 있는 양손잡이형으로 재정의되고 있다.

BCG의 연구와 사례, 실리콘밸리의 최근 흐름은 결국 같은 결론을 가리킨다. AI를 얼마나 많이, 얼마나 다양하게 쓰는지는 더는 경쟁력의 지표가 아니다. 오픈라우터의 폭발적 성장, 데이터브릭스의 밸류맥싱 선언이 보여주듯, 모델과 도구는 이미 상품(Commodity)이 되고 있다.

반면 AI 툴을 활용해 실제 성과로 전환하는 능력, 즉 기업이 쌓아온 고유한 판단 기준과 운영 지식을 AI 구조 안에 내재화하는 역량이야말로 격차를 벌리는 변수가 될 것이다.

한국 기업의 과제도 달라지고 있다. AI 도입보다 조직의 의사결정 기준과 일하는 방식을 AI 시대에 맞게 재설계하는 일이 우선 과제로 떠오르고 있다.

기술 도입보다 앞서야 할 것은 리더십의 명확한 방향 제시와 현장 인력에 대한 실질적인 재교육이다. AI 툴을 배포하는 것과 그 기술이 기업 고유의 맥락 위에서 작동하도록 조직 전체를 재설계하는 것 사이에는 여전히 큰 간극이 있다. 이 간극을 얼마나 빠르게 좁히느냐가 기업의 AX 경쟁력을 좌우할 것이다.