AI 프로젝트에 숨겨진 세금: AI 프로젝트가 80% 실패하는 이유

전 세계 어느 곳이든 기업 이사회에서 나오는 이야기는 비슷합니다. "우리의 AI 전략은 무엇인가?" 

그러나 한 걸음 물러서서 "우리의 AI 실패 전략은 무엇인가?"를 묻는 것이 더 맞을 수 있습니다. 

모든 기업이 앞다퉈 AI를 구현하고 있지만 랜드 연구소(RAND Corporation)의 2024년 조사 결과를 보면 현실에서 AI 프로젝트의 실패율은 80%에 달합니다. 전통적인 IT 프로젝트의 두 배입니다. 더 우울한 소식은 S&P 글로벌(S&P Global)의 2025년 설문조사 결과 무려 42%의 기업이 올해 대부분의 AI 이니셔티브를 포기했다는 점입니다. 2024년의 17%에서 크게 증가한 수치입니다. 

일반적인 기업은 AI 개념 증명의 약 절반을 프로덕션에 도달하기도 전에 폐기합니다. 가트너의 보고에 따르면 AI 프로젝트 중 파일럿 단계를 넘기는 비율은 48%에 불과하며, 2025년 말까지 생성형 AI 프로젝트의 최소 30%가 개념 증명 이후 폐기될 전망입니다. 물론 생성형 AI 파일럿의 95%가 실패하고 있다는 MIT의 연구 결과 역시 많은 주목을 끌었습니다. 

이 상황이 경제적으로는 어떤 영향을 미칠까요? IDC에 따르면 2028년까지 전 세계 AI 지출은 6,300억 달러에 이를 것으로 예상되는데, 현재의 AI 프로젝트 실패 비율에 따르면 그중 수천억 달러가 무의미하게 증발하고 생산성 손실과 기회의 상실이 발생하게 됩니다. 

이는 단순한 기술적 문제만이 아니라 겉으로는 잘 드러나지 않은 조직적 위기입니다. 

🔎 "불량 데이터" 이상의 문제: 높은 AI 프로젝트 실패율에 숨은 원인 3가지 

80%에 이르는 AI 프로젝트 실패율의 이유를 열악한 데이터 품질에서만 찾을 수는 없습니다. 불량 데이터는 잘 알려진 문제지만 그보다 더 깊은 조직적, 문화적 문제가 AI 이니셔티브를 좌초에 이르게 하는 경우가 많습니다. RAND 연구에 따르면 데이터 과학자와 엔지니어를 대상으로 한 인터뷰에서 조직적, 문화적 문제가 AI 프로젝트 실패의 주요 원인 중 하나라는 사실이 드러났습니다.

AI 실패의 3가지 숨은 원인은 ①신뢰 부족 위기 ②조직적 준비의 부재 ③거버넌스의 역설입니다. 3가지 모두 AI 프로젝트의 터무니없이 높은 실패율에 기여합니다. 이를 통해 전통적인 접근 방식으로는 왜 부족한지, AI 성공을 위해서는 어떤 변화가 필요한지를 하는지를 알 수 있습니다. 

1. 신뢰 부족 위기 

회사의 데이터 과학자가 회사 데이터를 신뢰하지 않고, 비즈니스 사용자가 AI 결과를 신뢰하지 않고, 이사회는 AI 거버넌스를 신뢰하지 않습니다. 다음과 같은 악순환이 반복됩니다.  
 

• 데이터 과학자는 대부분 시간을 데이터 정제와 검증에 소비하고 정작 새로운 모델을 구축하는 데는 많은 시간을 투자하지 못합니다. 

• 비즈니스 사용자는 AI의 추천이 의심스러울 경우 자신의 직관에 의존해 결정을 내립니다. 

• 경영진은 AI가 어떤 방식으로 작동하는지 설명할 수 없는 경우, 더 심각하게는 AI 신뢰 여부를 설명하지 못할 경우 파일럿 확장을 주저합니다. 

🔨 현실 직시: 퀘스트의 2024년 데이터 인텔리전스 현황 보고서(2024 State of Data Intelligence Report)에 따르면 37%의 기업이 전략적 데이터 사용을 가로막는 가장 큰 장애물로 데이터 품질을 꼽았으며, 사일로화된 정보(24%), 데이터에 대한 신뢰 부족(19%)이 그 뒤를 이었습니다. 

2. 조직적 준비의 부재 

많은 기업의 구조 자체가 AI의 성공을 가로막게 만들어져 있습니다. 미래의 성공과 경쟁 우위를 얻기 위해 매우 중요한 기술에 대한 이야기로는 이상하게 들릴 수 있지만, 실제로 그렇습니다. 

• 통합 AI를 불가능하게 만드는 사일로화된 데이터 소유 구조 

• 민첩한 AI 개발 속도를 따라가지 못하는 하향식 거버넌스 

• 기업적 가치보다는 개별 부서의 성공을 더 중시하는 성공 지표 

• 기존 질서에 대한 위협을 적대시하는 문화적 저항 

3. 거버넌스의 역설 

전통적인 거버넌스에서는 "모든 것을 잠그고, 모든 것을 문서화하고, 모든 것을 승인하라"라고 합니다. 반면 AI 혁신에서는 "빠르게 움직이고, 끊임없이 실험하고, 빠르게 실패하라"라고 합니다. 여기서 발생하는 근본적인 충돌이 의미하는 바는 다음과 같습니다. 

• 많은 경우 거버넌스가 철저히 이뤄지는 조직일수록 AI에 준비된 데이터는 가장 적습니다. 

• 컴플라이언스에 초점을 두는 프레임워크는 마찰을 일으키고, 이 마찰이 혁신을 저해합니다. 

• 위험 관리가 아닌 위험 마비가 됩니다. 

🪤 AI 프로젝트가 수렁에 빠지는 패턴 

실패 패턴의 일반적인 진행 과정은 다음과 같습니다. 

이 패턴은 워낙 흔해서, 가트너 조사 결과 경영진이 빠른 출시와 투자 회수를 추구하는 실제 기업에서도 AI 프로토타입이 프로덕션까지 이르는 데 평균 8개월이나 걸리는 것으로 밝혀졌습니다. 그나마도 실제로 프로덕션까지 도달한 경우의 이야기입니다. 

⛔ 전통적인 접근 방법이 실패하는 이유 

일반적인 통념으로는 먼저 데이터를 다듬고, 그 다음 거버넌스를 구현하고, 마지막으로 AI를 구축해야 맞습니다. 그러나 이 순차적 접근 방식은 다음과 같은 이유로 실패하기 쉽습니다.

• 완벽한 데이터는 신기루: 데이터를 다듬는 사이 비즈니스는 이미 다음을 향해 움직이고 있습니다. 

• 장애물이 된 거버넌스: 전통적인 거버넌스는 부가가치 없이 마찰만 더합니다. 

• AI를 목적지로 취급: AI를 여정이 아닌 목적지로 취급할 경우 그 목적지에는 영원히 도달하지 못할 가능성이 높습니다. 

맥킨지의 2025년 AI 설문조사에서는 "상당한" 정도의 재무적 성과를 보고한 조직은 모델링 기법을 선택하기 전에 종단간 워크플로우를 재설계한 경우가 두 배 많은 것으로 파악되었습니다. 즉, 기술의 문제가 아니라 접근 방식의 문제입니다. 

🧭 앞으로 나아갈 길: 다른 사고 방식 

AI에서 가장 빠르게 성공을 달성하는 기업은 완벽한 데이터를 갖춘 조직이 아니라 다음과 같이 움직이는 조직입니다. 

• 완벽함이 아닌 투명성과 측정을 통해 점진적으로 신뢰를 구축 

• 거버넌스를 덧붙이는 것이 아니라 워크플로우 내에 흡수 

• 데이터 프로젝트가 아닌 재사용과 확장이 가능한 데이터 제품 만들기 

• AI를 위해 준비된 신뢰할 수 있는 데이터를 채택하되 그 한계도 명확히 이해 

💡 결론 

80%의 AI 프로젝트 실패율이 여러분에게도 해당된다고 단정할 수는 없습니다. 그러나 단순히 더 나은 기술이나 더 정제된 데이터만으로는 실패를 피하기에 충분하지 않습니다. 데이터 신뢰, 거버넌스, 가치 창출에 접근하는 조직의 사고를 근본적으로 재고해야 합니다. 문제는 AI에 투자할지 말지가 아니라, AI의 성공에 투자할 것인지, 아니면 또하나의 값비싼 AI 실패 사례가 될 것인지입니다. 

👉 AI 프로젝트 성공을 위한 데이터 거버넌스 전략 수립이나 데이터 민주화 솔루션 구축에 어려움을 겪고 계시거나, 신뢰할 수 있는 AI 준비 데이터 환경 구성에 대해 궁금한 점이 있으시면 언제든 퀘스트소프트웨어코리아로 문의주시기 바랍니다. 😀 

📝 문의하러 가기