AI 도입 실패 사례 5선: 기업들이 반복하는 패턴

AI 도입 실패란?
AI 도입 실패는 조직이 AI 시스템을 업무에 도입했지만 기대한 성과를 내지 못해 프로젝트를 중단하거나 축소하는 상황을 말한다. 원인은 대부분 기술 결함이 아니라 데이터 품질, 보안 거버넌스, 현장 적합성 같은 조직적 요인에 있다.

AI를 도입한 기업 소식은 매년 쏟아진다. 반면 도입 후 조용히 프로젝트를 접은 기업 이야기는 잘 나오지 않는다. 그런데 실패 사례를 들여다보면 신기하게도 같은 패턴이 반복된다. 데이터 편향, 보안 공백, 맥락 이해 부족, 현장과의 괴리, 모델 정확도 과신. 이 다섯 가지는 업종과 국가를 가리지 않고 등장한다.

이 글에서는 공개적으로 널리 보도된 AI 도입 실패 사례 5건으로 기업들이 반복하는 패턴을 짚어본다.

AI 도입 실패 사례 5선

사례 1. 데이터 편향(아마존 채용 AI)

아마존은 2014년부터 이력서를 자동으로 평가하는 채용 AI 시스템을 내부적으로 개발했다. 매년 쌓이는 지원자 이력서를 사람이 일일이 검토하는 대신, AI가 우수 인재를 빠르게 골라내도록 하는 것이 목적이었다.

문제는 학습 데이터에 있었다. 지난 10년간 접수된 이력서 대부분이 남성 지원자의 것이었고, 이 데이터로 학습한 모델은 '여성'이라는 단어가 포함된 이력서나 여자대학 졸업 이력에 낮은 점수를 매기기 시작했다. 로이터가 2018년 보도한 바에 따르면, 아마존은 이 문제를 인지한 뒤 수정을 시도했으나 편향을 완전히 걷어내지 못해 결국 프로젝트를 폐기했다.

이 사례가 남긴 교훈은 단순하다. 과거 데이터에 이미 편향이 있다면 AI는 그 편향을 학습하는 데 그치지 않고 대규모로 재생산한다.

사례 2. 보안·거버넌스 공백(삼성전자와 생성형 AI)

2023년 삼성전자 반도체 부문에서 일부 직원이 사내 소스코드와 회의록을 챗GPT에 입력해 요약이나 디버깅을 요청한 사실이 다수 매체 보도로 알려졌다. 챗GPT 같은 외부 생성형 AI 서비스에 입력된 데이터는 서비스 제공사 서버에 남아 학습이나 로그에 활용될 소지가 있었다.

삼성전자는 사건 이후 사내 생성형 AI 사용을 한시적으로 제한하고, 이후 자체 폐쇄형 AI 도구를 구축하는 방향으로 전환한 것으로 알려져 있다. 도구 자체보다 사용 정책과 접근 권한 설계가 먼저 갖춰지지 않은 상태에서 생성형 AI를 조직 전체에 개방하면 벌어질 수 있는 위험을 보여준 사례다.

도구를 열어주기 전에 입력 금지 정보 범위, 로그 보관 방식, 온프레미스 여부를 먼저 정해야 한다는 것이 이 사례의 교훈이다.

사례 3. 맥락 이해의 한계(미국 섭식장애협회 챗봇 Tessa)

미국 섭식장애협회(NEDA)는 상담 인력을 보조할 목적으로 챗봇 Tessa를 운영했다. 룰 기반 챗봇에서 생성형 AI 기반으로 업그레이드된 이후, Tessa는 섭식장애를 겪는 이용자에게 체중 감량이나 칼로리 제한 관련 조언을 제공하는 오류를 냈다. 섭식장애 환자에게는 위험할 수 있는 조언이었다.

이 문제가 소셜미디어와 미국 언론으로 알려지자 NEDA는 2023년 서비스를 즉시 중단했다. 챗봇은 통계적으로 그럴듯한 답을 만들었을 뿐, 섭식장애라는 민감한 맥락에서 무엇이 위험한 조언인지 구분하지 못했다.

일반 목적 대화 모델을 특수하고 민감한 도메인에 검수 없이 투입하면 사고로 이어질 수 있다.

사례 4. 현장과의 괴리(IBM 왓슨 포 온콜로지)

IBM은 2010년대 중반 왓슨을 활용한 암 진단 보조 시스템 '왓슨 포 온콜로지'를 미국 MD앤더슨 암센터 등 여러 의료기관에 공급했다. 방대한 의학 논문과 임상 데이터를 학습시켜 의사가 환자별 최적 치료법을 빠르게 찾도록 돕겠다는 목표였다.

실제 도입 결과는 기대에 못 미쳤다. 왓슨이 제시하는 치료 권고안이 실제 임상 현장의 프로토콜과 어긋나는 경우가 잦았고, 학습 데이터가 특정 병원의 소수 사례에 편중돼 다른 병원 환경에 그대로 적용하기 어려웠다. MD앤더슨은 대규모 예산을 투입한 이 프로젝트를 결국 중단했고, 관련 내용은 STAT뉴스를 비롯한 여러 매체에서 보도됐다.

기술이 아무리 정교해도 현장의 실제 의사결정 흐름과 맞지 않으면 채택되지 않는다.

사례 5. 모델 정확도 과신(질로우 오퍼스)

미국 부동산 플랫폼 질로우는 AI 알고리즘으로 주택 가격을 예측해 직접 집을 매입한 뒤 되파는 '질로우 오퍼스' 사업을 운영했다. 예측 모델이 산출한 가격에 따라 대규모로 주택을 사들이는 것이 이 사업의 핵심이었다.

2021년 미국 주택 시장 변동성이 커지면서 예측 모델의 오차가 누적됐고, 질로우는 시세보다 비싸게 매입한 주택 재고를 대거 떠안았다. 질로우는 2021년 11월 공식 발표로 이 사업의 종료를 알렸고, 관련 인력 상당수를 구조조정했다고 밝힌 것으로 알려져 있다.

모델의 예측값을 검증 장치 없이 자산 매입 결정에 자동 적용한 것이 문제였다. 통계 모델은 평상시 패턴에는 강하지만, 급변하는 시장에서는 오차가 커진다.

5가지 사례가 보여주는 반복 패턴

왜 같은 실패가 반복되는가

다섯 사례를 관통하는 공통점은 기술 성능이 아니라 도입 과정의 설계에 있다. 데이터의 대표성을 검증하지 않았거나, 보안 정책을 도구 도입보다 늦게 만들었거나, 민감한 도메인에 검수 절차 없이 모델을 투입했거나, 현장 워크플로우를 반영하지 않았거나, 모델 출력을 검증 없이 자동 실행에 연결한 경우다.

공통적으로 관찰되는 또 다른 지점은 파일럿 단계에서는 문제가 드러나지 않다가, 조직 전체로 확장하는 단계에서 비로소 균열이 커진다는 점이다. 작은 표본에서는 감춰졌던 데이터 편향이나 예외 상황이 규모가 커지면서 손실로 돌아온다.

도입 전 점검해야 할 것들

• 학습 데이터가 실제 서비스 대상 집단을 대표하는지 확인했는가
• 민감 정보 입력 금지 범위와 로그 보관 정책을 도구 개방 전에 정했는가
• 모델이 다루기 어려운 예외 상황을 사람이 개입해 처리하는 절차가 있는가
• 현장 담당자가 매일 쓰는 워크플로우에 맞춰 설계했는가
• 모델 출력을 자동 실행에 연결하기 전, 소규모 검증 기간을 거쳤는가

AI 도입 실패 사례 대부분은 초기 투자 대비 성과를 제대로 계산하지 않은 채 확장을 서두른 경우다. 도입 전 비용과 회수 기간을 어떻게 따져야 하는지는 AI 전환 ROI: 기업이 알아야 할 경제학에서 더 자세히 다룬다.

더 읽어보기

• AI 전환 ROI: 기업이 알아야 할 경제학

자주 묻는 질문

Q1. AI 도입 실패는 주로 어느 단계에서 발생하는가?

파일럿 단계보다 조직 전체로 확장하는 단계에서 문제가 두드러지는 경우가 많다. 소규모 테스트에서는 드러나지 않던 데이터 편향이나 예외 상황이 규모가 커지면서 손실로 이어진다.

Q2. 실패 사례를 미리 알면 도입 실패를 막을 수 있는가?

완전히 막을 수는 없지만 위험은 줄일 수 있다. 데이터 대표성 점검, 보안 정책 선행 수립, 민감 도메인에서의 인간 검수 절차는 다섯 사례 모두에서 공통으로 빠져 있던 요소다.

Q3. 실패 이후 해당 기업들은 AI 도입 자체를 포기했는가?

아니다. 삼성전자는 사내 정책을 재정비한 뒤 폐쇄형 AI 도구로 전환했고, 질로우도 매입형 사업만 종료했을 뿐 데이터 기반 의사결정을 포기하지는 않았다. 실패 사례 대부분은 AI 자체를 접는 결정이 아니라 도입 방식을 다시 설계하는 결정으로 이어졌다.

비슷한 도입 갈림길에 서 있다면, 실패 패턴을 먼저 점검하는 편이 비용을 줄인다. 도입 전 위험 요소를 함께 점검하고 싶다면 Nitrox 무료 상담을 신청할 수 있다.