AI 자동화, 사내 자체구축과 외부 파트너 구축 사이에서: 실패 데이터와 발주 판단 기준

사내에서 AI 자동화 도입을 논의하다 보면 자연스럽게 나오는 말이 있습니다. "요즘 도구가 좋아졌는데, 우리 개발팀이 직접 만들면 되지 않나요?" 합리적으로 들립니다. 외부에 맡기면 비용이 들고, 내부 사정을 가장 잘 아는 건 우리 팀이니까요. 그런데 실제 도입 결과를 모아 보면 이 통념은 데이터와 어긋납니다.

직접 만든 쪽이 더 자주 실패한다

MIT NANDA 연구진이 2025년 8월 발표한 보고서 The GenAI Divide: State of AI in Business 2025는 기업의 생성형 AI 도입 방식을 성공률로 갈라 봤습니다. 특정 벤더의 AI 도구를 구매하거나 외부와 파트너십을 맺어 구축한 방식은 약 67%가 성공한 반면, 사내에서 직접 구축한 방식은 성공률이 크게 낮았습니다. 방향은 우리 직관과 정반대입니다.

같은 보고서는 더 무거운 숫자도 담고 있습니다. 기업들이 생성형 AI에 약 300억~400억 달러를 투자했음에도 그중 약 95%는 측정 가능한 손익(P&L) 효과를 내지 못했고, 유의미한 가치를 뽑아낸 통합 파일럿은 약 5%에 불과했다는 것입니다. 즉 문제는 "AI가 되느냐"가 아니라 "실제 업무에 붙어 성과로 이어지느냐"였고, 여기서 자체구축이 특히 많이 미끄러졌습니다.

이유는 한국 스타트업, 중소기업 현장을 떠올리면 어렵지 않게 짐작됩니다. AI 자동화는 모델을 한 번 붙이면 끝나는 일이 아닙니다. 데이터 정제, 워크플로우 설계, 예외 처리, 운영 중 성능 모니터링, 실패 시 사람에게 넘기는 안전장치까지 이어지는 긴 작업입니다. 내부 개발팀은 대개 기존 서비스 운영과 신규 기능 개발로 이미 손이 부족하고, AI 자동화는 그 사이에 끼워 넣는 부업이 되기 쉽습니다. 담당자가 퇴사하면 그대로 멈추는 경우도 많습니다.

그렇다고 아무 벤더나 사면 안 되는 이유: 에이전트 워싱

여기서 성급하게 "그럼 그냥 외부에서 사자"로 넘어가면 다른 함정에 빠집니다. 지금 시장에는 실제 역량과 마케팅 문구 사이의 간극이 큽니다.

Gartner가 2025년 6월 25일 낸 전망을 보면, 에이전틱 AI 프로젝트의 40% 이상이 비용 급증, 불명확한 비즈니스 가치, 부실한 리스크 통제를 이유로 2027년 말까지 취소될 것으로 예상됩니다. 같은 발표에서 Gartner는 '에이전틱 AI'를 표방하는 벤더가 수천 곳에 이르지만 실제로 에이전틱 역량을 갖춘 곳은 약 130곳에 불과하다고 지적했습니다. 기존 챗봇, RPA, 단순 어시스턴트를 새 이름으로 재포장하는 이른바 '에이전트 워싱(agent washing)'이 만연하다는 것입니다.

발주 담당자 입장에서 이 말의 의미는 분명합니다. 제안서에 'AI 에이전트', '자율 자동화' 같은 단어가 적혀 있다는 사실만으로는 아무것도 보장되지 않습니다. 겉포장을 걷어내고 실제로 무엇을 할 수 있는지 확인하는 검증이 발주 판단의 핵심이 됩니다.

무엇을 남기고 무엇을 맡길 것인가

자체구축이냐 파트너냐는 전부 아니면 전무의 선택이 아닙니다. 경계를 나눠 보면 판단이 쉬워집니다.

• 사내에 남길 것: 우리 업무의 정의와 우선순위, 자동화가 성공했다고 판단할 지표, 고객 데이터에 대한 권한과 책임, 자동화 결과를 실제 업무에 적용할 최종 의사결정입니다. 이건 외주로 넘길 수 없는 영역입니다.
• 파트너에 맡길 것: 데이터 파이프라인 설계, 모델과 도구 선정, 워크플로우 구현, 예외 및 실패 처리, 운영 배포와 모니터링 체계 구축입니다. 반복적으로 부딪히는 기술 리스크를 대신 흡수하는 자리입니다.

정리하면, 무엇을 이루고 싶은지와 성공 기준은 사내가 쥐고, 그것을 안정적으로 돌아가게 만드는 구축과 운영은 파트너와 함께 하는 구조입니다. MIT 데이터가 가리키는 성공 방식도 이 조합에 가깝습니다.

역량 있는 파트너를 가려내는 체크리스트

• 성과 지표부터 묻는가: 기능 목록이 아니라 "이 자동화로 어떤 숫자를 어떻게 바꿀 것인지"를 먼저 정의하려는 파트너인지 봅니다. P&L 효과로 이어지지 못한 사례가 대다수라는 점을 기억하세요.
• 실제 동작을 보여주는가: 슬라이드가 아니라 우리 데이터 일부, 우리 실제 업무 흐름으로 짧은 파일럿을 돌려 보여줄 수 있는지 확인합니다. 에이전트 워싱을 걸러내는 가장 빠른 방법입니다.
• 실패했을 때를 설계하는가: AI가 틀리거나 확신이 없을 때 사람에게 넘기는 경로, 로그, 롤백을 어떻게 두는지 물어봅니다. 리스크 통제가 부실하면 취소로 이어진다는 게 Gartner의 지적입니다.
• 운영을 넘기고 나서를 준비하는가: 구축 후 내부 담당자가 이어받을 수 있게 문서와 인수인계, 모니터링 도구를 남기는지 봅니다. 담당자 한 명에게 묶인 자동화는 오래가지 않습니다.
• 범위를 좁혀 시작하자고 하는가: 전사 자동화를 한 번에 약속하는 쪽보다, 성과가 명확한 업무 하나를 골라 검증하고 확장하자는 쪽이 실패 확률이 낮습니다.

마무리

"AI는 우리가 직접"이라는 판단은 용기 있어 보이지만, 데이터는 자체구축이 더 자주 멈춘다고 말합니다. 동시에 '에이전트 워싱'이 흔한 시장에서 아무 벤더나 고르는 것도 답이 아닙니다. 목표와 성공 기준은 사내가 쥐고, 구축과 운영의 기술 리스크는 검증된 파트너와 나누는 것. 그리고 그 파트너를 실제 동작과 실패 설계, 인수인계로 검증하는 것. FIRSTPIP은 성과 지표를 먼저 합의하고 좁은 범위의 파일럿으로 검증한 뒤 확장하는 방식으로 고객사의 AI 자동화 구축을 함께합니다. 도입을 고민 중이시라면, 지금 자동화하려는 업무 하나와 그 성공 기준부터 정리해 보시길 권합니다.