자료실

"데이터 사일로"가 문제가 되는 이유와 해결 방법


Quick Overview 

기업의 데이터가 점점 더 많아지면서 조직 내부에서 데이터 사일로가 형성되고 있습니다. 이로 인해 비즈니스 관리자와 데이터 분석가는 전체적이고 전략적인 시야를 확보할 수 없게 되고, 결과적으로 데이터를 최대한 활용하기 어려워지고 있습니다. 이번 포스팅에서는 데이터 사일로 문제를 해결하는 방법을 알아봅니다.


기업의 몸집이 커지면서 다양한 팀과 시스템에서 데이터를 저장하고 관리하고 있습니다. 그 결과 회사 내 조직 구조에 따라 데이터 사일로(data silo)가 형성되고, 다운스트림에서 이런 데이터를 활용할 수 있는 방법에 대한 시야가 좁아지게 됩니다. 

 

데이터 사일로는 비즈니스 관리자와 데이터 분석가가 각자의 전문 영역을 뛰어넘는 전체적이고 전략적인 시야를 얻지 못하는 원인이 되므로, 전반적인 인사이트를 얻고자 할 때 문제가 될 수 있습니다. 데이터 주도의 생성형 AI와 기타 현대적 분석 접근 방법이 보편화하면서 이런 문제는 더욱 악화될 수밖에 없습니다. 


트랜잭션 수준에서 유용한 것은 데이터의 구체성 용도 적합성입니다. 각 기능(마케팅, 제조, 금융, 엔지니어링)은 개별적으로 데이터를 생성하고 이 데이터에서 가치를 최대한 끌어내고자 노력하지만, 그런 과정에서 일반적으로 다른 부서가 데이터를 어떻게 사용할 수 있을지는 거의 생각하지 않습니다. 그러나 모든 기능을 충분히 반영하는 전략을 수립하기 위해서는 기업의 모든 데이터에 액세스해서 사용해야 합니다. 데이터 사일로는 이것을 차단합니다. 


여기서는 데이터 사일로가 문제가 되는 이유, 그리고 사일로로 인해 발생하는 장애물을 극복하고 데이터에 대한 전체적인 시야를 얻는 방법을 알아봅니다. 

 


데이터 사일로란? 

데이터 사일로는 조직의 한 부분에 존재하는 데이터가 다른 부분에서 찾아 활용하거나 액세스할 수 없도록 분리된 상태입니다. 분리로 인해 조직의 모든 데이터를 흡수, 분석해서 최대한의 이익을 끌어내기 어렵습니다. 

 

특히 각 부서마다 서로 다른 플랫폼과 툴(예를 들어 오라클, SAP, 마이SQL, 카산드라 등)을 선호하게 되면서 사용되는 데이터 소스도 다양해지고 있습니다. 이처럼 다양한 데이터 소스를 그대로 방치하는 경우에도 데이터 사일로가 발생합니다.  

 


왜 발생하는가?

대부분 경우 데이터 사일로는 한 기업의 다양한 조직에서 데이터를 다르게 보고, 서로 다른 영역의 기술에 서로 다른 속도로 투자하는 데서 비롯합니다. 이런 현상은 오래된 IT 시스템의 현대화와 레거시 데이터 맥락에서 발생합니다. 대부분 기업은 레거시 데이터가 있는 시스템의 마이그레이션을 꺼립니다. 지금 상태로도 여전히 잘 작동하며, 높은 교체 비용 대비 뚜렷한 이점이 거의 없기 때문입니다.  

 

예를 들어, RDBMS(relational database management systems)은 구조적 데이터에 맞게 설계됩니다. 사진, 비디오와 같은 비구조적 데이터는 어떻게 저장해야 할까요? NoSQL 데이터베이스를 사용하기로 결정하든, 하이브리드 데이터베이스를 선택하든, 데이터 사일로는 필연적으로 발생하게 됩니다. 

 

데이터 사일로는 데이터 잠김(lockout)과도 관련있습니다. 내보내기 또는 데이터의 외부 사용을 허용하지 않는 서비스형 소프트웨어 툴에 대한 의존도가 높아지면서 데이터 가용성을 확보하기가 어려워지는데, 이런 상태는 데이터에서 인사이트를 끌어낼 수 있는 사람에게 데이터를 제공하겠다는 목표를 달성하는 데 방해가 됩니다. 즉, 조직의 데이터가 여러 데이터 사일로로 흩어져 있으면 데이터를 활용하기가 어렵습니다. 

 


데이터 사일로는 왜 문제가 되는가?

데이터 사일로는 여러 이유로 데이터 분석가와 IT 관리자에게 문제가 됩니다. 

 


지연을 일으키고, 이로 인해 데이터 품질 및 일관성 문제 위험이 발생하면서 시간과 리소스가 낭비됩니다.

전통적인 의사 결정 지원 및 비즈니스 인텔리전스 모델에서는 먼저 기업 전반의 다양한 사이트에서 트랜잭션을 만들거나 캡처했습니다. 그런 다음 다양한 소스에서 데이터 웨어하우스로 데이터를 종합하면서 모든 데이터를 꿰어 맞출 방법을 찾았습니다. 그 다음 데이터를 추출·변환·로드(extract·transform·load, ETL)하고 마사지해서 "이번 분기 회사의 출하량 대 수주 비율은 어떻게 되지?" 또는 "XYZ 프로젝트의 현금 소각률은 몇이지?"와 같은 질문에 답했습니다.  

 

그러나 데이터 사일로 간의 단절은 항상 며칠 또는 몇 주의 지연을 유발했습니다. 모든 데이터를 엮는 데 많은 시간과 리소스가 투입돼 최신 데이터를 근거로 의사 결정을 내릴 수 없었습니다. 

 


결함 있는 데이터에 근거해 전략을 실행하게 될 수도 있습니다.

데이터 주도 기업이 되기 위한 과정에서 여러분은 데이터를 통해 모든 의사결정에 필요한 정보를 얻는 방법을 배우게 됩니다. 그러나 결함 있는 데이터를 근거로 한 의사결정은 아예 하지 않는 것보다 더 나쁜 결과로 이어질 수 있습니다. 결함 있는 데이터에 입각해 전략적 판단을 내리면 잘못된 길로 접어들 수 있습니다. 

 

낮은 데이터 품질도 마찬가지입니다. "데이터의 품질을 신뢰할 수 있는가?"는 항상 적절한 질문입니다. 의사결정권자가 자신이 사용 중인 데이터의 품질과 신뢰성을 확신하지 못하는 상황은 회사의 수익성 성장을 가로막는, 극복하기 어려운 장애물입니다. 

 


비즈니스에 대한 불완전한 시야를 유발합니다.

데이터 사일로가 있으면 당연히 데이터에 대한 시야도 불완전합니다. 또한 다크 데이터(dark data) 문제에 직면할 가능성도 있습니다. 가트너에 따르면, 다크 데이터란 "기업이 일상적인 비즈니스 활동 중에 수집, 처리, 저장하지만 일반적으로 다른 용도(예를 들어 분석, 비즈니스 관계 및 직접적인 수익 창출)로는 사용하지 못하는 정보 자산"입니다. 데이터를 활용하지도, 삭제하지도 않습니다. 특정 비율의 데이터에 액세스할 수 없는 상황에서 조직의 현재 상황을 파악하고 있다고 말할 수 있을까요? 

 


데이터 보안과 규정 준수를 복잡하게 합니다.

데이터 사일로 때문에 분석과 비즈니스 인텔리전스를 위한 노력이 좌절된다면, 데이터 보안과 규정 준수 역시 마차가지일 것입니다. 즉, 모든 데이터를 볼 수 없으면 데이터를 안전하고 규정을 준수하는 방식으로 다루고 있다고 확신할 수 없습니다. 각 사일로 소유자(마케팅, 엔지니어링, 운영, 제조 부서 등)가 자체적으로 규정 준수를 이행한다고 확신할 수 있나요? 많은 것을 막연히 추정해야 합니다. 

 

PII(Personally Identifiable Information)든 회사의 지적 재산 또는 고객 데이터든 관계없이 데이터 개인정보 보호는 특정 데이터 집합에 국한되지 않는다는 점을 기억하십시오. 개인정보 보호는 데이터의 출처까지 거슬러 올라가야 합니다. 사일로 중 하나에 저장된 민감한 데이터가 보호되지 않는다면 회사가 위험에 처하게 됩니다. 


데이터 플랫폼과 프로세스의 중복을 유발합니다.

데이터 사일로 내부에 대한 명확한 인사이트를 보유하고 있다 해도, 각 조직이 준수해야 할 데이터 식별 요구사항이 있을 수 있습니다. 이런 데이터를 검색하는 과정에서 중복 프로세스가 발생하고, 회사 곳곳의 중복된 데이터 플랫폼을 탐색하게 됩니다.

 

데이터 주도 기업이 되고자 하는 의지가 확고하다면, 데이터를 식별하는 것은 첫 번째 단계에 불과하다는 것을 알게 됩니다. 자산 발견 프로세스를 빠르게 확장해 이런 규정 준수 요구사항을 벗어나는 관련 데이터까지 파악해야 합니다. 모든 데이터를 발견할 때야 비로소 데이터를 기반으로 움직일 수 있는 길에 접어들게 됩니다. 

 


데이터 사일로 허물기

데이터 사일로를 인지했다면 가장 먼저 할 일은 사일로를 허물고 데이터를 민주화하는 것입니다. 이를 실현하기 위한 몇 가지 전략이 있습니다.  

 


데이터 주도 문화 조성

데이터 주도 문화 조성을 위한 협력은 특히 경영진이 지지하고 참여할 때 데이터 사일로를 제거하기 위한 큰 진전입니다. 데이터 과학자와 그 관리자들은 이미 기대감에 부풀어 있겠지만, 데이터 주도 조직이 되기 위한 노력을 경영진이 후원할 경우 그 열기는 몇 배로 뜨거워집니다. 경영진은 고품질 데이터를 근거로 전략적 의사결정을 내리고자 하므로, 데이터 사일로를 허무는 것은 경영진의 이익에 부합합니다. 

 


데이터 통합 촉진

데이터 사일로는 기업의 어느 한 곳에 있는 데이터가 다른 곳의 데이터와 어울리지 못하도록 합니다. 현대적 데이터 아키텍처의 목표는 데이터를 함께 변환하고 마사지할 때 따르는 질적 저하 없이 원활한 데이터 통합과 상호운용성을 촉진하는 것입니다. 기업에서 데이터를 포착하기 위한 표준을 정립하고 유지하면 그 목표를 달성할 수 있습니다. 기업 전반의 데이터가 서로 잘 맞도록 설계되면 데이터 변환에 소요되는 시간을 줄이고 분석과 의사결정에 더 많은 시간을 투자할 수 있습니다. 

 


엔터프라이즈 데이터 관리 및 거버넌스 추진

사일로에 저장된 데이터의 소유자가 이를 사일로로 인지하고 있나요? 기업의 다른 부서에서 액세스할 수도 없는 이 데이터를 계속 보관하는 이유는 무엇인가요? 엔터프라이즈 데이터 관리 및 데이터 거버넌스 등을 주요 관행으로 정립하면 사일로 해체의 이점이 자연스럽게 따라옵니다.

 

많은 비즈니스 관리자가 데이터 거버넌스를 정책과 연관시킵니다. 데이터로 하면 안 되는 일을 알려주는 규율을 경험했기 때문입니다. 그러나 데이터 거버넌스는 불필요한 위험을 야기하지 않으면서 데이터 집합으로부터 최대한의 혜택을 끌어내기 위한 일련의 가이드라인으로 발전했습니다. 즉, 사용자는 데이터를 수익성 있게 사용하는 데 대한 책임을 지고, 그에 따르는 혜택을 누립니다. 상호운용성으로 데이터 품질이 개선되고 데이터 사일로는 해체되며 사용자는 도출된 인사이트의 결과를 쉽게 볼 수 있습니다. 

 


결론

데이터 사일로는 여러 비즈니스 분야 간의 차이로 인해 발생하는 경우가 많습니다. 각 부서와 사업부는 개별적으로 발전하면서 데이터 집합을 기술하고 관리하기 위한 자체적인 접근 방법을 개발합니다. 이들은 시야를 기업의 전체 데이터 환경으로 옮기기 전까지는 사일로임을 인식하지 못합니다. 

 

데이터 사일로가 문제를 일으킨다는 점은 두말할 필요도 없습니다. 그러나 극복할 방법은 있고, 사일로 해체는 조직의 모든 데이터가 가진 가치를 온전히 끌어내기 위한 큰 진전입니다. 기업은 데이터 주도 문화를 조성하고 데이터 통합을 촉진하고 데이터 관리 및 거버넌스를 추구함으로써 데이터 사일로가 심층적인 분석 인사이트와 수익성에 미치는 영향을 줄일 수 있습니다. 

 

데이터 거버넌스 관리에 어려움을 겪고 계시거나 관련 솔루션에 대해 궁금한 점이 있으시면 언제든  퀘스트소프트웨어코리아로 문의주시기 바랍니다. 😄 






퀘스트소프트웨어코리아(주)

서울특별시 강남구 테헤란로 445 본솔빌딩10F
전화 번호 02-3420-9000 | 팩스 번호 02-569-3600

전자 메일 KoreaMarketing@quest.com 


Copyright © Quest. All Rights Reserved.

Hosting by I'MWEB


퀘스트소프트웨어코리아(주) 서울특별시 강남구 테헤란로 445 본솔빌딩10F
전화 번호 02-3420-9000 | 팩스 번호 02-569-3600 | 전자 메일 KoreaMarketing@quest.com


Copyright © Quest. All Rights Reserved.

Hosting by I'MWEB