성숙한 데이터 환경을 갖춘 조직에서는 내부 사용자가 데이터에 손쉽게 액세스하고 활용하여 가치를 얻을 수 있습니다. 데이터를 설계하고 분류하고 찾고 선별하고 제공하는 과정에 지능적인 구조가 내장되어 있기 때문입니다. 뛰어난 데이터 리더와 팀이 있으면 이런 구조의 각 단계에서 가치를 찾을 수 있습니다. 

그러나 데이터 성숙도가 낮은 조직은 데이터 인텔리전스 여정에서 가치를 찾는 데 어려움을 겪습니다. 이는 신뢰할 수 있는 데이터의 부족과 비즈니스 활동에 이용할 수 있는 인사이트의 결핍으로 이어집니다. 

데이터를 대량으로 재배포할 때, 데이터 메시와 셀프 서비스 환경의 가장 큰 관심사는 이 데이터의 품질입니다. 성숙한 데이터 환경의 대표적인 특징은 데이터에 대한 확신입니다. 이 데이터는 관리/프로파일링/선별되고 점수가 부여되며 사용자에게 셀프 서비스 마켓플레이스를 제공합니다. 

데이터 성숙도란? 

데이터 성숙도는 조직에서 의사 결정에 데이터를 사용하는 수준과 그 효과를 나타내는 지표입니다. 

높은 데이터 성숙도의 특징 

성숙한 데이터 환경에서는 사용자가 자신이 담당하는 비즈니스 질문, 캠페인 또는 프로젝트에 따라 데이터 집합을 손쉽게 쇼핑할 수 있습니다. 데이터에는 “알려진 품질”이 있는데, 이는 데이터 품질 프로파일링 결과, 최종 사용자 순위, 거버넌스 등급 또는 이런 여러 품질 측면의 조합에 반영됩니다. 

데이터는 사업부 및 영역에 따라 검색되고 표현됩니다. 기업은 데이터가 보관되는 위치를 관리하고 데이터, 정책, 비즈니스 규칙 등을 언제, 누가 마지막으로 업데이트했는지 명확하게 파악합니다. 데이터 자체는 처리되는 방식에 따라 관리, 분류되고 태그가 지정됩니다. 사용자는 자신이 사용 중인 데이터 집합이 데이터의 열 수준에서 개인정보 보호 또는 규제 컨트롤과 관련된 데이터 집합인지 여부를 알 수 있습니다. 

데이터는 손쉽게 공유됩니다. 앞뒤, 그리고 그 사이의 모든 지점에는 투명성이 있습니다. 데이터 엔지니어와 분석가는 데이터 계보, 데이터가 처음 만들어진 곳, 데이터에 무슨 일이 일어났고 어떻게 계산되었는지, 어떤 규칙이 적용되었는지 추적할 수 있습니다. 데이터 파이프라인의 어느 지점에서든 문제가 발생하면 업스트림과 다운스트림을 신속하게 추적해서 문제의 범위를 파악하고, 오랜 데이터 문제를 소스에서 해결하는 데 필요한 근본 원인 분석을 제공할 수 있습니다. 

데이터 보증에 대한 KPI와 메트릭이 있습니다. 조직은 이를 통해 데이터 랭글링에 소요되는 시간과 인사이트 작업에 소요되는 시간, 데이터가 얼마나 완전하게, 잘 선별되는지 측정합니다. 조직은 CDO 또는 CDAO에 투자했으며, 모두가 참여하고 데이터와 상호작용하고 있습니다. 데이터 마스터와 관리를 조직의 어느 한 부분이 전담하지 않습니다.  

이런 모든 것이 세계 최고 수준의 데이터 프로그램과 성숙한 데이터 환경의 특징입니다. 대규모 중복 및 데이터 팽창 문제가 해결되어 데이터를 손쉽게 찾고 그 잠재력을 최대한 활용할 수 있습니다.  

데이터 성숙 도가 중요한 이유 

양질의 데이터는 조직의 가장 핵심적인 비즈니스 자산입니다. 조직은 데이터를 통해 어떤 것이 효과적인지, 그렇지 않은지를 구분하고 데이터를 사용해 방향을 전환하거나 멈출 수 있습니다. 

AI와 디지털화의 시대인 지금은 경험과 직감에 의존할 수 없습니다. 데이터가 표류할 때 이를 포착하는 프롬프트와 지표가 필요합니다. 성숙하고 신뢰할 수 있으며 잘 선별된 데이터를 기반으로 프로세스와 캠페인, 교육, 트렌드, 고객 만족을 생성, 조정, 능률화하기 위해서는 데이터, 그리고 데이터를 능숙하게 다루는 직원들이 필요합니다. 이런 조건이 충족되지 않으면 추정하는 것에 불과하며, 최악의 경우 적절히 검사 또는 검증되지 않은 데이터를 기반으로 행동에 나서게 됩니다. 

데이터를 쉽게 설명하지 못한다면 감사에 대한 대응이 늦어지고, 알아보기 위해 컨설턴트팀을 채용해야 하며, 최신 데이터 에스컬레이션에 답하기 위해 다른 프로젝트는 계속 본궤도를 벗어나게 됩니다. 사업부는 자체 디바이스를 사용해 데이터를 찾고 또 다른 데이터 레이크, 웨어하우스 또는 BI 환경을 가동하면서 데이터 오션을 더욱 증폭시키고 잘못된 방향으로 나갈 위험은 커지게 됩니다. 

모든 조직에는 방대한 양의 데이터가 있습니다. 이를 관리되지 않는 상태로 두면 오염 또는 잘못된 사용이 조직 전반으로 확산되어 또 다른 개인정보 침해 또는 비즈니스 자산과 계산, 정책 및 규칙의 와전이 발생할 수 있습니다. 

데이터 성숙도를 높이는 방법 

데이터 이니셔티브를 시작할 때는 조직의 데이터 성숙도에 대한 기준을 정하는 것이 좋습니다. 설문조사는 이 기준을 계산하는 좋은 방법입니다. 

그 외에, 조직의 데이터 성숙도를 확보하고자 하는 데이터 리더는 대규모 데이터를 지원할 때 과제에 직면합니다. 숙련된 데이터 리더는 전통적인 데이터 거버넌스, 규정 준수, 위험 및 개인정보 보호를 지원했던 과거의 경험에 기대 분석 환경에서 현대의 파괴적(disruptive) 사용례에 대응합니다. 이런 경험은 데이터 리더가 목적과 의도를 갖고 데이터 성숙도 프로그램을 시작하도록 이끕니다. 

쿄해상홀딩스(Tokio Marine)의 CDO 케빈 스미스와 팀은 다음과 같은 강령과 함께 여정을 시작했습니다. 

“데이터 오피스의 비전은 민첩성과 혁신 정신을 유지하면서 비즈니스 핵심 데이터를 신뢰할 수 있고 액세스 가능하며 안전하게 만드는 것입니다. 우리는 이 비전을 구축하고 지원하고 촉진할 높은 수준의 데이터 커뮤니티를 구축할 것입니다.” 

필자는 이처럼 강력하고 충실한 비전이 “데이터 보증” 프로그램과 연계되면 데이터 성숙도 프로그램의 성공으로 이어진다고 생각합니다. 이는 전체적인 소명에 부합하는 “의도적인” 행동 개시 유도를 통해 모든 사람들을 하나로 결집합니다. 

효과적인 데이터 리더는 필요한 요소를 준비하고 데이터 뒤에 자신 있게 서는 방법을 알고 있습니다. 전체적인 사명에 부합하는 체계적인 프로그램과 내외부 SME팀을 갖추고 있기 때문입니다. 내부 팀원과 외부 벤더 간의 이 주고받는 관계는 전체적인 성숙도 추구를 독려하고 미래에 대비하고 조직 전체에 걸쳐 데이터를 “자유화”함으로써 데이터 프로그램을 강화합니다. 

다음 포스팅에서는 데이터 성숙도를 달성하고 가치를 극대화하기 위한 7단계를 본격적으로 알아보겠습니다. 데이터 관리에 어려움을 겪고 계시거나 솔루션에 대해 궁금한 점이 있으시면 언제든 퀘스트소프트웨어 코리아로 문의하시기 바랍니다.