AI 데이터 거버넌스 전략에 포함해야 할 7가지 핵심 요소 – 1부

AI 거버넌스 전략을 추진하는 양상은 기업마다 다양합니다. 비즈니스의 한 영역에 데이터와 AI 프로젝트를 축적하는 기업도 있고, 생성형 AI에 능동적으로 대처하기 위해 노력하는 기업, 그리고 조직 전반에서 견고한 AI 데이터 기반을 실행하기 위한 응집력 있는 전략을 구축하는 기업도 있습니다. 

현시점에서 잘 튜닝된 AI 팩토리를 보유하고 이를 통해 AI 데이터를 분류, 프로파일링, 인증하고 비즈니스 발전과 혁신을 이끄는 AI 인사이트를 도출하는 기업은 매우 드뭅니다. 그러나 필자가 매주 만나는 데이터 책임자 대부분은 데이터 하우스에 체계를 갖추고 AI 전략을 정의하려는 생각을 갖고 있습니다. AI는 무한한 가능성을 가진 창의적이고 새로운 세계를 제공합니다. 우리에게는 AI에 끌려가는 것이 아니라 그 세상을 직접 그릴 기회가 있습니다. 

어떤 형태로든 이미 데이터 카탈로그를 구현한 기업은 AI 흐름에서 확실히 앞서 있습니다. 이런 기업의 데이터는 모델링, 분류, 선별되고 다이어그램으로 표현됩니다. 카탈로그 벤더는 데이터 거버넌스를 넘어 많은 새로운 기능을 앞세우고 있지만, AI 인사이트와 성과의 질을 높여주는 주요 재료는 여전히 위와 같은 핵심 기능임을 잊지 말아야 합니다. 데이터 파이프라인 관찰, 데이터 스코어링, 수익화 및 마켓플레이스 기능과 같은 새로운 카탈로그 사용례는 데이터 정리와 대규모 마이그레이션 작업이 아닌 AI 결과와 성과를 활용하여 다음에 취할 단계를 고민하는 현명한 데이터 커뮤니티와 데이터 리더를 만들어내고 있습니다. 결국 데이터는 잘 정의되고 정확하고 구조화된 데이터에서 가장 좋은 성능을 발휘합니다.

AI에 사용할 수 있도록 데이터를 준비하기 위한 전략을 수립할 때 적용해야 할 7가지 베스트 프랙티스는 다음과 같습니다. 

💡새로운 AI 산출물의 결과와 특징을 사전에 정의 

새로운 AI 산출물의 의도에 대해 구체성을 갖는 것이 중요합니다. 즉, 질문과 달성하고자 하는 답에 대한 기대 사항의 윤곽을 그리십시오. 어떤 의미에서는 “프롬프트 전문가”가 되어 AI 모델의 목표에 맞춰 주제 영역을 좁히는, 본질적인 의미를 규정하는 질문을 던지기 위한 새로운 방법을 배우는 것이 좋습니다. 이렇게 하면 데이터를 관찰하는 과정에서 달성하고자 하는 결과가 모니터링되고 데이터 이상 현상을 수용 또는 거부함에 따라 조정됩니다. 

데이터 모델링을 활용해서 새로운 AI 사용례에 대한 데이터 요구사항을 파악합니다. 새로운 “데이터 제품”의 역할이 바로 여기에 있습니다. 비즈니스 소비자가 데이터 엔지니어에게 “새로운 마케팅 캠페인, 새로운 제품, 새로운 연구 등을 위해 데이터가 필요하다”라고 요청한다면 이는 곧 새로운 이니셔티브에 사용할 수 있는 모든 데이터 자산을 요청하는 것입니다. 여기에는 기존 데이터 집합, 보고서, AI 기능, 그리고 해당 데이터를 사용할 때 알아야 할 가드레일(정책 및 가이드라인)이 포함됩니다. 데이터 제품은 성공을 위한 매우 중요한 한 가지 요소를 달성합니다. 즉, 비즈니스 소비자와 데이터 전문가를 결합해 생산적인 경험을 제공하고 그 결과에 대한 공감을 형성합니다.

💡분석 커뮤니티에 자체적으로 데이터 제공 

분석 데이터 검색과 요청에는 IT 작업 지시가 필요 없어야 합니다. 견고한 데이터 카탈로그 마켓플레이스는 모든 데이터 소비자가 쾌적한 협업 환경에서 데이터를 활용할 수 있는 손쉬운 방법을 제공해야 합니다. 아마존과 같은 쇼핑 환경, 즉 최종 사용자가 관련 데이터 집합을 비교 및 검색하고, 여러 데이터 집합으로 새로운 데이터 제품을 만들고, 데이터 스코어링 및 이슈 스레드에서 협업할 수 있는 환경을 제공하는 것이 좋습니다. 이렇게 하면 의식하지 못하는 사이 데이터 거버넌스를 실현하게 됩니다. 

AI를 구축할 때 항상 최고 품질의 데이터가 필요한 것은 아닙니다. 그런 데이터에는 한계가 있기 때문입니다. 그러나 데이터의 특성에 대한 투명성은 항상 필요합니다. 특히 합성 데이터를 사용하는 경우 이 데이터가 내부적으로 생성되었는지 확인해야 합니다. 데이터의 출처가 어디인가요? 이 데이터가 얼마나 자주 사용되나요? 데이터에 대한 평가는 어떤가요? 데이터가 프로파일링되었나요? 그 데이터는 기업이 허용하는 수준의 무결성을 충족했나요? 

더 균형 잡힌 인사이트를 얻기 위해 평균보다 품질이 떨어지는 데이터를 사용하는 것이 괜찮을 때도 있고, 규제 정보가 걸려 있어 빈틈없이 완전한 정확성이 필요할 수도 있습니다. 각 맥락에서 데이터가 충족해야 하는 품질과 데이터가 어떻게 사용되는지에 대한 매개변수를 파악하십시오.

분석 마켓플레이스 요청 자체에는 현재 어떤 비즈니스 이니셔티브에 사용되고 있는지, 어떤 결과와 인사이트를 기대하는지, 그리고 비즈니스의 어느 영역에서 이 모델에 대한 데이터 파이프라인을 모니터링할 것인지 등을 정의하기 위한 필수 속성이 있습니다. 이는 분류, 선별, 관리되는 내외부 및 서드파티 데이터에 접근하기 위한 관문이 되어야 합니다. 

💡데이터 환경 분류 

대부분의 LLM과 AI 모델은 생성하고자 하는 인사이트와 관련된 하위 섹션 또는 도메인을 지정해 줘야 합니다. LLM과 모델에 전체 데이터 모음을 지정하면 모델과 관련된 데이터 패턴과 인사이트를 찾을 가능성은 낮아집니다. 이 경우 모델이 프로덕션 단계까지 도달하지 못할 위험이 발생합니다. 

데이터 카탈로그는 데이터를 분류하므로 예를 들어 AI 모델에 고객, 제품 또는 판매 데이터를 지정할 수 있게 해줍니다. 관리형 카탈로그는 품질 특성, 데이터의 평판과 활용도, 과거 해당 데이터를 사용했을 때의 결과와 같은 더 많은 정보를 제공합니다.

AI 모델과 LLM을 더 작고 사용하기 쉬운 섹션으로 분할하려는 경우 고도로 분류된 데이터 카탈로그로 데이터를 나누고, 이를 통해 검색 속도를 높이고 막연한 추측 없이 모델에 공급할 적절한 관련 데이터를 찾을 수 있습니다. 

AI의 기반 데이터를 구역화한다면 데이터 파이프라인을 사용해 데이터 입력과 출력을 관리하고 모니터링하는 부분에 대해 놀라움을 느낄 것입니다. AI 파이프라인은 거의 실시간으로 AI 모델에서 일어나는 일을 정확히, 투명하게 보여주는 시야를 제공합니다. 개인 정보, 변환 규칙, 데이터 품질 프로파일링 결과가 반영되는 데이터 흐름 시각화는 모델 출력 생성에 필요한 것을 빠르게 파악할 수 있는 지도 역할을 합니다. 데이터 품질 엔진은 이런 파이프라인에서 데이터 드리프트, 데이터 이상점, 민감한 데이터 및 데이터 품질 저하를 정기적으로 모니터링합니다. 

데이터 분류에서 또 다른 중요한 요소는 의미 증강입니다. 데이터 프로파일링 기능 내에서 의미 증강을 사용하면 데이터를 프로파일링하는 과정에서 비즈니스 이름을 생성하는 프로세스가 자동화됩니다. 데이터 품질 모듈이 데이터 카탈로그에 기반한다면 이런 증강을 수행하는 데 필요한 비즈니스 자산을 이미 갖춘 것입니다. 이는 이미 관리되고 있는 카탈로그에서 중요한 데이터 요소와 개인 정보, 규제 데이터에 태그를 지정하는 방법이 됩니다. 데이터 프로파일링 결과, 거버넌스, 데이터 사용 및 최종 사용자 평가를 결합해서 데이터의 상대적 가치를 나타내는 골드, 실버, 브론즈 등급으로 데이터를 분류할 수 있습니다.

여기까지 3가지 베스트 프랙티스를 살펴보았습니다. 2부에서는 강력한 AI 거버넌스 프레임워크 구축, AI 모델의 편향을 제거하기 위한 관찰, AI의 평가 및 인증, 그리고 AI 교육에 대한 전략을 다룰 예정입니다.  

AI 거버넌스 전략 수립이나 데이터 관리에 어려움을 겪고 계시거나 관련 솔루션에 대해 궁금한 점이 있으시면 언제든 퀘스트소프트웨어코리아에 문의주시기 바랍니다.  

👉 퀘스트소프트웨어코리아 문의하기