Quick Overview with 챗GPT 🤖 AI 거버넌스를 강화하려면 윤리와 투명성을 기반으로 한 프레임워크를 마련하고, 편향을 줄이기 위한 데이터 관찰 체계를 갖추는 것이 필수입니다. 데이터 품질 기능이 내장된 카탈로그는 AI 입력 데이터의 무결성과 대표성을 확보하는 데 핵심 역할을 하며, 데이터 채점과 인증을 통해 신뢰 수준을 분류할 수 있습니다. 또한 AI 모델 도입 전 필요한 조건을 명확히 정의하고, 데이터 소비자와 협업하는 절차를 마련해야 합니다. AI 관련 교육도 반드시 병행되어야 합니다. 궁극적으로는 모든 요소가 AI 수명 주기 전반에 통합되어 작동하는 현실적인 데이터 전략이 필요합니다. |
AI 시대의 데이터 전략은 단순히 기술을 도입하는 수준에서 멈추지 않습니다. 1부에서는 AI 프로젝트의 성공 가능성을 높이기 위한 데이터 준비 전략으로 ▲새로운 AI 산출물의 결과와 특징을 사전에 정의하고 ▲분석 커뮤니티가 자체적으로 데이터를 활용할 수 있도록 지원하며 ▲데이터 환경을 체계적으로 분류하는 3가지 베스트 프랙티스를 살펴보았습니다.
👉 AI 데이터 거버넌스 전략에 포함해야 할 7가지 핵심 요소 – 1부
이런 전략이 AI 거버넌스를 위한 기초 체력을 다지는 과정이었다면, 2부에서는 AI 기반 데이터 활용의 속도와 정확도를 높이고, 데이터 중심의 조직 문화를 강화하는 데 필요한 핵심 베스트 프랙티스를 이어서 소개해 드립니다. 이제는 잘 정리된 데이터를 넘어, 잘 움직이는 데이터 전략이 필요한 시점입니다.
💡강력한 AI 거버넌스 프레임워크 개발
AI 거버넌스 규정은 혁신과 윤리적 고려 사항, 공공 안전, 상호 경쟁하는 경제적 이익 간의 복잡한 균형을 반영하면서 빠르게 전 세계적으로 초점 사항이 되었습니다. 이에 대응하여 조직은 다양하고 때로는 상충하는 규제 요구사항을 충족하기 위한 내부 관행과 정책을 수립해야 합니다. 강력한 AI 거버넌스 프레임워크를 마련하는 것이 어느 때보다 중요합니다.
기업은 다음에 대비한 AI 거버넌스 프레임워크를 갖추어야 합니다.
복잡하고 진화하는 AI 정책 및 요구사항에 대응
알고리즘 공정성과 편향 감지
윤리적이고 투명한 AI 관행 보장
적응성과 미래 규제에 초점을 맞춘 유연하고 민첩한 기술 개발
GPAI(Global Partnership on AI)와 같은 산업 공동 노력에 동참
프레임워크는 윤리와 위험의 기반이 되어야 합니다. 단순히 유행이라서가 아닌, 애초에 AI를 채택하는 이유를 확고하게 설정하십시오. 윤리는 조직 문화와 연결됩니다. 윤리에 있어 AI 전략은 정보에 근거하고 투명해야 합니다. 이에 따라 개인이 AI를 프로그래밍하고 포함할 데이터 유형을 선택하는 방법이 결정됩니다. 데이터 및 알림 관찰은 변경된 데이터에 대한 조치의 기반이 될 수 있습니다. 따라서 모델의 진정한 목적과 의도를 유지하기 위한 사실 확인을 반드시 거쳐야 합니다. 많은 상황에서 윤리는 사실과 허구를 구분하는 수단이 될 수 있습니다.
편견을 줄이는 것은 어려운 일입니다. 인간은 자신의 편견을 알아챌 수 없고 심지어 어디를 살펴봐야 하는지도 알지 못하기 때문입니다. 퓰리처상을 수상한 행동경제학자 대니얼 카너먼은 저서 ‘노이즈: 생각의 잡음(Noise: A Flaw in Human Judgment)’에서 “행동경제학은 편견의 사각지대를 밝힌다. 편견을 밝히는 것은 AI 사용에 직면한 상황에서 매우 흥미로운 문제 중 하나다. 이 문제를 해결하기 위해서는 사회과학과 컴퓨터과학이 함께 필요하기 때문”이라고 말했습니다.
데이터가 빠르게 변화하고 조직의 많은 부서가 AI를 위한 데이터 셀프서비스를 요청하는 상황에서 AI 프레임워크는 반드시 필요합니다.
위험 관점에서 규범적으로 접근하기 위해서는 새로운 AI 모델이나 LLM이 조직에 초래할 수 있는 위험 수준을 파악하고 드러내야 합니다. 프로그램의 위험도가 낮은가요, 보통인가요, 높은가요? 예를 들어 특정 테이블과 뷰에서 데이터 검증을 수행하는 빠른 자동화 루틴이 필요한 고객이 있습니다. 이 말은 곧 테이블을 스캔해서 중요하고 민감한 데이터를 식별해 AI 입력에서 제외한다는 것을 의미합니다. 또는 그대로 둔 채로 민감한 데이터로 태그를 지정하고 이 데이터를 사용하는 방법에 대한 실제 정책과 비즈니스 규칙을 포함하는 방법도 있습니다.
카탈로그라면 위와 같은 기능을 모두 기본 기능으로 지원해야 합니다. 실제로 많은 카탈로그가 사람이 놓치거나 건너뛰는 일이 없도록 알림과 프롬프트를 통해 더 선제적이고 개인화된 환경을 제공하기 위한 기능에 투자하고 있습니다.
앞으로 시행될 AI 규정을 준수하고 책임감 있는 AI 사용을 장려하는 데이터 관리, 액세스 제어 및 사용에 대한 정책을 정의하고 시행해야 합니다. 데이터팀과 AI팀이 데이터 소스의 신뢰성과 데이터의 안전함을 보장할 수 있고 회사가 고수준의 보고를 위해 일관적인 지표와 정의를 사용할 때, 데이터 소비자는 그 프레임워크 내에서 데이터에 자유롭게 액세스하고 활용할 수 있다는 확신을 갖게 됩니다.
💡AI 모델을 관찰해서 편향 제거하기
모델에 공급되는 데이터를 설계하고 정기적으로 관찰해서 편향으로 이어지는 이상치와 데이터 무결성 임계값 이탈을 손쉽게 파악하고, AI에 사용되는 데이터가 대표성 있고 윤리적이며 왜곡된 관점이 없도록 하십시오. 이 작업은 거의 실시간으로 이뤄져야 합니다.
이를 위한 최선은 데이터 품질 구성요소가 내장된 카탈로그입니다. 데이터를 비트 단위로 프로파일링하는 데이터 품질 솔루션도 있지만 전체 그림을 보여주는 카탈로그가 없으면 데이터 품질 툴이 알고 있는 부분만 모니터링할 수 있습니다. 또한 데이터 품질 지표가 없는 카탈로그를 사용하는 경우 양질의 데이터와 불량 데이터, 측정되지 않은 데이터가 어디에서 전파되는지 또는 그 불량 데이터의 진원지가 어디인지를 알 수 없게 됩니다.
데이터는 빈번하게 변경되며 유동적입니다. 데이터 임계값을 설정하면 해당 데이터에 대해 설정한 최솟값 또는 최댓값보다 높거나 낮은 데이터에 대해 시스템이 자동으로 알려줍니다. 데이터에 급격한 변동이 발생할 경우 그 변동을 수용하거나 거부할 수 있습니다. 본질적으로 이는 AI 모델의 기반 데이터를 학습시키는 것입니다.
신제품의 가격을 예로 들면, 최근 이벤트(허리케인, 팬데믹 등)로 인해 한 지역의 가격이 급등하는 경우 AI 모델이 이를 이상값으로 보도록 할지 여부를 결정할 수 있습니다. AI 모델이 생성하는 데이터에 패턴이 있는지 파악하는 데 3개월 이상 걸린다면 일상적인 비즈니스 이외의 모든 것을 거부해야 할 수 있습니다. 반면, 관찰 및 학습 없이 데이터를 방치하면 너무 많은 급변동이 발생해서 모델이 쓸모없게 되고 명확한 인사이트 또는 배움을 얻지 못하게 됩니다.
현대 데이터 품질 솔루션은 비즈니스 대시보드와 뷰를 제공합니다. 데이터 프로파일링에서는 비즈니스 정의와 규칙이 고려됩니다. 이를 카탈로그와 결합하면 분석 프로그램 또는 프로젝트를 위해 신뢰할 수 있는 데이터를 추적하고 제공하기 위한 원스톱 마켓플레이스를 얻을 수 있습니다.
💡AI 채점과 인증
AI 여정으로 조직을 이끌기 위한 작업의 일부는 데이터 소비자를 역할 및 작업과 함께 포함시키는 것입니다. 신뢰할 수 있는 데이터를 사용하고 있는지 확인하기 위해 필요한 단계를 설명하는 데이터 성숙도 모델이 있을 수 있습니다. AI 모델의 출시에 앞서 프로덕션에 들어가기 위해 무엇이 필요한지를 판단하십시오. 이를 새 AI 모델에 연결하면 AI 인증 프로세스를 갖추게 됩니다. 이렇게 하면 안심할 수 있을 것입니다.
데이터 채점에는 일반적으로 최종 사용자 평가와 데이터 품질 프로파일링 결과, 최종 사용자 순위가 포함됩니다. 이에 따라 카탈로그 데이터를 골드, 실버, 브론즈 데이터 집합 또는 제품으로 분류하게 됩니다. 브론즈 데이터를 사용하지 말라는 뜻이 아니라 위험을 파악하고 아직 골드 데이터로 분류되지 않은 이유를 알아야 한다는 것입니다. 또한 이를 통해 분류 또는 프로파일링되지 않은 데이터의 취약성을 파악할 수도 있습니다.
어떤 전략이든 크게 생각하고 작게 시작해서 빠르게 확장하십시오.
💡AI 교육
AI 자체에 대한 데이터와 사용자 커뮤니티 교육을 잊지 마십시오. 교육이 없으면 문제가 발생할 수밖에 없습니다. 프롬프트 엔지니어링, AI 위험과 규정, 데이터 문해력에 대한 사용자 교육을 통해 두려움을 없애고 단합된 조직으로 AI의 새로운 지평을 맞이할 수 있습니다.
결론
데이터 관리 역량에 필요한 급진적인 혁신의 필요성은 투명한 데이터에 대한 시급한 요구로 이어졌습니다. D&A 사용자가 모든 데이터 요구 사항을 셀프서비스로 처리할 수 있는 신뢰할 수 있는 장소(내부 마켓플레이스)와 데이터 투명성을 갖추면 조직은 “데이터에 준비된” 상태가 됩니다. 데이터 모델, 메타데이터 카탈로그, 데이터 품질 툴, 비즈니스 용어집 모두 데이터 하우스를 정리하기 위한 출발점으로 좋지만, 이러한 기능을 적용하기 위해서는 엔드 투 엔드 사용 사례를 제공할 수 있도록 각 기능의 일부가 AI와 함께 작동해야 합니다. AI 열차에 앞서 나가려면 현실적인 사고방식이 필요하며, 그 시작은 맥락과 데이터를 결합하고 AI 수명 주기 전반에 걸쳐 이 맥락을 관리하는 것입니다.
AI 거버넌스 전략 수립이나 데이터 관리에 어려움을 겪고 계시거나 관련 솔루션에 대해 궁금한 점이 있으시면 언제든 퀘스트소프트웨어코리아에 문의주시기 바랍니다.
👉퀘스트소프트웨어코리아 문의하기
Quick Overview with 챗GPT 🤖
AI 거버넌스를 강화하려면 윤리와 투명성을 기반으로 한 프레임워크를 마련하고, 편향을 줄이기 위한 데이터 관찰 체계를 갖추는 것이 필수입니다. 데이터 품질 기능이 내장된 카탈로그는 AI 입력 데이터의 무결성과 대표성을 확보하는 데 핵심 역할을 하며, 데이터 채점과 인증을 통해 신뢰 수준을 분류할 수 있습니다. 또한 AI 모델 도입 전 필요한 조건을 명확히 정의하고, 데이터 소비자와 협업하는 절차를 마련해야 합니다. AI 관련 교육도 반드시 병행되어야 합니다. 궁극적으로는 모든 요소가 AI 수명 주기 전반에 통합되어 작동하는 현실적인 데이터 전략이 필요합니다.
AI 시대의 데이터 전략은 단순히 기술을 도입하는 수준에서 멈추지 않습니다. 1부에서는 AI 프로젝트의 성공 가능성을 높이기 위한 데이터 준비 전략으로 ▲새로운 AI 산출물의 결과와 특징을 사전에 정의하고 ▲분석 커뮤니티가 자체적으로 데이터를 활용할 수 있도록 지원하며 ▲데이터 환경을 체계적으로 분류하는 3가지 베스트 프랙티스를 살펴보았습니다.
👉 AI 데이터 거버넌스 전략에 포함해야 할 7가지 핵심 요소 – 1부
이런 전략이 AI 거버넌스를 위한 기초 체력을 다지는 과정이었다면, 2부에서는 AI 기반 데이터 활용의 속도와 정확도를 높이고, 데이터 중심의 조직 문화를 강화하는 데 필요한 핵심 베스트 프랙티스를 이어서 소개해 드립니다. 이제는 잘 정리된 데이터를 넘어, 잘 움직이는 데이터 전략이 필요한 시점입니다.
💡강력한 AI 거버넌스 프레임워크 개발
AI 거버넌스 규정은 혁신과 윤리적 고려 사항, 공공 안전, 상호 경쟁하는 경제적 이익 간의 복잡한 균형을 반영하면서 빠르게 전 세계적으로 초점 사항이 되었습니다. 이에 대응하여 조직은 다양하고 때로는 상충하는 규제 요구사항을 충족하기 위한 내부 관행과 정책을 수립해야 합니다. 강력한 AI 거버넌스 프레임워크를 마련하는 것이 어느 때보다 중요합니다.
기업은 다음에 대비한 AI 거버넌스 프레임워크를 갖추어야 합니다.
복잡하고 진화하는 AI 정책 및 요구사항에 대응
알고리즘 공정성과 편향 감지
윤리적이고 투명한 AI 관행 보장
적응성과 미래 규제에 초점을 맞춘 유연하고 민첩한 기술 개발
GPAI(Global Partnership on AI)와 같은 산업 공동 노력에 동참
프레임워크는 윤리와 위험의 기반이 되어야 합니다. 단순히 유행이라서가 아닌, 애초에 AI를 채택하는 이유를 확고하게 설정하십시오. 윤리는 조직 문화와 연결됩니다. 윤리에 있어 AI 전략은 정보에 근거하고 투명해야 합니다. 이에 따라 개인이 AI를 프로그래밍하고 포함할 데이터 유형을 선택하는 방법이 결정됩니다. 데이터 및 알림 관찰은 변경된 데이터에 대한 조치의 기반이 될 수 있습니다. 따라서 모델의 진정한 목적과 의도를 유지하기 위한 사실 확인을 반드시 거쳐야 합니다. 많은 상황에서 윤리는 사실과 허구를 구분하는 수단이 될 수 있습니다.
편견을 줄이는 것은 어려운 일입니다. 인간은 자신의 편견을 알아챌 수 없고 심지어 어디를 살펴봐야 하는지도 알지 못하기 때문입니다. 퓰리처상을 수상한 행동경제학자 대니얼 카너먼은 저서 ‘노이즈: 생각의 잡음(Noise: A Flaw in Human Judgment)’에서 “행동경제학은 편견의 사각지대를 밝힌다. 편견을 밝히는 것은 AI 사용에 직면한 상황에서 매우 흥미로운 문제 중 하나다. 이 문제를 해결하기 위해서는 사회과학과 컴퓨터과학이 함께 필요하기 때문”이라고 말했습니다.
데이터가 빠르게 변화하고 조직의 많은 부서가 AI를 위한 데이터 셀프서비스를 요청하는 상황에서 AI 프레임워크는 반드시 필요합니다.
위험 관점에서 규범적으로 접근하기 위해서는 새로운 AI 모델이나 LLM이 조직에 초래할 수 있는 위험 수준을 파악하고 드러내야 합니다. 프로그램의 위험도가 낮은가요, 보통인가요, 높은가요? 예를 들어 특정 테이블과 뷰에서 데이터 검증을 수행하는 빠른 자동화 루틴이 필요한 고객이 있습니다. 이 말은 곧 테이블을 스캔해서 중요하고 민감한 데이터를 식별해 AI 입력에서 제외한다는 것을 의미합니다. 또는 그대로 둔 채로 민감한 데이터로 태그를 지정하고 이 데이터를 사용하는 방법에 대한 실제 정책과 비즈니스 규칙을 포함하는 방법도 있습니다.
카탈로그라면 위와 같은 기능을 모두 기본 기능으로 지원해야 합니다. 실제로 많은 카탈로그가 사람이 놓치거나 건너뛰는 일이 없도록 알림과 프롬프트를 통해 더 선제적이고 개인화된 환경을 제공하기 위한 기능에 투자하고 있습니다.
앞으로 시행될 AI 규정을 준수하고 책임감 있는 AI 사용을 장려하는 데이터 관리, 액세스 제어 및 사용에 대한 정책을 정의하고 시행해야 합니다. 데이터팀과 AI팀이 데이터 소스의 신뢰성과 데이터의 안전함을 보장할 수 있고 회사가 고수준의 보고를 위해 일관적인 지표와 정의를 사용할 때, 데이터 소비자는 그 프레임워크 내에서 데이터에 자유롭게 액세스하고 활용할 수 있다는 확신을 갖게 됩니다.
💡AI 모델을 관찰해서 편향 제거하기
모델에 공급되는 데이터를 설계하고 정기적으로 관찰해서 편향으로 이어지는 이상치와 데이터 무결성 임계값 이탈을 손쉽게 파악하고, AI에 사용되는 데이터가 대표성 있고 윤리적이며 왜곡된 관점이 없도록 하십시오. 이 작업은 거의 실시간으로 이뤄져야 합니다.
이를 위한 최선은 데이터 품질 구성요소가 내장된 카탈로그입니다. 데이터를 비트 단위로 프로파일링하는 데이터 품질 솔루션도 있지만 전체 그림을 보여주는 카탈로그가 없으면 데이터 품질 툴이 알고 있는 부분만 모니터링할 수 있습니다. 또한 데이터 품질 지표가 없는 카탈로그를 사용하는 경우 양질의 데이터와 불량 데이터, 측정되지 않은 데이터가 어디에서 전파되는지 또는 그 불량 데이터의 진원지가 어디인지를 알 수 없게 됩니다.
데이터는 빈번하게 변경되며 유동적입니다. 데이터 임계값을 설정하면 해당 데이터에 대해 설정한 최솟값 또는 최댓값보다 높거나 낮은 데이터에 대해 시스템이 자동으로 알려줍니다. 데이터에 급격한 변동이 발생할 경우 그 변동을 수용하거나 거부할 수 있습니다. 본질적으로 이는 AI 모델의 기반 데이터를 학습시키는 것입니다.
신제품의 가격을 예로 들면, 최근 이벤트(허리케인, 팬데믹 등)로 인해 한 지역의 가격이 급등하는 경우 AI 모델이 이를 이상값으로 보도록 할지 여부를 결정할 수 있습니다. AI 모델이 생성하는 데이터에 패턴이 있는지 파악하는 데 3개월 이상 걸린다면 일상적인 비즈니스 이외의 모든 것을 거부해야 할 수 있습니다. 반면, 관찰 및 학습 없이 데이터를 방치하면 너무 많은 급변동이 발생해서 모델이 쓸모없게 되고 명확한 인사이트 또는 배움을 얻지 못하게 됩니다.
현대 데이터 품질 솔루션은 비즈니스 대시보드와 뷰를 제공합니다. 데이터 프로파일링에서는 비즈니스 정의와 규칙이 고려됩니다. 이를 카탈로그와 결합하면 분석 프로그램 또는 프로젝트를 위해 신뢰할 수 있는 데이터를 추적하고 제공하기 위한 원스톱 마켓플레이스를 얻을 수 있습니다.
💡AI 채점과 인증
AI 여정으로 조직을 이끌기 위한 작업의 일부는 데이터 소비자를 역할 및 작업과 함께 포함시키는 것입니다. 신뢰할 수 있는 데이터를 사용하고 있는지 확인하기 위해 필요한 단계를 설명하는 데이터 성숙도 모델이 있을 수 있습니다. AI 모델의 출시에 앞서 프로덕션에 들어가기 위해 무엇이 필요한지를 판단하십시오. 이를 새 AI 모델에 연결하면 AI 인증 프로세스를 갖추게 됩니다. 이렇게 하면 안심할 수 있을 것입니다.
데이터 채점에는 일반적으로 최종 사용자 평가와 데이터 품질 프로파일링 결과, 최종 사용자 순위가 포함됩니다. 이에 따라 카탈로그 데이터를 골드, 실버, 브론즈 데이터 집합 또는 제품으로 분류하게 됩니다. 브론즈 데이터를 사용하지 말라는 뜻이 아니라 위험을 파악하고 아직 골드 데이터로 분류되지 않은 이유를 알아야 한다는 것입니다. 또한 이를 통해 분류 또는 프로파일링되지 않은 데이터의 취약성을 파악할 수도 있습니다.
어떤 전략이든 크게 생각하고 작게 시작해서 빠르게 확장하십시오.
💡AI 교육
AI 자체에 대한 데이터와 사용자 커뮤니티 교육을 잊지 마십시오. 교육이 없으면 문제가 발생할 수밖에 없습니다. 프롬프트 엔지니어링, AI 위험과 규정, 데이터 문해력에 대한 사용자 교육을 통해 두려움을 없애고 단합된 조직으로 AI의 새로운 지평을 맞이할 수 있습니다.
결론
데이터 관리 역량에 필요한 급진적인 혁신의 필요성은 투명한 데이터에 대한 시급한 요구로 이어졌습니다. D&A 사용자가 모든 데이터 요구 사항을 셀프서비스로 처리할 수 있는 신뢰할 수 있는 장소(내부 마켓플레이스)와 데이터 투명성을 갖추면 조직은 “데이터에 준비된” 상태가 됩니다. 데이터 모델, 메타데이터 카탈로그, 데이터 품질 툴, 비즈니스 용어집 모두 데이터 하우스를 정리하기 위한 출발점으로 좋지만, 이러한 기능을 적용하기 위해서는 엔드 투 엔드 사용 사례를 제공할 수 있도록 각 기능의 일부가 AI와 함께 작동해야 합니다. AI 열차에 앞서 나가려면 현실적인 사고방식이 필요하며, 그 시작은 맥락과 데이터를 결합하고 AI 수명 주기 전반에 걸쳐 이 맥락을 관리하는 것입니다.
AI 거버넌스 전략 수립이나 데이터 관리에 어려움을 겪고 계시거나 관련 솔루션에 대해 궁금한 점이 있으시면 언제든 퀘스트소프트웨어코리아에 문의주시기 바랍니다.
👉퀘스트소프트웨어코리아 문의하기