AI 기반 운영의 데이터 계보(리니지) 및 거버넌스

AI 기반 운영의 데이터 계보(리니지) 및 거버넌스

인공지능(AI)이 더욱 널리 보급되고 정교해짐에 따라 조직은 강력한 거버넌스 프레임워크를 구현하는 것이 필수적입니다.

AI 거버넌스에는 데이터 관행에 AI를 구현하고 배포할 때 고려해야 할 모든 정책, 규정 및 윤리적 고려 사항이 포함됩니다.  Gartner는 AI 거버넌스 프레임워크가 얼마나 중요한지 몇 가지 AI의 특성을 강조하며 설명합니다:

• AI는 안전과 비즈니스 가치에 대한 요구로 인해 거버넌스가 어렵습니다.
  
• 거버넌스 없이 AI를 확장하는 것은 비효율적이고 위험합니다.
  
• AI 거버넌스는 투명성, 책임성, 윤리적 행동에 대한 기준을 충족하기 위해 필요합니다.
  

데이터 계보는 AI 결과를 설명하고 윤리 기준 등의 준수 여부를 측정할 수 있는 메커니즘을 생성하므로 효과적인 AI 거버넌스를 위한 중요한 요소입니다.  이 글에서는 데이터 계보와 AI 거버넌스 간의 관계와 이러한 요소가 AI 기반 조직에서 중요한 이유에 대해 자세히 살펴봅니다.

데이터 계보와 AI 거버넌스에서의 역할

데이터 계보란 데이터의 출처에서 목적지까지 시스템과 프로세스를 통해 이동하는 데이터를 추적하고 시각화하는 것을 말합니다. 이를 통해 조직은 데이터의 출처, 변환 및 사용을 추적하여 데이터가 정확하고 신뢰할 수 있으며 적절하게 관리되는지 확인할 수 있습니다. 이 개념은 투명성과 책임성을 가능하게 하여 조직이 데이터가 AI 결과에 어떤 영향을 미치는지 모니터링하고 이러한 결과가 정당하고 윤리적인지 확인할 수 있게 해주므로 AI 거버넌스에 매우 중요합니다.

데이터 계보를 AI 거버넌스에 통합하면 몇 가지 이점이 있습니다. 이를 통해 조직은 AI 의사 결정을 설명하고, 데이터의 출처에서 AI 모델에 사용될 때까지 데이터의 흐름을 추적하며, AI 시스템에 공급되는 데이터가 정확하고 신뢰할 수 있는지 검증할 수 있습니다.

예를 들어, 의료 또는 군사 애플리케이션과 같이 AI가 자율적으로 조치를 제안하거나 실행할 수 있는 고위험 환경에서 데이터 계보를 사용하면 이러한 결정이 건전하고 잘 이해된 데이터에 기반하도록 보장하여 결함이 있거나 편향된 입력과 관련된 위험을 줄일 수 있습니다.

데이터 계보와 거버넌스의 중요성

최신 정보 시스템에서 데이터 통합은 표준 관행입니다. 하지만 데이터가 통합될수록 데이터의 출처를 추적하기가 어려워지는 경우가 많으며, 이는 중요한 의사결정을 내릴 때 AI 시스템에 의존하는 조직이 직면하는 과제입니다. 예를 들어, 다양한 소스의 데이터를 집계하고 연결하는 지식 그래프는 데이터 위에 ‘시맨틱 레이어‘를 구축하여 보다 쉽게 분석할 수 있도록 합니다. 그러나 기초 데이터에 결함이 있으면 이를 통해 도출된 결론과 의사 결정에도 문제가 생길 수 있습니다.

이는 사람의 개입이나 감독이 제한적인 상태에서 자동으로 결정이 내려지는 경우가 많은 AI 시스템에서 특히 중요합니다. 군사 작전, 의료, 비즈니스 등 어떤 분야에서든 결함이 있는 데이터로 인해 문제가 있는 AI 결과가 도출될 수 있다는 것은 심각한 위험입니다.

이러한 환경에서는 명확하고 감사 가능한 데이터 계보를 보유하면 조직이 AI 결과를 검증하고 데이터의 신뢰성을 확보하는 데 도움이 됩니다.

디지털 트랜스포메이션 및 AI 운영

조직이 자동화를 추진하고 의사결정을 가속화하기 위해 AI를 도입할 때, 결과물을 이해하고 검증할 수 있는 방식으로 AI를 운영하는 것이 중요합니다. AI 시스템은 다양한 소스로부터 대량의 데이터를 처리하고 즉시 권장 사항을 제공할 수 있습니다. 하지만 이러한 추천은 설명할 수 있어야 하고 신뢰할 수 있는 데이터를 기반으로 해야 합니다.

데이터 계보는 의사 결정권자가 AI 결과물의 무결성을 검증할 수 있도록 AI를 운영하는 데 중요한 역할을 합니다. 이러한 추적 기능은 AI가 생성한 제안의 근거가 되는 데이터를 완전히 이해하지 못한 상태에서 이에 따라 행동할 위험을 줄여줍니다. 다양한 단계를 통해 데이터의 여정을 추적함으로써 조직은 AI 시스템의 결정이 건전하고 정당한지 검증할 수 있습니다.

검증 및 검정 (Verification&Validation)의 중요성

검증 및 검정 (V&V : Verification&Validation) 프로세스는 AI 시스템이 신뢰할 수 있고 정확한 결과물을 생성하도록 보장하는 데 매우 중요합니다. 기존 제품 테스트에서 시스템이 의도한 대로 작동하는지 확인하기 위해 독립적인 검증 및 검정(IV&V)을 사용하는 것처럼, AI 시스템도 최적의 결과를 보장하기 위해 V&V가 필요합니다. IV&V를 위해 제3자 기관을 통합하면 편견을 줄이고 AI 의사 결정의 신뢰성을 높일 수 있습니다.

설명 가능한 결과는 AI 기반 운영의 효율성과 신뢰성을 보장하는 데 필수적이므로 의사 결정 프로세스의 필수적인 부분입니다. 작업을 위임하면 효율성이 향상될 수 있지만, 작업은 설명할 수 있어야 합니다. 데이터 계보는 조직이 AI 모델에 사용된 데이터의 출처와 변환을 추적할 수 있도록 지원하여 V&V를 지원합니다. 이러한 투명성은 특히 AI가 안전이나 법적 결과에 중대한 영향을 미치는 산업에서 책임과 신뢰를 강화합니다.

유용한 메타포로서의 문서화

기존의 독립적인 검증 및 검정(IV&V) 프로세스는 작업, 마일스톤 및 결정을 기록하는 문서화와 밀접하게 연관되어 있습니다. 이 개념은 작업과 결정에 대한 강력한 문서화가 감사, 포렌식 및 의사 결정을 지원할 수 있는 AI 시스템에 필요한 V&V 프로세스에 대한 유용한 은유를 제공합니다. 로그 파일과 문서는 유용할 수 있지만, 최신 AI 시스템의 복잡성을 처리하기에는 불충분한 경우가 많습니다.

확장 가능한 AI V&V의 필요성을 충족하려면 기계가 이해할 수 있는 데이터와 메타데이터 모델이 필요합니다. 바로 이 지점에서 지식 그래프 기술이 필수적입니다.

데이터 계보에서 지식 그래프의 역할

Altair® Graph Studio™와 같은 지식 그래프 기술은 데이터 계보를 관리하는 데 있어 혁신적인 역할을 합니다.

지식 그래프는 다양한 소스의 데이터를 통합하는 시맨틱 계층을 생성함으로써 조직이 데이터 변환 및 사용의 상세한 이력인 출처를 추적할 수 있게 해줍니다.

AI 거버넌스를 위한 지식 그래프의 주요 기능은 다음과 같습니다:

• 출처 추적: 원본 데이터 소스부터 매핑, 변환, 계산에 이르기까지 필드 수준에서 모든 변경 사항을 모니터링하고 기록합니다. 또한 사용자 인터페이스, API, 서비스 엔드포인트 등 다양한 플랫폼에서 데이터가 어디에서 사용되는지도 추적합니다.
  
• 시맨틱 통합: 지식 그래프는 W3C 웹 온톨로지 언어(OWL) 및 리소스 설명 프레임워크(RDF)와 같은 기술을 사용하여 여러 이질적인 소스의 데이터를 통합합니다. 이러한 기술을 통해 인간과 AI 시스템 모두 기계가 이해할 수 있는 방식으로 데이터와 상호 작용하고 이해할 수 있는 시맨틱 계층을 만들 수 있습니다.
  
• 검증 및 검정 (V&V : Verification&Validation) 지원: 지식 그래프에 캡처된 출처 데이터는 기계가 읽을 수 있는 데이터 변환 및 사용 이력을 제공함으로써 V&V 프로세스를 지원합니다. 이 정보는 AI가 생성한 결과물이 정확하고 신뢰할 수 있는 데이터에 기반하고 있는지 검증하는 데 도움이 되며, AI 시스템의 투명성, 책임성, 무결성을 보장합니다. 이를 통해 데이터 처리 경로에 대한 명확한 설명을 제공함으로써 자동화된 점검이 가능합니다.
  

또한 지식 그래프는 AI 시스템이 거버넌스 원칙을 준수하면서 상호 연결된 데이터 세트를 사용하여 보다 자율적으로 운영할 수 있는 지능형 데이터 웹을 구축하는 데 도움이 됩니다.

휴먼 “인더루프”에서 ‘온더루프’로의 전환

자동화가 증가함에 따라 인간은 모든 의사 결정에 적극적으로 관여하는 역할(‘인 루프’)에서 AI 결과물을 감독하고 검증하는 역할(‘온 루프’)로 전환하고 있습니다. 이러한 변화는 신뢰를 유지하고 AI 기반 의사결정이 조직의 목표와 윤리적 기준에 부합하도록 보장하기 위해 명확한 데이터 계보를 기반으로 하는 강력한 V&V 프로세스의 중요성을 강조합니다.

책임성을 위한 데이터 계보와 AI 거버넌스

AI가 계속해서 의사 결정을 주도함에 따라 AI 시스템이 투명하고 책임감 있게 운영되도록 하는 것이 점점 더 중요해지고 있습니다. 데이터 계보는 조직이 AI 의사결정 프로세스 전반에 걸쳐 데이터의 흐름을 추적하고 이해할 수 있도록 함으로써 이를 달성하는 데 기본이 됩니다. 더 넓게 보면, 효과적인 데이터 거버넌스는 AI 시스템의 복잡성을 관리하고 책임감 있고 윤리적이며 투명하게 운영되도록 보장하는 데 필수적입니다. AI가 계속해서 산업과 의사 결정 프로세스를 형성함에 따라 효과적인 데이터 거버넌스의 필요성이 그 어느 때보다 커지고 있습니다.

결론

알테어 래피드마이너는 데이터 관리와 AI의 교차점을 재정의하고 있으며, 조직의 데이터를 경쟁 우위로 전환하는 독특하고 강력한 통합 프레임워크를 제공합니다. 모듈성, 사용자 역량 강화, 미래 대비에 중점을 두고 오늘날 데이터 환경의 복잡성을 탐색하고 genAI의 잠재력을 최대한 활용할 수 있도록 지원합니다.

AI 솔루션에서 데이터 계보와 거버넌스를 효과적으로 사용하는 방법에 대해 자세히 알아보세요,

자세한 내용은 아래 문의하기를 눌러 제품 및 기술 상담을 만나보세요!