데이터 패브릭이 데이터 통합 아키텍처의 미래인 이유
2024년 9월 20일
데이터 통합 아키텍처는 조직을 하나로 묶어주는 접착제와 같습니다. 그러나 많은 기업들이 기존의 중앙 집중식 데이터 관리 및 접근 방식이 한계를 드러내고 있다는 점을 인지하고 있습니다. 모든 사람이 필요할 때 필요한 데이터를 접근할 수 있도록 하기 위해서는 분산된 데이터 접근 방식이 필수적입니다.
데이터 패브릭과 데이터 메시(data mesh)는 전통적인 데이터 통합 아키텍처를 혁신하고 분산된 네트워크로 전환할 수 있는 몇 가지 개념 중 하나입니다. 중요한 것은 이러한 모든 개념이 데이터를 독립적인 가치 자산으로 인식하는 원칙에 기반하고 있다는 점입니다. 데이터를 보다 효과적으로 공유하고 관리함으로써 조직 내에서 데이터의 가치는 더욱 증대됩니다.
데이터 관리 및 접근 방식을 혁신하는 네 가지 핵심 개념
- 데이터 패브릭: 데이터 패브릭은 데이터 통합 아키텍처의 설계 개념으로, 유연성, 확장성, 접근성, 그리고 대규모 데이터 연결을 강조합니다.
- 데이터 메시: 데이터 메시(data mesh)는 기업 내 자가 설명형 제품(즉, 데이터 및 데이터 관계를 설명하는 메타데이터를 포함한)으로 구성된 분산된 데이터 네트워크를 관리하기 위한 아키텍처입니다. 여기서 데이터 제공은 기업 내 다른 제품만큼 중요한 요소로 다루어집니다.
- 데이터 중심 혁명: 데이터 중심 혁명은 비즈니스 애플리케이션은 사라질 수 있지만, 조직의 데이터는 그 가치가 영구적으로 유지된다는 아이디어에 기반합니다. 데이터의 지속적인 가치를 인식하는 것은 데이터 통합 아키텍처에 대한 근본적인 인식의 변화를 의미합니다.
- FAIR 데이터: FAIR(Findable, Accessible, Interoperable, Reusable) 데이터는 데이터를 찾기 쉽고, 접근 가능하며, 상호운용 가능하고, 재사용 가능하게 만드는 글로벌 데이터 공유의 모범 사례를 설명하는 개념입니다.
이러한 접근법은 모두 통합된 데이터 환경을 구축하는 것을 목표로 하지만, 특정한 기술적 솔루션을 제안하는 것은 아닙니다. Altair® Graph Studio™는 이러한 데이터 통합 아키텍처를 위한 시너지 기술로 지식 그래프를 제공합니다. 지식 그래프는 조직의 데이터 분석 목표를 달성하는 데 매우 효과적인 수단입니다.
기존 데이터 통합 아키텍처의 주요 한계점
지식 그래프의 장점을 논하기 전에, 기존 데이터 통합 아키텍처의 한계점을 살펴보겠습니다.
중앙 집중화의 문제점:
데이터베이스라고 불리는 중앙 집중식 솔루션은 데이터를 한 장소에 저장하도록 유도합니다. 그러나 이러한 중앙 집중식 데이터 저장소는 여러 출처의 정보를 결합하기 위해 여러 차원에서 동시에 확장되어야 합니다. 다양한 유형의 데이터를 통합하고 표현해야 하며, 데이터 제공은 조직의 성능 요구사항을 꾸준히 충족시켜야 합니다.
중앙 집중식 데이터 솔루션은 이러한 중요한 목표를 달성하는 데 항상 어려움을 겪습니다. 중앙 집중화의 고유한 약점은 다음과 같습니다:
- 불충분한 속도
- 유연성 부족
- 높은 비용
- 잦은 제공 실패로 인한 높은 위험
- 데이터 집합의 다양성 억제
- 데이터 소유권에 대한 명확성 부족
- 조직 내 여러 격리된 데이터 저장소에 비슷한 데이터의 중복 저장
- 데이터를 애플리케이션에 집중하여 자산으로 간주하지 않음; 데이터가 “갇혀” 있어 이를 해방시키기 위한 과정이 필요
이러한 문제는 새롭게 대두된 것들이 아닙니다. 그러나 현재 환경에서는 이러한 문제들이 큰 장애물로 작용합니다. 따라서 새로운 데이터 접근 방식의 필요성이 더욱 강조됩니다:
- 비즈니스 속도가 가속화되고 있음
- 기업 데이터 관리 상업적 기술이 이를 따라잡지 못하고 있음
- 수익 중심 부서는 애플리케이션 개발로 인해 지연될 여유가 없음
지식 그래프의 중요한 역할
최근 몇 년 동안 많은 조직들이 지식 그래프를 이용해 단일 애플리케이션 내에서 유연하고 통찰력 있는 분석을 제공했습니다. 하지만 지식 그래프는 본래 분산 시스템으로 설계되어 있어 독립형 애플리케이션의 범위를 넘어 활용될 수 있습니다. 동시에, 데이터 패브릭의 기본 원칙 중 하나는 데이터 통합 아키텍처가 새로운 기술에 적응할 수 있을 만큼 유연해야 한다는 것입니다. 따라서 조직은 지식 그래프의 다양한 이점을 활용하여 성공적인 데이터 패브릭을 구축할 수 있습니다:
- 유연성
- 개별 조직의 특정 개념 및 프로세스 수용 능력
- 데이터 중심성
- 예상치 못한 질문에 대한 대응 능력
- 데이터 제품으로서의 데이터 지원
- FAIR 데이터 원칙 지원
지식 그래프는 기업 내 또 다른 데이터 웨어하우징 애플리케이션이 아닌, 분산된 데이터 패브릭의 중추가 되어 조직 전체의 데이터 소스 간 상호 운용성을 가능하게 합니다.
데이터 패브릭 구축 방법
데이터 패브릭은 단순한 데이터 통합 아키텍처 설계 개념 그 이상입니다. 구현을 위해서는 데이터에 대한 인식과 처리 방식을 재고하는 것이 필요합니다.
조직이 데이터 패브릭을 구축하는 방법:
지식 그래프는 성공적인 데이터 패브릭을 구축하기 위한 검증된 접근 가능 기술 솔루션입니다. 그러나 먼저 문화적 변화가 필요합니다. 이를 위해서는 조직 내부의 저항을 해결할 수 있는 반복적인 접근 방식이 필요합니다. 예를 들어, 개발자는 이 문제를 “또 다른 애플리케이션”으로 인식할 수 있습니다. 실제로는 데이터에 대한 인식의 대변화가 요구됩니다. 마찬가지로 데이터 과학자들은 눈앞의 문제에만 집중하는 경향이 있을 수 있으며, 더 큰 그림을 고려하지 않을 수 있습니다.
이러한 장애를 극복하기 위해서는 작은 규모로 시작해 지식 그래프의 비즈니스 가치를 입증할 수 있는 단일 애플리케이션을 구축하는 것이 최선의 전략입니다. 동시에, 이 초기 애플리케이션이 조직의 새로운 데이터 패브릭을 형성하는 첫 걸음이 될 것이라는 전제를 가지고 프로젝트 팀이 운영되어야 합니다.
다음은 기본적인 원칙들입니다:
- 데이터는 특정 애플리케이션이 아닌 전체 비즈니스를 위해 조직되어야 함
- 데이터는 그래프로 표현될 때 조직 전체에서 의미를 가지며, 그래프 내의 개체들이 전역 이름을 가질 수 있도록 해야 함
- 조직이 소유한 데이터는 활용되어야 하며, 이를 중심으로 애플리케이션을 구축해야 함
- 각 데이터셋은 다른 내부 팀이 사용하고자 할 수 있는 제품으로 취급되어야 하며, 메타데이터도 동일한 기준으로 표현되어야 함
단기적으로는 이 파일럿 애플리케이션이 내부 저항을 극복할 강력한 근거를 제공할 수 있으며, 장기적으로는 지식 그래프의 고유한 확장성이 새로운 데이터 패브릭으로 나아가는 발판이 될 것입니다.
야심 찬 기업이 데이터를 최대한 활용하고자 한다면, 데이터 통합 아키텍처를 재구성하는 것은 더 이상 선택이 아닌 필수입니다. 데이터 패브릭은 이제 중요한 비즈니스 자산이 되었습니다. 알테가 귀사의 데이터 통합 아키텍처 변화를 어떻게 도울 수 있는지 알아보려면 Altair Graph Studio를 방문하시거나 문의해 주시길 바랍니다.
