클라우드에서 데이터와 분석 기능을 사용할 경우 데이터를 통한 무한한 확장성과 가능성을 통해 더 빠르게 통찰력을 얻고 더 나은 의사결정을 할 수 있다. 최근 인기를 얻고 있는 데이터 레이크하우스는 어떠한 분석과 머신 러닝 활용 사례도 유연하게 실행할 수 있는 단일 플랫폼을 제공해 모든 엔터프라이즈 데이터를 지원한다. 클라우드 데이터 레이크하우스는 클라우드 데이터 레이크와 웨어하우스에 비해 상당한 확장성, 민첩성, 비용 혜택을 얻을 수 있다. 이는 데이터 레이크의 최대 장점인 유연성과 비용 효율성, 데이터 웨어하우스의 최대 장점인 성능과 안정성을 통합했기 때문이다.

클라우드 데이터 레이크하우스는 SQL, 스파크(Spark) 같은 다양한 프로세싱 엔진과 머신 러닝, 데이터 엔지니어링, 비즈니스 인텔리전스 같은 최신 분석 툴을 통합 분석 환경에 제공한다. 사용자는 데이터를 신속하게 수집하고 셀프 서비스 분석과 머신 러닝을 실행할 수 있다. 이처럼 클라우드 데이터 레이크하우스는 온프레미스 데이터 레이크에 비해 많은 장점과 혜택을 제공하지만 이를 위한 보안은 반드시 고려해야할 요소다.

데이터 레이크하우스 아키텍처는 복잡한 컴포넌트로 이뤄진 생태계를 통합하며 각각의 컴포넌트는 데이터를 유출할 수 있는 위험을 갖고 있다. 위험 부담에 민감하다면 클라우드로 전환하는 것을 꺼릴 수 있으나 수년간 클라우드 데이터 레이크하우스의 보안은 온프레미스에 데이터 레이크하우스를 구축하는 것보다 안전하고 정확하게 수행되며 상당한 이점을 제공할 수 있는 수준으로 발전했다.

보안을 유지하고 어떤 환경에서도 지속적인 가시성을 제공하는 데이터 레이크하우스 10가지 핵심 실천 사항은 다음과 같다.

첫째는 클라우드 보안 체계에서 가장 중요한 기능이자 토대인 ‘보안 기능 분리’다. 보안 기능과 비보안 기능을 분리하고 최소한의 권한만 소유해야 한다. 데이터 레이크하우스의 역할은 데이터 레이크하우스 플랫폼을 관리하고 운영하는 것으로 제한해야 하며 클라우드 보안 기능은 숙련된 보안 관리자에게 맡겨야 한다.

둘째는 ‘클라우드 플랫폼 강화’다. 이는 독립된 클라우드 계정으로 클라우드 데이터 레이크하우스 플랫폼을 분리하고 강화하는 것을 말한다. 플랫폼 기능을 제한해 관리자가 데이터 레이크하우스 플랫폼을 관리하고 운영하는 역할 외에 것들을 하지 못하도록 제한하는 것이 필요하다.

셋째는 ‘네트워크 파라미터’다. 클라우드 계정을 강화한 후 환경에 맞는 네트워크 경로를 설계하는 것이 중요하며, 이는 보안 태세와 첫 번째 방어선에 중대한 영향을 끼친다. 이를 위해서는 여러 방법이 있는데 여러 대역폭과 컴플라이언스 요구사항에 개인 연결을 사용하거나 클라우드가 제공하는 VPN(Virtual Private Network) 서비스를 사용하고 터널을 통해 트래픽을 기업으로 전송하게 할 수 있다.

넷째는 ‘호스트 기반 보안’으로 클라우드 구현에서 중요하지만 간과하기 쉬운 보안 계층이다. 시그니처 시반이나 이상징후 기반 방식 등 다양한 공격과 활동을 찾아서 알리는 ‘호스트 침입 탐지’, 파일 변경을 모니터링하고 추적하는 ‘파일 무결성 모니터링(FIM)’, 이벤트 분석을 위해 변경이나 삭제를 보호하는 ‘로그 관리’가 이에 해당하며 호스트를 공격으로부터 보호하며, 대개 마지막 방어선 역할을 한다.

다섯째는 ‘신원 관리와 인증’이다. 신원은 클라우드 데이터 레이크 하우스를 심사하고 강력한 액세스 제어를 제공하는 핵심 기반이다.

여섯째는 ‘권한 부여’다. 권한을 부여하는 것은 중요한 데이터를 보호하기 위해 열 수준 필터링 기능과 데이터와 리소스 액세스 제어 기능을 제공한다.

일곱째는 ‘암호화’다. 암호화는 클러스터와 데이터 보안의 기본이다. 가장 이상적인 암호화 실행 사례는 일반적으로 클라우드 제공자의 가이드에서 찾을 수 있다. 저장된 데이터와 전송 중인 데이터도 암호화됐는지 확인이 필요하다.

여덟째는 ‘취약성 관리’다. 분석 스택과 클라우드 공급자와 관계없이 데이터 레이크하우스 인프라의 모든 인스턴스에 최신 보안 패치가 적용돼야 한다. 인프라의 모든 부분에 대한 정기적인 보안 검사와 같은 정기적인 OS와 패키지 패치 전략을 실행해야 한다.

아홉째는 조기 발견, 조사, 대응을 위한 모든 보안 프레임워크의 초석인 ‘컴플라이언스 모니터링과 사고 대응’이다. 기존에 온프레미스 ‘보안 정보 이벤트 관리(Security Information and Event Management, SIEM)’ 인프라가 있는 경우 클라우드 모니터링에 이를 사용하는 것을 고려해야 한다.

마지막은 ‘데이터 손실 방지’다. 데이터의 무결성과 가용성을 보장하기 위해 클라우드 데이터 레이크하우스는 안전하고 비용 효율적인 여분의 스토리지, 지속적인 처리량, 고가용성을 통해 데이터를 클라우드 오브젝트 스토리지에 유지해야 한다.

결론적으로 클라우드 데이터 레이크하우스는 스토리지를 넘어 전문성, 계획, 규율을 효과적으로 확보해야 하는 복잡한 분석 환경이다. 궁극적으로 기업은 데이터에 대한 책임과 의무를 지고 어떻게 클라우드 데이터 레이크하우스를 퍼블릭 클라우드에서 실행되는 ‘프라이빗 데이터 레이크하우스’로 전환할지 고민해야 할 것이다.

[글 = 남영지 클라우데라코리아 이사]
[정리= 최 준 기자]