이제는 인간 혼자서 전체의 데이터를 보고 최적화 값을 구한다는 것은 불가능한 일입니다. 그렇지만 테크놀로지 혼자서 하는 것도 불가능 하죠.
공생이 키워드입니다. 테크놀로지를 이용하여 인간이 최적화의 목표를 달성하는 것이죠.
ChatGPT 같은 생성형 AI 툴을 사용하는 방법도 있습니다. AI 툴들은 유저 데이터를 많이 모으면 모을수록 모델이 습득을 더 많이 하고 정교하게 될 수 있죠.
간단히 얘기 하자면 “우리가 시스템을 증강하면 시스템이 우리를 증강시킨다” 는 간단하고도 심오한 뜻이 있습니다.
이 포스팅에서는 SQL 시각화 툴들을 사용하여 양방 (시스템과 데이터 엔지니어)이 증강될 수 있는 네가지 방법을 알아 보겠습니다.
인간 (휴먼) 증강
가트너 (Gartner)의 2022년 이후의 계산은 인간과 결정 증강의 막이 오른다는 것입니다. 2022년 이후, 인간 증강을 도우는 AI 기반의 테크놀로지가 생성되는 것이죠.
2023년에는 다양한 AI 툴들이 출시되면서 데이터 애널리스트나 엔지니어들을 돕고 있습니다.
그러면 이런 것들이 어떻게 SQL 시각화와 관계가 있는 걸까요? 다음 섹션에서 더 알아 보겠습니다.
SQL이란?
SQL의 시각화를 이해하기 위해서는 SQL이 무엇인가를 먼저 알아야 합니다.
S-e-q-u-e-l (시퀄)이라고 발음 되는 SQL은 올해 43살이된 데이터베이스 테크놀로지중 가장 많이 쓰이는 쿼리 언어 입니다.
Stack overflow (스택 오버플로)의 서베이를 보면 50%이상의 개발자들이 SQL을 사용한다고 나옵니다.
SQL의 시각화가 필요한 이유는?
SQL의 시각화는 SQL 프로세스를 시각적인 컴포넌트를 이용하여 개발을 쉽게 돕습니다.
지금같이 멀티 클라우드, 하이브리드, 그리고 클라우드 데이터 웨어하우징의 배포나 트랜지션의 시대에는 데이터 스택과 프로세싱의 최적화를 위해 SQL의 시각화 툴들이 더 필요한 시점입니다. 이는 다음과 같은 이유에서 입니다:
새로운 복잡성 (Complexity)
각 기관들이 데이터 프로세스의 최적화를 위해 새로운 기술 채널이나 데이터 소스를 이용하면서 복잡성과 새로운 난제가 생기게 되었습니다.
더 짧아진 이터레이션 (Iteration)
데이터 사용자는 데이터 셋에 관하여 실시간의 컨텍스트를 기대하고 있습니다. 분석가들도 IT에 호소하지 않고 데이터를 빠르게 통합하기를 기대하고 있죠.
독재화된 데이터 준비작업을 극복
관계자들은 깊은 기술 지식없이도 애드혹 (ad-hoc)과 셀프서비스형의 분석을 할 수있는 힘을 얻기를 기대합니다.
데이터 엔지니어의 부족
2022년을 기준으로 데이터 마스터링 브랜드인 Tamr사는 데이터 엔지니어의 수요가 공급에 비해 급격히 늘었다고 합니다.
SQL 시각화 툴의 카테고리와 예제
SQL 시각화 툴은 다음의 네가지로 분류될 수 있습니다.
SQL 플로우 (Flow) 시각화 툴
SQL 플로우 툴은 SQL syntax의 심층적인 분석을 하고 시각적으로 직관적인 결과를 보여줍니다.
SQLFlow https://sqlflow.gudusoft.com/#/
API의 JSON output을 시각적으로 보여주는 JSON crack과 비슷하게, Gudusoft의 SQLFlow는 자동화된 SQL 시각화 계보 툴입니다.
SQL 스키마 (Schema) 시각화 툴
이 SQL 툴들은 데이터베이스의 디자인을 시각화 해주면서 인터렉티브와 협업 환경을 만들어주는 온라인 툴입니다. 예를 들면 SqlDBM이라는 툴이 있습니다.
SqlDBM https://sqldbm.com/Home/
SqlDBM은 코드를 사용하지 않고도 온라인 데이터베이스를 만들게 해주는 개발 플랫폼입니다. 이로인해 개발자들은 데이터베이스의 syntax보다는 모델에 더 집중을 하게 도와줍니다.
SQL 쿼리 시각화 툴
이 부류의 SQL 시각화 툴들은 대부분이 데이터 랭글링 (wrangling), 트랜스포메이션 (transformation)과 모델링에 사용이 됩니다.
이 카테고리에 유명한 툴은 Datameer입니다.
Datameer https://www.datameer.com/
Datameer는 Snowflake insights를 탐색, 준비, 시각화, 그리고 카탈로깅을 도와주는 올인원 솔루션입니다. Datameers를 사용하므로써 데이터 엔지니어나 분석가들은 데이터를 Snowflake의 데이터를 SQL 코드나 노코드 (no-code) 인터페이스를 이용하여 변형 할 수 있습니다.
SQL 대시보드 (Dashboard) 툴
대다수의 데이터 수명주기는 기본 SQL 쿼리 > 모델 > 대시보드 입니다. 그러나 SQL 대시보드 소프트웨어같은 툴들은 애드혹 분석이나 프로토 타이핑의 시간을 현저히 줄여줍니다.
예제 툴은 Domo라는 툴입니다.
Domo는 데이터가 존재하는 곳에 직접 연결해 중요한 측정항목들을 빠른 분석을 위해 거의 실시간으로 보여주는 시각화 툴입니다.
참고:
Comments