데이터 전처리 전문도구 파워쿼리

데이터 전처리 전문 도구인 파워쿼리에 대해서 살펴보도록 하겠습니다. 파워쿼리는 다양한 유형의 데이터를 효과적으로 검색, 연결, 결합하는 데이터 편집 도구, 다른 말로는 데이터 전처리 전문 도구라고 보면 됩니다. 먼저 가장 간단하고 손쉽게 사용할 수 있는 크롤링 도구, 웹사이트에서 데이터를 가져올 수 있고요. 다양한 파일들, 파일, 데이터베이스, 클라우드, 온라인 서비스, 기타 다양한 원본 데이터를 취합해서 하나로 통합하고 편집할 수 있습니다. 그리고 매우 비정형적인 복잡한 데이터를 분석 가능 형태 테이블로 매우 쉽게 가공할 수 있는 특징을 갖습니다. 파워쿼리는 엑셀과 파워BI 모두 핵심 컴포넌트예요. 파워쿼리는 엑셀 2010 플러스와 2013에서 추가 기능으로 제공되었고, 2016부터는 엑셀의 기본 기능으로 내장되었습니다. 이후 파워BI의 쿼리 편집기로 포함되면서 파워피벗과 더불어 엑셀과 파워BI 공통 요소로 발전이 됐습니다. 엑셀 BI 제품군은 파워쿼리와 파워피벗으로 구성되어 있고요. 파워BI도 마찬가지로 이 두 가지 컴포넌트를 파워쿼리는 커넥터와 편집기 웹, 파일, 폴더, 데이터베이스 등 다양한 출처에서 데이터를 가져와 마치 하나인 듯 처리해주는 역할을 하고요. 그리고 데이터를 가져오는 작업 순서를 기억하기 때문에 원본 데이터 변동 사항을 반영해서 데이터가 항상 최신 상태가 유지될 수 있도록 도와줍니다. 그리고 파워쿼리 편집기는 가져온 데이터를 분석하기 좋은 형태로 가공하는 강력한 편집 기능, 데이터 전처리 기능을 제공합니다. 커넥터는 엑셀 메뉴바에 표시되며 편집기는 별도 창으로 열립니다. 데이터에 여기 보면 액세스, 웹 데이터, 이 녀석이 커넥터, 파워쿼리 커넥터라고 보시면 되고요. 이걸 선택한 다음에 데이터를 편집하려면 별도 프로그램으로 편집기는 실행이 됩니다. 엑셀 파워쿼리와 파워피벗의 데이터 핸들링 구조를 살펴보면 엑셀 창에서 파워쿼리 커넥터가 제공이 됩니다. 커넥터를 이용하면 파워쿼리 커넥터를 가지고 여러 소스 데이터를 불러들입니다. 그러면 그게 파워쿼리 편집기가 뜨게 되구요. 파워쿼리 창이 뜹니다. 자 여기서 만약에 이제 편집이 다 끝났어요. 편집이 끝나면 쿼리 및 데이터 로드를 선택하면 쿼리, 자 보면 데이터를 가공한 정보라고 생각하시면 되구요. 실제 가공 완료된 데이터까지 보면 쿼리 플러스 실제 데이터까지를 엑셀로 파워BI로 호출이 됩니다. 그리고 쿼리만 로드를 선택하면 작업 효율화를 위해 데이터는 없이 쿼리 정보, 커넥션 정도만을 제공할 수 있습니다. 파워피벗이라고 하는 것은 내가 피벗 테이블 분석을 하기 위해서 엑셀의 데이터 모델이라는 걸 만들고요 데이터 모델을 가지고 내가 다양한 어떤 논리 데이터를 만들어 낼 수가 있습니다. 데이터 모델인 결과를 가지고 피벗 테이블 분석을 하기도 하고요. 이 쿼리를 가지고 피벗 테이블 분석을 하기도 합니다. 그리고 그 결과로 데이터 시각화를 진행할 수 있습니다. 그래서 보면 엑셀의 주요 BI 컴포넌트는 데이터 모델을 지원하는 파워피벗과 커넥션, 다양한 원본 데이터를 가져와서 편집을 해서 보면 엑셀이 데이터를 인식하는 형태의 데이터를 만들어내고, 그 데이터 파워피벗과 파워쿼리는 모두 다 피벗 탭을 가지고 다양한 EDA 분석이 가능합니다. 그리고 그 다음에 그 결과 모두 다 시각화를 통해서 보면 데이터를 조금 더 분석하기 용이한 형태로 만들어 낼 수가 있습니다. 파워쿼리 편집기는 편집 메뉴, 쿼리 목록, 반영된 미리보기 창, 쿼리를 지칭하는 이름 정보가 있습니다. 그리고 내가 어떤 메뉴를 선택하고 반영시킨 것들은 모두 편집 기록으로 나옵니다. 그리고 내가 이 단계를 삭제하면 이전 단계로 환원이 될 수 있습니다. 쿼리가 편집이 다 끝나면 다시 엑셀이나 파워BI로 그 데이터를 보내야 되는데 홈에서 닫기 및 로드를 저장하면 로드된 데이터는 쿼리가 삭제되어도 통합 문서에 보관됩니다. 닫기 및 로드를 선택하면 데이터와 연결을 모두 전달하고요. 쿼리를 홈 닫기 및 다음 로드에서 연결만 만들기로 저장하면 데이터는 엑셀에 보내지 않고 연결 정보만 저장이 됩니다. 파워BI에서는 그냥 닫기 및 적용이라는 것 하나만 있습니다. 그러면 그 적절하게 보면 데이터를 보내기도 하고 연결 정보를 갖고 있기도 합니다. 그래서 파워BI의 파워쿼리의 버전에 따라서 조금씩 메뉴는 차이가 납니다. 이 녀석은 엑셀 기준으로 설명을 드렸습니다. 이상으로 보면 엑셀 BI의 핵심 도구 중에 하나인 파워쿼리에 대해서 설명드렸습니다.