과정소개_데이터 사이언스 실무 활용 과정

데이터 사이언스 실무 활용 과정에 대해서 말씀드리도록 하겠습니다. 본 과정은 데이터 사이언스 프로세스를 기반으로 설계된 데이터 사이언스 입문 다음의 후속 과정입니다. 데이터 사이언스 입문 과정을 간략하게 리뷰해보고 어떠한 부분이 보완되어서 실무에 활용할 수 있는지 구체적으로 설명드리도록 하겠습니다. 데이터 사이언스 프로세스를 설명드리면 먼저 우리는 현실 세계를 데이터로 만들어 내는 것으로 시작합니다. 데이터 사이언스 프로세스에 대해서 말씀드리면 첫 번째로 현실 세계를 데이터화 하는 것에서 데이터 운동이 시작됩니다. 현실 세계를 데이터화 하기 위해서는 데이터를 정의해야 되는데 모든 데이터는 문자, 숫자로 정의가 됩니다. 이 문자 숫자로 정의되는 걸 가지고 세상을 이해하게 되는 거예요. 문자 숫자로 정의한 다음에는 이 공간에 데이터를 수집하게 됩니다. 데이터를 수집하는 대표적인 방법은 유저에게 물어보는 서베이 방법이 있고 웹상의 데이터를 크롤링하는 방법이 있습니다. 이렇게 수집한 데이터는 모두 다 표본 데이터에 불과하고 표본을 가지고 모집단을 이해하기 위해서는 통계 지식이 필요합니다. 통계에서는 피어슨 통계로 데이터를 요약하는 기술인 기술통계와 모집단을 예측하기 위한 확률론과 추론통계로 구분이 됩니다. 추론통계를 가지고 다양하게 우리가 통계적 의사결정하는 방법을 DS 입문 과정에서 다뤘습니다. 그리고 확보된 데이터는 많은 경우에 분석 도구가 그대로 이해할 수 있는 형태가 아닌 경우가 많습니다. 그러면 그걸 엑셀의 기본 기능을 가지고 데이터를 테이블 형태의 데이터로 만들어낸 방법을 다뤘습니다. 그리고 테이블 형태의 데이터를 분석 대상 데이터 마스터 데이터셋이라고 표현합니다. 그렇게 확보한 데이터를 가지고 이제는 다양한 분석 모델과 알고리즘을 적용해서 의미 있는 인사이트를 도출해내는 탐색적 데이터 분석을 진행합니다. 탐색적 데이터 분석 결과로 의미 있는 인사이트 도출, 의사결정을 지원하는 시각화 보고서를 만들고 그걸로 의사결정이나 실제 실행에 옮기게 됩니다. 데이터 사이언스 첫 번째 활용은 의사결정과 실행을 위한 액션 아이템을 도출하는 거고요. 두 번째는 데이터를 가지고 보면 데이터 자체를 제품으로 만들어 냅니다. 이것을 데이터 프로덕트라고 표현합니다. 데이터 사이언스 실무 활용 과정 데이터 사이언스 실무 활용 과정 데이터 사이언스 실무 활용 과정 데이터 사이언스 실무 활용 과정 머신러닝을 지원하기 위한 통계이고요. 그래서 저희가 데이터 사이언스 입문 과정에서는 이 모든 프로세스, 현실 세계를 문제화하고 데이터를 확보하고 피어슨 통계와 데이터 전처리 기본과 마스터 데이터를 만들어서 의미 있는 탐색적 분석을 진행하는 방법과 시각화 보고서를 만들고 베이즈 통계를 가지고 머신러닝을 이해하는 것까지를 다뤘습니다. 그러면 저희 이번에 데이터 사이언스 실무 활용 과정에서는 어떤 걸 다루냐 하면, 데이터 사이언스에서는 모든 데이터가 테이블 하나를 기반으로 해서 설계가 됐습니다. 그렇지만 실무 상황은 테이블 하나가 아니라 테이블이 복수가 되겠죠. 보면 테이블이 7, 8개 정도는 일반적일 거고요. 10개, 20개 정도 테이블이 있을 수도 있습니다. 그랬을 때 이런 데이터를 가지고 어떻게 논리 마스터를 만들어 낼 거냐, 그러기 위한 다양한 기법들을 배우게 될 거고요. 데이터 전처리 주제도 실제로 현업에서는 간단하게 데이터 전처리가 되는 게 아니라 이런 케이스가 발생할 거예요. 자, 제가 KPI 담당자예요. KPI를 수집하기 위해서 다양한 KPI를 수집하기 위한 템플릿을 만들었어요. 템플릿 문서를 만들었고 이 템플릿 문서를 회사 전사에 배포를 했어요. 그래서 5천 개 팀에게 이 문서가 배포됐다고 생각해보죠. 그리고 이 녀석은 2주간의 시간을 두고 데이터를 받기로 했습니다. 그러면 2주인데 이번 주에 데이터가 예를 들어 30%가 취합이 됐어요. 그리고 2주 후에 예를 들어 80%가 취합됐고 3주 후에 90%가 취합이 됐습니다. 그랬을 때 1주 때 이 데이터, 예를 들어 30% 데이터라고 한다면 예를 들어서 한 2000개가 취합됐다고 생각해보죠. 2000개면 2000개를 여러분이 데이터를 취합하는데 시간이 어느 정도 걸릴까요? 일일이 문서를 열어서 카피 앤 페이스트로 마스터 데이터를 만들어 나간다고 생각한다면 오랜 시간이 걸릴 수 있을 거예요. 그런데 이런 부분을 클릭 몇 번으로 이 데이터를 마스터 데이터셋을 만들고 그 다음에 이렇게 만들어서 보고서를 구성한 다음에 새로 예를 들어서 2000개의 문서가 다시 취합이 되거나 500개의 문서가 취합됐을 때 클릭 한 번으로 리프레시 한 번으로 이 모든 보고서가 자동 반영되도록 하는 방법이 됩니다. 저희가 시각화 보고서를 만드는데 간단한 시각화가 아니라 지도 위에 데이터를 올리는 거라든가 복잡한 상관 분석을 진행하는 거라든가 아니면 머신러닝이 시각화에 적용돼서 EDA를 추천하는 그런 분석 방법을 알려준다거나 이와 같은 실제 우리가 데이터 사이언스를 업무에 적용할 때 필수적으로 알아야 되는 실무 활용 역량을 이번 과정에서 다루게 됩니다. 그래서 저희가 다루는 내용은 다음과 같습니다. 데이터를 확보하고 데이터를 분석하고 데이터를 시각화하는 기본은 동일하고요. 데이터를 확보할 때 그냥 일반 서베이나 그런 게 아니라 복잡한 크롤링을 통해서 웹 데이터를 좀 더 쉽게 확보하는 방법을 다루고요. 그리고 데이터 전처리에 대한 아주 복잡한 데이터 전처리까지도 저희가 진행하는 방법을 다루고요. 그리고 다양한 모델링, 데이터를 모델링하는 데이터는 일종의 테이블이라고 보면 될 거고요. 테이블 7개, 8개의 테이블을 링킹을 시켜서 하나의 논리 마스터를 만들어내는 방법을 다루게 될 겁니다. 그리고 분석 프레임워크를 활용한 탐색적 데이터 분석은 여전히 진행이 될 거고요. 인공지능 모듈을 활용한 분석 제안을 활용하는 방법을 배우게 될 겁니다. 그리고 효과적 데이터 시각화 방법과 상호작용 대시보드를 구성하는 방법, 지도 시각화를 하는 방법, 버블 플롯 시각화를 하는, 전문 시각화하는 방법을 다루게 될 겁니다. 그래서 저희가 다루는 주요 모듈은 엑셀 데이터 모델과 파워피벗을 다루게 될 거고요. 엑셀 피벗 테이블과 피벗 차트, 파워 BI, 파워쿼리가 누락이 됐네요. 주로 저희가 다룰 것은 파워 BI와 피벗 테이블을 다루게 될 거고요. 데이터 시각화는 Power BI를 중심으로 다루게 될 겁니다. 그래서 저희가 확보하는 역량은, 기대한 역량은 이런 것들을 확보하게 될 겁니다. 여러분들이 엑셀로 분석해 본 데이터는 어떻게 되나요? 20만 건 정도 되나요? 아니면 100만 건 정도 되나요? 만약 엑셀로 1억 건이 넘는 데이터를 분석하면 어떻게 해야 되나요? 머신러닝 기술을 실무 분석에 접목시켜서 의미 있는 분석 결과를 만들어낼 수 있을까요? 머신러닝이라는 걸 되게 많이 들어보셨을 텐데 실무 분석에 이런 게 어떻게 적용이 될까요? 그리고 내년도 인력 계획 등을 수립하기 위해 인력 TO, KPI를 도출한 후 2,000개 팀의 자료 수집용 템플릿 문서를 배포한 경우에 현재는 데이터 취합 후 분석 결과를 도출하는데 며칠이 소요되나요? 클릭 몇 번으로 2,000개의 데이터가 한 번에 취합되는데 이런 역량을 확보할 의향이 여러분 있으신가요? 분석 결과를 잘 설명하는 시각화 요소를 어떻게 구상할 수 있나요? 실제 현업 분석 업무에 활용할 수 있는 실무 활용 지식을 전달하는 게 데이터 사이언스 실무 활용 과정의 목표라고 보시면 됩니다.