데이터 사이언스 핵심 정리

강의 대본

데이터 사이언스 입문에 대한 핵심 내용을 정리해 보도록 하겠습니다 데이터 사이언스에 대한 핵심 내용은 데이터 사이언스 프로세스를 기반으로 동작을 하고 있습니다 현실 세계를 데이터화해서 그 데이터를 수집하는 데이터 수집 단계가 있습니다 데이터를 수집한 다음에 그렇게 취합한 데이터를 가공해서 분석이 가능한 형태 프로그램을 통해서 데이터를 쉽게 요약이 가능한 형태를 만드는 데이터 처리 단계를 거치게 됩니다 그리고 이렇게 확보한 데이터를 제대로 분석하기 위해서는 데이터에 대한 이해라는 단계를 거쳐야 될 거고요 데이터 이해에서는 많은 경우 우리가 확보한 데이터는 표본 데이터에 불과합니다 실제 1,000개의 데이터나 2,000개의 데이터 아니면 내가 원하는 모집단의 데이터는 3천만 건이라고 한다면 3천만 건에는 턱없이 부족한 예를 들어서 100만 건 정도 데이터를 다루게 됩니다 그랬을 때 우리가 다루는 표본을 가지고 모집단을 예측할 수 있도록 하는 그러한 분석을 우리는 통계 분석이라고 표현합니다 통계 분석 단계를 거치게 되고요 데이터 처리 이후에 우리가 분석 가능한 데이터를 마스터 데이터셋이라고 표현하고요 이건 엑셀에서는 다양하게 이 데이터를 테이블 형태의 데이터라고 표현합니다 이런 데이터에서 인사이트를 도출한다는 건 상당히 쉽지 않은 일입니다 그래서 이 원본 데이터 이걸 다른 말로는 로우 데이터라고 표현을 하고요 이 로우 데이터에서 인사이트를 뽑아내기 위해서 다양한 분석 모델 및 알고리즘을 적용을 합니다 분석 모델 및 알고리즘을 적용해서 이 데이터에서 의미를 뽑아내는 그러한 분석 방법론을 탐색적 데이터 분석 EDA라고 표현합니다 자 그렇게 해서 EDA 결과로 내가 좀 의미 있는 인사이트가 도출되면 그 인사이트 도출된 내용을 데이터를 분석하는 방법은 쉽게 얘기하면 데이터를 요약한다라고 보시면 됩니다 데이터의 요약 결과는 첫 번째는 값으로 요약을 합니다 값 값으로 요약하고 이 요약된 값을 좀 더 우리가 인사이트 뽑기에서 보면 이걸 그래프로 요약을 할 수가 있습니다 값을 그래프로 요약하는 걸 우리는 데이터 시각화라고 표현합니다 데이터 시각화를 하면 여기서 좀 더 원본 데이터에서 우리가 의미 있는 인사이트를 뽑을 수 있습니다 그러면 이런 데이터를 가지고 우리가 의사결정하는 것 이 녀석을 우리는 데이터 기반 의사결정이라고 표현합니다 데이터 분석의 목적은 첫 번째가 데이터 기반 의사결정을 하는 겁니다 중간 단계에는 모두 다 과정에 불과하고요 이렇게 데이터 의사결정을 하는 게 첫 번째고요 그리고 이제 이 단계보다 조금 더 발전된 단계가 데이터 프로덕트라고 해서 데이터 자체를 상품화 데이터 자체를 빌링을 해서 다른 회사나 다른 개인한테 데이터를 판매하는 것까지 발전할 수 있습니다 데이터 사이언스 프로세스를 지금 여덟 가지 단계 데이터 수집 데이터 처리, 통계 분석, 탐색적 데이터 분석, 데이터 시각화, 데이터 기반 의사결정, 데이터 상품화까지 설명이 되었고요 각각에 대해서 한번 요약을 해보도록 하겠습니다