학습 내용 안내

이 강좌에서 여러분께서 학습하실 내용을 간단하게 안내해 드리도록 하겠습니다. 이 강좌는 우리가 데이터를 잘 활용하고 분석함으로써 현실에서 다양한 이득을 얻기 위해서 본격적인 분석 모델을 구축하고 활용하기 전 단계의 데이터를 탐색하고 준비하는 과정에 대해서 담고 있는 강좌입니다. 이 과정에서 원활한 데이터 분석을 위해서 데이터를 어떻게 준비해야 하는지, 과연 분석의 목적에 맞는 분석이 용이한 데이터 형식이란 어떤 것이고, 무엇을 지켜야 하는지, 어떤 프로세스를 통해서 데이터의 전처리, 그리고 피처 엔지니어링이 일어나는지에 관련된 여러 가지 이슈를 다룰 예정입니다. 데이터 전처리, 피처 엔지니어링에서 어떤 프로세스, 주요 작업들이 어떤 것들이 있는지 전반적으로 살펴보게 될 텐데요. 그 중에서도 특히 여러분이 처음에 보시게 될 것은 데이터가 가지고 있는 구조적인 문제들, 여러 포맷들, 롱 포맷이라던가 와이드 포맷이라던가 이런 것들의 차이가 무엇이며 이런 문제들 우리가 때로는 트랜스포즈로 또는 멜팅으로 해결해야 되는데 어떤 상황에서 어떤 방식으로 이런 문제를 해결해 나갈 것인가 라고 하는 전반적인 상황을 또 보게 될 것입니다. 단순히 데이터의 구조 문제만 해결하는 것이 아니라 데이터를 셔플링하고 정제하는 과정도 필요하고요. 또 우리가 수집한 데이터들은 대체적으로 무언가 누락된 데이터가 있거나 또는 데이터의 어떤 보편적인 일반적인 패턴 경향성을 벗어나서 전체의 분석 결과를 왜곡하게 되는 이상값을 가지고 있는 경우들이 있습니다. 그렇다면 우린 이런 것을 어떻게 판단하고 어떻게 없앨 것인지, 이것을 대체할 것인지 삭제할 것인지, 이것을 검출할 때는 어떤 방법을 쓰게 되는 것인지, 이런 관련된 제반 사항들을 자세하게 설명드리도록 하겠습니다. 이렇게 데이터를 얻고 나면 우리는 데이터를 크게 보면 몇 가지 타입으로 얻게 되는데요. 데이터 타입이라고 하는 날짜형 데이터들, 그리고 numeric이라고 하는 수치형 데이터, 그리고 카테고리컬이라고 하는 문자형, 그 중에서도 범주형 데이터 같은 것들을 얻게 됩니다. 그런데 원활한 분석을 위해서 또 우리가 활용할 수 있는 다양한 알고리즘을 두루 사용하려면 때로는 문자를 숫자로 또 숫자를 문자로 서로 바꿔가야 하는 과정이 필요합니다. 우리가 이것을 데이터 변환이라고 하는데요. 데이터를 연속화하기도 하고 이산화하기도 하고 다양한 인코딩 방법들도 존재합니다. 그럼 그런 인코딩들은 어떤 것이고 어떻게 하게 되는 것인지 개념과 실제 실습 데이터를 가지고 배워보도록 하겠습니다. 이렇게 인코딩이 잘 되더라도 데이터들은 어떠한 모델에서 여러 종류의 피처가 동원이 되다 보면 보다 큰 값을 갖게 되는 특정 피처에게 좌우되는 현상이 필연적으로 발생합니다. 그걸 위해서 각각의 피처들의 영향력을 균등하게 맞춰주는 과정이 필요한데요. 이것을 스케일링이라고 합니다. 스케일링 과정에서 여러분께서는 여러 가지 단계의 전처리 프로세스를 하나하나에서 자동화해서 처리하는 방법도 같이 배우실 거고, 파이썬과 연동해서 처리를 한다거나 하는 것들 일련의 과정들에 대해서 한꺼번에 학습을 하시게 될 것입니다. 이렇게 어느 정도 준비된 데이터를 탐색을 하는 과정에서 우리는 데이터를 다양한 형태로 집계를 하게 되는데요. 데이터를 집계하는 방법은 많이 있습니다. 이러한 요약 통계량을 뽑을 때 여러 가지 방법이 있는데, 그걸 위해서 필요한 계산 열을 만든다거나 또는 그룹 바이로 적정한 데이터들의 그룹을 만들고 이 그룹별로 이러한 어떤 통계량들을 부분적으로 내가 원하는 대로 잘 조합해서 얻어내는 방법도 함수식 또는 정규표현식을 활용하여 수식, 연산, 조건 등에 의해 필요한 새로운 피처를 직접 만들어 낼 수 있습니다. 이러한 과정을 모두 배우신 후에는 이제 데이터가 가지고 있는 경향성을 판단하기 위해서 다양한 시각화 기법들, 그리고 이러한 시각화가 언제 사용이 되는 것이고 그 각각의 시각화 결과를 어떻게 우리가 해석해서 인사이트를 얻는가 라고 하는 것들을 배우시게 될 것입니다. 각각의 차트 시각화를 할 때 모든 시각화는 무엇을 보여 주려고 하는가에 따라서 목적에 알맞은 차트가 선택이 되어야 되는데, 이러한 선택을 어떤 식으로 우리가 이해를 할 것이고 어떤 차트가 어떤 곳에 속하는 것인가 라고 하는 것도 우리는 같이 살펴볼 겁니다. 기본적으로 우리가 차트를 통해서 보여주고자 하는 그러한 내용들은 크게 보면 4가지로 표현이 될 수 있는데요. 무엇인가를 비교하거나 관계를 파악하거나 데이터의 분포를 알아내고, 그리고 하나의 개체를 구성하게 되는 여러 요소들의 구성 상황에 대해서 알아보는 것들이 있습니다. 우리는 각각의 목적을 달성할 수 있는 많이 사용되는 특수한 그러한 시각화 개체들을 다루는 방법, 읽는 방법, 또 어떤 상황에서 이런 것들을 쓰는가 라고 하는 것들을 직접 실습을 통해서 알아보게 될 것입니다. 더불어 이 과정을 모두 끝난 후에는 마지막으로 여러분께서는 간단하게 지도 위에, 실제 지도 위에 데이터를 표현하는 것까지 다양한 시각화 기법에 대해서 이 과정을 모두 수료하시고 나면 과정의 전반부에서 데이터 전처리와 피처 엔지니어링, 그리고 후반부에서 데이터의 시각화 기법에 대해서 학습을 하실 예정입니다.