학습 내용 안내

우리가 이 강의에서 주로 학습하게 될 내용이 어떤 것들이 있는지 함께 간단히 살펴보도록 하겠습니다. 데이터 분석 도구인 오렌지를 비롯한 다른 도구들을 같이 병행해서 머신러닝, 그 중에서도 비지도 학습의 군집화 그리고 차원 축소를 주제로 다루는 강좌입니다. 그래서 일단 여러분께서는 이 강의에서 머신러닝의 지도 학습과 비지도 학습이 어떤 부분이 다른가 라고 하는 개념을 배우시고 마찬가지로 데이터를 적절히 유사한 것들을 묶어주는 그룹화의 두 가지 방법, 지도학습적인 그룹화 방법인 분류 그리고 비지도학습적인 그룹핑 방법인 클러스터링이 어떤 부분이 비슷하고 어떤 부분이 차이가 있는가 라고 하는 것을 실제 데이터를 통해서 다양한 각도로 이해하실 수가 있습니다. 클러스터링 비지도 학습의 대표인 군집 분석, 클러스터링 어낼리시스를 하는 데 있어서 가장 중요한 개념은 비슷한 데이터, 유사한 데이터를 묶어주기 위해서 거리, 디스턴스를 어떻게 계산하느냐 라고 하는 것이 가장 기본적이면서도 가장 중요한 요소다 라고 말씀드릴 수가 있습니다. 이런 거리를 측정하는 방법은 크게 두 가지로 나뉘게 되는데요. 첫번째로 기하적인 거리측도들이 있습니다. 예를 들면 유클리드 거리, 맨해튼 거리, 체비쇼프 거리, 민코프스키 거리, 유사도를 기반으로 하는 거리측도들도 있습니다. 코사인, 피어슨, 자카드, 해밍, 마할라노비스 같은 다양한 디스턴스들이 있습니다. 각각의 디스턴스들이 어떤 개념을 가지고 있고 어떤 상황에서 쓰이고 뭐가 같고 뭐가 다른지 또 실질적으로 정말 데이터를 가지고 이러한 데이터들의 거리를 계산하는 것들을 여러분께서 직접 다 실습을 통해서 이해하시고 배우시게 될 겁니다. 이렇게 거리의 개념을 익히게 되면 우리가 이 거리 개념을 토대로 해서 비슷한 데이터들, 유사한 데이터들을 묶어주는 군집화를 실행하게 되는데요. 군집화는 크게 보면 하나의 데이터 포인트가 하나의 클러스터에만 속하게 되는 분할적 군집화가 있습니다. 이 분할적 군집화의 가장 대표가 되는 것은 우리가 잘 알고 있는 K-평균 군집화, K-means 클러스터링이라고 하는 것이 있습니다 K-means 클러스터링이란 건 어떤 것이고 어떻게 활용할 수 있는지 이러한 일련의 과정들을 데이터를 가지고 다뤄볼 것이고요 이렇게 만들어진 군집이라고 하는 것이 과연 잘 만들어진 것인가 이 데이터를 이 그룹에 넣는 것이 좋은 선택인가 실루엣 스코어라는 게 무엇인지 어떻게 사용할 수 있는지 이런 것들을 포괄적으로 다양한 사례를 통해서 살펴보도록 하겠습니다 하나의 데이터 포인트가 여러 군집에 중복해서 계층적으로 들어가는 그러한 군집화 알고리즘들도 있습니다. 가장 대표적인 것이 바로 계층적 군집화라고 하는 것인데요. 이 계층적 군집화의 어떤 기본적인 원리 그리고 임계값이 뭘 뜻하는 것인지 또 이것을 시각화해서 표현해주는 Dendrogram이라고 하는 게 어떻게 구성되는지 이런 부분들을 보도록 하겠습니다. 분할적 군집화의 대표 주자가 K-means 클러스터링이고 계층적 군집화의 대표 주자가 hierarchical 클러스터링이라면 이거 외에도 아주 많이 사용되는 군집화 알고리즘이 있는데요. 대표가 되는 분할적 군집화에서 밀도를 기반으로 하는 그래서 노이즈를 처리한다거나 우리가 더 복잡한 다양한 상황에서 이미지를 분석하거나 영상을 분석하거나 이런 것들에서도 사용하게 되는 DBSCAN이라고 하는 그러한 클러스터링에 대해서도 알아보도록 하겠습니다 또 계층적 군집화 중에서 네트워크에 대해서 사회적 네트워크에서 적절히 커뮤니티를 만들어주고 커뮤니티를 디텍팅하는데 사용하게 되는 루뱅 클러스터링이라는 알고리즘에 대해서 살펴보도록 하겠습니다. 이러한 군집화로 적절한 데이터를 묶어 주게 되면 우리가 이러한 계산 자체를 훨씬 더 간결하게 하고 이 데이터 가진 특징을 시각적으로 또 직관적으로 이해하기 위해서 데이터를 우리 눈에 볼 수 있는 정도의 차원으로 줄여 줄 필요가 있습니다 데이터를 2차원 또는 3차원 정도의 규모로 줄여 줘야 되는데요 이때 사용하게 되는 차원 축소라고 하는 것이 도대체 어떤 것인가 차원을 줄인다 라고 하는 것은 변수를 선택할 수도 있고 변수를 추출할 수도 있습니다 그럼 이 둘은 어떤 차이가 있는 거고 어떤 상황에서 무엇을 선택해야 되는 것인지 이러한 일련의 과정들을 포괄적으로 데이터의 정보량을 줄인다 라고 하는 것이 어떤 것인지 같이 살펴보도록 하겠습니다 차원 축소에는 다양한 알고리즘이 있고요 이때 선형적 차원 축소 알고리즘이라고 할 수 있는 투영 프로젝션의 방법 그 중에서도 대표적인 PCA 주성분 분석이라고 하는 것이 있습니다 주성분 분석에 대해서 우리가 집중적으로 다뤄볼 예정이고요 이러한 주성분 분석 PCA 같은 경우는 수치형 데이터에는 적합하지만 범주형 데이터들 사이에 어떠한 관계를 보여주는 차원 축소에는 조금 약한 부분이 있습니다. 이 부분을 위한 대응 분석도 같이 다뤄보겠습니다. 선형 차원 축소뿐만이 아니라 비선형 차원 축소도 있는데요. 이런 비선형 차원 축소의 다양한 알고리즘들을 개념을 이해하는 매니폴드 학습이라는 것에 대해서도 같이 이 강좌의 끝부분에서 함께 살펴보도록 하겠습니다. 이 강좌는 기본적으로 비지도 학습, 그중에서도 군집화와 차원 축소에 대해서 설명을 하는 강의이고요. 이 과정을 여러분께서는 모든 주제에 대해서 실제 데이터를 직접 다뤄보므로써 개념적인 설명과 함께 실제 데이터를 실제 도구를 가지고 직접 다뤄보므로써 각각의 개념들을 어떻게 좀 우리가 써 나갈 수 있는가 실습 위주로 학습하실 수 있겠습니다.