회귀분석의 개념

그러면 다양한 분석 기법 중에서 회귀분석을 첫 번째로 학습을 해보려고 합니다. 먼저 회귀분석의 개념부터 살펴보도록 하겠습니다. 회귀분석은 굉장히 중요한 부분이라고 볼 수가 있는데요. 회귀분석은 다양한 기법들이 있습니다. 선형회귀분석이라는 것부터 먼저 학습에 들어갈 거고요. 선형회귀분석에서 시작이 되어서 다항회귀분석, 릿지, 라쏘, 엘라스틱넷, 그리고 로지스틱 회귀분석 이런 문제까지 굉장히 다양하게 회귀분석들이 진화가 되었습니다. 그래서 이 회귀분석의 내용은 그냥 회귀분석으로 끝나는 것이 아니라 뒤쪽에 여러 가지 고급의 머신러닝 기법들이 나오게 되고요. 또 인공지능 분야에까지 영향을 미치게 된 것이 회귀분석이라고 할 수가 있습니다 그래서 이 회귀분석 부분을 굉장히 중요하다고 저는 생각을 하는데요 이 부분 좀 특별히 꼼꼼하게 학습하실 필요가 있겠습니다 회귀분석이라는 것은 regression analysis라고 얘기를 하는데요 하나나 그 이상의 독립변수들이 종속변수에 미치는 영향을 추정하는 통계기법이다 라고 있습니다 여기에서 앞서서도 이 변수에 대해서 좀 정리를 해드린 바가 있는데요 독립변수라는 말이 있고 종속변수라는 말이 있습니다 이 종속변수는 앞에서 우리가 정답, 레이블 이렇게 얘기하기도 했는데요 이 독립변수와 종속변수가 있다는 것은 이 변수들 사이에 어떤 인과관계를 가지고 있다고 볼 수가 있는데요. 인과관계라는 것은 우리 1과목에서도 공부를 한 적이 있지만 어떤 변수들의 관계는 상관관계가 있고요. 상관관계가 있고 인과관계가 있습니다. 인과관계라는 것은 상관관계의 특수한 경우라고 볼 수 있는데요. 상관관계라는 것은 꼭 원인과 결과를 의미하는 것은 아니죠. 그래서 x라는 변수가 어떤 방향으로 움직일 때 y라는 방향도 함께 또는 반대 방향으로 움직이게 되면 이것을 상관관계가 있다 라고 얘기를 하는데요 인과관계의 경우에는 이것을 원인과 결과로 생각하는 것이죠 하나가 원인이 되어서 이것이 영향을 미쳐서 결과가 생기게 된다는 그런 개념이 되겠습니다 회귀분석은 일반적인 상관관계가 아니라 변수들 간의 인과관계를 밝히게 되는 것입니다. 여기에서 원인이 되는 변수를 우리는 독립변수다 라고 얘기합니다. 독립변수다 라고 얘기를 하고요. 독립변수를 다른 말로 설명변수라고 얘기하고 식에서는 x, x1, x2와 같이 x라는 변수를 활용해서 설명을 하게 됩니다. 영향을 주는 변수가 되겠고요. 이때 결과가 일어나는데, 결과가 일어나는 것을 종속변수다 라고 얘기합니다. 이것은 반응변수 또는 y라고 얘기를 하고요 영향을 받는 변수가 되겠습니다 그래서 이 회귀분석을 통해서 어떤 식을 만들게 되는데요 그것이 바로 모델이 되겠죠 모델이 예를 들면 이런 식으로 만들어지게 됩니다 y는 β0 플러스 β1x. 여기에서 x가 독립변수가 되고 y가 종속변수가 되는데요. 이 모델을 만들면서 β0와 β1이라는 회귀계수가 만들어지게 됩니다. 그럼 식이 완성되면 우리가 이 x에다 뭔가 값을 대입하게 되면 y를 구하게 된다는 것을 예를 들어서 여름철에 온도가 올라가면서 아이스크림의 판매량이 증가한다. 온도가 올라간 것이 아이스크림 판매량에 영향을 미치게 되겠죠. 그럼 온도에 대한 변수의 값을 입력하게 되면 아이스크림 판매량이 얼마나 될지 이것을 예측할 수 있게 된다는 것입니다 그래서 이 회귀분석을 통해서 예측하거나 또는 분류 가능한 모델들도 있는데요 회귀분석이 이런 의미를 갖고 있다는 것을 알고 계셔야 되겠습니다 이 부분의 내용은 모두 다 중요하다고 볼 수 있는데요 독립변수가 종속변수에 미치는 영향 즉 인과관계를 밝혀서 모델을 만드는 것이다 그리고 여기에서 독립변수는 다른 말로 설명변수라고 하고 종속변수는 다른 말로 반응변수다 라고 얘기를 하게 됩니다 독립변수도 간단한 모델에서는 한 개를 사용하지만 사실 아이스크림 판매량에 영향을 미치는 것이 온도만 있는 것은 아니겠죠 여러 가지 다양한 요건들이 있을 수 있기 때문에 독립변수는 하나나 그 이상이다 여러 개가 있을 수도 있다는 그런 의미가 되겠습니다 그래서 회귀분석의 개념을 잘 정리를 해 주셔야 되겠고요 회귀분석은 종류가 굉장히 많습니다. 가장 간단한 게 선형회귀분석인데요. 그 이외에도 많은 종류들이 있습니다. 우선 독립변수와 종속변수의 관계에 따라서 분류를 했는데요. 선형회귀분석 리니어 리그레션이 있고 그 다음 비선형회귀분석이 있습니다. 선형회귀분석은 독립변수와 종속변수 사이에 선형의 관계가 있다. 우리 보통 산점도를 그려서 상관관계 중에 이런 모양의 선형의 관계가 있었는데요. 이런 선형의 관계를 의미하는데 이제 x가 원인이 되고 y가 결과가 될 때 이런 선형관계가 있다고 할 수가 있습니다. 선형회귀분석은 단순선형회귀분석이고요. 단순선형은 독립변수 즉 x가 1개인 경우가 되겠고요. 다중선형회귀분석은 독립변수가 여러 개인 게 x1, x2 이렇게 여러 개가 있을 때 다중선형이다 라고 얘기를 합니다. 그리고 두 변수 사이에 비선형의 관계가 있을 수도 있습니다 우리 상관 분석할 때도 비선형의 상관 분석을 하는 방법도 있었는데요 회귀분석도 역시 마찬가지로 비선형의 회귀분석이 있습니다 독립변수와 종속변수 사이에 비선형 관계가 있다고 가정할 때 사용하는데요 다항회귀분석이라는 게 있고 로지스틱 회귀분석은 우리 뒤에서 다시 학습하게 됩니다. 로지스틱 회귀분석이라는 것은 주로 분류를 할 때 활용을 한다는 것도 설명을 드렸었습니다. 다음은 종속변수의 척도에 따른 분류가 있습니다. 종속변수, 즉 이 y를 말하는 거죠. 이 y값의 척도에 따라서 척도는 연속형과 범주형으로 나눠지게 됩니다. 사실 독립변수의 척도는 그렇게 중요하지 않습니다. 범주형이건 연속형이건 사용을 할 수가 있는데요 종속변수는 척도에 따라서 다른 방식의 회귀분석을 사용을 해야 됩니다 그래서 연속형의 종속변수일 경우에는 우리 보통 예측 또는 회귀라는 말을 사용한다고 설명을 드렸었고요. 범주형의 경우에는 분류를 한다고 얘기를 하죠. 그래서 연속형의 종속변수는 종속변수가 연속적인 값 즉 수치로 나오는 경우에 하는 것은 선형회귀분석과 또는 다항회귀분석이라는 것도 있습니다. 범주형 종속변수는 종속변수가 범주형 또는 이산형일 경우에 사용하는데요 이것을 분류라고 생각하시면 쉽게 기억을 하실 거고요 이때 대표적인 방식으로는 로지스틱 회귀분석이 있습니다 근데 로지스틱 회귀분석은 주로 2가지로 분류하는 것이죠. 예를 들면 합격과 불합격 또는 생존과 사망 이런 식으로 두 가지로 분류할 때 사용을 하는데요. 여러 개로 분류하는 방법도 있습니다. 멀티노미얼 회귀분석, 이런 방식이 다중분류를 하는 것이고요. 오디널 회귀분석이라는 것은 순서가 있는 범주형 데이터, 즉 명목척도가 아니라 순서척도를 의미하는 것이죠. 이런 것들이 있다고 볼 수가 있습니다. 다음은 독립변수의 개수에 따른 분류가 있을 수 있는데요. 독립변수가 1개인 경우에는 단순 회귀분석입니다. 앞에 설명드렸던 것처럼 단순 선형 회귀분석, 이거는 독립변수가 하나인데요. 앞에 설명드렸던 식에서 이렇게 y는 β0 플러스 β1x 이렇게 모델이 만들어지는 것이고요. 다중회귀분석은 독립변수가 2개 이상인 경우가 되겠는데요. 특히 다중선형회귀분석 같은 경우에는 y는 β0 플러스 β1 x1 더하기 β2 x2 더하기 β3 x3 더하기 이런식으로 빅데이터분석기사 필기 2. 로지스틱 회귀분석 분류해 봤는데요 각각의 기준에 따라서 어떤 방법들이 있는지 이것을 좀 기억을 해 두시면 좋겠습니다 그럼 여기까지 회귀분석의 개념에 대한 학습 마치도록 하겠습니다