5강. 다중회귀분석(1) 다중회귀모형으로의 확장

안녕하세요. 단순회귀모형에 대한 기본적인 지식을 바탕으로 다중회귀모형에 대해서 이야기를 해보도록 할 텐데요. 이제부터가 계량경제학이라고 불리는 어떤 부분에 대해서 본격적으로 시작되는 부분이라고 할 수가 있겠습니다. 다중회귀모형이라는 것이 단순회귀모형과 어떤 차이가 있고 어떤 목적으로 유용하게 쓰일 수 있는지를 중점적으로 다루도록 할 텐데요. 먼저 다중회귀모형에 대한 모집단 회귀모형을 먼저 다루게 되고, 마찬가지로 OLS 추정과 표본회귀모형. 단순회귀모형을 했던 것과 동일한 순서라고 할 수 있겠죠? 그리고 고전적 가정과 Gauss-Markov 정리가 다중회귀모형에서도 동일하게 성립한다, 라는 점까지 다뤄 보도록 하겠습니다. 하지만 이제 고전적 가정이 다중회귀모형에서 살짝 달라지는 부분들이 있는데 그런 점들을 좀 중점적으로 초점을 맞춰서 이야기를 해보도록 할게요. 먼저 왜 다중회귀분석이 유용한가, 왜 단순회귀분석에서 다중회귀분석으로의 확장이 필요한가에 대해서 먼저 살펴보도록 할게요. 학력과 임금 사이의 관계라는 우리가 계속해서 보고 있는 단순회귀모형을 한번 살펴보도록 하면, 이것은 educ이 한 단위 늘어나면 임금은 평균적으로 얼마가 늘어나는가? 를 나타내는 게 β₁이라고 했죠? 근데 이 회귀계수 β₁을 인과 관계를 나타내는 것으로 해석할 수 없다. 우리가 인간관계라고 하면은 ceteris paribus causality를 의미한다고 했었죠? 왜냐면은 이게 단순히 educ이 올라서 wage가 오른 건지? 아니면은 u와 educ이 관계가 있는데, u에 있는 가령 능력 같은 요소가 관계가 있는데, 능력이 높은 사람이 educ도 많이 받아서 wage가 높은 건지 그것들이 구별이 되지가 않는다고 했었죠. 고학력자의 임금이 높은 게 정말 학력 때문일까? 아니면은 똑똑한 사람이 학력도 높고 임금도 높은 게 아닐까? 사실 학력을 똑같은 사람이 두 명 있다, 능력이 똑같은 사람이 두 명 있다. IQ나 아니면은 사회적인 센스 같은 게 똑같은 사람이 두 명 있다, 라고 했을 때 두 사람이, 한 사람은 고졸이고 한 사람이 대졸이라고 해 볼게요. 그럼 이런 사람이 100명 정도 있다고 했을 때 실제로 이런 요소들, 그런 능력 요소들을 통제를 하고 나면 사실 고졸과 대졸 사이에 평균임금 차이는 나지 않는 것이 아닐까? 라는 질문을 던져 볼 수가 있습니다. 학력은 단순히 시그널만 보낼 뿐이지 실제적으로 임금을 높이는 효과는 없지 않을까? 라는 생각을 우리가 해 볼 수 있다는 거죠. 그래서 이제 중요한 건 뭐냐면은, 이 능력이란 요소를 통제하는 것이 중요합니다. 여기서 다중회귀분석은 왜 유용한가? 이 변수의 통제를 가능하게 해줍니다. 뒤에서 좀 더 자세하게 다룰 텐데 여기서 이렇게 IQ, 개인의 학력뿐만 아니라 IQ를 나타내는 항을 추가적으로 집어넣었어요. 그러면 여기서 β₁은 뭘 의미하냐면 IQ를 통제한 상태에서 educ이 wage에 미치는 영향을 나타냅니다. 왜 여기는 wage고 여기는 log(wage)냐, 이 부분은 뒤에 가서 다시 설명을 드릴텐데, 상관없어요. 여기도 log를 씌우든지 안 씌우든지 크게 상관없는데, 이 모형이 좀 더 일반적인 모형이라서 로그를 씌웠는데요, 그거는 뒤에 가서 설명을 드리고, 여기서는 통제라는 말이 중요합니다. 특정 변수를 통제할 수 있다는 말은 무슨 말이냐면 ceteris paribus 효과를 만들어낸다는 말입니다. 그 말은 무슨 말이냐, IQ가 같은 두 사람이 educ만 다를 때 wage에 미치는 효과를 이 모형에서는 만들어 낼 수 있다는 말입니다. 그래서 이 β₁은 만약에 우리가 educ과 wage에 영향을 주는 중요한 변수들이 전부 다 통제가 됐을 때 ceteris paribus causality를 구현해낼 수가 있다는 것입니다. 그래서 여기서는 IQ가 같지만, 학력이 다른 두 사람의 평균적인 임금 차이를 β₁이라고 설정을 할 수가 있게 되는 겁니다. 회귀분석은 단순히 두 변수 사이에 어쨌든 방향성과 한 단위 증가했을 때 한 단위 얼마만큼 y가 증가하느냐에 대한 이 관계만 캡처를 할 수 있었다면, 다중회귀분석에서는 이런 통제를 가능하게 함으로써 causality에 대해서 인과관계에 대해서 보다 많은 이야기를 할 수 있다 라는 점을 볼 수가 있겠습니다. 그래서 이제 우리는 단순회귀모형을 다뤘을 때와 마찬가지로 모집단 회귀모형의 설정에 대해서 먼저 알아보고, 그다음에 그 모집단 회귀모형을 OLS 방식으로 추정을 해서 표본회귀 모형을 만들어 내는 그 과정에 대해서 살펴보고, OLS 추정량은 과연 좋은 추적량인가? 에 대한 이야기로 마지막 마무리를 할 텐데요. 여기선 이제 먼저 모집단 모형에 대해서 얘기를 해 보도록 하겠습니다. 모집단 다중회귀모형은 일반적으로 이런 식으로 표현이 됩니다. 예시를 들면 이건 이제 임금이 될 수가 있겠고요, 임금에 영향을 주는 많은 요소들, 먼저 학력, 그다음에 노동시장에서의 경력, 다음에 또 어떤 변수가 있냐면 전공, 그다음에 종사하는 회사의 규모, 그다음에 능력, 이런 것들의 요소들이 쭉쭉쭉 많이 있겠죠. 00:06:24,800 --> 00:06:31,440 이런 요소들을 이제 각각 집어 넣어서 회귀 모형을 만들 수가 있는 겁니다. 00:06:32,011 --> 00:06:36,980 그러면 이 모집단 회귀 모형이 만족해야 할 핵심 가정은 무엇이냐? 마찬가지로, 조건부 0평균 독립성 가정입니다. 00:06:48,140 --> 00:06:50,140 무슨 말이냐면, 이 u는, 요 친구는, 요 친구들과 서로 간에 독립적인 관계를 가져야 된다는 말인데요. 요것을 우리는 단순회귀모형에서 뭐라고 했냐면 올바른 모형 설정의 가정이라고 했었죠. 함수 형태를 얼마나 정확하게 설정을 했느냐, CEF funcion, conditional expectation function이 실제로 선형모형을 따르는가 아니면은 비선형 모형을 따르는가? 비선형 모형을 따른다면 비선형 모형에 맞는 모형을 설정을 했는가? 요것을 항상 이것을 검증하는 가정으로써 조건부 0 평균 독립성 가정이 사용된다고 했었고, 또한 외생성 가정을 의미한다고도 했었죠. 우리가 ceteris paribus causality가 구현이 된다는 말은 무슨 말이냐면, ui와 xi가 서로 독립일 때 이게 구현이 된다 그랬죠? 무슨 말이냐면 ui와 xi가 서로 독립이 아니면은 아까같이 이 친구와 이 친구가 서로 관련을 맺는 상황이 연출이 되기 때문에 이 친구가 일로 영향을 바로 주는 건지 아니면은 요 관계 사이에서 이렇게 영향을 주는 건지를 서로 구분할 수가 없다 그랬는데, 요 친구와 요 친구가 만약에 독립이라 그러면은 얘와 얘는 따로 움직이기 때문에 educ의 움직임은 온전히 wage에 영향을 주는 것이지 u와 어떤 관계를 맺고 있지 않기 때문에 능력 요소가 만약에 educ와 관련이 없다 그러면은 이게 능력의 의한 효과인지 아니면은 educ에 의한 효과인지를 굳이 구분할 필요가 없죠. 왜냐하면, 둘은 관계가 없기 때문에 educ은 그대로 wage에 영향을 미치게 되는 거죠. 그렇기 때문에 이렇게 외생성의 가정. 이 xi가 외생변수여서 u와 관련이 없고 그것을 순수하게 ceteris paribus causality로 해석할 수 있는지의 여부는 바로 이 조건부 0 평균 독립성 가정에 달려 있다 라는 얘기를 했습니다. 그래서 우리는 요 조건은 올바른 모형 설정의 가정 혹은 외생성 가정 이렇게 두 가지를 의미한다고 얘기를 했었고요. 그런데 이 두 가지가 사실 많은 분들은 이 두 가지가 완전히 다른 얘긴데 어떻게 이 한 가정에 요 두 가지 가정이 다 포함될 수 있냐? 라는 생각을 하실 수가 있어요. 저도 이제 이 부분을 공부할 때 그렇게 생각을 했는데, 사실 뒷부분에서 OVB라는 점을 다음 시간에 공부를 해보면은 아, 이게 어떤 식으로 연관이 되는구나, 중요한 연관성을 가지는구나, 라는 점을 알 수 있게 되실 겁니다. 00:09:38,820 --> 00:09:43,780 그래서 지금은 모집단 회귀 모형의 올바른 핵심 가정, 00:09:44,120 --> 00:09:48,780 올바른 모형이 되기 위한 핵심 가정은 이 조건부 0 평균 독립성 가정이고, 00:09:49,180 --> 00:09:53,780 그것이 의미하는 바는 두 가지다 라는 점을 이해하고 넘어가시면 될 것 같습니다. 00:09:54,380 --> 00:10:01,780 올바른 모형 설정의 가정이라 함은 이런 식으로 예시를 들어서 생각해 볼 수 있어요. 일반적으로 wage와 연령 사이, 임금과 연령 사이의 관계는 선형이 아닙니다. 생각을 해보면 보통 임금은 한 50대까지, 어떤 나라에서든 50대까지 지속적으로 상승하는 경향이 있지만, 50대 이후에는 퇴직을 하게 되고, 소일거리 삼아서 임금이 적은 직종에서 파트타임으로 종사하거나 이런 일들이 일어나기 때문에, 50대에서 60대로 넘어가는 지점에서 임금은 감소하는 경향성을 가지게 됩니다. 그렇기 때문에 이것을 이런 식의 선형으로 표현을 하게 되면 뭔가 문제가 생기게 돼요. 그래서 올바른 모형 설정이라 함은 age와 wage의 관계에 있어서는 어떻게 하는 게 바람직하냐? 이런 식으로 이차함수의 모양을 설정하는 것이 더 바람직할 수 있습니다. 근데 단순회귀모형에서는 하나만 들어갈 수 있기 때문에, X 변수가 하나만 만들어 갈 수 있기 때문에 이런 식의 이차함수 모형을 우리가 설정할 수가 없었지만, 이렇게 다중회귀모형에서는 age와 age 제곱을 집어넣음으로써 이차함수의 모양을 설정할 수가 있게 됩니다. 그래서 올바른 모형설정이라 함은 X와 y 사이에 어떤 조건부 기댓값에 펑션 관계를 정확하게 표현을 하는 모형이라고 할 수가 있겠고요. 그래서 age와 wage 사이의 이 관계는 항상 이차함수로 설정하는 것이 바람직할 것이다. 그래서 우리는 여러 가지 요소들을 반영한 확장된 임금 추정 모형을 생각해 볼 수가 있습니다. 이거는 이제 모집단 모형이고요. 이거는 우리가 요런 모형이다, 라고 일단 가정을 하고 모집단이 요런 모형을 따랐을 때 요 조건을 만족할 것이다, 라는 식의 가정하에서 성립하는 모형이구요, 추정의 문제는 아직 우리가 언급을 하지 않은 거죠. 그렇게 때문에 여기서 보면은 이런 겁니다. educ 그다음에 IQ 그다음에 경력, exper, exper 제곱이 wage에 영향을 미칠 것이다, 라는 식의, 어떤 임금에 영향을 미칠 수 있는 여러 가지 요소들이 몇 개가 추가적으로 포함이 된 거죠. 이 모형은 단순회귀모형보다 더 올바른 모형이다. 왜냐, 단순회귀모형보다 외생성의 가정이 성립할 가능성이 크다, 더 높다. 왜 이러냐, 우리가 원래 이 educ이 이 친구, u와 관련을 맺었던 이유는 educ과 IQ 라는 게 관련이 있어서 이게 요렇게 영향을 미치는 건지, 아니면은 요렇게 해서 영향을 미치는 건지 구별이 안 되는 데 있었죠. 근데 지금 IQ란 변수가 여기에 포함됨으로써 더 이상 educ과 u 안에 있는 IQ가 서로 상관될 여지가 사라졌죠. 00:12:54,060 --> 00:12:57,060 그렇기 때문에 이 educ과 u 사이, 그러니까 00:12:57,980 --> 00:13:03,060 둘 사이가 상관될 가능성, covariance of educ와 u가 상관될 가능성이 00:13:04,060 --> 00:13:06,060 제로가 될 가능성이 커졌다는 겁니다. 물론 이 IQ 나 exper 외에도 educ과 관련이 있고 동시에 wage에 영향을 줄 만한 요소들이 있을 수가 있어요. 가령 전공 같은 게 있을 수가 있는데, 근데 여기서는 일단 IQ가 통제됨으로써 외생성의 가정이 성립할 가능성이 커졌다. 왜냐면은 이 사이의 관계를 우리는 보는 게 아니라, 이 설명 변수들과 u 사이에 상관관계가 있는지 없는지, 독립성이 성립하는지 아닌지가 중요한데, u에서 중요하게 얘랑 관련 있었던 요소가 설명변수에 포함됨으로써 바깥쪽으로 빠졌기 때문에 외생성의 가정이 성립할 가능성이 더 높아진다, 라고 할 수 있겠습니다. 그래서 이 β₁이라는 것은 educ이 순수하게 wage에 미치는 ceteris paribus 인과관계를 포착할 가능성이 더욱 크다. 그리고 더 중요한 것은, 이 모형만으론 부족하고 더 많은 control variable들이 집어넣어 질수록 educ이 wage에 미치는 영향을 순수하게 캡처할 가능성은 높아진다, 라는 점을 알 수가 있습니다. 그래서 다중회귀분석의 기본적인 아이디어는 머릿속에 꼭 심어 두고 가셔야 되구요. 다음은 이제 추정의 문제로 갈게요. 우리는 이 모집단함수, 이거는 어떤 전체 우리가 데이터를 가졌을 때 이상적인 상황, 그런 상황에서 도출이 되는 그런 함수라고 할 수 있겠고요. 이거는 우리가 지금 β0와 β₁, β₂, β₃ 요 값들은 모르는 값들이죠. 그렇기 때문에 우리는 가지고 있는 데이터를 가지고 추정을 해야 합니다. 우리가 가지고 있는 데이터는 yi, xi1, xik, 요런 식으로 얘기를 하구요, i라는 것은 1부터서 n까지의 샘플의 숫자를 의미하구요, 샘플의 넘버링을 의미하고, 그다음에 k라는 것은 이 설명변수의 개수를 의미합니다. 여기는 지금 설명변수가 총 k개가 있는 거죠. 여기 같은 경우에는 설명변수가 하나둘 셋 네 개가 있는 거고요. 그래서 k라는 것은 설명변수의 개수를 의미하고, i라는 것은 샘플의 넘버링을 의미하고, 총 i는 1부터서 n까지 있다, 라는 식으로 표현을 한다, 라는 것을 일단 그 로테이션을 알아주시면 되고요. 그래서 우리는 지금 우리가 갖고 있는 이 샘플 데이터를 통해서 계수들을 추정해서 이와 같은 SRF를 도출해 내는 것을 목표로 합니다. 그러면은 추정을 어떻게 하느냐, 마찬가지로 OLS Estimator를 이용을 합니다. 그래서 OLS Estimator를 도출하는 방식은 똑같아요. 표본이 이런 식으로 있고, 마찬가지로 잔차의 제곱 합을 최소화시키는 추정량을 도출을 해내는데요. 근데 이 경우에는 상당히 복잡한 게 뭐냐면, 우리가 추정량이 2개인 단순회귀분석에서는 식이 두 개, 그다음에 미지수가 두 개였죠. 근데 여기서는 추정량을 구할 게 지금 k+1개가 됩니다. 다중회귀분석에서는 추정량이 구해야 될게 k+1개가 되죠. 왜냐하면은 설명변수가 총 k개가 있고, 절편에 계수까지 구해야 되니까요. 그러면은 이제 식이 몇 개가 되냐면은 k+1개가 돼요. 왜냐하면은 여기서 지금 각각에 대해서 편미분을 해가지고 다 0이 되는 값을 구해야 되니까요. β0 분에 Σui^² = 0. 쭉쭉쭉 해가지고 β0의 k분에 σ ui2까지 쭉 k+1개의 식이 나오겠고, 이거의 연립방정식을 풀어서 각각의 이 친구들을 구하게 되는데요, 이게 실제로 k가 3개 정도만 돼도 사실상 연립방정식을 풀어서 계산하는 게 무지하게 복잡한데, 우리가 일상적으로 나중에 분석을 하게 되면은 선형분수의 개수가 막 스무개 넘어가고 이런 경우가 대부분이에요. 그런 경우에는 요런 식의 스칼라 폼이라고 하는데 요런 식의 형태로는 사실상 해를 구해내는 게 불가능합니다. 그래서 일반적으로는 어떻게 구해내냐, 이 상황에서 matrix algebra, 행렬 대수의 필요성이 대두가 되는데요. 근데 저희는 이 행렬대수를 하게 되면은 배보다 배꼽이 더 커지는 상황이 보통 와요. 왜냐면 이게 익숙하지 않기 때문에 보통 계량경제학 같은 수업을 서울대나 이런 데서 수강을 하게 되면은 matrix algebra 익숙해지는데 한 학기가 다 지나게 됩니다. 그렇기 때문에 저희는 matrix algebra를 굳이 다루지는 않을 거지만, OLS 추정의 기본적인 아이디어, Estimator의 도출 방식은 요런 식으로 이루어진다 라는 사실은 알아두시고 넘어가면 될 거 같습니다. 마찬가지로 method of moments 방식으로도 구할 수가 있는데요. 이 경우에는 moment condition이 k+1이 어떻게 나오냐면, 똑같이 0가 나오고, E(u)=0 E(ux1)=0 E(uxk)=0까지 해서 여기서 k개, 여기서 한 개 해가지고 총 k+1개의 moment condition이 나오고, 이것이 샘플 moment condition으로 마찬가지로 ui햇의 제곱, uixi1 = 0,, 그다음에 점점점 ui^에 xik = 0 요렇게 해가지고 총 k+1개의 샘플 moment condition이 나오고요. 그래서 결과적으로 우리가 보게 되면은 어떤 것을 알 수가 있냐면 여기서 나오는 k+1개의 식이나 여기서 나오는 k+1개의 식이나 똑같은 식이 도출된다는 것을 알 수가 있어요. 여기서 나오는 식이나, 여기서 나오는 식이나. k+1개의 연립방정식이 나오는 것은 똑같기 때문에 이것을 우리가 똑같이 normal equation이라고 부르게 됩니다. 그래서 단순회귀분석과 마찬가지로 normal equation을 풀어서 그 해를 구하면은 그것이 OLS Estimator가 된다는 사실은 동일한데, 단순회귀분석은 구해야 될 계수가 2개여서 식이 2개였지만, 여기는 k+1개의 계수를 구해야 되기 때문에 k+1개로 식이 늘어난 것에 불과하다. 그러니까 이 개념 자체는 동일한데, 식이 늘어나면서 계산이 복잡해질 뿐이다. 그렇지만 계산은 우리는 직접 거의 할 필요가 없고 무조건 컴퓨터가 해주기 때문에 그거에 대해서 신경을 쓸 필요는 없지만, 요런 식으로 도출과정에 대해서만 조금 이해를 하고 계시면 된다, 라는 점을 생각을 하고 넘어가시면 될 것 같습니다. 그리고 이 OLS 추정치를 어떻게 해석할 것인가? 해석 문제에 대해서 얘기를 해 보도록 하겠습니다. 요거는 우리가 그 control을 어떤 식으로 하는지, 그 control 문제. 아까 말했던 모집단 회귀모형에서 얘기했던 control 문제, 어떻게 집어넣으면은 control이 되는지를 OLS 추정방식을 통해서 도출해낸 SRF의 해석을 통해서도 똑같이 바라볼 수가 있는데요. 우리가 이런 식으로 OLS 추정을 해서 계수를 구했어요. 계수를 구해서 이런 식으로 SRF를 도출을 해냈죠. 그다음에 생각을 해보면, x1과 x2를 똑같이 한 단위씩 증가를 시켰다고 해 볼게요. 그러면은 이 변화를 시키는 거죠. 변화시키면 y도 어떤 양만큼 변화가 되겠죠. 이거는 이 식은 뭘 의미하냐면 x1과 x2를 똑같이 한 단위 증가 시켰을 때 y는 얼마만큼 증가하느냐, 라는 의미가 되는 거죠. 그러면은 여기서 β1이라는 것은 어떻게 되냐, 만약에 x2가 0이라고 했을 때 x의 변화량이 없다고 했을 때, x1이 한 단위 변화하면 y1 햇은 얼마만큼 변화하는가를 나타낸 게 β1 햇이라고 할 수가 있겠죠. 그렇기 때문에 이건 무슨 말이냐, x2를 고정시킨 상태에서 x1이 한 단위 증가하면 y햇이 얼마만큼 증가하느냐를 나타내는 것이 β1 햇이다. 그러니까 β1 햇이라는 것은 다른 설명변수, 예를 들어서 x2가 고정되어 있을 때 y에 대한 x1의 ceteris paribus 효과를 나타낸다. 고정이라는 게 곧 다른 조건들이 다 일정할 때, 다른 설명변수들에 대한 조건이 일정할 때 x가 한 단위 증가하면 y 햇은 얼만큼 증가하느냐, 를 나타내는 것이 β1 햇이다, 라는 사실을 알 수가 있겠습니다. 그래서 요것을 뭐라고 말하냐, partial effect, 부분 효과라고 이야기를 합니다. x에 대한 x의 y에 대한 부분 효과. partial effect of x1 on y햇, 요것이 β1 햇이 된다. 라는 거. 부분 효과란 건 무슨 말이냐면 다른 요소들을 통제한 상태에서 x가 y에 미치는 효과를 의미한다고 할 수 있겠습니다. 그다음에 partial effect라는 것을 좀 다른 방식으로 해석해 볼 수가 있어요. 다른 방식을 해석해 볼 수가 있는데, 이제 우리가 다중회귀분석을 통해서 이런 식으로 OLS 추정을 3개에 대해서 했다고 해 볼게요. 요거는 이제 어떻게 되냐, 3개의 식으로 이루어진 normal equation의 해가 곧 β0, β1, β2가 되겠죠. 근데 우리는 이제 뭐에 관심이 있냐면, β1에 대해서 한번 생각해 볼게요. β1 햇에 대해 생각을 해보면, β1 햇을 다른 방식으로 구할 수가 있는데, 어떤 방식으로 구하냐, 먼저 x1을 x2에 대해서 OLS 회귀를 합니다. 회귀를 하고, 이렇게 되면 어떻게 되냐, x1i는 δ0햇 더하기 δ1햇 x2i 플러스 ri햇 이렇게 되죠. 이거는 이제 OLS 추정량이 되는거구요, 이거는 잔차가 됩니다. 그다음에 어떻게 되냐, 이 잔차 있죠? 얘의 추정치인 잔차. 잔차를, y를 잔차에 대해서 OLS 회귀를 합니다. 그러면 이제 yi는 α0햇 더하기 yi햇은 α1햇ri햇 이렇게 되는데, 실제로 보면은 요 α햇값과 요 β1햇 값이 같은 값이 나옵니다. 왜 그렇게 되냐, 먼저 이 1번 식의 의미가 뭔지를 파악하는 게 중요한데요, 1번 식은 뭐냐면, 여기서, x1에서 x2가 x1에 미치는 영향을 제거한 나머지 부분이 이 잔차 파트가 됩니다. 그러니까 x2와 x1의 관계가 있는 부분은 요 시스테메틱한 파트고, 요 논시스테메틱한 파트는 무슨 말이냐면, x2와 관계없이 x1이 움직이는 부분이에요. 그렇죠? 얘는 x2와 관계없이 이루어지는 x1의 변동이에요. 그렇죠? x2와 x2에서 설명되는 x1의 파트는 이미 여기서 다 설명이 됐기 때문에 이 나머지 잔차 부분은 잔차의 의미 혹은 오차항의 의미는 설명 변수에 의해서 설명되지 않는 파트잖아요. 그래서 이 잔차라는 것은 설명변수 x2i에서 설명되지 않는 x1의 부분입니다. 그래서 이 부분을 회귀를 한다는 말은 무슨 말이냐면 이 x1에서 x2와 관련된 부분을 모두 제거하고, 그 제거한 부분의 변동으로서 y를 설명하는 거에요. 그 말은 무슨 말이냐면, 다른 말로 생각을 하면, x2i의 변동과 관련된 부분을 컨트롤 하고 나머지 부분으로서 회귀를 한다는 말이죠. 그 말은 결과적으로 이 partial effect와 동일한 의미가 됩니다. 여기서 마찬가지로 x2에 대한 변동에 대한 부분을 통제하고, x1이 y에 미치는 영향을 체크를 한 거잖아요? 여기도 마찬가지로 x2가 x1에 미치는 변동 부분들을 통제를 하고, 나머지 움직이는 부분에 대해서만 x1의 나머지 부분을 이용해서만 y에 미치는 영향을 찾아내는 부분이 α1이라고 할 수가 있겠죠. 그렇기 때문에 요런 식으로 partial effect를 구현한다는 점에서 이 방법, 이렇게 다중회귀를 바로 하는 방법과, 그다음에 이렇게 한번 OLS회귀를 거치고 나서 다음 회귀를 하는 방법은 결과적으로 직관적으로 봤을 때 동일한 의미를 가진다고 할 수 있겠습니다. 다만 방법만 달라지고. 그래서 여기 시스테메틱한 파트를 통제를 하고, x1 중에서 x2로부터 영향을 받는 부분은 다 없다고 생각을 하고, 그다음에 x2와 자율적으로 움직이는 x1의 변동분만 이용을 해서 추정을 하는 것이다. 이 말은 무슨 말이냐, x1 중에서 x2와 관련된 부분은 통제를 하고 추정을 하는 것이다. 즉, 컨트롤한다는 점에서 이 방식과 요 방식은 동일한 의미를 가지고 있다, 라고 할 수 있겠습니다. 그래서 우리는 이제 간단한 예시를 한번 볼 텐데요, 이거는 우리가 자주 사용하던 educ과 wage에 대한 예시입니다. 여기서 봤을 때 나머지 부분들은 지금 아직 해석을 할 준비가 안 되어 있으니까 요 coef. 부분과 std. err. 부분만 보게 될 텐데, coef.는 요렇게 되고. 그다음에 이제 이 모형은 뭐냐면, IQ라는 새로운 요소를 통제 요소로 도입을 한 거에요. 그래서 coef.는 요렇게 됩니다. 그래서 추정 결과가 어떻게 변하는지 한번 봐 볼게요. 우리가 이제 주로 관심사는 뭐냐면 educ의 계수입니다. 여기를 보면은 educ 이 한 단위 증가할 때 log(wage)는, 이 log를 붙였을 때 해석 방법은 다음 시간에 배우도록 할게요. 이렇게 한 단위 늘어났을 때 log(wage)는 0.06 만큼 증가를 했어요. 그렇죠? 여기는 0.039 만큼 증가로 했어요. IQ를. 무슨 말이냐면 IQ란 요소를 집어넣었더니 educ이 wage에 미치는 영향이 줄어들은 해석 결과가 나오죠? 무슨 말이냐, IQ를 통제하고 났더니, 동일한 능력을, 동일한 IQ를 가지고 교육 연수만 다른 사람들의 임금효과. 이거는 이걸 나타낸다는 거죠. 근데 우리가 IQ라는 요소를 통제를 하니까 실제 임금 효과는 줄어들었죠. 그 말은 무슨 말이냐면, 실제로 IQ와 educ은 관련이 있다는 말이겠죠. IQ란 요소를 통제를 했더니 educ이 wage에 미치는 영향이 줄어들었다, 라는 것은 그 전에 이것은 educ가 wage에 미치는 영향을 뭐 하고 있었다? 과대평가하고 있었다. 과대추정하고 있었다, 라는 점 알 수가 있겠죠. 요게 보다 올바른 추정치에 가깝다고 할 수가 있겠죠. ceteris paribus 효과를 나타내고 partial effect를 나타내는 거죠. 그러니까 IQ의 효과를 통제하고 교육이 임금에 미치는 영향을 나타내는 값이 이 값이 되는 거고, 이게 educ이 wage에 미치는 영향을 나타내는 데 있어서 보다 더 현실적인 값이라 할 수가 있겠습니다. 그래서 이 다중회귀분석은 특정 변수를 통제하는 효과가 있다. 그래서 이렇게 통제를 했을 때 실제로 계수 값들은 크게 변하는 경우가 많다, 라는 점을 알 수가 있겠고요. 이제 고전적 가정과 Gauss-Markov 정리에 대해서 얘기를 해 볼게요. 우리가 앞에서 당연하게도 OLS를 가지고 추정을 했었죠. OLS는 다중회귀분석에서 Gauss-Markov assumption이 충족이 됐을 때 가장 좋은 추정량이라고 얘기를 했어요. 그러면은 그런 논리가 여기서도 마찬가지로 통할 것이냐? 다중회귀분석에서도 마찬가지로 성립을 할 것이냐, 에 대해서 얘기해 볼게요. OLS가 불편성 조건을 먼저 얘기를 해보겠습니다. 불편성 조건은 모수에 대해서 선형, Linear in Parameter는 동일해요. 그다음에 표본의 임의추출 역시도 동일합니다. i.i.d condition of (xi yi) 이거는 임의추출이라는 말은 다시 한번 강조를 드리자면, x1, y1 x2, y2 xn, yn 이 각각의 샘플 있죠? 이 샘플들이 서로 인디펜던트하고 그다음에 동일한 분포에서 도출이 되었다. 이런 얘기를 의미를 하는 겁니다. xi 와 ui 혹은 yi와 ui 요거에 대한 얘기가 아니라 이 각 샘플들 간의 얘기라는 점을 좀 생각을 해 주시면 될 것 같고요. 그다음에 3번은 완전 다중공선성 없음이다. No Perfect Multicollinearity인데, 요 부분이 단순회귀분석이랑 조금 달라져요. 단순회귀분석에서는 3번 조건이 뭐였냐면, x가 모두 같은 값을 갖지 않을 것. 왜? x가 모두 같은 값을 가지면은 OLS의 추정치의 기울기를 구할 수가 없기 때문에 그런 거였죠. 그래서 다 모두 같은 값을 갖지 않을 것이 단순회귀분석에서의 3번 조건이었는데, 다중회귀분석에서는 변수가 여러 개로 늘어나다 보니까 이 친구가 좀 달라집니다. 완전 다중공선성이 없다는 말은 무슨 말이냐면 설명변수들간 완벽한 선형관계가 없을 것을 요합니다. 무슨 말이냐, 만약에 모형이 이렇게 된다고 해볼게요. y는 β0 플러스 β1x1 플러스 β2x2 플러스 u. 이렇게 된다고 했을 때, 근데 여기서 x3 라는 게 x1 더하기 x2에 대한 식으로 이루어진다고 해 볼게요. 그러면은 x3에 대한 순수한 partial effect를 구하는 것이 불가능합니다. 왜냐하면 x1과 x2가 변하지 않으면은, 얘는 그러니까 만약에 x1 = 0고, x2 = 0면은, 이런 상황에서 x3가 y에 미친 영향을 캡처하는 게 partial effect잖아요? 근데 이렇게 되면 어떻게 되냐? x3도 당연히 0가 되기 때문입니다. 그래서 이런 식으로 완벽한 선형관계, x1 더하기 x2가 x3가 된다는 식의 요런 선형관계가 설명변수 간에 있게 되면은, 요 β3 값을 구하는 것은 불가능하게 됩니다. 이것이 말하는 것이, 이것을 의미하는 게 완전 다중공선성이고, 이것이 없어야지만 우리는 OLS 추정치를 구할 수 있다, 라는 겁니다. 그래서 예를 들면은 여기서 이게 득표율이고요, 이거는 A 후보의 expenditure, campaign spending이고, 이거는 B 후보의 campaign spending이고, 얘는 지금 total expenditure, 두 사람의 A 후보와 B 후보의 spending의 합입니다. 이렇게 되는 거죠. 근데 이런 식으로 해서 회귀분석을 돌리면 결과가 어떻게 나오냐면, expenditure of A가 0, omitted 된다고 나옵니다. expenditure A omitted because of collinearity라고 스타타(stata) 결과가 도출이 되게 됩니다. 그 말은 무슨 말이냐 지금 이 두 개의 합이, 여기서 이 친구의 합으로 얘가 이루어지기 때문에, 지금 똑같은 형태죠, 똑같은 모형이기 때문에 얘를 못 구하거나 아니면은 마찬가지로 얘를 못 구할 수 있어요. 셋 중에 하나는 계수를 구할 수가 없다는 말입니다. 왜냐면은 x1= x3 - x2 라는 식으로도 표현이 될 수 있기 때문에 얘를 못 구할 수도 있고, 얘를 못 구할 수도 있고, 얘를 못 구할 수도 있는데, 스타타는 자동으로 첫 번째 애를 안 구하는 식으로 해결했어요. 그렇기 때문에 이런 식으로 다중공선성이 존재를 하게 되면 어떻게 된다? 이게 계수 하나를 추정을 못 하게 된다. 당연히 추정을 못 하게 된다는 말은 무슨 말이냐? OLS의 불편, 아예 구하지를 못하는데 불편성을 따질 필요도 없죠? 그렇기 때문에 완전다중공선성이 없다는 조건이 필요하다. 요거를 이제 다른 식으로도 생각해 볼 수가 있는데. 만약에 우리가 아까 OLS 추정량을 도출해 내는 방법이 두 가지가 있다 그랬는데, 이걸 생각해 볼게요. 만약에 x1i가 δ0 + δ1x2i로 완벽한 선형관계를 가진다고 해 볼게요. 이게 이제 perfect linearity죠. colinearity라는 거는 둘 사이에 상호 간 선형성이 있다는 얘기죠. 이런 얘긴데, 그럼 이렇게 되면 어떻게 되냐. 우리가 OLS 추정을 했을 때, 햇을 했을 때 뒤에 이 ri이 부분이 0가 돼서 없어집니다. 없어지면, 없어진다는 말은 우리가 partial effect를 추정을 할 때 남은 이 부분으로 추정을 하게 되는데, 요 부분 자체가 지금 없다는 거에요. 요 부분이 없으면은 당연히 2번에 회귀도 할 수가 없죠. 그러니까 x2 영향력을 배제하고 나서 남는 변동 자체가 없다는 의미기 때문에 partial effect 구현이 불가능하다, 라는 얘기가 됩니다. 그래서 완전 다중공선성이 있으면 추정이 안 된다, 라는 점을 알 수가 있겠고요. 그다음에 조건부 0 평균 독립성은 아까 앞에서 얘기를 했으니까. 이 조건이 가장 중요한 조건이다, 라고 얘기를 했었죠. 그래서 이것도 성립을 한다, 성립을 해야 한다. 그래서 이렇게 4가지 조건이 성립을 하면은 OLS 추정량은 불편추정량이다. 이거는 마찬가지로 simple regression과 동일한 결과죠. 근데 이제 달라진 점이 있다면 3번 조건이 달라졌다. 그다음에 4번 조건이 u가 x1뿐만 아니라 다른 설명변수들과도 전부 다 평균독립일 것을 요한다, 라는거. 그다음에 동분산 조건도 동일하구요. 그다음에 자기 상관 없음 조건도 동일합니다. 그래서 마찬가지로 앞에서 단순회귀분석과 논리 자체는 똑같아요. 조건을 1과 6을 모두 만족하면 OLS 추정량은 BLUE가 되구요. Best Linear Unbiased Estimater가 되구요. 그다음에 1, 4까지 만족할 때는 불편추정량을 만족하고, 5, 6을 만족하지 않더라도 불편성은 깨지지 않는다. 그리고 5, 6까지 만족을 하면은 임의의 선형불편추정량에 대해서 항상 분산이 작다. 이건 무슨 말이냐, BLUE 조건을 충족한다. OLS는 BLUE다. Best Linear Unbiased Estimator다, 라는 점을 알 수가 있겠습니다. 이것을 Gauss-Markov 정리 라고 하고요. 우리가 simple regression에 대해서도 이것을 증명했듯이 다중회귀분석에서 이를 증명할 수 있는데, 이걸 증명하기 위해서는 무조건 matrix algebra가 필요하기 때문에 그냥 이렇다 라는 점만 알고 넘어가시면 될 것 같습니다. 그래서 OLS 추정량은 다중회귀분석에서도 여전히 1번부터 6번까지의 컨디션이 만족되는 한, 가장 좋은 추정량이다. 수표본에서 가장 좋은 추정량이다, 라는 점을 알 수 있겠습니다. 그다음에 마지막으로 다중회귀분석에서 OLS 추정량의 표준오차, 분산과 표준오차를 구해 보도록 할 텐데요. 일단 다중회귀모형을 이제 이렇게 설정을 해 봤어요. 그래서 이제 우리가 OLS 추정을 통해서 yi는 β0햇 + β1햇x1 + βk햇xk 이렇게 구했죠. 요거를 이제 SRF를 구했어요. 요 각 계수들이 얼마나 정확하게 추정이 됐는지를 알고 싶어요. 그거를, 얘네들의 추정의 정확도를 알기 위해서 지표가 곧 standard error죠, 표준오차죠. 표준오차를 구하기 위해서는 먼저 분산을 구해야 됩니다. 분산을 구해야 되는데, OLS 추정량의 simple regression에서의 분산은, variance of β1은 어떻게 됐었냐. xi 마이너스 x 바의 제곱의 σ제곱 혹은 SST of x 분에 σ제곱이 됐었죠? 근데 여기서는 이제 다중회귀분석이에요. 이렇게 다중회귀분석인데, 다중회귀분석에서는 그러면 이 식이 어떻게 변할 것인가, 라고 생각해 봤을 때, 요 식은 요렇게 변합니다. cf) 해봤을 때 단순회귀분석에서는 β1x바는 xi - x바² 분의 σ²인데, 요렇게 변합니다. 근데 요게 이렇게 된 이유가 뭐냐, 라고 생각했을 때 이거는 우리가 앞에서 OLS 추정량은 투스텝으로 구할 수가 있다 그랬죠? 1번 스텝과 2번 스텝. x1i를 먼저 δ0 + δ1x2i + δk-1xki + ri 요런 식으로 생각을 하고 여기서 얘를 추정을 한 다음에, 얘를 OLS 추정을 한 다음에 요 r을 yi = 0 + β1ri + εi. 요런 식으로 집어넣어서 추정을 한다고 했을 때, 요거랑 아니면 다중회귀분석 한 결과랑 결과적으로 같다는 겁니다. 왜냐하면 partial effect를 구현을 하기 위해서 다른 변수들이 xi에 미치는 직접적인 영향을 배제하고 남는 변동으로만 y를 설명한다, 그것이 partial effect다 라는 직관적인 설명으로는 동일하죠. 그렇기 때문에 아까 앞에서 했던 케이스는 설명변수가 2개인 케이스였는데, 이거를 설명변수가 k인 케이스로 넓혀도 어차피 그 결론은 동일합니다. 그래서 이런 식으로 단순회귀분석이 되는 거죠. 단순회귀분석이 되게 되면 얘의 variance는 어떻게 되냐면, variance of β1은 결과적으로 Σ(ri- ri^²) 분의 σ²이 되는데, 이 친구는 잔차기 때문에 잔차의 평균은 항상 0이 된다 그랬죠? 그렇기 때문에 이 친구는 ri² 분의 σ²이 되게 됩니다. 그래서 요런 식이 되게 되죠. 그렇기 때문에 제가 이렇게 아까 앞에서 굳이 OLS 추정량을 도출하는 두 가지 방식을 이렇게 설명드린 것은, 요방식이 이런 식으로 강제로 simple regression 형태로 만들어주기 때문에 우리가 simple regression에서 했던 여러 가지 사실들을 그대로 끌어와서 유추 적용 하기에 보다 간단한 모형이기 때문에, 요 두 번째 추정치의 도출 방법 역시도 이렇게 숙지를 해 줄 필요가 있다 는 점을 다시 말씀드리구요. 그래서 요런 식으로 표현이 되고, 그다음에 요게 이런 식으로 변환이 된다는 말은 무슨 말이냐. ri의 제곱이 뭐랑 같냐, (SSTj 1 - Rj)²이다. 요렇게 되는데, 요거는 이제 우리가 R²라는 것을 배울 때 뒤에 가서 설명을 드릴게요. 이거는 이제 R²를 정의를 해야지 요 친구가 정의가 되는데, 이제 그거는 뒤에 가서 정의를 할 거기 때문에. 그래서 일단 요 형태만 일단 알아두시면 되구요. 근데 요 식이 성립하는 이유에 대해서는 뒤에서 설명 드리도록 하겠습니다. 그래서 뒤에서 갔다가 다시 이리로 오도록 할게요. 그래서 ri1 햇이라는 것은 x1을 다른 모든 설명변수에 대해서 회귀한 표본회귀식의 잔차이다. 그러니까 우리가 아까 했던 1번 스텝. 스텝 1에서 도출되는 그 잔차를 말하는 거죠. 자 그다음에 이제 이 σ²은 variance of ui X기 때문에, 얘가 σ²이기 때문에 얘는 unknown value죠. 그렇기 때문에 이 친구도 추정을 해야 돼요. 근데 이 친구에 대한 불편추정량은 어떻게 되냐? 요렇게 됩니다. 이렇게 잔차의 제곱이 나왔다는 점은 똑같은데, 여기서 지금 n - k - 1이 되죠. 우리가 앞에서 단순회귀분석에서는 (n - 2) 분의 1의 Σui²이었죠. 이때는 추정해야 될 계수가 2개여서 자유도 상실분이 2개여서 그런 거고요. 여기는 지금 추정량의 개수가 k+1개죠. 그렇기 때문에 n에서 k+1을 뺀 만큼이 자유도가 되기 때문에 이만큼을 나눠주는 겁니다. 그래서 이렇게 되구요, 그리고 마지막으로 표준오차는 σ²을, variance of β1을 ri의 햇^² 분에 σ²이 되는데, 이 친구를 제곱의 햇으로 대체를 시킨 다음에 루트를 씌우면 되는 거죠. 그다음에 이거는 아까 SSTj의 (1 - Rj²) 분의 1의 σ²이라고 했으니까 얘를 마찬가지로 대체를 시킨 것과 마찬가지기 때문에 하고 이렇게 되고 여기다가 루트를 씌우면은 standard error가 되는 거죠. 그래서 이런 식으로 성립이 된다. 그래서 이거는 도출 방법을 좀 알아 두시면 되고요, 식 자체를 외우실 필요는 없고, 어차피 이 식은 우리가 직접적으로 구할 일은 거의 없고 컴퓨터로 구해지는 건데, 근데 요거에 대한 직관적인 의미는 사실 우리가 단순회귀분석에서 했던 것과 크게 다르지 않습니다. ri² 그다음에 σ², 요게 이제 variance of β1인데, 이거는 무슨 말이냐면, 마찬가지 다른 partial effect를, 다른 요소들을 통제한 상태에서 남아 있는 ri라는 것은 다른 요소들, 다른 설명 변수들의 영향을 통제한 상태에서 남아있는 x의 변동을 의미하잖아요, 그렇죠, 요 부분은? 그 변동분이 크면 클수록 요 친구는 작아진단 말입니다. 그다음에 원래 회귀식의 오차항의 분산이 크면 클수록 이 친구는 커진다는 말입니다. 요거는 단순회귀분석과 동일해요. 봤을 때 r1i가 이렇게 있고 yi가 이렇게 있는데, r1i가 이렇게 변동이 크다, 그다음에 변동이 작다 그랬을 때, 마찬가지로 변동이 크면은 이렇게 새로운 데이터가 와도 이렇게 변화가 크지 않죠? 하지만은 변동이 작으면은 이쪽에 데이터가 이렇게 뭐 이렇게 새로 찍혔다 라고 하게 되면은 이게 갑자기 훅 변하게 됩니다. 이런 식으로 변동이 크게 됩니다. 그래서 이런 식으로, 이 발판이 좁으면은 흔들림이 크죠. 흔들림이 큰데, 발판이 넓게 되면은 흔들림이 작다. 요런 식의 아이디어로 이해를 하라고 말씀드렸죠? 고런 아이디어 때문에 요 밑부분, 요부분이 크면 클수록 variance는 작아지게 된다는 거구요. 그다음에 원래 이 오차항의 변동 자체가 크면은, 오차항이 이렇게 많이 퍼져 있으면은 당연히 이 기울기 역시도 크게 크게 변하게 되겠죠. 그렇기 때문에, 왜 크게 크게 변하냐 생각을 해보면은, 오차항의 변동이 크다는 거는, 이렇게 모였을 때 요런 데이터들이 나올 가능성이 커진다는 거에요. 그렇죠? 오차항이 작으면은 남은 데이터들이 이렇게 고만고만 하기 때문에 데이터가 이렇게 크게 변하지 않아요. 근데 오차항이 크게 되면은 요렇게 요렇게 변하게 되죠. 그렇기 때문에 요 친구와 요 친구, 요 친구와 요 친구 사이에 요 친구와 요 친구가 얘에 어떤 영향을 미치는가에 대해서 직관적으로 이해를 할 수가 있습니다. 다중회귀분석에 대한 이야기는 오늘 첫 번째 시간 여기까지였구요, 오늘 우리는 다중회귀분석에 대한 모집단 모형, 그다음에 표본 모형, 표본회귀모형, 그리고 OLS 추정량이 다중회귀분석에서도 여전히 좋은 추정량이다 라는 것을 배웠고, 마지막으로는 어떻게 OLS 추정량의 표준오차를 도출해내는지에 대해서 배웠습니다. 다음 시간에는 다중회귀모형의 대표본 성질, OLS 추정량의 대표본 성질과 관련하여 수업을 하도록 하겠습니다. 감사합니다.