12-1강. 고전적 가정의 붕괴 - 이분산(1)

안녕하세요. 이제 저희는 새로운 부분에 대해서 다루도록 하겠습니다. 강의를 처음 얘기를 할 때, 이 강의는 세 가지 챕터로 나눠진다고 얘기를 했었죠. 첫 번째, 기초통계학 계량경제학에 필요한 기초통계학 이론을 다루고. 2번, 고전적 가정하에 회귀분석을 다루고. 세 번째, 고전적 가정이 붕괴했을 때 어떻게 할 것이냐에 대한 부분으로 나눠진다고 했습니다. 저희는 2번까지 끝내고 3번, 고전적 가정이 붕괴하는 경우에 대해서 살펴보도록 할 텐데요. 이 부분이 사실 계량경제학의 코어라고 할 수 있어요. 여기서 회귀분석과 계량경제학이 갈라지는 부분은, 이렇게 고정적 가정이 깨지는 경우가 사회과학 자료에서는 대부분이기 때문에. 이런 상황일 때 어떤 식의 해결을 할 것이냐, 이 부분에 초점을 맞춘 것이 계량경제학이라고 할 수 있겠습니다. 그리고 오늘 이 시간에는 그 중에 하나, 고전적 가정이 붕괴된 케이스 중에 하나가 고전적 가정 5인, 등분산의 가정이 깨지는 경우인 이분산이라는 문제에 대해 다뤄보도록 하겠습니다. 이번 시간에는 이분산의 정의와 원인이 무엇이고, 그다음에 문제점이 무엇이고, 이분산이 존재했을 때 생기는 문제점이 무엇이고. 이분산의 존재여부를 어떻게 탐지할 수 있는지 이렇게 세 가지를 다뤄볼 것이고. 다음 시간에는 이분산에 문제가 있을 때 어떻게 해결을 할 수 있는지에 대해서 다뤄보도록 하겠습니다. 저희가 앞서서 OLS추정량이 BLUE일 조건, 즉 고전적 가정에 대해서 살펴봤죠? 살펴봤는데, 이렇게 여섯 가지 조건이 있다고 했습니다. 이건 완벽하게 이해를 하셨다는 전제 하에서 우리는 이 step으로 넘어온 거죠. 2는 완벽하게 이해했다는 전제 하에서 3으로 넘어온 겁니다. 그래서 이 조건이 다 만족이 될 때 OLS 추정량은 더이상. 제일 좋은 추정량이기 때문에, 이걸 이용해서 추정 및 검정을 하면 되기 때문에, 이 추정량의 선택 문제, Estimation문제는 더이상 문제가 되지 않는다고 했죠? 근데 문제가 되는 상황은 이 중에서 뭔가 하나가 깨지면 어떻게 되냐? 한 개 아니면 두 개 이런 식으로 몇개가 깨지면 어떻게 되냐? 이런 문제가 생기는 거죠. 우리가 앞으로 살펴볼 것들은, 이것들이 깨지는 원인이 무엇이고, 깨진다는 게 무엇을 의미하며, 깨지게 되는 원인이 무엇이고, 그리고 깨졌을 때 생기는 문제점이 무엇이고. 그다음에 많은 것들이 보면, 이 친구들이 대부분 표본이 아니라 모집단에 대한 성질이에요. 그럼 이게 깨졌는지 안 깨졌는지를 우리가 표본을 가지고 어떻게 탐지를 할 수 있냐? 이것이 문제가 있는지 없는지의 여부를 알아야 해결하든지 말든지 할 거 아니에요? 그것을 어떻게 탐지할 수 있냐. 그것 대해서 얘기를 해볼 거고. 마지막으로는 만약에 이런 식으로 존재를 한다, 문제가 존재한다는 게 밝혀졌을 때 문제점들을 어떻게 해결할 수 있는지 이렇게 네 가지의 스텝으로 우리는 Chapter 3를 체계적으로 이해를 하려고 합니다. 그리고 No perfect Multicollinearity, 이 경우는 이제 해결이 안 돼요. 해결 자체가 불가능한 거예요. 왜냐하면 OLS 추정량 자체가 도출이 안 되는데, 다른 추정량을 어떤 걸 갖다 쓰더라도 아예 해결이 안되는 문제이기 때문에 이건 다루지 않고. 대신에 우리가 앞서서 고전적 과정 부분에서 불안정 다중공선성. 다중공선성이 존재하긴 하는데 완벽한 선형관계가 있지는 않은 상황에 대해서는 앞서서 다뤘죠. 그렇기 때문에 그 부분도 이런 체계로 다뤘었잖아요? 그 부분만으로 넘어간다고 생각을 하고. 이 친구들이 깨졌을 때, 나머지 친구들이 깨졌을 때의 상황에 대해서 배워보도록 하겠습니다. 이런 궁금증이 생길 수 있어요. 왜 동분산성부터냐? 1번부터 하면 되는 거 아니냐? 5번과 6번이 상대적으로 이해하기도 쉽고 해결책도 간단하기 때문에, 보통 5번과 6번을 먼저 어떤 책에서든 얘기를 하는 경우가 많습니다. 우리는 이번 시간에는 이분산. 동분산성이라는 5번 조건이 깨지는 상황에 대해서 정의와 원인은 무엇이며 그때 생기는 문제점, 이분산이 존재할때 생기는 문제점이 무엇이고. 이것을 어떻게 이분산이 존재하는지를 탐지할 수 있는지 살펴보고. 다음 시간에 이분산 문제가 존재할 때 어떤 식의 해결책을 사용할 수 있는지를 살펴보도록 하겠습니다. 그래서 여러분들이 공부를 하고 정리를 할 때도 이런 식의 체계하에서 정리를 하면 확실히 이해와 정리에 있어서 도움이 되는 것 같아요. 오차항의 동분산성이라는 것은 이 조건부, 각 x에 대한 조건부 분산이라는 것이 σ²으로 일정하다. 여기는 지금 분포도 일정하게 나왔는데, 분포는 굳이 정규분포로 일정할 필요는 없고. 다르게 생겼더라도 분산을 구해보면, 이렇게 skewed 되어 있고 이쪽은 symmetric 하고, 이런 것과 상관없이 분산을 구해봤더니 조건부 분산이 모든 x값에서 다 같다는 조건이 만족되면 동분산성 조건은 만족이 되는 거예요. 이분산은 결과적으로는 동분산성이 깨지는 경우예요. 각 x에 대한 조건부 분산 값들이. u가 모집단 회귀직선 PRF를 중심으로 해서 떨어진 정도가 u잖아요? 이 떨어진 정도가 각 x값에 따라서 다 천차만별일 때 이런 경우를 이분산이라고 정의를 하게 됩니다. 아까 동분산을 σ²으로 equal이라고 보통 표현을 했다면, 수식으로 표현하자면 Variance of u의 조건부 분산이라는 것이 x에 의존하죠. x에 의존하기 때문에 여기서 σᵢ² i가 밑에 이렇게 붙게 됩니다. 그래서 이건 지금 밑에 없죠. σᵢ² 이런 식으로 여기 i가 밑 첨자로 붙으면 이분산의 존재를 함의하게 되는 겁니다. σ²이 원래 동분산이라고 가정될 친구에서 뒤에 x에 대한 함수로 추가적인 친구들이 붙는 거죠? x에 따라서 이 분산 값이 달라진다는 것을 표현하기 위해서 이런 식의 표현으로 사용하기도 합니다. 그래서 이것이 이분산의 정의고요. 그럼 이분산은 어떤 경우에 발생하냐, 원인이 뭐냐, 다른 말로 어떤 경우에 고전적 가정 5번이 만족이 안 되냐, 동분산성이 만족이 안 되냐. 이런 문제겠죠? 어떤 경우에 문제가 되냐 하면, 횡단면 자료를 활용한 회귀모형에서는 주로 문제가 돼요. 가령 예시를 횡단면 자료로 하면 어떤 특정한 시기, 고정된 시기에 여러 entity를 대상으로 뽑은 거죠. entity라고 하면 국가가 될 수도 있고, 개인이 될 수도 있고, 회사가 될 수도 있고, 이런 식으로 데이터들을, 회사에 대한 매출액 이런 걸 뽑은 거고. 개인에 대한 임금 뽑은 거고, 국가의 수출액, 이런 식으로 뽑아 놓은 거예요. 근데 이런 식의 데이터들은 본질적으로 데이터의 구조상, 모집단의 구조상 이분산이 존재할 가능성이 커요. 가령 학력과 임금을 볼게요. 학력과 임금. 그리고 대부분의 나라에서 조건부 분산은 학력이 커질수록 늘어나는 경향이 있어요. 그 말은 무슨 말이냐? 중졸자 같은 경우에는 대부분 적은 임금을 받는 사람들이 모여 있는 경우들이 많고. 고졸자 같은 경우에는 좀 더 많이 버는 사람들이 늘어나지만 여전히 중졸자와 크게 평균값은 차이가 안 나고요. 대졸자들을 보면 분산이 엄청나게 크게 됩니다. 이런 식으로 되는 거고. 대학원 졸업자들은 더 커져요. 이런 식으로. 이렇게 되기 때문에 보면 분산이, 학력이 늘어날수록 u의, 오차항의 조건부 분산도 계속해서 커진다는 사실이 보이죠? 대학원생 같은 경우에는 일부 취업이 어려운 대학 학과 같은 경우에는 생각을 해보면 최저임금에 비슷한 월급을 받는 경우도 많은데. CEO같은 사람들도 대부분 대졸자들이거든요. 아니면 로스쿨을 나온 잘나가는 변호사라든가 이런 사람들, 아니면 의사 이런 사람들도 대학원 졸업으로 보통 치기 때문에, 고임금자들이 많이 몰려 있지만. 저임금자들도 존재할 가능성이 크기 때문에 분산이 더 크다. 이렇게 생각할 수가 있고요. 다른 예시로는 국가의 GDP가 높아질수록 수출액의 분산도 커집니다. 무슨 말이냐 하면, 수출액을 생각해보면, GDP가 작은 나라들 있잖아요? GDP가 작은 나라들에 대한 수출은. 아프리카 국가들에게 우리나라가 수출해봤자, 많이 하는 나라들은 연간 10만 달러 분량, 적게 하는 나라들은 연간 5만 달러 분량, 진짜 많이 해 봤자 15만 달러 분량 이렇게 되는데. 잘 사는 나라들, 북유럽 국가들이나 이렇게 생각을 해보면, 우리나라의 수출액이 많지 않단 말이에요? 일본과 같은 나라에 대해서는 수출액이 엄청 많아요. 일본에 대해서는 이 정도 수출하는데, 어떤 나라에 대해서는 5만 수출하기도 하고 이래요. 바티칸, 모나코 이런 나라들에 대해서는 수출액 자체가 적겠죠? 그렇기 때문에 GDP가 적은 나라에 대해서는 수출액이 이 정도 차이밖에 없는데. GDP가 높은 나라들, 1인당 GDP죠. 1인당 GDP가 높은 나라들에 대해서 수출액의 분산은 이정도 차이가 있으니까 이것도 이분산을 함의를 하는 거죠. 그래서 대부분 횡단면 자료를 이용할 경우에는 대부분 일단 이분산이 존재한다고 생각을 하고 분석을 시작하는 것이 바람직해요. 왜냐하면 이런 식으로 하나씩 다 생각을 해보면, 이분산이 존재할 여지들이 항상 하나씩 존재를 하게 됩니다. 횡단면 자료에서는 예시를 지금 두개만 들었지만 다른 예시를 스스로 생각을 해봐도 ‘이러면 이분산이 있을 것 같은데’라는 생각이 아마 들 거예요. 횡단면 자료는 이렇고. 시계열 자료 같은 경우는 어떡하냐? 이 경우에도 이분산이 존재할 수 있어요. 횡단면 자료보다는 그 빈도가 낮긴 하지만 존재할 수 있기 때문에 우리가 탐지를 해야 된다고 그랬죠? 탐지를 해서 존재여부를 찾아내는 것이 필요할 수도 있습니다. 이분산이 생겼을 때, 오차항에 이분산이 존재했을 때 문제점이 무엇이냐? 어떤 문제점이 생기냐? 문제점이라 하면 보통 OLS 추정량을 사용 시 문제점이라고 생각하시면 돼요. 고전적 가정이 더이상 만족하지 않은 상황에서 계속해서 OLS추정량을 사용할 때, 우리가 직면하게 될 문제점이 무엇이냐? 이것을 일단 생각을 해보는 겁니다. 일단 첫 번째, OLS는 더이상 효율적인 추정량이 아닙니다. No longer efficient estimator. 그러니까 No longer BLUE란 얘기죠. 이분산이라는 건 5번 조건이 깨지는 거잖아요? 조건 5가 깨지는 건데. 5번 조건이 깨진다고 해서 불편성과 일치성이 깨지진 않아요. 왜냐하면 가정 1, 4는 만족한다고 가정을 하고 있는 거니까. 가정 1, 4는 만족하기 때문에 OLS는 여전히 불편 추정량이고 일치 추정량이에요. 하지만 Efficient estimator가 아니다. 효율적 추정량이 아니라는 말이 무슨 말이냐 하면, 더이상 최소분산 추정량이 아니라는 얘기입니다. 즉, OLS보다 표준오차가 작으면서 불편성과 일치성을 만족하는 추정량이 존재하게 돼요. 그것을 GLS Estimator라고 합니다. 그러면 우리가 이 GLS Estimator을 활용할 수가 있다면 OLS보다 GLS를 쓰는 게 더 바람직하죠. 왜냐하면 똑같은 표본을 가지고 우리가 추정을 했을 때 이 값에 모수가 있어요. OLS가 추정치를 뽑아내는 규칙, OLS추정량의 분포가 이런 식으로 된다고 하면 GLS추정량, 얘보다 더 분산이 작은 추정량인 경우에는 이런 식으로 되죠? 그렇기 때문에 β₁에 가까운 값들을 도출할 확률이 이 GLS가 더 높아요. GLS가 더 높기 때문에 얘를 쓰는 게 바람직하겠죠? OLS는 더이상 이 efficient estimator가 아닌데, GLS에 쓰는 게 이론적으로는 더 바람직하다는 거죠. 하지만 뒤에서 살펴보겠지만, GLS추정량은 이론적인 추정량이라서 실제적으로 이 추정량을 사용할 수 있는 경우는 그렇게 많지 않습니다. 그래서 우리는 다시 OLS로 돌아오게 된 거예요. 다시 돌아와서, OLS는 최소분산 추정량은 아닌데, 여전히 불편성과 일치성은 만족하니까 표본이 충분히 커진다면 어쨌든 뜬금없는 값을 내놓지 않는 Estimator다. 다른 가정은 충족되지만 동분산성 가정만이 깨지는 경우에는 OLS를 계속 사용하는 것이 그렇게 나쁘지 않을 수 있다. 표본이 충분히 커지면 어차피, 이렇게 분산이 다른 추정량보다 큰 문제는 어차피 표본이 커지면 표본오차 자체는 계속해서 표본이 커짐에 따라 줄어들잖아요? 그렇게 돼서 분산도 줄어들기 때문에 이런 식으로 OLS를 계속 사용하는 것이 바람직할 수도 있다. 그래서 이렇게 비효율성이라는 것은 상대적이라는 개념이라는 것을 항상 생각을 해 주실 필요가 있어요. 비효율적이라는 건 OLS보다 더 효율적인 추정량이 존재한다. 더 효율적인 GLS추정량이 존재한다. 이런 의미로 생각을 해주시면 돼요. 이 의미가 비효율적이라고 하면, ‘쓰면 안 될 것 같고 효율적인걸 써야지 왜 비효율적인걸 쓰냐’ 이렇게 생각할 수 있는데 이건 상대적인 개념이다. 근데 더 효율적인 추정량이 이론적으론 존재하는데 실용적으로 못 쓴다면, OLS 추정량을 계속해서 사용을 하는 게 바람직할 수도 있죠. 그래서 OLS추정량을 써서 추정을 했어요. 사용을 해서 추정을 해서 점추정치가 도출됐어요. 도출이 되면 점추정치 도출에서 끝나냐? 우리는 여기서 추가적으로 통계적 추론을 하죠? 개별 계수에 대한 통계적 추론에서 핵심적인 게 바로 se(βⱼ^) 그러니까 표준오차가 되죠? 문제는 점추정치 자체는 불편성과 일치성을 만족하는데, OLS 추정량을 통해서 도출해낸 점 추정치는 만족하는데. 문제는 뭐냐 하면, 기존에 표준오차 식이 있잖아요? 이 식은 어떻게 도출이 된 거냐면, 등분산성을 가정하고 도출이 된 거예요. 이 식이 더이상 성립을 안 해요. 그래서 이 식을 써서 ‘이것이 OLS추정량의 표준오차야’ 라고 얘기를 하면 이건 틀린 이야기가 되는 거죠. 왜냐하면 틀린 공식을 가지고 표준오차라고 했으니까 이 식이 더이상 유효하지 않게 되는 겁니다. 이렇게 표가 나오잖아요? 이렇게 Coefficient가 나오고, 변수명이 나오고, Coefficient가 나오고, Standard Error가 나오면. Coefficient까지는, 점추정치까지는 표본 숫자가 늘어나면 어느정도 신뢰할 만한데. 여기서 나오는 Standard Error 이 값들 있잖아요? 이 값들이 전부 다 잘못된 값들이라는 겁니다. 그러니까 이것보다 Standard Error가 실제 이분산을 가정하면 이 식이 더이상 성립 안 하니까, 실제 Standard Error는 얘보다 클 수도 있고 작을 수도 있어요. 이 값들은 잘못 추정이 된 값이기 때문에 우리가 t-test를 하기 위해선 분모에 Standard Error가 들어가죠. 그래서 결과도 더이상 유효하지 않아요. 왜냐하면 표준오차 식이 틀렸기 때문에, 이 식이 틀렸기 때문에 t 같은 경우에는 se(β₁)분의 β₁^ 이렇게 정의가 되잖아요? 이 값이 틀렸으니까 이 값이 아무리 올바르게 구해진 값이라 하더라도, 이 값이 틀렸으니까 t값도 틀렸겠죠. 이것도 유효하지 않고. 구간추정에도 마찬가지로 Standard Error가 들어가기 때문에 더이상 신뢰할 수가 없게 되는 겁니다. 그러면 왜 Standard Error가 같지 않냐고 물어봤을 때, 그 이유에는 두 가지가 있어요. 첫 번째로 OLS추정량의 분산공식 자체가 equal이 성립을 안 합니다. OLS추정량의 분산 같은 경우는 이런 식으로 정의가 됐는데, 이것도 동분산성을 가정했어요. 이것을 구하는 과정에서 E(uᵢ²|X)라는 게 σ²이라는 동분산으로 해결이 된다는 걸 가정을 하고 식을 도출했기 때문에, 이렇게 되지 않으면 이것도 간단한 형태로 정리가 안됩니다. 그리고 오차항 분산의 추정량 있잖아요? σ²^ = ∑u^ᵢ² / (n-k-1)도 생각을 해보면 이것에 대한 하나의 추정량을 도출해낼 수 있다는 건, 이렇게 사용할 수 있다는 건 σ²이라는 단위란 Var(uㅣX) = Var(u) = σ²이라는 단일한 값이 존재한다는 가정 하에서 얘를 추정할 수가 있었던 거죠. 이런 식으로 추정할 수 있었던 거죠. 이제 σ²이라는 단일값이 아니라 서로 다른, σᵢ²이라는 X의 조건 값마다 다른 σ²값들이 도출이 되는 거예요. 그러면 이 식으로 대체를 해서 추정을 하는 방식도 더이상 올바르지 않은 거죠. 그래서 왜 표준오차 식이 잘못됐냐? 분산 공식도 잘못됐고. 이 오차항의 분산을 그대로 쓰려니까, 이 오차항의 분산 값을 몰라서 추정을 했어야 됐잖아요? 이 추정을 하는 과정에서도 또 동분산성을 가정을 하고 추정을 하기 때문에, 여기서 한 번 틀리고, 여기서 또 한 번 틀리는 거예요. 그래서 두 번 틀리기 때문에 이 표준오차 식은 더이상 유효하지 않게 되는 겁니다. 그리고 또한 F-검정통계량 역시 제가 F-통계량을 설명할 때 얘기를 드렸는데. 고전적 가정이 전부 다 성립할 때 F-검정통계량이 성립을 해요. 그 말이 무슨 말이냐 하면, 동분산을 가정하고 도출이 된 거겠죠? 이건 수치적으로 좀 복잡하기 때문에 수학적으로 복잡하기 때문에 그냥 그렇다, 하고 넘어가시면 되고요. 그렇기 때문에 F-test 역시 더이상 유효하지 않게 됩니다. 왜냐하면 동분산을 가정하고 도출이 됐는데 동분산을 안 따르면, F-통계량 있잖아요? ((SSRʀ-SSRᴜʀ)/q) / (SSRᴜʀ/n-k-1) 이 친구도 더이상 F-분포를 따르지 않아요. 그래서 이렇게 이분산을 고려하지 않은 test는 모두 잘못된, 따르지 않는데 따른다고 생각하고 test를 했으니까 결과는 잘못되겠죠. 그리고 1번과 2번 문제는 표본을 아무리 늘린다고 해도 해결되지 않습니다. 무슨 말이냐 하면, Standard Error가, 이 친구 표본을 늘린다고 해서 올바른 Standard Error 값을 구할 수도 있는 것도 아니고. F-검정통계량 역시도 표본을 아무리 늘린다고 해서 asymmetric하게 실제 F-검정통계량으로 수렴하지가 않아요. 그렇기 때문에 이것은 대표본에서도 문제는 계속된다는 겁니다. 소표본, 대표본 상관없이 전부 다 OLS추정량을 사용하면 이 문제는 지속이 된다는 거예요. 이것 외의 다른 분석 결과들, R²나 이런 것들의 유효성은 이분산성에 영향을 받지 않는다. 그래서 전부 유효하다. 모형의 유효성에 대한 검정에 있어서 F-검정 외 그 아래 RMSE라든지 이런 것들은 OLS를 그대로 사용한다고 해도 영향을 받지 않는다. 그다음에 이 추정치, OLS추정치랑 R² 정도가 영향을 받지 않는 예시라고 할 수 있고. 영향을 받는 가장 주요한 것들에는 표준오차 식과 t-test, 구간추정, F-검정통계량, 이렇게 문제가 된다. 그래서 뭐가 문제가 되는지, 문제점과 해결이 주요 포인트이기 때문에 어떤 문제가 생기고 OLS추정량을 계속 사용했을 때 어떤 문제가 생기고 얘들을 어떻게 해결하는지 항상 여기에 초점을 맞춰서 생각을 해주시면 될 것 같아요. 첫 번째 문제점은, OLS추정량은 더이상 최소분산 추정량이 아니다. 이게 첫 번째 문제점인데. 최소분산 추정량이 아니라도, 비효율성에도 불구하고 어쨌든 일치성과 불편성을 만족하기 때문에 OLS 추정량을 계속해서 사용을 했어요. 사용을 했을 때 생기는 문제점은 기존의 표준오차 공식, 우리가 앞에서 정의했던 표준오차 공식이 더이상 유효하지 않다. 왜냐하면 이것은 동분산성을 가정하고 구해낸 공식이기 때문에. 그렇기 때문에 t-test, 구간추정도 유효하지 않고, F-통계량 역시 동분산을 가정하고 도출이 된 것이기 때문에 F-test 역시도 유효하지 않게 된다. 여기까지 이야기를 했고요. 그다음에 무엇에 대해서 얘기를 해야 하냐? 탐지. 어떤 식으로 이 분산을 탐지할지에 대해서 얘기해 볼 수가 있어요. 왜 탐지가 필요하냐? 왜냐하면 이분산은 오차항의 성질이고, 오차항은 모집단 변수죠? 이게 가장 중요한 아이디어 중의 하나라고 했죠. 오차항, 모집단 변수예요. 오차항, 모집단 변수이기 때문에 우리가 관찰이 불가능합니다. 그러면 이렇게 생각할 수 있어요. 오차항이 무슨 분포를 따르는지 우리는 모르는 거 아니냐? 오차항에 이분산이 존재하는지, 안 존재하는지 모르는 거 아니냐? 이렇게 선험적으로는 생각할 수 있는데. 직관적으로는 이런 식으로 생각 할 수가 있는데. 얘네들의 오차항이 실제로 이분산을 따르는지 안 따르는지는 관측이 안 되는거 아니냐, 이렇게 생각을 할 수 있어요. 항상 이렇게 모집단의 성질에 대해서 우리는 어떤 식의 framework로 접근을 하냐? 가설검정의 아이디어를 동원을 하자. 아이디어를 동원해서 샘플을 통해서. 왜냐면 가설검정이라는 것은 우리가 가지고 있는 샘플을 통해서 모집단에 대한 유의미한 결론을 이끌어낼 수 있는 tool이기 때문에. 이분산의 탐지 과정도 마찬가지로 이 가설검정의 아이디어, sample을 통해 보니까 동분산이라고 하기에는 sample 값들이 너무 동분산의 패턴과 거리가 멀다. 그러면 모집단에도 이분산이 존재하겠다. 오차항이 관측은 안 되지만 샘플을 통해서 봤을 때 이분산이 존재한다고 판단하는 것이 바람직하다는 아이디어를 그런 식으로 생각을 하는 거죠. 대표적인 이분산 탐지의 검정 방법으로는, 이분산 탐지의 방식. 가설검정의 아이디어를 따른다고 했으니까 검정 방식으로는 Breusch-Pagan Test가 있습니다. 우리가 앞으로 고전적 가정의 붕괴 부분에서는 사람 이름이 참 많이 나올 겁니다. 오늘은 Breusch라는 사람과 Pagan이라는 사람이 만든 테스트에서 나올 거고. 뒷부분에서 White라는 사람이 만든 테스트에 대해서 나올 거예요. 앞에 고전적 가정 부분에서는 나온 사람이라고 해봤자 Gauss랑 Markov 뿐이었는데. 뒷부분에서는 고전적 가정 붕괴 이 파트는 대부분의 tool들이 1970년대 이후에 고안이 된 경우들이 많고. 그다음에 대부분에 테스트 이름이라든지 아니면 특성이나 이런 것을 발견한 사람, 논문을 처음 쓴 사람 이름이 붙어있기 때문에 사람 이름을 많이 마주치게 될 거예요. 그래서 사람 이름이 많이 나오는 문제점이 뭐냐 하면, 사람 이름에는 직관적인 뜻이 담겨있지 않기 때문에 연결짓기가 어려워요. Breusch-Pagan Test랑 뒤에 나오는 White-Test가 있거든요? 그럼 이게 도대체 뭔 차이가 있냐? 두 개 막 헷갈려요. White-Test였냐, Breusch-Pagan Test였냐 헷갈리는데. 사람 이름이 많이 나온다, 이런 점들 생각을 해주시면 될 것 같고. Breusch-Pagan Test는 1979년 논문에서 나온 건데. 이것은 가설을 어떻게 설정하냐? 이렇게 가설을 설정해요. H₀는 우리가 검정을 하는 거죠. 오차항이 동분산을 만족한다, 이게 귀무가설이 되는 거고. 이것은 이런 식으로 표현이 됩니다. 일반적인 동분산의 표현이죠? H₁은 오차항의 조건부 분산이 설명변수에 따라 다르다. 그러니까 이분산이죠. H₀를 기각하게 되면, 이분산. 그렇게 되는 거죠? 기각을 못하게 되면 보통 동분산을 만족한다는 식으로 얘기를 하고 넘어가요. BP tests는 이 가정이 중요한데. 어떤 식의 가정을 세우냐 하면, 조건부 분산이 설명변수와 선형관계가 있다고 가정을 합니다. 여기에 더해서, 다른 고전적 가정은 모두 만족한다는 것도 들어가죠. 들어가고, 선형관계에 있다. 선형관계에 있다는 말은, 다른 설명변수들과 선형적인 관계가 있다는 거예요. 만약에 이런 거죠. x₁이 커짐에 따라서 이 분산은 계속해서 쭉 커지지, 이렇지 않다는 거예요. x₁이 있고 y가 있는데, 분산이 이런 식으로 있다가 계속해서 분산이 x값이 커짐에 따라서 쭉 커지다가, 이것은 제일 작고 그다음에 쭉 가고 마지막에 쭉 커지다가, 갑자기 여기와서 이렇게 쭉 작아지고 이런 일이 없다는 거죠. 한번 커졌으면 쭉 커지고 한번 작아졌으면 쭉 작아지고 이런 식의 선형적인 패턴이 있다는 겁니다. 이것은 전형적인 비선형적인 패턴이죠. 조건부 분산과 설명변수 사이에 비선형적인 패턴이 있는 거고. 선형패턴이 있다는 건 x가 증가함에 따라 조건부 분산이 한번 증가했으면 쭉 증가한다. 한번 감소했으면 쭉 감소한다. 이런 식의 아이디어라고 생각할 수가 있겠습니다. 이 과정이 테스트마다 절차는 다 똑같은데, 가정만 좀 다르다는 차이점이 있어요. H₀와 H₁을 어떤 식의 형태로 나타내면 각각 이런 식으로 되겠죠? 이런 식으로 될 겁니다. 왜냐하면 이것은 BP test의 가정이에요. BP tests 선형가정이기 때문에, 이런 식으로 H₁이 설정이 된 거예요. 이것은 동분산, H₀가 기각되면 이분산. 이렇게 되겠죠? 이제 어떻게 하냐? 이걸로 검정을 어떻게 하냐의 그 문제로 돌아서는데. 이 친구를 어떻게 변형하냐 하면, 이 친구는 조건부잖아요? 조건부 Expectation을 떼기 위해서 그냥 뒤에다 + v를 붙여주는 거예요. 그래서 v의 x에 대한 조건부 기댓값이 0이라 그러면, 여기에 다시 x의 조건부 기댓값 이렇게 취해주면, 얘네들은 다 비확률변수라 생각을 하면, 얘가 0이 되니까 이 식과 이 식은 결과적으로 같은 식이 됩니다. 이런 식으로 표현이 되는 거고요, 조건부 이분산이. 그래서 이 경우에 귀무가설 H₀는 어떻게 표현이 되냐? 이 framework 안에서 H₀는 어떻게 표현이 되냐? 얘네들이 다 0인 거죠. 이 계수들이 다 0이면, 이 친구 빼고. 이 친구들이 다 0이면 어떻게 되냐? 0이면 E(u²|x) = δ₀가 되고, 이것이 동분산 값이 된다는 식이 되는 거죠. 그래서 H₀를 모수에 대한 결합검정으로 표현할 수가 있는 겁니다. 우리가 익숙한 형태로 변환이 되는 거죠. 동분산과 이분산의 가정이라는. 이것은 그냥 말로 표현을 하면, 동분산이다, 오차항이 동분산을 따른다. H₁은 오차항이 이분산을 따른다, 이건데, 가정 하나를 집어넣음으로써 H₀를 이런 식의 모수에 대한 결합검정으로 변환을 시켜준 거죠. 그래서 이렇게 정리가 된 거고. 이것을 검정할 가설, 1번 step이 끝났어요. 1 step이 끝났죠. 이런 식으로 가설을 설정한다. 이게 끝났고. 그러면 2번 step으로 가는 거죠. 가설 검정의 2번 step, 검정 통계량을 설정하는 문제인데. 여기서 문제점이 하나 생겨요. 문제점이 하나 생기는 게 뭐냐 하면, 여기에서 u²이라는 걸 우리가 모르죠. 이 친구는 오차항의 제곱인데. 오차항 제곱은 모집단 변수라서 우리가 관찰할 수가 없어요. 우리가 항상 오차항을 뭘로 대신했냐? 오차항을 잔차로 대체를 했죠. 오차항 제곱도 이런 식으로 잔차의 제곱으로 대체했습니다. 그래서 오차항을 직접 구할 수가 없어요. 직접 구할 수 없어서 오차항을 OLS 잔차로 대체를 했다. 지금 핵심이 되는 이 식이 그냥 이렇게 변형이 된 거죠? 바뀐 건, 이것이 이걸로 바뀌었다. 오차항의 제곱이 잔차의 제곱으로 바뀌었다. 그리고 동분산의 귀무가설은 이렇게 결합가설로 표현한다는 것. 동일하죠. 결합가설로 표현한다. 이렇게 되는 거예요. 그러면 이때, 이것을 검정할 검정통계량은 어떻게 되냐? 일단 결합가설에 대해서는 F-test를 이용할 수 있다고 우리는 배웠어요. 이분산의 검정에도 F-test를 활용할 수 있을까, 하는 궁금증이 생깁니다. 그런데 문제가 두 가지가 있어요. F-test를 활용할 수 있을지 없을지를 생각했을 때. 문제점을 이해하기 위해서는, 우리가 전전 시간에 F-test를 설명할 때 F-test가 유효할 조건에 대해서 얘기를 했었잖아요? 얘기를 했었는데, 그 중의 하나가 Error가 정규분포를 따라야 된다는 조건이 있었어요. 근데 이건 소표본이고. 대표본에서는 Error가 정규분포를 따르지 않아도 점근적으로 F-test를 이용할 수가 있다고 했죠? 또 하나의 문제점이 뭐냐 하면, Error가 동분산일지 이분산일지 모르는 거예요. 이 친구가 이분산을 따르게 되면 F-test를 이용할 수가 없는데. 근데 이게 잔차제곱이라서 Error는 동분산을 따른다고 생각은 할 수가 있어요. 또 하나의 문제가 종속변수, 우리가 일반적으로 썼던 데이터들은 전부 다 관측치였죠? x와 y가 전부 다 관측된 거였는데. 얘는 지금 관측치가 아니라 회귀분석으로 도출해낸 추정치죠. 추정치가 종속변수에 들어가 있어요. 그럼 이 경우에는 수학적으로 좀 문제가 생겨요. 문제가 생겨서 F-test를, 추정치가 종속변수나 독립변수에 들어가게 됐을 때 기존에 썼던 방법의 tool들이 더이상 적용이 안되는 경우들이 많이 생깁니다. 두 가지 문제점이 여기 이 경우에도 적용이 될 것인가. 그런데 Breusch-Pagan, 이 사람들이 한 건 뭐냐 하면. 여기까지 일단 아이디어가 누구든지 수학적인 문제없이도 생각을 해낼 수 있는 건데. BP가 한 건 뭐냐 하면, 이 두 가지 문제점이 있음에도 불구하고 대표본에서는 F-test와 LM test라는 걸 이용해서 이 결합가설을 검정을 할 수 있음을 보인 겁니다. 점근적 F-통계량은 우리가 일상적으로 사용했던 F-통계량이 되는 거예요. 그다음에 R²라는 것은, 이 회귀식 있죠? 이 회귀식의 뭘 구하냐? R²를 구해요. R²를 구해서 이 친구가 유일하게 0보다 크다. 유일하게 0보다 크다는 건, 얘네들 중의 어떤 것 하나는 δ₁부터 δₖ 중에 적어도 하나는 0이 아니라는 말이죠. 이 말이 무슨 말이냐 하면, 오차항의 조건부 분산이 설명변수, x 중 적어도 하나에 의존한다는 말이에요. 적어도 하나에 의존한다는 말이 이분산이 존재한다는 말이죠. 그래서 R²가 0보다 유의하게 크다 그러면 이분산의 존재를 함의하게 되는 겁니다. 그래서 다들 공부하실 때, 그냥 이게 0보다 크면 이분산이 존재한다, 이렇게 그냥 결론만 외우지 마시고. 이 체계자체, 이 테스트와 테스트의 구조와 F-검정통계량의 체계, 이것에 대해서 완벽하게 이해를 해서, 이 스토리라인을 항상 생각을 하시는 그런 버릇을 항상 기르시면 좋겠어요. 왜냐하면 이렇게 원인과 결과를 적어 놓으면 금방 까먹습니다. 휘발성이 심한데. 이렇게 한번 전체적인 틀을 이해하고 나면 쉽게 잊어버리지 않아요. 처음에는 공부할 때 조금 괴로울 수 있겠지만, 이런 식으로 항상 step을 이해를 하시면서 진행을 하시면 좋겠어요. 그래서 F-통계량을 이런 식으로 사용을 하게 됩니다. 왜 이런 통계량을 쓰는지 잘 모르겠다 하시는 분들은 앞서 F-통계량을 다룬 수업을 다시 한번 복습하시는 걸 추천을 드리겠습니다. F-통계량을 이용해서 H₀에 대한, 결합가설에 대한 검정을 할 수가 있다. 이렇게 얘기를 할 수 있겠고요. 얘가 만약에 H₀를 기각한다 그러면 이분산이 존재한다. 이렇게 생각할 수 있는 거죠. 정확히 말하면, 이분산의 구조에 대한 가정이 있었기 때문에, 어떤 이분산이 존재하냐? 특정 설명변수에 대해서 선형형태의 이분산이 존재한다는 더 한정적인 결론을 내리는 게 맞겠죠. 앞에서 이분산의 구조에 대한 가설을 하나 세웠으니까. 여기서 F-test라는 걸 얘기를 했고, 뒤에 LM test라는 새로운 테스트가 하나 제시가 됐어요. Lagrange Multiplier 검정 통계량이라고 그러는 것인데. Lagrange라는 사람이 나왔죠. 일반적인 형태는 이렇게 됩니다. 딱 형태만 봐도 정말 정이 떨어지게 생겼죠? 편미분 기호부터 시작해서, 이건 Inverse matrix거든요? 역행렬부터 시작해서 θ는 뭐며, l은 뭐냐, 이런 식으로 머리가 아파질 텐데. 이건 생각하실 필요가 없고요. 회귀식이 선형 회귀식일 때 Lagrange Multiplier 이 식이 n, 표본의 표본이고요. 표본숫자고요. 표본숫자 × R²라는 식으로 같아지게 됩니다. 이 친구는 무슨 분포를 항상 따르냐 하면 점근적으로. 자유도가 k-1. k가 선형변수의 개수죠? 선형변수의 개수인 이런 분포, 카이제곱분포를 항상 점근적으로 따른다는 점이 수학적으로 밝혀져 있어요. 밝혀져 있기 때문에, 이 친구와 이 친구가 결과적으로 보면 이런 거예요. 생각을 해보면, 여기서도 R²가 클수록 F값이 커지죠? 여기도 마찬가지로 R²가 클수록 F값이 커져요. R²가 커지면 카이제곱분포도 이런 극단적인 이쪽 값이 나올 가능성이 커지는 거니까, 어차피 아이디어 자체는 R²가 크면 기각한다. 이 아이디어 자체는 똑같은데. 수학적으로 여기서는 F분포를 이용하고, Lagrange Multiplier 검정통계량은 카이제곱분포를 이용한다. 그리고 형태만 조금 다르다. 이런 차이만 있을 뿐이지. 기본적인 검정통계량의 아이디어 자체, R²가 충분히 크면 결합검정을 기각한다, 이 아이디어 자체는 동일하다. BP test 같은 경우에는 H₀가 기각되면 이분산의 존재를 함의한다는 것을 결론을 내릴 수가 있고요. 이제 정리를 해 볼게요. BP test 절차는 먼저 원 회귀식을 OLS회귀로 해서 잔차와 잔차제곱값을 구해요. 이 값을 구한 다음에, 귀무가설 검증을 위해서 귀무가설이 지금 이거죠. H₀ : δ₁ = … δₖ = 0이다. 이것을 검증하기 위해서 이 회귀식을 회귀하게 됩니다. 근데 원래는 이게 uᵢ²을 써야 되는데, 그 값을 모르니까 잔차제곱을 가지고 대체를 한 거죠. 그래서 만약에 이런 결합가설에 대한 검정은 F-test를 이용하는데, 이것에 대한 대체로 LM test도 사용할 수 있다고 얘기를 했어요. 그래서 여기서 p-value가 너무 작다면 귀무가설을 기각한다. 이 절차에서 귀무가설을 기각한다는 말은 이분산이 존재한다는 결론과 동치가 되는 겁니다. 정확하게 말하면, 이분산의 구조가 설명변수에 대해서 선형 형태의 이분산만 잡아내는 거죠. 그래서 BP test는 이런 형태의 이분산은 결과적으로 못 잡아내는 거예요. 이것이 σᵢ² 분산의 형태고, 이게 x인데. 이분산 값이 이렇게 된다고 해 볼게요. 이렇게 되면 값이 이렇게 되는데, 이것을 선형으로 쓰면 이렇게 되는 경우가 있어요. 이런 경우의 이분산 구조에 대해서는 BP test는 잡아내지 못하는 거죠. 이분산의 구조가 이렇게 됐을 때, 얘를 직선으로 회귀를 하게 되면 이런 식으로 되니까, 이런 형태로는 못 잡아내는데. 대부분의 이분산 형태가 이런 식으로 선형인 형태를 띄게 되는 경우가 많기 때문에 아예 비현실적인 가정은 아니라는 결론을 내릴 수가 있겠습니다. 그리고 이제 예시를 하나 들어 볼게요. 임금방정식 우리가 맨날 했던, wage를 education과 경력으로 회귀한 회귀식에서. wage는 아까 예를 들었듯이 이분산이 존재할 가능성이 매우 크다 그랬죠? 실제로 BP test 결과, 그런 결론을 하면 이분산의 존재를 검정을 통해서 확인할 수 있는지를 살펴 볼게요. 1번 step은 먼저 OLS 회귀를 한 다음에, OLS 회귀를 하고 잔차를 도출해요. command가 그렇게 되고, 잔차제곱을 정의를 하는 거예요. 잔차제곱을 정의를 한다. 이렇게 되는 거고요. 그다음에 잔차제곱. 이 친구가 잔차제곱이었죠. uhsq를 종속변수로 하는 회귀식을 다른 설명변수들에 대해서 OLS 추정을 하게 됩니다. 그리고나서 무엇을 확인을 하냐? 여기 R² 값을 보니까 이 값이 나왔네요. R²만 보고는 0.0171이 나왔는데, 이것이 충분히 큰 R²냐? 정확하게는 모르죠. 그런데 이제 뭘 보냐? 여기 F값과 p-value를 보니까, p-value가 0.0003이래요. 모형의 유의성을 볼 때 이게 유의하지 않은데, 이런 결과가 나올 확률이 0.03%밖에 안 된다는 거죠? 0.03%밖에 안된다는 거니까 결과적으로 이 모형은 유의하다는 결론을 내릴 수가 있겠죠. 유의하다는 것은 H₀를 기각할 수 있다는 겁니다. 여기서 H₀는 뭐였냐? 동분산이었죠? 그래서 H₀를 기각하고, 이 임금 모형에 대해서는 이분산이 존재한다는 결론을 내리게 되는 겁니다. BP test를 바로 할 수도 있는데, 이런 식으로 직접 손으로 진행을 한 거죠. 여기서는 observation이 935개이기 때문에, 어느 정도 F-test는 대표본에서만 정당화된다고 했죠. 정당화시킬 수 있다는 결론을 내릴 수가 있습니다. 그다음에 white test인데요. White의 1980년 논문에서 제시가 되어서 White Test라고 하는데. 1980년 논문이 다음 시간, 해결책에서도 또 한 번 등장을 할 거예요. White 표준오차라는 것에 한 번 더 등장할 텐데, 경제학 전체에서 제일 인용이 많이 된 논문 중의 하나입니다. 이게 뭐냐 하면, 절차는 동일해요. 1, 2, 3번 step으로 가는 절차는 동일한데. BP test 같은 경우에는 이분산의 구조에 대한 선형성을 가정했잖아요? White Test는 구조에 대해서 가정을 하지 않습니다. 어떻게 회귀를 하냐 하면, 이걸 회귀해요. 2번 식이 아까 여기서는, 이런 식으로 됐잖아요? 선형을 가정했는데, 얘는 선형을 가정하지 않고 이런 식으로 제곱을 선형을 넣고 두 개라면 제곱항 넣고 교차항 넣고 이런 방식으로 해서 회귀를 하게 됩니다. 제곱항과 교차항을 추가적으로 넣는다는 점에서 차이가 있어요. 이렇게 되면 문제점이 뭐냐 하면. 선형변수가 5개라고 하면 기본선형변수 5개, 제곱항 5개, 추가적으로 이렇게 교차항들을 다 넣게 되면 10개가 돼요. 10개가 돼서 선형변수가 20개가 되어서 자유도 상실이 너무 심합니다. 심하기 때문에. 그리고 선형변수가 10개다 그러면 10개 더하기 45개 해서 숫자가 무지막지하게 많아져요. 교차항이 45개라는거죠? 많아지기 때문에 자유도 상실이 심해요. 그래서 이것에 대한 대체형태로는 이런 식으로도 회귀를 하기도 합니다. 왜냐면 yᵢ^에 이 부분들이 포함이 되고, yᵢ^²에 제곱항들과 교차항들이 포함이 되기 때문에. 이 형태를 이 형태로 compact하게 압축시켜 놓은 형태가 대체형태라고 할 수 있겠죠. 이것도 절차는 똑같고 2번 회귀식만 다른 거예요. 회귀식만 다르고. 마지막에 F-test랑 LM test를 수행을 해서 p-value를 확인해서 p-value가 작으면 기각하고 p-value가 작지 않으면 기각하지 않는다, 기각한 경우에는 이분산의 존재를 확신할 수 있다는 결론을 내리는 tool 자체는 똑같은데 2번 식만 다르다. 이것은 오차항의 구조에 대한 가정의 여부에 따라서 달라지는 것이다. 그런데 문제점은 뭐가 있냐 하면. 이 식을 사용할 수 있다는 선형변수가 너무 많아서 자유도 상실이 심하다는 문제점도 있는데요. 더 큰 문제점은 뭐냐 하면, 이런 식을 사용한다 그래도 이런 식으로 항을 많이 집어넣게 되면, 어떤 항 하나쯤은 무조건 이 친구와 관련이 있을 수밖에 없어요. 그렇기 때문에 대부분 귀무가설을 기각하게 됩니다. 항이 한 20개가 있다고 하면 그 중에 두세 개 정도는 우연히라도 아주 큰 상관성이 있는 경우가 많아요. 그런 경우에는 R²가 되게 높게 나오게 될 거거든요? 그런 경우에는 귀무가설을 기각해버리게 됩니다. 이런 경우를 우리는 Power가 낮다고 그러거든요. 검정력이 낮다는 거에요. Power를 한국말로 검정력이라고 하는데. 검정력이 낮아서 대부분 White Test를 수행을 하면 결론이 어떻게 나오냐 하면, H₀를 거의 다 기각을 해버려요. 기각을 안 하는 경우가 거의 없습니다. 그러니까 대부분 이분산이 존재한다는 결론으로 이어지는 거예요. 이게 실제로 이분산이 존재해서 그런 건지, 파워가 낮아서 그런 건지, 구분이 잘 안 돼요. 이런 문제점이 있는데. 이게 되게 일반적인 형태이고 쓰기가 쉽기 때문에, 대체적으로 이분산 검정에서는 White Test를 더 많이 사용하는 것 같아요. 여기까지 두 가지 탐지 방법, BP test와 White Test를 다뤄봤고. 이 탐지에 대해서 결론을 내려 볼게요. 탐지에 대해서 결론을 내려보자면. 올바른 함수형태의 가정이 성립하지 않는 경우에는 어떨 때 기각을 하냐 하면, 귀무가설이 참, 동분산이더라도 귀무가설을 기각할 수 있어요. 그 말이 무슨 말이냐 하면. 가정5 외에 다른 가정들은 다 만족된다는 가정 하에서 White Test와 BP test가 의미가 있는 거고요. 이렇게 기각이 되는 경우가, 굳이 실제로 이분산이 존재하지 않아도 기각되는 경우가 많아요. 귀무가설이 기각되는 경우가 많은데. White Test의 검정력 때문이기도 하고 아니면 다른 가정이 만족되지 않아서 때문이기도 한데. 근데 어쨌든 횡단면 자료들은 대부분 이분산이 존재한다고 보는게 바람직하기 때문에, 기각이 되는 경우에는 그냥 보수적으로 이분산성이 무조건 성립한다고 보고 분석을 진행하는 것이 바람직합니다. 그리고 Gujarati 교과서 같은 거 보면 다른 이분산 검정을 소개하고 있긴 한데. 실용적인 목적에서는 그런 이분산 검정은 전혀 쓰이지가 않고요. 그렇기 때문에 굳이 알 필요 없고. White Test랑 BP test 정도만 완벽하게 이해를 하시면 되고요. 또한 문제가 뭐냐 하면. 이분산 탐지에는 BP test와 White Test를 대부분 이용하는데요. 실제로 연구과정에서 White Test와 BP test를 실행하는 경우조차도 별로 없습니다. 이분산을 굳이 탐지하는 경우가 별로 없어요. 그렇기 때문에 맨 밑으로 가면 왜 탐지의 실익이 없을까? 실익이 없으니까 그러겠죠? 왜 그런지에 대해서는 다음 시간 해결책을 다루면서 좀 더 자세하게 알아보도록 하겠습니다. 감사합니다.