배기량과 주행 연비의 관련성 검정

데이터 사이언스와 비즈니스 애널리틱스를 위한 통계 분석 마스터 과정 강좌의 맛보기 강의입니다.

강의 대본 보기

이번 시간에는 배기량과 주행 연비의 데이터 자료를 토대로 해서 실질적으로 자동차의 배기량과 주행 연비가 관련성이 있는지 검정하는 절차를 한번 함께 진행해 보도록 하겠습니다. 배기량과 주행 연비가 관련이 있는가 라고 하는 문제를 해결하기 위해서는 우리가 가장 먼저 1단계로 우리가 검정하고자 하는 대상이 되는 가설을 수립해 줘야 합니다 그렇다면 우리는 두 가지 형태의 가설을 수립할 수 있을 겁니다 하나는 자동차의 배기량과 주행 연비가 관련성이 없다라는 명제에 대해서 이 명제가 참인가 거짓인가를 판단하는 방법을 쓸 수도 있고 배기량과 주행 연비가 관련성이 있다는 것에 대해서 이 명제가 참인가 거짓인가를 판단할 수도 있을 겁니다 이 둘이 관련성이 있는가 없는가를 판단할 때 결국 추론이라는 것은 우리가 수립한 가설이 참인가 거짓인가를 판단함으로써 결론을 내리는 거기 때문에 어떠한 명제를 어떠한 가설을 참인가 거짓인가를 판단할 것이냐 라고 하는 것에 따라서 결과가 많이 달라질 수가 있죠 우리는 앞서서 피어슨 추론을 정상적으로 진행하려면 반드시 검정의 대상은 귀무가설로 설정해야 한다 라는 것을 다뤘습니다. 귀무가설이라는 것은 a와 b가 관계가 없고 차이가 없고 영향이 없음 이라는 것을 토대로 해서 그러하자면 확률적으로 어떠한 값이 가장 높은 확률로 나타날 것으로 예상되는가? 라고 하는 기준선을 세울 수 있는 형태의 가설이다 라는 것을 말씀드렸습니다. 그러므로 실질적으로 자동차의 배기량과 주행 연비가 관계가 있는가 없는가? 라는 것을 따지려면 반드시 이 둘이 관련성이 없다는 즉, 귀무 가설을 검정의 대상으로 삼아야 합니다. 자연적으로 관련성이 없다는 것이 귀무가설이므로 배기량과 주행 연비가 관련성이 있다는 것은 귀무가설이 기각되었을 때 채택되는 반대가 되는 가설, 대립가설로 설정할 수 있을 것입니다. 실제 검정은 귀무가설을 대상으로 진행이 됩니다. 그렇다면 우리가 자동차의 이름이라던가 주행 연비, 실린더 개수, 배기량, 마력수 등 다양한 데이터를 가지고 있는 실제 데이터를 토대로 정말 우리가 수집한 데이터를 토대로 자동차의 배기량과 주행 연비가 관계가 있는지 없는지 실질적인 통계 분석을 진행해 보도록 하겠습니다 이 실습을 여러분께서 함께 하시기 위해서 여러분께서 가지고 계시는 실습 자료에서 06번 통계 분석 가설 검정의 실습본 폴더에서 01번 MT-CAS 가설 설정 파일을 열어주시기 바랍니다. 파일은 2개의 워크시트를 가지고 있습니다 첫번째 워크시트에는 데이터의 다양한 속성의 이름과 설명이 들어있구요 두번째 워크시트에는 우리가 실질적으로 같이 진행할 배기량과 주행 연비의 회귀 분석에 대한 시트가 들어있습니다 여러분께서 사용하신 데이터의 속성 각각의 필드명에 대해서는 앞쪽 표를 참고하시면 되는데요 우리는 배기량 그리고 주행 연비 라고 하는 이 두 개의 데이터가 서로 관련이 되어 있는가 2번 배기량 주행 연비 회귀분석 워크시트를 열어보시면 왼쪽에 자동차에 대한 다양한 데이터가 들어 있는 걸 보실 수 있습니다 여러분께서는 다양한 데이터가 들어 있는 걸 보실 수 있습니다 우리는 이 데이터에서도 특히 배기량과 자동차의 배기량 2열에 들어 있습니다 2열에 들어 있는 자동차의 배기량과 주행 연비 mpg 라고 되어 있죠 C열에 들어 있는 배기량이 늘어나면 주행 연비가 늘어나거나 또는 배기량이 늘어남에 따라서 주행 연비가 줄어든다거나 하는 이런 어떤 함께 움직이는 그것이 양의 방향으로 같이 움직이든 또는 마이너스 방향으로 반대로 움직이든 배기량과 주행 연비의 관련성 검정 쉽게 생각하면 결국 숫자 데이터를 말합니다. 둘 다 숫자 데이터이기 때문에 이렇게 두 개의 변수가 모두 숫자 데이터, 연속형 변수일 때 우리가 두 데이터의 관련성을 알아보는 방법으로 사용할 수 있는 것은 바로 회귀 분석입니다. 회귀 분석을 통해서 우리는 배기량과 주행 연비가 서로 관계가 있는가 라는 것을 알아볼 수 있습니다. 그렇다면 이러한 것이 어떠한 절차를 통해서 우리가 가설의 수립부터 결론까지 이룰 수 있는지 함께 통계 분석의 절차, 프로세스에 조금 더 초점을 맞추시면서 함께 해보도록 하겠습니다. 이 과정을 함께 진행하시려면 여러분께서는 데이터 탭의 엑셀의 데이터 탭의 오른쪽 가장 끝에 데이터 분석 이라고 하는 기능이 꺼내져 있어야 합니다 이 기능이 혹시 밖에 나와 있지 않으신 분은 다른 영상을 통해서 안내되어 있는 설명에 따라서 데이터 탭의 데이터 분석 기능을 밖으로 꺼내 주시기 바랍니다 자 이제 데이터 분석 기능을 밖으로 꺼냈다 라고 한다면 저를 따라서 한번 간단하게 유의 확률 p를 계산하는 회귀 분석을 같이 해보도록 하겠습니다 데이터 탭의 데이터 분석을 한번 클릭하겠습니다 데이터 탭의 데이터 분석을 클릭하겠습니다 데이터 분석 기능을 클릭하시면 굉장히 많은 데이터 분석법들이 나오게 되는데요 그 중에 비교적 아래쪽에 조금 아래쪽으로 보시면 아래쪽에서 여섯 번째 회귀 분석을 찾으실 수 있습니다 회귀 분석을 선택하시고 확인을 클릭하겠습니다 회귀 분석을 선택하시고 확인 클릭하겠습니다 회귀분석을 클릭하시면 저와 같은 대화상자가 나타나실 텐데요 이제 우리는 여기에 우리가 필요로 하는 내용을 입력해 보도록 하겠습니다 우리는 배기량과 주행연비가 관련이 되어 있는지 알고 싶습니다 즉, 우리가 알고 싶은 Y축 배기량이 변함에 따라서 주행연비도 함께 변하는가 라는 것을 알기 위해서 우리는 Y축에는 주행연비에 해당하는 이 데이터 범위를 넣을 것입니다 주행연비에 해당하는 것을 넣겠습니다 그것은 곧 C열에 해당하는 것을 여기에 넣겠다 라는 뜻입니다 X축은 우리가 배기량에 따라서 주행연비가 변하는지 알고 싶기 때문에 배기량에 해당하는 데이터를 여기에 넣도록 하겠습니다 즉 2열에 있는 데이터들이 여기로 들어오게 되겠습니다 그런 다음 우리는 2열과 C열에 있는 mpg, disp 라고 하는 이 필드명을 가져올 것이기 때문에 이름표를 체크하고 지금 보시는 것처럼 P5번 셀에 해당하는 결과가 나타나도록 출력 범위는 P5번 셀로 지정을 해 주도록 하겠습니다 그렇다면 여기에 해당하는 데이터를 적절한 값을 함께 넣어 보도록 하시겠습니다 자 그럼 Y축에 데이터를 넣어 볼까요 Y축 입력 범위를 클릭하시고 Y축 입력 범위는 우리는 주행 연비를 알고 싶습니다 주행 연비 C1셀부터 데이터를 쭉 범위를 아래쪽으로 잡아 주시면 이렇게 C33번 셀까지 선택을 해 주십니다 자 마찬가지로 이번엔 X축을 입력해 보겠습니다 X축에는 배기량을 알고 싶습니다 배기량에 따라서 주행 연비가 달라지는지 알고 싶기 때문에 이번에는 배기량 B1번 셀을 넣어 보도록 하겠습니다 이 B1번 셀부터 쭉 데이터를 마찬가지로 내리셔서 범위를 내리셔서 E33번까지 셀을 선택하도록 하겠습니다. C1번 셀과 E1번 셀에는 각각 해당하는 열의 실제 데이터가 아닌 mpg, disp라고 하는 데이터 열의 이름이 있기 때문에 우리는 이름표를 체크하도록 하겠습니다. 이 회귀 분석의 결과를 우리가 쉽게 참조할 수 있도록 출력 범위를 새로운 워크시트가 아닌 출력 범위를 선택해 주시고 출력 범위를 선택해 주시고 P5번 셀로 지정하도록 하겠습니다 출력 범위에 데이터를 입력하는 곳에 마우스를 한번 클릭해 주시면 커서가 나타나는 걸 볼 수 있습니다 커서가 나타나는 걸 보시고 여기에 P5번 셀을 한번 이렇게 클릭해 주시겠습니다 P5번 셀을 클릭하시면 이제 모두 다 되었습니다 여기까지 입력하셨으면 이제 확인을 클릭해 보겠습니다 확인을 클릭하시면 회귀 분석된 결과가 이렇게 나타나는 것을 여러분께서도 쉽게 보실 수 있습니다 스크롤 오른쪽으로 조금 가져가 볼까요 스크롤 오른쪽으로 조금 가져가 보시면 이제 회귀 분석의 결과에 대해서 나오게 되는데요 자 이 회귀 분석의 결과가 무엇을 의미하는가 라고 하는 자세한 내용에 대해서는 우리가 조금 뒤에 알아보도록 하겠습니다 조금 뒤에 알아보고 우리는 이 유의 확률을 계산하고 결론을 도출하는 절차에 대해서 같이 살펴보도록 하겠습니다 스크롤 조금 더 오른쪽으로 넘기셔서 같이 한번 살펴볼까요? 자 우리는 자동차의 배기량과 주행 연비가 관련이 있는지 알고 싶습니다 배기량과 주행 연비가 관련이 있는지 알고 싶습니다 그래서 먼저 가설을 설정합니다 귀무가설은 이 둘은 관련이 없다 라는 것이고 대립가설은 관련이 있다 라는 것입니다 이제 우리는 가설을 먼저 설정한 후 귀무가설을 대상으로 검정을 진행해 보도록 하겠습니다 검정을 진행해서 표본 데이터를 확보했고 표본 데이터를 토대로 이제 회귀 분석을 통해서 우리가 유의 확률 귀무가설이 참이라고 가정할 때 우리가 관찰한 것과 같은 표본 그리고 이것보다 극단적인 그러한 표본이 나타날 가능성이 얼마인가 라고 하는 유의 확률을 계산할 수 있습니다 이 유의 확률이 얼마인가라고 하는 것은 여러분께서 이 통계 분석의 결과에서 이곳에 있는 값 통계 분석의 결과에서 배기량과 주행 연비의 관련성을 찾는 지금 배기량 X로 설정한 배기량이 DISP라고 하는 이 변수명을 똑같이 가지고 있죠 DISP의 P가 유의 확률 P DISP의 유의 확률 P 이 칸에 있는 값이 바로 여러분께서, 우리가 함께 알고자 하는 유의 확률 P입니다. 즉 T22번 셀에 있는 이 값, 이 P값이 바로 우리가 원하는 유의 확률인 거죠. 그렇다면 이 관련성을 검정하는 P값 계산 결과를 한번 받아볼까요? 통계 분석 도구들이 우리를 대신해서 편리하게 유의 확률을 이렇게 계산해줍니다. T22번 셀의 값을 한번 가져와 볼까요 엔터를 치시면 이렇게 숫자가 나타나는 걸 보실 수 있습니다 이런 일부 지수 표현으로 숫자가 작을 경우에 지수로 표현되는 것이 조금 어렵게 느껴지실 수도 있는데요 우리가 이 P값이 9.38033 이라고 하면 굉장히 크잖아요 하지만 유의 확률이라는 것은 0부터 1 0% 부터 100% 의 값을 갖게 되어 있기 때문에 우리가 이것을 조금 더 알아보기 쉬운 어떤 표현법으로 좀 바꿔 보도록 하겠습니다 여러분께서 사용하시는 P값 셀을 선택하시고 여러분께서 사용하시는 엑셀의 홈탭에서 표시 형식을%로 바꿔 볼까요? %로 바꿔 보시면 0%로 표현되는 것을 보실 수 있습니다. 숫자가 굉장히 작을 경우에 반올림해서 0으로 표시가 되는 거거든요. 자릿수를 좀 늘려 볼까요? 바로 옆에 있는 자릿수를 늘린다 라는 버튼을 여러 번 눌러서 자릿수를 많이 늘려 보도록 하겠습니다 자 이 칸을 선택하시고 자릿수를 계속 늘려 보겠습니다 자릿수를 많이 늘리니까 어느 순간 이제 본격적으로 숫자가 보입니다 0.000000... 네 938033% 라고 하는 굉장히 작은 너무너무 작아서 사실상 퍼센트로 표현하기에도 굉장히 작은 수치로 표현되는 작은 값이 나오는 것을 볼 수 있습니다. 즉, 이 P값이 의미하는 것은 무엇입니까? 귀무가설이 참이라고 가정할 때 즉, 배기량과 주행 연비가 관련성이 없다고 가정할 때 우리가 본 것과 같은 이러한 데이터 또는 그것보다 극단적인 이러한 데이터가 나타날 가능성이라는 것은 그것은 이렇게나 작다는 것을 우리가 알 수 있습니다 그렇다면 우리가 유의 확률이 작다고 할 때 유의 확률이 굉장히 작아지면 귀무가설을 기각할 수 있게 되는데요 그렇다면 얼마나 작은 것을 우리가 작다고 할 것인가 라고 하는 기준이 되는 유의 수준 알파를 좀 정해보도록 하겠습니다 이러한 문제에서 우리가 감당할 수 있는 어떤 상황 이러한 실수 정도는 허용할 수 있다 라고 하는 상황에 따라서 유의 수준 알파의 임계값이 좀 변하게 되는데요 우리는 일반적으로 많이 사용하는 5% 즉 0.05를 기준으로 삼도록 하겠습니다 0.05를 기준으로 삼아 보겠습니다 그러면 이제 우리는 필요한 모든 것을 다 얻었습니다 피어슨 추론에 필요한 모든 것 귀무가설과 대립가설 그리고 유의 확률 P, 유의 수준 알파의 4가지를 모두 얻었습니다. 자 그럼 이제 결론을 좀 내려볼까요? 유의 확률 P가 알파보다 큰가 작은가에 따라서 결론은 조금 달라집니다. 그런데 지금 보시는 것처럼 만약에 P가 알파보다 작다 우리가 잘못 판단할 가능성이 우리가 허용할 수 있는 한계보다 작다라고 하면 귀무가설을 좀 더 과감하게 기각할 수 있게 되고 귀무가설을 기각한다는 것은 대립가설을 채택할 수 있다는 말과 같습니다 또 P가 유의수준 알파보다 크다면 우리는 귀무가설을 기각할 수 없게 되죠 지금 보시는 것처럼 위에서 우리가 계산한 유의 확률 P는 유의 수준 알파보다 훨씬 작습니다. 그러므로 우리는 어떤 결론을 내릴 수 있습니까? 귀무가설을 기각하고 대립가설을 채택할 수 있습니다. 즉, 배기량과 주행 연비는 관련이 있습니까? 없습니까? 라고 우리에게 주어진 데이터를 토대로 판단한다면 우리는 배기량과 주행 연비는 관련성이 있다는 결론을 내릴 수 있습니다. 귀무가설을 기각한다. 즉 배기량과 주행연비는 관련성이 없다 라는 귀무가설을 기각하고 대립가설을 복사해서 붙여 놓도록 하겠습니다 우리는 여기서 결론을 내려서 배기량과 주행연비는 관련성이 있다 라는 피어슨 추론을 엑셀의 데이터 분석 도구를 이용해서 계산하는 과정

이 강좌의 맛보기 강의

데이터 사이언스와 비즈니스 애널리틱스를 위한 통계 분석 마스터 과정
데이터 사이언스와 비즈니스 애널리틱스를 위한 통계 분석 마스터 과정강좌 자세히 보기