평균과 표준편차의 해석

평균은 중심 경향치의 대표 통계량이에요. 그리고 표준편차는 자료 퍼져 있는 정도를 나타내는 대표적인 통계량입니다. 이 통계량을 활용해서 데이터에서 인사이트를 추출하는 실무 분석 방법을 다뤄보도록 하겠습니다. 회사 연봉 데이터에서 임원 후 월급이 1,600만원이라고 했을 때 이 의미를 우리는 어떻게 해석할 수 있고, 여기서 어떠한 인사이트를 추출해낼 수 있을까요? 자, 먼저 평균과 표준편차를 정리를 해보면 경험 법칙을 보면 대칭적인 흙더미 모양에 가까운 데이터 집합의 경우 대칭적인, 지금 보시는 것처럼 좌우가 대칭적인 흙더미라고 가정해보죠. 그러면 평균에서 표준편차 1배 이내에 약 68% 데이터가 들어있다. 평균이라고 한다면 표준편차의 1배 범위 안에 관찰되는 데이터가 나올 가능성은 68%라고 보시면 됩니다. 그리고 표준편차의 2배 범위 내에서 어떤 자료가 관찰될 가능성은 95%라고 합니다. 이게 어떤 의미인지 좀 더 자세하게 설명드리도록 하겠습니다. 평균과 표준편차를 활용하면 자료 분포가 있다고 했을 때 우리가 확보한 데이터예요 그리고 이걸 히스토그램을 한번 정리를 해봤어요 그러면 평균과 표준편차를 가지고 뭘 알 수 있냐 이 자료가 일반적이냐 특별하냐 이걸 구분해낼 수 있습니다 표준편차를 기준으로 해서 플러스 마이너스 1 표준편차 플러스 1 표준편차 이 범위 안에 데이터 플러스 마이너스 1배 범위하는 데이터를 일반적인 데이터라고 할 수 있구요 데이터가 대칭적 흙더미 모양 정규분포에 가깝다고 한다면 플러스 마이너스 1배 범위 내에 70% 정도의 데이터가 들어 있다라고 할 수 있습니다 정확하게 얘기는 68.27%인데 일단 개념을 쉽게 이야기해서 저는 70%로 가정하고 설명을 드리도록 하겠습니다 그리고 표준편차 플러스 마이너스 2배 범위하는 데이터 자 여기 이 시그마까지의 데이터 이 면적이 되겠죠 자 보면 이 범위 안의 데이터 자 여기까지에 관찰될 데이터는 마찬가지로 영역이 95.45%인데 저도 설명을 용이하게 하기 위해서 이거 역시 95%라고 가정하고 설명을 드릴게요 자 지금 이 면적이 95%면 밖에 여기 보면 A 섹션 B 섹션이 있다고 생각해보죠 모든 확률은 더하면 100%가 되어야 됩니다 그 얘기는 관찰되는 데이터 영역이 95%면 남아있는 확률 영역은 100에서 95%를 빼면 5%만 남아있죠 그리고 면적이 A 면적, B 면적 크기가 동일해요 그러니까 2로 나누면 A 면적에 포함될 확률은 2.5% B 면적에 포함될 확률이 2.5%가 된다 그래서 이 데이터를 우리는 좀 특별한 데이터라고 얘기할 수가 있습니다 그러면 지금 보면 평균을 기준으로 해서 표준편차에서 어떤 데이터가 관찰되는 확률을 계산할 수 있다는 거잖아요 그러면 이것과 어떠한 의사결정을 할 수 있을지 우리 자료를 보고 설명드리도록 하겠습니다 표준편차의 해석이라는 파일을 오픈해보도록 하겠습니다 이 사례를 통해서 핵심 통계량을 다시 한번 정리를 해보고 데이터에서 인사이트를 추출하는 구체적인 방법을 살펴보도록 하겠습니다 지금 제가 집 앞에 버스 정류장에 있는데 분명 그 버스 정류장의 타임 테이블은 아침에 7시 30분에 버스가 도착한다 라고 나와 있어요 그래서 제가 회사에 출근하려고 하면 버스 정류장에 7시 30분에 도착을 했습니다 그런데 지금 데이터를 관찰을 보니까 제가 이번 주에 버스를 두 번 놓쳤어요 제가 데이터를 월, 화, 수, 목, 금 데이터를 관찰했고 관찰 값을 보니까 월요일날은 32분 화요일날은 27분 그리고 금요일날은 33분에 왔어요 그리고 버스가 30분인데 일찍 온 두 번인 경우가 있어서 저는 이번 주에 2회 버스를 놓쳤습니다 우리 일상 상황에서 많이 접할 수 있는 일반적인 상황이죠 그래서 제가 데이터를 통해서 해결하고 싶은 문제는 이거예요 어떻게 하면 버스를 놓치지 않고 최적 시간에 버스 정류장에 도착할 수 있을까 다른 말로 버스를 놓치지 않고 탈 최적 시간을 데이터를 통해서 확인하고 싶은 거예요 데이터 분석은 이러한 다양한 비즈니스 문제, 트러블을 도출하고 이걸 데이터를 설계한 다음에 분석을 해서 이 문제를 푸는 거예요 이 문제를 풀기 위해서 저는 일단 간단하게 월화수목금 관찰에서 이렇게 데이터를 확보했습니다 그러니까 관찰된 시간은 도착하면 분 데이터죠. 단위는 분으로 제가 데이터를 확보했습니다. 그러면 데이터 분석은 데이터가 있으면 열 중심으로 요약하는 것이라고 설명드렸습니다. 그래서 저는 평균 값을 구해보도록 하겠습니다. average 도착 시간에 대해서 평균을 도출하니까 자, 보니까 평균적으로 버스 정류장에 버스가 도착하는 시간은 31분이래요 자, 이 얘기가 제가 버스 정류장에 31분에 나오면 버스를 놓치지 않는다 라는 얘기가 아니죠 31분에 나오면 여전히 두 번 놓치게 되는 거예요 자, 그래서 제가 편차를 구하려고 합니다 편차는 관측 값에서 평균을 뺀 게 편차예요 자, 보면 equal 도착 시간에서 자 평균을 뺀거 자 이걸 채우기 핸들로 모두 다 채우도록 하겠습니다 자 이게 편차에요 편차 특징은 더하면 모두 0이 됩니다 무슨 말이냐면 평균을 기준으로 앞에 보면 좀 더 빠르게 관찰값 빠르게 관찰되는 관찰값이 있고 느리게 관찰되는 관찰값이 있습니다 근데 이걸 다 더하면 더해서 개수로 나누면 평균 평균과 표준편차의 해석 평균과 표준편차의 해석 평균과 표준편차의 해석 평균과 표준편차의 해석 평균과 표준편차의 해석 잠시만요. 다시 한번 보도록 할게요. 지금에서 평균을 빼면 그리고 다시 이 녀석을 채우기 핸들로 채워보도록 하겠습니다. 제가 그 편차를 계산을 잘못했었네요. 편차, 도출됐고 어떤 건 양수, 어떤 건 음수가 나왔죠. 그래서 저는 부호를 통일하고 싶어요. 음수와 양수 부호를 통일하고 싶어요. 수학에서 음수와 양수를 부호를 통일하는 제일 좋은 방법은 제곱을 하는 겁니다. 편차제곱은 이렇게 하면 편차제곱이 나옵니다. 이퀄 편차, 그 다음에 숫자 6 위에 있는 특수기호, 그 다음에 2 하면 1 곱하기 1이 되는 거예요. 그리고 그 다음에 이 녀석을 채우게 하는 데를 밑으로 적용하면, 마이너스 4 곱하기 마이너스 4니까 16이 되는 거고, 마이너스 2 곱하기 마이너스 2니까 4가 되는 거예요. 그런데 문제는 단위는 부호는 일단 양수가 됐습니다. 편차제곱이니까. 그런데 단위가 어떻게 되죠? 단위가 분의 제곱이 되버립니다. 그래서 어떤 문제가 있냐면 저는 평균과 편차를 같이 살펴보고 싶은데 단위가 달라지는 문제가 있어요. 그래서 편차제곱이 도출되는데 편차제곱에서 어떤 경향성을 도출하기 위해서 편차제곱을 평균을 냅니다. 무슨 말이냐면 average의 편차제곱을 도출하려면 그게 바로 분산이에요. 분산이라고 하는 게 보면 편차제곱의 평균, 이게 분산이라고 보시면 됩니다. 그리고 분산은 단위가 여전히 분의 제곱이 되는 거예요. 그래서 보면 데이터가 얼마나 흩어져 있는지를 나타내는 정보로 분산을 많이 쓴다고 하는데 평균과 직접 비교하기가 어려워요 그래서 저는 단위를 통일하고 싶어요 분의 제곱에서 제곱을 떼고 분만 남기고 싶은 거예요 그럴 때 제일 많이 쓰는 게 제곱근입니다 엑셀에서는 sqrt, square root라는 함수에 6.8을 집어넣으면 루트가 씌워져서 2.607이 나오는데 비로소 단위가 분이 됩니다 분의 제곱이 아니라 분이 됩니다 이렇게 해서 결국 우리가 주요 통계량의 평균과 표준편차를 구했습니다. 평균과 표준편차를 구했는데 이건 핵심이 단위가 같아져요. 단위가 같아지고 그 다음에 조금 전에 우리가 배웠던 지식을 다시 한번 정리를 해보죠. 조금 전에 어떤 대칭적 모양의 흙더미가 있다고 가정을 한다면 보면 데이터가 어떻게 나온다는 거예요? 이게 평균이고 평균에서 이 안에서 데이터가 관찰될 가능성은 몇 퍼센트라고 말씀드렸죠? 자 95% 95% 벗어나서 A영역은 2.5% B영역 2.5% 라고 말씀드렸습니다 자 그리고 데이터가 조금 더 확장되어서 마이너스 3 표준편차 플러스 3 표준편차 이 영역 데이터가 이 영역에서 관찰될 가능성은? 자 보면 이게 99% 입니다 그리고 보면 다시 여기 보면 C 영역 자 D 영역이라고 한다면 C 영역에서 데이터는 모두 다 100%야 되는 거고 이 파란색 영역의 관찰되는 데이터가 99%니까 벗어난 영역은 1%가 되겠죠 그걸 동일한 면적이니까 2로 나누면 각각 C영역에 관찰될 가능성이 0.5% D영역에 관찰될 가능성은 0.5%가 되는 거예요 그러면 이걸 가지고 이렇게 의사결정을 해볼게요 버스 정류장에 도착하는데 버스가 70% 도착 범위 이게 궁금한 거예요 버스는 70%로 언제 도착할까요? 자 요 녀석은 이렇게 계산이 된다는 거죠 평균 빼기 1표준편차 평균 더하기 1표준편차 자 관찰되는 범위는 28분에서 33분 사이고 자 이랬을 때 제가 버스 정류장에 28분에 갔을 때 버스를 놓칠 확률은 몇 퍼센트가 되는 거죠? 70% 범위니까 이 면적은 70% 범위를 벗어나는 이 면적 이 녀석은 각각 15%가 되는 거죠 버스 정류장에 가는데 28분에 갔다라고 하는게 28분이 된다는 거죠 28분에 가면 버스가 범위 70%를 벗어나는게 28분보다 더 빨리 올 가능성도 있고 평균과 표준편차의 해석 평균과 표준편차의 해석 이 면적 이것도 15%지만 이건 버스를 타게 되는 거고 놓치게 되는 것은 제가 버스 정류장에 오는 것보다 더 앞에 오는 버스만 놓치게 되는 거예요 그래서 이 문제는 단측검정 문제가 됩니다 무슨 말이냐면 버스를 놓칠 확률은 이 경우에 버스를 놓칠 확률은 15%가 된다는 거죠 그러니까 100번 버스 정류장에 도착하면 저는 15회 놓칠 거다라는 거죠 자 그럼 이번에는 전 95% 도착 범위가 궁금해요 이건 어떻게 도출 가능한 거죠? 요 녀석은 평균 빼기 2 곱하기 표준편차 다시 평균 더하기 2 곱하기 표준편차 자, 보면 지금 요 녀석은 95%니까 마찬가지로 놓칠 확률은 2.5% 2.5%여서 놓치는 건 앞에만 발생하니까 놓칠 확률은 2.5%가 되는 거죠 2.5%가 되고 자, 그래서 버스를 만약에 100번 25분에 도착하면 버스는 몇 번 놓치게 되는 거예요? 2.5회 놓치게 되는 거죠 자, 세 번째 99% 도착 범위 자 요 녀석은 어떻게 계산되죠? 평균 더하기 3 곱하기 표준편차 아 더하기가 아니죠 죄송합니다 빼기 빼기 다시 평균 이번에는 더하기 3 곱하기 표준편차 자 관찰될 가능성이 99%니까 놓칠 확률은 0.5%가 되는 거고 100번 버스정류장에 가면 0.5회 놓친다 그러면 여러분들의 의사결정은 여러분이 이런 상황이라고 한다면 의사결정은 어떻게 될까요? 1번 의사결정은 어떻게 되는 거예요? 1번 의사결정은 여러분들이 버스정류장 28분에 나가는 의사결정을 하는 거고 2번 의사결정은 25분에 나가는 의사결정을 하는 거고 3번 의사결정은 23분에 나가는 의사결정을 하는 거예요 의사결정은 우리가 보면 이런 의사결정을 진행할 수가 있는 거고 여러분은 어떤 의사결정을 선택할까요? 여기서 정답은 없어요 우리가 아는 것은 28분에 나가면 집에 조금 더 쾌적하게 머물러 있는 거고 그 결과 보면 2주에, 15회니까 2주에 2번 정도는 놓치게 된다는 거죠 그걸 내가 감당할 리스크 수준 리스크 수준에 따라서 제가 보면 내가 감당할 리스크 수준은 난 20% 리스크를 감당하겠다 라고 하면 1번도 충분히 의사결정이 되는 거예요 근데 내가 감당할 리스크 수준은 난 5% 이내를 감당하겠다 라고 한다면 2번을 선택할 수 있는 거예요 내가 감당할 리스크는 난 1% 이내만 감당하겠다 라고 하면 3번이 되는 거예요 자 그래서 데이터 분석은 여기까지 제시되는 게 데이터 분석이라고 보시면 됩니다 데이터 분석을 통해서 여기까지 데이터 분석이 제공을 해줘요 그러면 이걸 보고 여러분이 의사결정을 했을 때 발생할 수 있는 위험도가 어떻게 되는지 인지하고 여러분이 의사결정을 진행한다고 보시면 됩니다 그래서 아주 간단하지만 버스 정류장 도착 시간 가지고 우리가 아침에 버스 정류장에 몇 시에 도착하는 게 가장 합리적일까? 라고 하는 걸 확률모형을 도출해서 의사결정을 진행을 해봤습니다 실제 표준편차를 활용하는 해석하는 방법 예제 하나를 더 보도록 할게요. A스토어가 최우수 고객 상위 0.5% 결제자를 특별 관리하려고 해요. 이 사람을 VIP라고 분류해서 어떤 쿠폰 혜택이나 그런 걸 주려고 합니다. 단골 고객 3만 명의 데이터를 분석한 결과 고객당 평균 결제액은 50만원이에요. 중심 경향치가 50만원이라는 데이터가 나왔고요. 표준편차는 25만원이 되었어요. 그렇다면 적절한 최우수 고객 기준 결제액을 어떻게 예측해낼 수 있을까요? 자 보면 이게 평균이고 평균에서 1. 표준편차에서 어떤 데이터가 관찰될 가능성 70% 2. 표준편차에서 관찰될 가능성 95% 3. 표준편차에서 어떤 데이터가 관찰될 가능성 99% 자 남는 건 상위 0.5% 섹션 A란 섹션 평균과 표준편차의 해석 평균과 표준편차의 해석 평균과 표준편차의 해석 125만원이 기준액이라고 우리는 설정할 수 있는 거예요 그러면 고객 데이터를 갖다 놓고 고객 아이디별로 구매액으로 쭉 정렬을 하는 거예요 구매액에 DESC 내림차순으로 가장 구매액이 높은 그 금액 순으로 쭉 정리를 해보고 여기서 125만원이 넘어가는 고객 이분들에게 우리는 VIP라는 꼬리표를 붙여서 이분을 특별 케어를 해낼 수 있는 이렇게 데이터 분석에서 우리가 확보한 데이터가 처음에 봤을 때는 이게 어떤 인사이트가 있지 라고 생각을 하셨을 텐데 주요 통계량에서 평균과 표준편차만 잘 활용을 해도 상당히 다양한 의미 있는 의사결정을 여러분이 진행하실 수 있습니다 이렇게 현실에서의 표준편차 활용 케이스를 살펴보았습니다