분석 모델

이번 영상에서는 비즈니스 애널리틱스의 핵심이라 할 수 있는 분석 모델이라는 것이 어떤 것이고 우리가 왜 그것을 알아야 하는가 라고 하는 주제로 한번 이야기를 나눠보도록 하겠습니다 우리가 어떤 분야에서든 우리가 실행하고자 하는 비즈니스 분야에서 비즈니스 애널리틱스, 비즈니스 데이터를 가지고 어떤 가치 있는 데이터 분석을 하고 이것을 통해서 이익이 되는 의사결정으로 끌고 가겠다라고 한다면 우리들 자신에게 크게 4가지 정도의 역량이 필수적으로 필요합니다. 어떤 것들이 필요한가라고 하면 가장 중요한 것은 해당하는 비즈니스 도메인에서의 지식이라던가 경험이 있으면 가장 좋습니다. 우리가 분석하고자 하는 분야마다 각각의 분야에는 무언가 가장 중요한 특성을 가지고 있는 핵심 지표가 무엇인가 어떠한 방법론이 많이 쓰이는가 각각의 어떤 데이터 값들이 어떤 의미가 있는가 이것이 증가한다는 게 현실에서 우리에게 어떤 의미를 주고 감소한다는 게 무슨 뜻인가 라고 하는 것을 알아차리는 것이 굉장히 중요합니다 그래서 우리가 다루고자 하는 이 비즈니스 도메인에 대한 지식과 경험이 반드시 좀 필요하죠. 그래야 이 분석의 결과를 이해하고 활용하는데 문제가 없습니다. 그런데 이것만 가지고 되는 것은 아니고 이것은 굉장히 중요한 문제인데 이것만 가지고 되지는 않습니다. 이러한 분야의 특정 분야의 데이터를 얻었을 때 그 데이터를 읽어내고 실제로 분석을 할 수가 있어야겠죠. 그래서 우리가 과연 데이터를 어떤 것들을 몇 개나 모아야 되고 어떤 데이터를 모아야 되고 그것을 어떠한 값과 그림으로 요약해야 되는가 어떠한 기법을 사용하는 것이 좋은 것인가 라고 하는 다양한 기본적인 통계적인 지식이 있어야 합니다 데이터를 읽어낸다 라고 하면 데이터를 읽기 위해서 필요한 필수적인 통계 지식이 필요합니다 통상적으로 통계 지식이 필요하다 라고 하는 것은 주어진 데이터를 어떻게 요약할 것인가 라고 하는 문제와 연결되어 있다 라고 말씀 드렸습니다 그럼 이러한 어떤 통계 지식을 알고 있다 라고 할 때 값과 그림으로 요약하는 것을 사람의 손으로 할 수는 없거든요 사람이 직접 그것을 필산으로 다 더한다거나 그림을 직접 그리는 건 아니잖아요 어떤 도구를 이용해서 그것을 하게 됩니다 그래서 데이터가 가진 특징을 요약하고 이것을 값과 그림으로 표현해주는 다양한 도구들 또 모르고 있는 데이터에 대해서도 우리가 조금 더 많은 양의 계산을 해내기 위해서 필요한 사용하는 도구들이 있는데요 우리가 그런 도구들을 분석도구라고 합니다 이런 분석도구는 굉장히 많습니다 뭐 엑셀도 있고 R이라던가 파이썬이라던가 SPSS, SAS, 구글 애널리틱스, 애저 ML 스튜디오, 텐서플로우 등등등 굉장히 많은 분석 도구들이 있습니다. 그럼 이 분석 도구를 다 알아야 되느냐? 그렇진 않구요. 우리가 이 중에서 우리가 분석하고자 하는 목적에 맞는 적절한 나에게 좀 다루기 쉽고 친근하고 내가 아무래도 한번이라도 더 실행하기 쉬운 그러한 도구들을 목적에 맞게 선택하시면 되겠습니다 만약에 굉장히 전문가다 데이터 분석을 정말 전문적으로 하는 분이다 R이라던가 파이썬이라던가 이런 걸 사용하실 수도 있겠지만 우리가 다뤄야 되는 대다수의 비즈니스 데이터는 사실 엑셀 파일을 기반으로 만들어지는 경우가 많이 있거든요 그래서 우리 수업에서는 엑셀 파일로 만들어져 있는 그러한 데이터를 우리가 엑셀 정도를 이용해서 엑셀의 몇 가지 기능 같은 것들을 이용해서 다양하게 요약하고 그걸 실제로 사용할 수 있는 비즈니스 데이터를 분석을 하기 위해서 너무 어려운 데이터가 너무 어려운 분석도구가 들어와 버리면 분석을 위한 분석이 되기 때문에 그렇게 하지 않고 실제 실무에서 활용도가 높도록 엑셀이라고 하는 도구만 이용해서 좀 해보려고 합니다 물론 엑셀이라는 도구가 가지고 있는 어떠한 부족한 부분들 그것은 또 훨씬 더 전문적인 도구들이 일부 채워줄 수 있는 부분도 있다 라고 하는 말씀도 같이 드리겠습니다 이렇게 기본적으로 우리가 분석하고자 하는 분야에 대한 기본적인 지식을 가지고 있고 또 이것을 가지고 어떤 데이터를 어느 정도 수집을 해야 되는가 어떤 방식으로 수집해야 되는가 같은 요약을 하는 방법 같은 이런 통계 지식을 알고 있을 때 기본적인 분석 도구들, 엑셀 같은 프로그램을 사용할 수 있다면 그럼 다 끝난 것인가? 그렇지는 않고 우리가 하나를 더 알아야 됩니다. 이때 사용하는 것이 바로 분석 모델이라고 하는 것을 우리가 추가적으로 더 알 필요가 있습니다. 그럼 분석 모델이라는 게 도대체 뭘까? 라는 의문이 드실 텐데요. 예를 들어 분석 모델은 다양한 비즈니스 분석 모델이 있고 ARM이라던가 AARRR이라던가 이산형 분류 스코어 예측 군집화 연관성 규칙 분류 앙상블 굉장히 어려운 말들이 있습니다 그런데 이 분석 모델이라는 것은 결국 우리가 분석하고자 하는 상황 이 비즈니스적인 상황을 어떻게 가장 특징을 살려서 간결하게 만들어 낼 것인가 라고 하는 것이 분석 모델이다 라고 말씀드릴 수가 있습니다 분석 모델이 무엇인가 라고 하는 것을 조금 더 쉽게 우리가 체감하기 위해서 예시를 하나 들어보도록 하겠습니다 여러분 마음속으로 한번 정답을 생각해 보시죠 각자의 답을 생각해 보십시오 현재 전 세계 192개의 세계 기상기구 회원국들이 있는데요 날씨정보, 기상정보라고 하는 것은 특정 나라라던가 특정 도시의 문제가 아니라 전 지구적인 문제이지 않습니까? 전 세계 지구적인 문제이기 때문에 기상정보는 이 나라의 이념이라던가 성향과 상관없이 세계기상기구 WMO에 가입된 국가들이 모두 다 기상정보를 공유합니다 국경이 없어요 이 데이터를 다 같이 공유합니다 즉 우리나라가 가지고 있는 기상정보나 일본이 가지고 있는 정보나 미국이 갖고 있는 정보나 데이터 자체는 사실은 같다고 봐도 무방합니다 전 세계의 모든 기상청이 똑같은 데이터를 가지고 있습니다 데이터가 똑같아요 분석하고자 하는 이 데이터가 똑같습니다 그런데 같은 데이터를 가지고 만약에 똑같은 목표 또 동일한 문제를 해결하고자 한다면 우리가 비즈니스적으로 예를 든다면 다음 달에 매출이 얼마인지 파악하고 싶다 다음 주에 이거 몇 개 팔릴지 내가 예상하고 싶다 라고 하는 것처럼 같은 문제를 같은 데이터를 가지고 판단을 한다면 그러면 A라고 하는 사람이 분석을 해도 이 목표량이 예를 들어서 100개가 팔릴 것 같습니다. 라고 100개라고 예상이 되고 B라고 하는 사람이 분석을 해도 이것이 100개라고 나오는 것이 객관적이고 합리적인 것처럼 우리가 보이게 되잖아요. 그렇다면 정말 그럴까? 같은 데이터로 전세계의 기상청들이 같은 데이터를 쓰지 않습니까 같은 데이터로 똑같은 지역에 똑같은 시점에 대해서 예를 들어서 내일 낮 12시라고 하는 이런 내일 낮 12시 강남역 1번 출구에 비가 올까 안 올까 몇 도일까 이런 문제들을 예상을 한다라고 한다면 그것을 대한민국에 있는 기상청이 예측을 하든 브라질에 있는 기상청이 예측을 하든 중국에서 하든 필리핀에서 하든 다 동일한 결과가 나올 것인가? 여러분의 답을 마음속으로 생각하셨습니까? 이 문제에 대해서 우리가 지금 당면한 이 문제에 대해서 2020년에 YTN에서 정말 이러한 주제를 가지고 실험을 한 결과 화면을 잠깐 같이 보겠습니다 같은 날에 같은 시간 내에 8월 13일이네요 8월 13일 목요일 2020년 8월 13일 목요일에 YTN 방송국에 있는 동일한 위치의 날씨를 한국에 있는 기상청은 뭐라고 예보를 했고 체코 미 네 이건 어느 나라일까요 어떤 나라 다른 어떤 나라 체코 미국 그리고 한국이라고 하는 4개의 국가에서 예상을 한 결과를 보여주는 겁니다 보면 어떤 나라인지 이름이 교묘하게 가려졌네요 노르웨이 기상청이었던 걸로 노르웨이 기상청은 예를 들어서 비가 오고 30도일 것이다 라고 예상을 했고 체코 기상청에서는 조금 더 잘 보이는 색깔로 보겠습니다 체코 기상청에서는 비가 오고 30도일 것이다 비슷한 결과를 내놨네요 미국의 기상청은 비는 안오고 흐린데 29도일 것이다 라고 예상했고 대한민국 기상청은 흐리고 28도쯤일 것이다 라고 예상을 했습니다 물론 엄청나게 현저한 차이가 있지는 않습니다 하지만 결과가 똑같지도 않죠 기상정보를 예측하기 때문에 실제와 크게 차이 없는 비슷비슷한 결과를 내놓긴 합니다. 그런데 우리는 의문인거죠. 같은 데이터를 사용합니다 분명히 기상정보가 같습니다 전세계 공용 데이터를 씁니다 그리고 같은 위치에 대해서 분석을 했습니다 그런데 왜 결과가 다를까 결과가 다른 이유는 바로 분석 모델이 다르기 때문입니다 분석 모델이라고 하는 것이 다른 것이죠 대한민국에서 A라고 하는 지역 YTN 방송국이 있는 이 지역의 날씨를 예측할 때 이 지역의 날씨를 결정하는 요인을 무엇이라고 볼 것인가 각각의 요인들의 영향력을 어느 정도라고 판단할 것인가 라는 게 각국의 기상청마다 의견이 다른 것입니다 같은 데이터로 같은 문제를 해결하는데 그때 중요한 게 이것이다 그것이 이만큼 중요하다는 것을 바라보는 관점이 각국의 기상청들이 모두 다른 것이죠. 이것이 바로 상황을 바라보는 관점, 그것을 우리가 분석 모델이라고 하는 것입니다. 분석 모델이 다르기 때문에 예측의 결과가 달라집니다. 즉, 우리가 비즈니스 데이터 분석을 한다고 할 때도 비즈니스 데이터 자체는 객관적이고 중립적입니다 누구나 다 그 데이터를 사용합니다 그리고 이 데이터를 가지고 예측하고자 하는 문제 판단하고자 하는 문제도 대체로 명쾌합니다 우리는 다음 달 매출을 알고 싶고 이것을 이렇게 하면 어떤 결과가 나올까 라는 것을 알고 싶습니다 이것은 모두 같습니다 데이터도 같고 해결하고자 하는 문제도 같습니다 하지만 같은 데이터로 같은 문제를 풀고자 한다고 해서 동일한 결과가 모두에게 나오는 건 아니라는 겁니다 각자 판단 결과로 내놓는 게 다릅니다 왜냐하면 분석 모델이 다르기 때문이죠 그 얘기는 우리가 비즈니스 애널리틱스를 잘하고 싶다 라고 한다면 내가 처한 상황에 대해서 더 좋은 분석 모델은 무엇인가 라고 하는 것을 판단할 수 있어야 되고 분석 모델이라는 것을 어떤 식으로 볼 것인가 라고 하는 관점, 능력 이런 것들이 필요하다 라고 말씀드릴 수 있겠습니다. 예시를 하나 더 들어보겠습니다. 미국의 크로거라고 하는 유통업체가 있습니다. 크로거가 굉장히 놀라운 기록을 갖고 있는데요. 엄청난 기록을 갖고 있습니다. 무려 52분기에 걸쳐서 52분기 동안 단 한 번도 매출이 떨어진 적이 없고 연속해서 성장을 거듭한 겁니다. 여러분, 52주가 아니고 52분기입니다. 분기, 13년 동안 매출이 지속적으로 그 폭이 다소 조금 적어지기도 하고 낮아지기도 하고 뭐 좀 굉장히 많이 성장하기도 할지 모르지만 우리 모두 알고 있지 않습니까. 원래 모든 것이 등락을 거듭하게 마련인데 크로거는 등락이 없이 항상 꾸준하게 성장을 이어 온 겁니다. 무려 13년 동안 그래서 이 크로거의 사례에 대해서 굉장히 많은 사람들이 관심을 가졌습니다. 도대체 어떻게 했길래 13년 동안 연속으로 성장을 하는 대단한 기록을 낼 수가 있을까 라고 했는데 크로거의 방법은 굉장히 단순했습니다. 크로거의 방법은 뭐냐면 매출의 가장 중요한 역할을 하는 로열 고객을 찾아서 이 로열 고객에게 집중하는 전략을 쓴 것이죠. 이 이야기가 다소 허무하게 느껴지시는 분들도 계실 수 있습니다. 우리 회사에 거래를 하는 고객이 많이 있는데 이 고객 중에서 중요한 고객을 찾아서 중요한 고객을 선별해서 그 사람들을 좀 특별히 관리함으로써 성장을 했다 라고 하면 그게 뭐 새롭고 놀랍고 어떠한 임팩트가 있는 것처럼 보이지는 않는데 라고 생각하실 수도 있습니다. 하지만 이제 이것을 우리가 직접 담당자가 돼서 실행한다 라고 하면 이제 얘기가 달라지게 되죠. 로열 고객에게 집중합니다 라는 말은 단순하지만 로열 고객을 그러면 어떻게 정할 것인가 라는 것이 현실에 실제로 해야 하는 실무가 되면 이게 복잡해지는 겁니다. 어떤 기준을 가지고 로열 고객을 정할 것인가 예를 들면 우리는 앞서서 마소마트의 이야기를 했습니다. 마소마트 같은 경우에는 이런 방법을 썼죠. 전체 고객이 있는데 이 고객 중에서 로열 고객을 정하는데 그 정도 그러한 매출이 나올 가능성은 0.5%도 안 된다. 그 정도 금액을 결제해 줄 결제하는 확률은 0.5%도 안 되는 그러한 고객을 우리가 로열 고객이라고 하겠다. 이것을 판단하기 위해서 3만 명의 데이터를 수집을 해서 평균으로부터 표준편차 3배만큼 떨어져 있는 이 선, 즉 125만 원 이상 결제하는 사람들, 그 사람들을 우리가 로열 고객이라고 정의를 하자라는 방식을 선택했습니다. 이것도 하나의 방법입니다. 이것도 이 상황, 이 문제를 해결하는 하나의 분석 모델인 것입니다. 그런데 분석 모델이라는 것은 이렇게 하나가 아닙니다. 우리가 동일한 기상 정보를 가지고 동일한 곳에 같은 시점의 날씨를 예측을 해도 기상청마다 결과가 다른 것처럼 같은 고객 데이터를 가지고 로열 고객, 매출 우리 매출에 기여하는 게 높은 어떤 그런 로열 고객을 정하겠다 라고 해도 이 상황을 간단하게 간결하게 요약하는 방법은 여러 가지가 있는 거죠. 우리가 앞서 본 한 가지 마소마트의 사례뿐만이 아니라 예를 들어서 현실에서는 예를 들어 ABC 분석 모델이라고 하는 어떤 방법과 RFM 분석 모델이라고 하는 이러한 두 가지 방법도 많이 쓰입니다. 물론 이것만 있는 것도 아니고 훨씬 더 많이 있습니다. 가장 많이 쓰이는 두 가지를 보여드리는 겁니다. 예를 들어서 ABC 분석 모델이다 라고 하면 ABC 분석 모델은 로열 고객을 파악하기 위해서 이런 식으로 합니다. 전체 고객이 있을 때 전체 고객이 이 각각의 고객의 매출액이 전체 매출에서 차지하고 있는 비중을 모두 고객별로 계산을 한 다음에 이 막대 그래프 면적처럼 보이는 막대 그래프가 굉장히 많은 그 고객들의 막대 그래프가 중첩되어 있는 것입니다. 그래서 이 각각의 고객이 전체 차지하는 비중을 파악한 다음에 전체 매출에서 전체 매출에서 예를 들어 총 40% 정도를 차지하는 극소수의 고객들, 그 사람들을 우리가 A등급 로열 고객이라고 하자. 40%에서 80% 가량을 차지하는 사람들, 그 사람들을 B등급이라고 하자. 나머지 대다수 인원이긴 하지만 매출에서 차지하는 비중이 얼마 없는 이 사람들을 C등급이라고 하기로 하자 라고 하는 이런 방식을 쓸 수도 있습니다. 이 방식만 있느냐? 그렇지 않고 이런 것도 있습니다. RFM 분석 모델이라는 것도 있는데요. 이건 비슷하지만 여기에 예를 들어서 각각의 사람들이 있다면 그러면 이 사람이 가장 최근에 방문한 건 어느 정도 되는가, 몇 번이나 방문했는가, 이 사람이 우리에게 매출을 얼마를 냈는가라고 하는 이런 것들을 종합적으로 좀 더 복잡한 방식입니다. 이런 종합적으로 고려를 해서 고객을 분류할 수도 있다라는 것이죠. 각각의 고객이 몇 월 며칠에 어떤 제품을 얼마치 샀다 라고 하는 데이터는 똑같은데 그리고 이 데이터를 가지고 우리가 우리의 매출의 기여도가 높은 중요한 고객들 로열 고객을 분류해 내겠다 라고 하는 분석의 목표도 똑같음에도 불구하고 그러면 그 상황을 어떻게 요약해서 그 로열 고객을 정할 것인가 라고 하는 것은 평균의 표준편차 3배를 곱해서 접근하는 이러한 방식도 가능하고 파레토 법칙을 사용하는 ABC 분석이라고 하는 것도 가능하고 빈도라던가 최근에 언제 거래를 했는가라고 하는 것들을 고려하는 RFM 분석도 모두 가능하다는 것입니다. 즉 우리가 동일한 데이터를 가지고 동일한 문제를 해결하더라도 어떤 분석 모델을 이용해서 해결할 것인가 라고 하는 지식, 그런 연습이 필요하다는 것이죠. 그럼 이런 지식과 이것을 판단하는데 어떤 분석 모델이 적합한가 비즈니스 도메인 경험과 지식