1-1. 데이터 분석 트렌드와 강의 소개

안녕하세요. Gephi와 네트워크 시각화로 시작하는 데이터 분석의 강의를 맡게 된 쎈타라고 합니다. 쎈타는 제 닉네임이고요. 저는 스타트업에서 프로덕트 매니저로 약 2년 정도 일을 하고 있습니다. 처음에 강의를 찍게 된 것은 이걸 제가 실제로 업무에 활용하고 있어서 그래요. 서비스 내에 저희 콘텐츠가 되게 많은데 그런 것들의 현황을 분석하고 앞으로의 큐레이션 전략을 짜기 위한 방법을 찾다가 이제 네트워크 분석이라는 분야를 알게 돼서 공부를 하게 됐고 실제로 시각화를 해서 나온 인사이트나 결과들이 나쁘지 않아서, 괜찮았어서 방법을 정리해서 공유하게 되었습니다. 강의에 대해서 말씀드리기 전에 데이터라는 것의 전반적인 이야기부터 먼저 말씀드릴게요. 요즘 데이터의 시대라고 이야기를 많이 하잖아요. 4차 산업혁명이다, 빅데이터다. 이런 게 중요하다, 미래다. 이야기를 많이 하는데 그런 거를 하려고 하는 동기는 사용자를 이해하기 위해서예요. 기업들 같은 경우에 사용자를 더 잘 이해하게 되면 사람들이 정말 원하는 것들을 만들어서 수익을 증가하는 데 도움이 될 수 있고 그렇게 되면 사용자 입장에서도 조금 더 나에게 맞는 서비스, 조금 더 나에게 맞는 제품들이 나와서 더 편한 사용자 경험을 하게 되겠죠. 그래서 그런 것들을 많이 하려고 하는데 그러면 사용자를 이해하기 위한 시도가 전에는 없었냐? 왜 갑자기 지금 데이터 관련한 직업이나 데이터 관련된 서비스들이 갑자기 트렌드가 되느냐 말씀드리자면 사용자를 이해하기 위한 방법론에서 약간 패러다임 시프트가 있었어요. 주로 여기서 많이 거론되는 게 넷플릭스인데 처음에는 이런 식으로 저희가 분석했어요. 인구통계 변수. 그러니까 이런 거죠. 남자들은 이런 걸 좋아해. 여자들은 이런 걸 좋아해. 10대는 이런 걸 좋아해. 20대는 이런 걸 좋아해. 30대는 이런 걸 좋아해. 이런 인구통계적인 변수를 가지고 고객의 성향과 행동을 예측했었는데 최근에는 고객의 구매 성향이 실시간으로 변하고 굉장히 빨라지다 보니까 이런 걸 가지고는 속된 말로 뽕을 뽑기 힘든거죠. 그런 와중에 넷플릭스가 그런 걸 보지 않고 뭐라 할까요. 행동 데이터, 실제로 고객이 어떻게 시청했는가에 대해서 고객의 취향을 분석하고 그런 것들이 훨씬 더 잘 맞는다는 걸 발견하게 되고 넷플릭스가 세계적인 대기업으로 성장하게 되면서 '이렇게 하는 게 데이터 분석이구나.' 하면서 그런 트렌드가 싹 퍼지게 됩니다. 그래서 정리하자면 사용자의 속성을 기반으로 한 사용자 행동 예측에서 사용자의 실제 행동을 기반으로 한 예측이 힘을 받으면서 그 행동을 수집한 자료, 데이터. 이것의 가치가 굉장히 올라가게 된 것이죠. 그리고 또 하나는 그 행동을 수집하는 것 자체가 굉장히 쉬워졌다는 환경 변화도 있습니다. 구글 애널리틱스라는 툴은 어느 정도 들어보셨을 거예요. 사용자가 웹페이지에서 어느 페이지를 봤고 서로 다른 조건일 때 이런 조건으로 했을 때는 사용자가 어떤 행동을 하고 이런 조건일 때는 이런 행동을 하고. 이런 식으로 사용자의 클릭부터, 페이지 방문, 체류 시간까지 어느 기기에서 들어왔고 어디에서 이탈했고 이런 것까지 굉장히 상세한 데이터들을 서비스들에서 수집할 수 있게 됐습니다. 그래서 이런 것들을 약간 creepy하게 느끼는 부분이 있을 수 있는데 사실 이런 자료들이 기반이 돼서 사용자들에 대한 이해를 좀 더 높이는 건 사실이에요. 그래서 데이터 자체가 굉장히 풍부해졌다. 그리고 지금은 PC나 모바일에서만 나오는 데이터가 기반이 되고 있지만 나중에 IoT 시대가 오면 정말 이런 데이터를 수집할 수 있는 기기 자체가 굉장히 다양해질 거예요. 그 수많은 데이터를 가지고 저희는 사용자를 조금 더 잘 이해할 수 있게 되는 것이죠. 그래서 굉장히 많은 데이터 분석 기법들이 있는데 그 중에서 네트워크 분석이라는 거는 relationship, 관계. 사용자와 콘텐츠의 관계, 사용자와 사용자 간의 관계 여기에 포커스를 맞춘 데이터 분석의 한 섹터라고 생각하시면 되겠습니다. 진행하기 전에 데이터 관련 직업에 대해서 조금 알아보고 갈게요. 과연 시각화라는 게 어디에 속하는지 먼저 말씀드리고 싶어서 이걸 중간에 잠시 끼워 넣었는데 크게 데이터 관련 직업은 세 가지로 분류됩니다. 과학자, 엔지니어, 분석가 세 가지로 분류돼요. 가장 먼저 소개해드릴 게 Data Scientist인데 이 분들은 실제로 수학, 통계 쪽에서 석·박사 이런 식으로 보통 자격 요건이 되고요. 실제로 알고리즘을 만드십니다. 그래서 이런 경우에는 이런 알고리즘이 좀 더 사용자 데이터에 fitting이 잘 돼. 그러니까 사용자 데이터가 이미 있고 이걸 예측할 수 있는 모델이 있는 거예요. 이 모델을 설계하십니다. 그래서 이 모델을 하니까 사용자가 행동하는 거에 좀 더 잘 맞네. 그러면 이 모델을 가지고 아직 정보가 없는 사용자가 들어왔을 때 이 사용자가 어떻게 할지 예측할 수 있겠죠. 그런 모델을 설계하는 게 Data Scientist고 Data Engineer 같은 경우는 실제로 데이터를 수집하고 내부에서 처리하는 인프라들을 만듭니다. 그래서 일반적으로 클라우드 쪽에서 개발 지식이라든가 아니면 하둡이라든가 스파크라든가 이런 걸 써서 하는 쪽이고요. Data Analyst, 이거는 뭐냐하면 그렇게 만들어 놓은 여러 가지 데이터를 가지고 이걸 나름의 분석 기법으로 분류하고 시각화해서 여기에서 의사 결정할 수 있는 인사이트를 뽑아내는 게 Data Analyst입니다. 그래서 시각화 같은 경우에는 Data Analyst의 영역에 속한다고 보시면 돼요. 제 강의에 대한 설명을 먼저 드리겠습니다. OT를 빼면 크게 네 가지 파트고 첫 번째는 그래프 이론. 네트워크 분석을 하기 위한 이론적인 부분에 대해서 먼저 말씀드립니다. 이거 같은 경우에는 그렇게 깊은 수준까지 안 들어갈 거예요. 왜냐하면 저희는 Data Scientist가 아니라 Analyst라는 시각으로 이 강의를 진행할 것이기 때문에 복잡한 알고리즘이나 이런 것에 대해서는 설명드리지 않고 아래쪽에 실습을 진행하면서 이게 뭐지? 이게 대체 무슨 단어야? 이게 무슨 의미가 있는거지? 이렇게 붕 뜨지 않도록 수식 없이 설명하는 파트가 될 것입니다. 그리고 아래쪽에서는 실제로 Gephi라는 프로그램을 이용해서 저희가 실습을 하고 시각화하는 작업들을 할 거고 크게 3번의 실습 기회를 가질 거예요. 그리고 준비물이 있습니다. 준비물은 당연히 컴퓨터가 있으셔야 되고 Gephi라는 프로그램을 이용할 것이기 때문에 Windows, Mac, Linux 셋 중에 아무거나 있으시면 됩니다. Gephi가 이걸 다 지원해요. 서로 다른 설치 파일을 다운로드 받으셔서 설치하시면 되고요. Gephi 자체가 오픈 소스로 무료 다운로드, 설치, 이용이 가능합니다. 그래서 이걸 설치하는 부분들은 강의에서 같이 나올 거고요. 그 다음에 Gephi 안에서 돌릴 데이터셋이 필요한데 이것도 무료로 구할 수 있는 부분들이 있고요. 이것 같은 경우는 강의에서 어디에서 이걸 구할 수 있는지 알려드릴 거고 참고자료에도 이걸 넣어놓을 겁니다. 일단 이 강의에서 추가로 말씀드릴 것은 이런 데이터셋을 직접 만드는 것은 저희가 이 강의에서는 다루지 않을 거예요. 그거는 따로 crawling이나 SQL이라든가 그런 거에서 따로 공부하시고 저희는 있는 데이터셋을 가지고 어떻게 시각화를 할 것인지 거기에 집중할 것이라는 거 미리 말씀드리겠습니다. OT는 여기에서 마무리하고요. 이제 데이터 기초 이론부터 시작하도록 하겠습니다.