파이썬 머신러닝_핵심 프로세스 정리

머신러닝에서 지도학습이 진행되는 과정을 도식화해서 그려 드릴게요 데이터가 저희가 주어지면 데이터는 크게 사실은 트레인 데이터 세트 하고요 그 다음에 테스트 세트로 두 개를 나눠야 돼요 스플릿해서 나눠야 되는데 일단 트레인 데이터 세트 시 저희가 훈련하는 데이터니까 학습하는 데이터니까 트레인 데이터와 뭐가 들어가야 되냐면 이 트레인 데이터에 해당되는 정답이 있어야 돼요 정답을 저희가 레이블이라고 말씀드렸잖아요 그래서 이 데이터에 해당되는 레이블을 같이 입력한 다음에 모델을 만드는 거죠 예측 모델을 만드는 거고요 그래서 이 모델을 만드는데 이렇게 만들어진 모델이 이게 만들어지면 이 모델이 저희가 그 테스트를 해봐야 되기 때문에 테스트를 따로 뺐잖아요 트레인 데이터셋이 가지고 있지 않은 그 검증 데이터셋이 따로 있단 말이에요 그래서 검증 데이터를 가지고 나서 이 모델에 맞춰보는 거죠 맞춰서 예상하는 걸 저희가 프레딕션 예측한다 라고 얘기하는 겁니다 프레딕션은 예상하는 거잖아요 그럼 예상이 얼마나 맞았는지 보는 거는 테스트 정답을 갖고 있어요 이렇게 테스트 정답을 갖고 있어서 테스트의 정답에 해당되는 걸 프레딕션이랑 맞춰보는 거죠 이 정답에 해당되는 것을 프레딕션을 맞춰봅니다 이 맞추는 과정을 저희가 뭐라고 그러냐면 evaluation 한다라고 해요 그래서 평가를 하는 거죠. 이 모델이 얼마나 정확하게 테스트 데이터를 가져다가 잘 맞췄는지 예상했는지를 보는 겁니다. 그래서 이 prediction하고 예상된 데이터랑 실제 데이터 값이 많이 잘 맞다고 하면 굉장히 좋은 예측 평가가 나오는 거고 그 평가된 모델이 좋은 모델이라고 판단하는 거고 그 데이터 모델은 굉장히 좋은 모델이라고 생각할 수가 있는 부분이고요. 이 전반적인 그 지도학습의 과정, 진행 과정에서 전체적인 진행 과정이에요. 진행 과정에서 저희가 두 가지로 분류해서 할 수 있어요 테스트 데이터와 그 정답을 가지고 레이블을 가지고 저희가 학습하는 과정을 트레인 과정이라고 해요 학습하는 과정이고요 그리고 이게 숨겨놨던 테스트 세트는 숨겨놔야 돼요 트레인 할 때 절대 보여주면 안 되거든요 그래서 테스트 데이터랑 정답을 가지고 예상을 하고 평가하는 것을 저희가 일반화하는 과정 모의고사를 100점 맞아도 실제 수능 점수에서는 점수가 안 나올 수 있잖아요 그래서 트레인에서 점수가 높다 해서 일반화된 수능 점수에서 좋은 점수를 받을 수는 없는 거거든요 그래서 얘를 따로 평가하는 과정들을 해야 되고 그래서 저희가 이제 훈련 데이터셋은 아예 정답을 갖고 있기 때문에 아무리 패턴을 여기서 잘 맞춰도 훈련 과정에서 아주 좋아도 일반화하는 과정에서 점수가 떨어지면 좋은 모델이 될 수가 없어요 그래서 저희가 테스트 데이터셋을 따로 빼서 이 일반화 과정을 진행해 보고 일반화 과정에서 좋은 점수를 얻어야만 그러니까 둘 다 점수가 좋아야 되죠 사실은 모델을 여기 만드는 평가 점수가 좋아야 되고 또 이 밸류에이션 점수가 좋아야 좋은 모델이라고 할 수가 있습니다