머신 러닝의 역사 (2) - 결정 트리에서 딥러닝까지

머신 러닝의 역사

1. 결정트리, 랜덤포레스트, 그레이디언트 부스팅 머신

결정트리는 플로차트 같은 구조를 가지며 입력 데이터 포인트를 분류하거나 주어진 입력에 대해 출력 값을 예측합니다. 결정 트리는 시각화하고 이해하기 쉽습니다.데이터에서 학습되는 결정트리는 2000년대부터 연구자들에게 크게 관심을 받기 시작했고 2010년까지는 커널 방법보다 선호되곤 했습니다.

 

특히 랜덤포레스트 알고리즘은 결정 트리 학습에 기초한 것으로 안정적이고 실전에서 유용합니다. 서로 다른 결정 트리를 많이 만들고 그 출력을 앙상블하는 방법을 사용합니다. 랜덤 포레스트는 다양한 문제에 적용할 수 있습니다. 얕은 학습에 해당하는 어떤 작업도 거의 항상 두 번쨰로 좋은 알고리즘입니다. 잘 알려진 머신 러닝 경연 웹 사이트인 캐글이 2010년에 시작되었을때 부터 랜덤 포레스트가 가장 선호하는 알고리즘이 되었습니다. 2014년에 그레이디언트 부스팅 머신이 그 뒤를 이어받았습니다. 랜덤 포레스트와 아주 비슷하게 그레이디언트 부스팅 머신은 약한 예측 모델인 결정 트리를 앙상블 하는 것을 기반으로 하는 머신러닝 방법 입니다. 이 알고리즘은 이전 모델에서 놓친 데이터 포인트를 보완하는 새로운 모델을 반복적으로 훈련함으로써 머신 러닝 모델을 향상 하는 방법인 그레이디언트 부스팅을 사용합니다. 결정 트리에 그레이디언트 부스팅 방식을 적용하면 비슷한 성질을 가지면서도 대부분의 경우에 랜덤 포레스트의 성능을 능가하는 모델을 만듭니다. 이 알고리즘이 오늘날 지각에 관련되지 않은 데이터를 다루기 위한 알고리즘 중 최고는 아니지만 가장 뛰어난 것 중 하나 입니다. 딥러닝을 제외하고 캐글 경연 대회에서 가장 많이 사용되는 방법입니다.

 

2. 신경망의 부활과 현대적 성과

2010년경에는 신경망이 대부분의 과학 커뮤니티에서 주목받지 못한 시기였습니다. 그러나 몇몇 연구자들은 여전히 신경망에 대한 연구를 수행하며 중요한 성과를 이루기 시작했습니다.

2011년, IDSIA의 댄 크리슨이 GPU를 활용한 심층 신경망으로 학술 이미지 분류 대회에서 우승한 것은 신경망의 첫 주요 성과로 꼽힙니다. 이를 계기로 2012년에는 대규모 이미지 분류 대회인 ImageNet에서 힌튼 팀이 등장하면서 딥러닝의 길이 열렸습니다. 2012년에 제프리 힌튼이 조언자로 참여한 팀이 이끄는 알렉스 크리체브스키가 상위 5개 예측에 대한 정확도 83.6%를 달성했습니다. 이로 인해 매년 이 대회는 심층 합성곱 신경망이 우승을 차지하게 되었고, 2015년에는 정확도 96.4%로 이미지 분류 문제가 완전히 해결되었습니다.

2012년부터 심층 합성곱 신경망은 컴퓨터 비전 작업의 핵심 알고리즘으로 자리 잡았습니다. 지각에 관한 모든 문제에 적용 가능하며, 2015년 이후로는 컴퓨터 비전 분야의 다양한 콘퍼런스에서 컨브넷을 사용하지 않은 발표를 찾기 어려울 정도입니다. 더불어 딥러닝은 자연어 처리와 같은 다른 영역에도 확장되어 SVM과 결정 트리를 대체하는 역할을 하고 있습니다. 

 

3. 딥러닝의 특징

 

딥러닝이 이렇게 빠르게 확산된 주된 이유는 많은 문제에서 더 좋은 성능을 내고 있기 때문입니다. 하지만 그것뿐만이 아닙니다. 딥러닝은 머신 러닝에서 가장 중요한 단계인 특성 공학을 완전히 자동화하기때문에 문제를 더 해결하기 쉽게 만들어 줍니다.

 

얕은 학습인 이전의 머신 러닝 기법은 입력 데이터를 고차원 비선형 투영이나 결정트리 같은 간단한 변환을 통해 하나 또는 2개의 연속된 표현 공간으로만 변환합니다. 하지만 복잡한 문제에 필요한 잘 정제된 표현은 일반적으로 이런 방식으로 얻지 못합니다. 이런 머신 러닝 방법들로 처리하기 용이하게 사람이 초기 입력 데이터를 여러 방식으로 변환해야 합니다. 즉, 데이터의 좋은 표현을 수동으로 만들어야 합니다. 이를 특성공학 이라고 합니다. 그에 반해 딥러닝은 이 단계를 완전히 자동화합니다. 딥러닝을 사용하면 특성을 직접 찾는 대신 한 번에 모든 특성을 학습할 수 있습니다. 머신 러닝 워크플로를 매우 단순화시켜주므로 고도의 다단계 작업 과정을 하나의 간단한 엔드투엔드 딥러닝 모델로 대체 할 수 있습니다.

 

딥러닝이 데이터로부터 학습하는 방법에는 두 가지 중요한 특징이 있습니다. 층을 거치면서 점진적으로 더 복잡한 표현이 만들어진다는 것과 이런 점진적인 중간 표현이 공동으로 학습된다는 사실입니다. 이러한 특징이 이전의 머신 러닝 접근 방법보다 딥러닝이 훨씬 성공하게 된 이유입니다.