딥러닝(DL) 발전의 네 가지 핵심 동력

딥러닝의 발전의 네 가지 핵심 동력

1. 딥러닝 하드웨어의 발전

과거 25년 간의 하드웨어 발전은 딥러닝 모델 실행의 현실적인 가능성을 크게 높였습니다. 1990년부터 2010년까지 CPU 성능은 거의 5000배 향상되었으며, 노트북에서도 작은 딥러닝 모델을 실행할 수 있게 되었습니다.

그러나 딥러닝 모델의 규모가 커짐에 따라 컴퓨터 비전이나 음성 인식과 같은 작업에 사용되는 딥러닝 모델은 노트북의 10배 이상의 계산 능력이 필요합니다.  2000년대에는 NVIDIA, AMD 등의 기업들이 대용량 고속 병렬칩을 개발하는 데 수십억 달러를 투자하였습니다. 이러한 칩들은 주로 비디오 게임의 그래픽 성능 향상을 목적으로 설계되었지만, CUDA와 같은 프로그래밍 인터페이스를 통해 과학 커뮤니티에도 적용되었습니다.

2011년 NVIDIA가 CUDA를 출시함에 따라 병렬 애플리케이션 구현이 가능해졌고, 이를 통해 대형 CPU 클러스터에서 소량의 GPU로 대체할 수 있게 되었습니다. 딥러닝에서는 주로 행렬 곱셈이 사용되어 이를 효율적으로 병렬화할 수 있었습니다.

더 나아가 딥러닝 산업은 GPU를 넘어 효율적이고 특화된 딥러닝 칩에 투자하고 있습니다. 구글은 2016년 I/O 행사에서 텐서 처리 장치 프로젝트를 공개하여 심층 신경망을 위해 완전히 새롭게 설계된 고성능 칩을 개발했습니다. 이러한 기술적 발전은 딥러닝 모델의 효율성과 성능 향상에 큰 영향을 미치고 있습니다.

 

2. 데이터의 역할

과거 20년 동안 저장 장치 기술의 급격한 발전과 함께, 머신러닝을 위한 대량의 데이터셋을 수집하고 배포할 수 있는 인터넷의 성장이 시장의 판도를 급격히 바꾸었습니다. 현재 대규모 기업들이 사용하는 이미지, 비디오, 자연어 데이터셋은 거의 대부분 인터넷을 통해 수집되고 있습니다. 플리커에서 사용자가 부여한 이미지 태그나 유튜브 비디오는 컴퓨터 비전 및 자연어 처리 분야에서 보물 같은 데이터로 간주됩니다. 위키피디아는 특히 자연어 처리 분야에 필수적인 핵심 데이터셋 중 하나로 꼽힙니다.

딥러닝의 급격한 발전을 이끈 촉매제로 꼽히는 데이터 중 하나는 ImageNet 데이터셋입니다. 이 데이터셋은 1400만 개의 이미지를 1000개의 범주로 구분하며, 그 크기 뿐만 아니라 매년 열리는 경연대회로 유명합니다.

2010년에 캐글에서 시작된 공개 경연대회는 연구자들과 기술자들이 한계를 뛰어넘을 수 있도록 도와주는 훌륭한 도구로 자리매김했습니다. 연구자들이 경쟁을 통해 공통의 벤치마크를 제시하면서 딥러닝의 성장에 상당한 도움이 되었습니다.

 

3. 알고리즘의 발전

하드웨어와 데이터에 이어 2000년대 후반까지는 매우 깊은 심층 신경망을 안정적으로 훈련시킬 수 있는 방법을 찾지 못해 딥러닝은 얕은 신경망에 한정되어 있었습니다. SVM과 랜덤 포레스트와 같은 얕은 학습 방법에 비해 큰 성과를 내지 못했던 이유 중 하나는 신경망을 훈련하기 위한 피드백 신호가 층이 늘어남에 따라 희미해지는 현상이었습니다.

그러나 2009~2010년 경에 몇 가지 간단하지만 중요한 알고리즘이 등장하면서 그레이디언트를 더 잘 전파시키게 되었습니다. 활성화 함수, 가중치 초기화 방법, 최적화 방법 등의 개선으로 10개 이상의 층을 가진 모델을 훈련시킬 수 있게 되면서 딥러닝이 본격적으로 주목받기 시작했습니다.

이후 2014~2016년 사이에는 그레이디언트 전파를 더욱 효과적으로 만들어 주는 배치 정규화, 잔차 연결, 깊이별 분리 합성곱과 같은 고급 기술들이 개발되었습니다. 특히, 배치 정규화는 신경망 훈련을 안정화시키고 빠르게 수렴하게 만들어 주는 역할을 했습니다.

오늘날에는 어떤 깊이의 모델이라도 효과적으로 훈련할 수 있게 되었고, 이는 매우 풍부한 가설 공간을 가진 것을 의미합니다. 이런 발전으로 인해 상당히 큰 모델의 사용이 가능해졌고, 이는 수십 개의 층과 수천만 개의 파라미터를 가진 모델 구조가 컴퓨터 비전과 자연어 처리 분야에서 중요한 발전을 이끌어냈습니다.

 

4. 딥러닝의 새로운 투자 동향

2012~2013년, 딥러닝이 컴퓨터 비전과 지각과 관련된 모든 문제에서 최고의 성능을 보이자, 산업 리더들은 이에 주목하며 투자의 풍경이 새롭게 형성되었습니다. 2011년에는 딥러닝이 주목받기 전, 전 세계 벤처 캐피털이 AI에 투자한 금액이 10억 달러 미만이었습니다. 이 대부분은 머신 러닝 애플리케이션에 사용되었습니다. 그러나 2017년에는 투자 금액이 160억 달러로 급증하면서 딥러닝의 인기를 확인할 수 있었습니다. 이로써 딥러닝을 중심으로 한 수백 개의 스타트업이 등장했습니다.

이러한 투자의 파급 효과로 딥러닝 분야에서 종사하는 인원은 지난 10년 동안 몇백 명에서 몇만 명으로 급격히 증가했습니다. 연구는 빠른 속도로 진전되며, 딥러닝은 인공 지능 분야에서 꾸준한 관심을 받고 있습니다.