[ChatGPT] 개발자를 위한 ChatGPT 01, ChatGPT 발전 과정

ChatGPT 발전 과정

ChatGPT란?

ChatGPT는 대규모 언어 모델이기 때문에 방대한 텍스트 데이터를 학습에 활용했고, 트랜스포머의 구성 요소 중 디코더 부분을 활용하고 있습니다. 이와 같이 방대한 텍스트 데이터를 학습했기 때문에 단순한 문법적 오류 없는 텍스트 생성을 넘어서서 문맥상으로 적절한 언어를 생성하게 됩니다. 

 

ChatGPT의 동작 원리

ChatGPT는 트랜스포머의 인코더-디코더 아키텍처에 기반한 딥러닝 모델입니다. 인코더는 텍스트를 입력받아 이를 숫자 집합 형태로 표현형을 바꿔주는 것입니다. 디코더는 인코딩 된 숫자들의 집현 형태의 표현형과 이전에 출력했던 내용을 입력받아 텍스트를 출력하는 것입니다. 이 과정에서 모델은 '어텐션 메커니즘'을 사용합니다. '어텐션 메커니즘'은 문장 출력 시 입력 문장에서 문장 내 단어들 간의 관계 또는 중요한 부분들에 집중할 수 있게 해주는 기법입니다. 공부할 때 중요 부분에 밑줄을 치는 것과 흡사합니다.

 

ChatGPT의 진화

2018년 초기의 GPT는 파라미터의 수가 약 1억 1,700만개 정도였습니다. 그 후 GPT-2에서는 약 15억 개였습니다. GPT-4 모델에 대한 구체적인 학습 파라미터 수는 공개적으로 알려져 있지 않습니다. 그러나 이전 모델인 GPT-3의 경우 약 1750억 개의 학습 파라미터를 사용했습니다. GPT-4는 이보다 훨씬 큰 모델일 가능성이 있으므로, 더 많은 학습 파라미터를 사용할 것으로 예상됩니다. 이것은 OpenAI에서 공개한 자세한 정보에 따라 달라질 수 있습니다.

ChatGPT의 진화 과정에서 학습 파라미터 수