ChatGPT발전과정1 [ChatGPT] 개발자를 위한 ChatGPT 01, ChatGPT 발전 과정 ChatGPT 발전 과정 ChatGPT란? ChatGPT는 대규모 언어 모델이기 때문에 방대한 텍스트 데이터를 학습에 활용했고, 트랜스포머의 구성 요소 중 디코더 부분을 활용하고 있습니다. 이와 같이 방대한 텍스트 데이터를 학습했기 때문에 단순한 문법적 오류 없는 텍스트 생성을 넘어서서 문맥상으로 적절한 언어를 생성하게 됩니다. ChatGPT의 동작 원리 ChatGPT는 트랜스포머의 인코더-디코더 아키텍처에 기반한 딥러닝 모델입니다. 인코더는 텍스트를 입력받아 이를 숫자 집합 형태로 표현형을 바꿔주는 것입니다. 디코더는 인코딩 된 숫자들의 집현 형태의 표현형과 이전에 출력했던 내용을 입력받아 텍스트를 출력하는 것입니다. 이 과정에서 모델은 '어텐션 메커니즘'을 사용합니다. '어텐션 메커니즘'은 문장 출력.. 2023. 7. 23. 이전 1 다음
