비전공자를 위한 ChatGPT의 생성형 AI(Generative AI) 쉽게 알아보기

ChatGPT를 사용해 보면, 마치 사람과 채팅하는 것과 같은 느낌을 받습니다. 키워드를 주면 순식간에 사람보다 빠른 속도로 문장을 만들어내기 때문입니다. 이렇게 문장을 생성하는 능력을 가진 AI를 생성형 AI라고 합니다.

 

이번 글에서는 비전공자도 이해할 수 있도록 ChatGPT와 생성형 AI(Generative AI)에 대해서 쉽게 정리했습니다. 글의 순서는 다음과 같습니다.

• 생성형 AI는 무엇인가
• 생성형 AI와 ChatGPT의 핵심 기술 1 : GAN 학습 모델
• 생성형 AI와 ChatGPT의 핵심 기술 2 : Transformer 모델
• 생성형 AI와 ChatGPT의 핵심 기술 3 : GPU

생성형 AI(Generative AI)

 

생성형 AI(Generative AI)는 무엇인가

 

생성형 AI란 주어진 단어, 입력 값들을 기반으로 문장, 글, 그림, 음악 등을 만들어내는 능력을 가진 AI입니다. 즉, 생성형 AI는 텍스트뿐 아니라 이미지, 비디오, 오디오, 코드 등을 생성하는 데 사용할 수 있는 모든 유형의 인공지능을 의미합니다.

 

생성형 AI에는 다음과 같은 종류의 AI들이 있습니다.

• 무엇이든 대답해 주고, 글도 써주고, 코딩도 해주는 AI : ChatGPT
• 택스트를 입력하면 무엇이든 그려주는 AI : DALL-E2, Stable Diffusion, Midjourney
• 텍스트를 입력하면 음악으로 들려주는 AI : musicLM, AudioLM

 

 

생성형 AI와 ChatGPT의 핵심 기술 1 : GAN 학습 모델

 

생성형 AI는 초기에 데이터 기반의 예측과 추천을 해주는 Analytic AI 위주로 발전했습니다. 그리고 2014년 무렵부터 이미지 영역에서 GAN을 활용한 기술이 등장하면서 생성형 AI가 사람들에게 본격적으로 알려지기 시작했습니다.

 

GAN은 Generative Adversarial Network의 약자입니다. 생성자와 판별자라는 두 개의 신경망으로 이루어져 있으며, 적대적 학습을 통해 성능을 개선합니다.

 

생성자는 실제 데이터와 비슷한 가짜 데이터를 만들도록 학습하고, 판별자는 진짜와 가짜 데이터를 구별하도록 학습합니다. 이렇게 생성자와 판별자가 각각 신경망 역할을 하면서 적대적 학습 방식으로 모델의 성능이 개선됩니다.

 

GAN 학습모델은 현재 이미지, 음악, 텍스 등의 생성 작업에서 널리 사용되고 있습니다. 그리고 ChatGPT도 GAN 학습 모델을 적용해서 발전했습니다.

 

 

생성형 AI와 ChatGPT의 핵심 기술 2 : Transformer 모델

 

지금 세상을 놀라게 한 ChatGPT의 성능은 Transformer라는 기술 덕분입니다. 그래서 ChatGPT의 이름에는 T(Transformer가 들어있습니다.(GPT는 Generative Pretrained Transformer의 약자입니다.)

G는 "Generative"로 OpenAI가 만든  딥 러닝을 사용해 사람과 유사한 텍스트를 생성하는 일종의 대규모 언어 모델(LLM)로 수신한 입력을 기반으로 새 텍스트를 생성할 수 있기 때문에 붙여졌습니다.

P는 "Pretrained"로 특정 작업에 대해 미세 조정하기 전에 대규모 텍스트 데이터 모음에서 훈련을 받아서 붙여졌습니다.

가장 중요한 T를 의미하는 Transformer는 2017년 Google이 발표한 논문 'Attention Is All You Need'에서 처음 등장한 모델입니다. Transformer는 매우 어렵고 복잡한 기술이지만 아래와 같이 한 문장으로 간단하게 정리할 수 있습니다.

 

문장 속 단어와 같은 순차 요소들 사이의 관계와 패턴을 수학으로 찾아내 맥락과 의미를 학습하는 신경망

 

Transformer 기술은 라벨링 되지 않은 데이터셋으로 데이터 관계를 스스로 추적해 훈련할 수 있습니다. 스스로 추적해 훈련이 가능하기 때문에 CNN, RNN과 같은 전통적인 신경망 학습 대비 시간과 비용을 절감할 수 있는 큰 장점이 있습니다.

 

또한 Transformer는 병렬 연산에 적합하기 때문에 대규모 모델의 학습과 추론이 빨라집니다. NVIDIA 창리자 겸 CEO인 젠슨 황으로부터 아래와 같은 평가를 받았습니다.

Transformer 기술은 자가지도(Self-Supervised) 학습을 가능하게 하고, AI가 초고속으로 움직이게 한다.

 

Transformer는 최근 2~3년간 가장 인기 있는 딥러닝 모델 중 하나입니다. AI를 연구하는 사람들은 이 모델을 활용해서 파라미터를 늘리면, AI능력이 일취월장한다는 사실을 발견했습니다.

 

그래서 AI 연구하는 사람들인 이 파라미터를 수천억 개로 늘려보면서 GPT-3와 LaMDA 등의 초거대 언어모델이 탄생하게 되었습니다. 그리고 계속된 연구로 AI가 사람의 말을 훨씬 잘 이해하게 되는 결과들이 나오기 시작했습니다.

 

ChatGPT와 대화할 때 마치 사람과 대화하는 것처럼 방금 전에 내가 한 말도 기억하고, 맥락 속에서 답변해 주는 것도 Transformer 기술 덕분입니다. 또한 사용자가 부탁하는 대로 글을 써주고, 그림을 그려주고, 코딩까지 해주는 것도 이 기술 덕분입니다.

 

 

생성형 AI와 ChatGPT의 핵심 기술 3 : GPU

 

ChatGPT와 생성형 AI가 진화하고 발전하는 데에 꼭 필요한 기술과 부품이 있습니다. 바로 병렬 컴퓨팅 자원인 GPU입니다. GPU는 데이터를 병렬처리해서 학습하기 때문에 Transformer의 수많은 파라미터의 계산을 위해서 반드시 필요합니다.

 

전문가들은 ChatGPT Beta 버전에서 10,000개의 NVIDIA GPU가 딥러닝을 위해 사용되었다고 보고 있습니다. 또한 현재는 25,000개 이상의 NVIDIA GPU를 활용해 딥러닝 훈련을 하고 있다고 분석하고 있습니다.

 

정리해 보면 세상을 놀라게 한 ChatGPT는 앞서 설명한 GAN 학습 모델과 Transformer 기술 덕분에 성능이 크게 향상되었고, 그 밑바탕에는 GPU라는 필수 부품이 있다는 것을 알 수 있습니다.

 

즉, GAN과 Transformer, (NVIDIA의) GPU가 이번 ChatGPT-3.5 모델의 핵심입니다.