[AI] CHAT-GPT를 아시나요? (1)

"chat-GPT라고 들어봤어?"  

지인에게 물었습니다. 잘 모르다는 지인에게 일 할 때 막히는 부분이 있으면 거기에 한번 물어보라고, 생각보다 훌륭해서 깜짝 놀랄 거라고도 이야기했습니다. 그랬더니 그 친구는 "아~ 챗상담 같은 거야?"라고 합니다. 음.. 뭐 비슷하긴 하네..

 

챗 GPT가 뭔가? 

챗GPT는 인공지능입니다. 다만 서로 의사소통을 하듯, 대화할 수 있게 만들어졌습니다. 인공지능은 대화의 문맥과 상황을 파악할 수 있는 능력이 있고 그에 맞는 적절한 대답을 찾아낼 수 있습니다. 이를 위해 챗GPT는 아주 대량의 데이터를 학습하였고, 이를 바탕으로 답변을 찾아냅니다. 데이터를 가지고 인공지능을 학습시키는 일에 회사는 많은 돈을 투자하고 있습니다. 따라서 앞으로 더더욱 오류 가 거의 없는 답변을 찾아내는 진화된 챗GPT가 등장할 것이 분명합니다.

 

챗 GPT를 이해하기 위해서 몇 가지 전제할 것이 있습니다.

먼저, 컴퓨터의 연산능력은 인간이 상상할 수 없이 발전하였습니다. 챗 GPT뒤에는 1초에 315조 번의 연산을 할 수 있는 하드웨어가 붙어있습니다. 말도 안 되는 계산을 할 수 있습니다. 

기계가 사람처럼 추론할 수 있게 하기 위해서 처음에는 전문가시스템방식으로 접근했습니다. 예를 들어 고양이 사진을 분별하게 하기 위해서 고양이의 특징을 모두 입력하는 것입니다. 다리, 수염, 눈의 생김새, 색깔 등등.. 그런데 이렇게 하니  처음에는 스코어가 점점 올라가다가 일정 시점에서 다시 떨어지더라는 것입니다. 왜냐면 예외가 너무 많기 때문입니다. (교통사고를 당해 다리가 하나 없는 고양이를 보면 사람은 고양이라고 인식하지만, 기계는 고양이가 아니라고 인식하는 경우입니다.) 여기서 소위 인공지능의 겨울이 두 번이 옵니다. 각각 약 10년 정도의 정체기입니다.

 그런 시기를 지나면서 하드웨어가 엄청나게 발달하고(1초에 315조번 연산할 정도로) 딥러닝이라는 모델 - 인간의 뇌 신경망의 작동방식을 본떠서 만든 - 이 발전하면서 새로운 돌파구가 열립니다. 알파고가 이세돌 9단을 바둑에서 이겼는데, 그것이 뉴럴네트워크 방식으로 만든 차세대 인공지능입니다. 챗 GPT는 그 계열입니다. 

 고양이 사진을 떠올려 보면, 새 인공지능은 예전의 방식 - 인간이 일일이 정보를 주었던 방식-  을 따르지 않고, 고양이를 구분하는 것 까지도 인공지능에 다 맡기는 것입니다. 고양이 사진 15만장을 주고, 그 차이점을 스스로 찾아내게 하는 것입니다. 그 잡아낸 특징 하나하나를 매게 변수라고 하는데, 그 매게 변수가 10억 개가 됩니다. 그리고 그 10억 개 변수 하나하나에 가중치를 줍니다. 첫 번째 변수는 몇 점, 두 번째 변수는 몇 점, 세 번째 변수는 몇 점.. 이런 식입니다. 그리고 그것을 계속 전체 연산을 합니다. (1초에 315조 번의 연산을 할 수 있습니다.) 이 10억 개의 매개변수에 가중치를 주고 연산하니, 고양이를 거의 완벽하게 맞추더라는 것입니다. 그런데 인간은, 왜 잘 맞추는지를 모릅니다. 

 

왜 잘맞추지?

이게 문제입니다. 인간과 다른 방법으로 고양이를 골라냈기 때문에, 인간은 설명해 낼 수 없는 것입니다.

 

chat은 대화형이라는 의미입니다. 대화를 한다는 것은 기억이 있다는 것입니다. 인간은 대화할 때 지시대명사를 사용하는데, 그 지시대명사는 지난 대화의 흐름과, 그 대화에 대한 기억이 있어야 사용할 수 있습니다. (예: 어제 뭐 했어? 극장에서 영화 봤어. 그거 재밌니?  / 그거라는 것이 영화를 의미한다는 것을 기억하고 있는 것입니다.)

GPT의

   G는 Generative (생성하는)을 의미합니다. 그림과 동영상, 글을 생성할 수 있다는 것입니다. 

   P는 Pre-trained (사전 학습한)을 의미합니다.  뭘 학습했느냐면. 거대 언어모델(LLM)입니다. 어느 정도 거대하냐면, 3천억 개의 단어와 5조 개의 문서를 학습했다는 것입니다. 이 말은 인간이 만든 거의 모든 문서를 다 보았다는 것입니다. 뿐만 아니라. 퓨삿 러닝(Few-shot learning) 이라고 해서 그 분야의 모든 데이터를 주지 않아도, 조금(일부)만 주어도 스스로 학습을 한다는 것입니다. 언어를 학습했을 뿐인데, 전문 분야에 대한 것도 몇 가지 데이터만 주면 마치 잘 알고 있는 듯한 그럴듯한 대답을 내 놓을 수 있습니다.

  T는 Transformer(딥러닝 모델)을 의미합니다. 이는, 이 단어의 다음 단어가 뭐가 올지를 확률로 예측할 수 있는 능력입니다. 5조개의 문서로 학습한 능력입니다. 또한 핵심 단어를 파악할 수 도 있습니다. 이것은 인공지능이 마치 사람처럼 대화할 수 있는 능력의 핵심이 됩니다.  

 

대화형인데 거대한 언어모델로 사전학습을 했고 근사한 말을 뱉어낼 수 있습니다. 챗 GPT는 1,750억 개의 매개변수를 가지고 있습니다. 한번 연산을 할 때 1,750억개의 매개변수 가중치를 다 바꾸면서 계산합니다.  1초에 315조 번의 연산을 할 수 있는 컴퓨터 1만 대를 연결하였기 때문입니다. 

 

RLHF(Reinforcement Learning from Human Feedback)

인간의 피드백을 가지고 강화학습을 했다는 것도 큰 특징입니다. 

사람이 작성한 좋은 텍스트 5만여 개를 가지고 학습을 시킵니다. 그리고 내놓는 답을 보고 사람들이 평가를 합니다. 그것을 가지고 다시 학습을 합니다. 챗 GPT는 인간의 피드백을 가지고 강화학습을 한 결과, 인종차별 등의 문제를 잘 피해가게 되었습니다. 이 학습에 3.7조 원의 비용이 투자되었다고 합니다.

 

그 결과, 미네소타대 로스쿨 시험에서 에세이 작성을 하여 합격점수를 받았고, 와튼 스쿨 MBA 과정에서도 최종시험을 통과할 정도의 수준을 갖춥니다. 

 

챗 GPT의 쓰임

소프트웨어회사뿐 아니라 법률 사무소, 일기예보, 주식시장의 움직임, 스포츠경기 결과 안내, 그래픽 디자인 등

잠재된 패턴이 있는 곳들, 닫힌 세계에 있는 곳들, 엄격한 형식에 따라서 비슷한 형식의 결과를 도출하는 곳에서는 그 쓰임이 매우 훌륭합니다. 인공지능이 등장하면 사람들은 인간의 육체노동을 대신해 줄 것이라고 기대하지만, 실상은 전문영역이 우선적으로 대치되는 것이 사실입니다.