언어 모델은 똑똑한 말 한스와 같다

우리는 앞서서 생성 AI가 우리가 간단한 말을 입력함으로써 인공지능을 주제로 시를 써줘 또는 이러한 그림을 그려줘 라고 자연적인 언어를 입력함으로써 굉장히 다양한 결과물을 만들어 갈 수 있다 라고 하는 것을 살펴봤습니다 그러면 인간의 언어를 어떻게 인공지능이 받아들일 수 있는가 이러한 언어 모델에 대해서 조금 더 이해할 수 있도록 영리한 말 한스의 이야기를 해보도록 하겠습니다. 지금으로부터 한 120년쯤 전이네요. 1901년도에 독일에 굉장히 똑똑한 말 한스가 살고 있었습니다 지금 사진에서 보고 계시는 이 말이 바로 한스인데요 우리가 이 한스의 이야기를 클레버 한스 영리한 한스 효과라고 말하기도 하고 똑똑한 말 한스 다양한 어떤 의미로 이야기를 합니다 한스의 이야기를 조금 해보겠습니다 한스는 어떤 말이었냐면요 단순히 그냥 뭐 잘 달리는 말, 멋있는 말 이런 게 아니었고요 정말 영리한 말이었습니다 어떻게 영리했느냐? 사칙 연산이라던가 제곱근 계산도 가능하고 이게 무슨 뜻이지? 이게 어떤 단어지라고 하면 단어를 맞추는 것까지도 가능한 똑똑한 말이었습니다 예를 들어서 1 더하기 2는 얼마인가? 라고 물어보면 정답은 3이다 라고 하는 것을 맞춰야 되는 거죠 이러한 계산이 되려면 이 문제 자체를 받아들일 수 있어야 하고 이것을 이해할 수 있어야 되고요 또 수의 개념이 있어야 되는 거죠 거기에 더하기라고 하는 연산에 대해서도 이해할 수 있어야만 이것이 가능합니다 이게 정말 말이 그것을 할 수 있는가 정말 사람들이 관심을 갖고 흥분할 수밖에 없는 이야기죠 근데 한스가 이것을 정말로 해낼 수가 있었던 겁니다 지금 왼쪽 사진에 보고 계시는 한스 옆에 있는 사람이 바로 오스텐이라고 하는 사람인데요 말 한스의 주인이에요 그래서 우리 말 한스가 1 더하기 2는 3이라는 걸 알고 있습니다 그래서 제가 1 더하기 2는 얼마지? 라고 물었을 때 한스가 3이라는 뜻으로 말발굽을 한 번 두 번 세 번 쿵쿵쿵 두드려서 정답을 맞춥니다 라고 사람들한테 이야기했습니다 그러자 사람들이 정말 구름떼처럼 몰려들어서 정말 할 수 있나? 다양한 문제도 내보고 구경도 하고 신기해 했죠 한스가 답을 너무 잘 맞추는 거예요 이때 누군가가 의문을 제기했습니다 이거 사실은 한스가 맞추는 게 아니라 주인이 한스의 옆구리를 3번 찔러서 한스가 3번 찌르니까 이렇게 표현하는 거 아니냐 혹시 주인인 오스텐이 컨닝을 하게 만드는 거 아니냐 라고 의문을 제기했습니다 굉장히 합리적이죠 그래서 오스텐이 아니다 내가 없어도 이것을 할 수 있다 라는 것을 보여주기 위해서 정말 주인이 없는 자리에서 전혀 모르는 사람들이 모여서 한스가 정말로 계산을 할 수 있는가 라고 하는 것을 테스트했습니다 놀랍게도 한스는 해냈습니다 그래서 오스텐이 없어도 한스가 이것을 잘 풀어낸다 그러니까 조작이 없다 정말로 한스는 이것을 풀 수 있는 것이다 라고 하는 것을 입증한 겁니다 세상이 발칵 뒤집혔습니다 말이 계산을 할 수 있다니 이게 진짜 가능한 건가? 정말 한스는 그걸 계산하는 능력이 있는 건가? 많은 사람들이 궁금해했고 이것을 과학적으로 검증하기 위해서 위원회까지 만들어졌습니다 한스위원회라고 부르는데요 이 똑똑한 말 한스가 정말 계산 능력이 있는가 사람의 말을 알아들을 수 있는가 정말 이 단어를 알아서 이걸 맞추는 건가 라고 하는 것을 다각도로 검증하는 과학자들의 집단이 한스위원회였습니다 이 한스위원회가 오랜 시간 동안 다양한 방법으로 이 문제를 확인했는데요 그 결론은 1904년도에 드디어 확실한 결론이 내려졌습니다 1904년도에 심리학자인 펑스트라고 하는 사람이 결과를 발표했습니다 한스는 실제로 수학 문제를 풀 수 없다 한스는 1 더하기 2가 3이라는 사실을 알지 못한다 또 우리가 이것이 정답이 무엇이냐 이 빨갛고 동그랗고 맛있는 이 과일의 이름이 무엇이냐 라고 물었을 때 한스는 그 과일의 이름이 애플이라고 하는 것을 모른다 그 철자를 알지 못한다 라고 하는 사실을 밝혀낸 거죠 그런데 그럼에도 불구하고 분명히 한스는 문제를 풀 수 있었습니다 정답을 제시했어요 1 더하기 2가 3이라는 걸 모르는데 어떻게 말발굽을 3번 쿵쿵쿵 두드릴 수 있었는가 라고 하는 것에 대해서 펑스트가 설명했습니다 펑스트의 설명에 따르면 실질적으로 한스는 그것을 풀지는 못하지만 한스가 이런 테스트를 받는 동안 주변에는 많은 관중들이 있고 이들은 모두 한스를 주목하고 있습니다 사람들이 굉장히 많은 사람들이 한스가 정말 이 문제를 풀 수 있나 관심 가지고 지켜보고 있는 거죠 자 문제가 나왔습니다 1 더하기 2는 얼마인가 라고 물어봤습니다 한스가 말발굽을 한 번 퉁 쳤습니다 사람들이 그냥 음 그렇구나 하고 약간 평온합니다 두 번 퉁 쳤습니다 그때도 사람들은 그저 기다리고 있습니다 세 번을 쿵 했습니다 이제 사람들은 생각합니다 어? 정답이 3인데 한스가 말발굽을 세 번 쿵 쿵 쿵 했으니까 이제 네 번째는 치면 안 되는 거죠 한스가 네 번째 말발굽을 칠까 봐 사람들이 조마조마한 마음을 갖게 되고 물론 어떤 사람은 말발굽 네 번째 쳐라 라고 생각하는 사람도 있을 거고 아니야 아니야 더 이상 이 말발굽을 두드리면 안 돼 라고 생각하는 사람도 있을 거예요 이러한 어떤 사람들의 마음의 변화가 한스가 느낄 수 있는 미묘한 어떤 공기의 흐름 또 사람들의 태도의 변화 뭔가 이렇게 뒤에서 평온하게 보고 있다가 한 번 이렇게 앞으로 쑥 숙이는 이러한 느낌 이것을 바로 한스가 감지해서 아 세 번을 두드렸을 때 사람들의 어떤 반응이 달라지면 아 네 번째는 두드리면 안 되는구나 라고 하는 것을 알아차린다 라는 것이죠 또 철자를 맞출 때도 낱말 카드를 맞출 때도 자신이 건드렸을 때, 그 앞에 가서 섰을 때 사람들의 반응이 달라지는 것을 토대로 해서 무엇을 선택해야 되는지를 알게 되더라. 이것을 확실하게 검증하기 위해서 한스의 주변에 그러한 시그널을 줄 수 없는 사람들을 모두 제거했을 때 한스는 답을 맞추지 못했다. 주변에 사람이 없을 때 이 정답을 알고 있는 사람이 없을 때 한스는 1 더하기 2가 3이라는 사실을 맞추지 못했다 라고 하는 것을 발표했습니다 굉장히 놀랍죠 그런데 우리는 여기서 한 가지 생각을 더 하게 됩니다 정말로 1 더하기 2가 3이라는 것을 계산할 수 있어야만 보게 되는 것의 정확한 의미와 내용과 그런 것들을 심오하게 다 파악할 수 있어야만 정답을 맞출 수 있는가 라고 하면 그것을 몰라도 한스처럼 소위 말하는 맥락 어떠한 분위기 눈치만 알고 있어도 답을 맞출 수가 있다 라는 것이죠 인공지능도 마찬가지입니다 인공지능 언어 모델이라고 하는 것은 그러한 사람의 언어를 정말로 하나하나의 개별적인 단어의 뜻을 다 파악하고 우리의 어떤 뉘앙스라던가 이런 어떤 모든 것들에 대해서 정말 사람이 이해하는 방식으로 언어를 이해하고 인지하지 못하더라도 인공지능은 우리가 필요로 하는 언어를 만들어 낼 수가 있습니다 어떻게? 한스처럼 비슷하게 소위 말하는 맥락을 파악하고 분위기를 파악하고 또 그런 눈치를 이용해서 만들어 낼 수가 있다는 거죠 언어라는 것을 이해하고 만들어낼 때 사람이 하는 방식 그대로는 아니더라도 또 다른 의미의 지능은 분명한 것이고 이러한 것이 구현되어 있는 것이 바로 언어 모델이라고 말씀드릴 수 있습니다 언어 모델은 크게 보면 통계적인 기법과 인공신경망을 이용하는 방식이 있는데요 오늘날 우리가 이야기하는 흔한 ChatGPT라던가 미드저니라던가 기타 등등의 생성 AI의 언어 모델들은 모두 인공신경망 방식을 말한다 라고 생각하셔도 좋겠습니다 이러한 언어 모델은 오랫동안 쭉 발전해 왔다기보다는 2017년을 중심으로 해서 2017년에 나온 논문을 토대로 그 이후로 정말 폭발적으로 급속도로 발전하고 있다 언어 모델의 발전에 가장 기여한 기념비적인 논문은 2017년에 구글이 발표한 Attention is all you need 단순합니다. 이 논문의 내용은 오른쪽에 그림이 있는데요. 보시는 순간 헉! 하시게 되죠? 네, 괜찮습니다. 우리가 실제로 말씀드린 것처럼 비행기가 나는 원리를 다 잘 몰라도, 양력의 어떤 물리학적인 내용을 다 이해하지 못해도 비행기를 타고 여행을 다니는 것은 아무 문제가 없는 것처럼 아, 이러한 어떤 것을 기점으로 해서 발전됐구나 라고만 이해하셔도 별로 상관이 없겠습니다. 구글이 발표한 Attention is all you need 라고 하는 논문에서 만들어진 언어 모델은 오늘날 우리가 보게 되는 이런 언어 모델의 가장 밑바탕이 되는 조상님 격이 되는데요 이것을 바로 우리가 트랜스포머 라고 부릅니다 자연어처리는 트랜스포머가 등장한 이후에 정말 급속도로 발전했는데요 이후에 크게 BERT라고 하는 방식과 GPT라고 하는 두 가지의 방식으로 발전하고 있습니다 두 가지로 뻗어나가고 있고요 오늘날 자연어를 처리하는 언어 모델이라고 하면 BERT 방식이거나 GPT 방식 둘 중에 하나다 라고 말씀드려도 거의 과언이 아닌 만큼 이 분야를 양분하고 있다 라고 말씀드릴 수 있겠어요 그러면 BERT와 GPT는 어떤 건가 라고 하는 것을 아주 간단하게만 좀 살펴보도록 하겠습니다 BERT라고 하는 것은 구글이 이 진영의 리더다 라고 말씀드릴 수 있고요 GPT는 OpenAI가 리더다 라고 말씀드릴 수 있는데요 우리가 중점적으로 살펴보게 될 ChatGPT라고 하는 것은 이름에서 보이는 것처럼 ChatGPT인 거잖아요 GPT 방식을 사용하는 그런 AI다 라고 말씀드릴 수 있겠습니다 이 둘의 가장 극명한 차이는 학습 방향이다 라고 얘기할 수 있습니다 BERT는 이 BERT의 이름 앞에 있는 B가 나타나는 것이 바로 양방향입니다 GPT는 단방향 학습을 하고 BERT는 양방향 학습을 하는데요 아주 간단하게 말씀드리자면 이렇게 말씀드릴 수 있겠습니다 예를 들어 나는 학교에 갔다 라고 하는 문장이 있습니다 나는 학교에 갔다 라고 하는 문장이 있을 때 BERT는 이것을 단어를 하나하나로 보지 않습니다. 나는 이라는 단어와 학교에 라고 하는 단어 갔다 라고 하는 단어로 보는 게 아닌 겁니다. 그렇게 보지 않고 나가 주어의 위치에 있는 나 라고 하는 이 주어가 학교라고 하는 곳에 갔다 라는 행동을 의미하는 문장이다라고 어떠한 문장이 있을 때 문장을 전체적으로 파악하는 것을 중요시합니다 그래서 양방향이다라는 것은 우리가 보통 하나의 문장은 여러 단어로 구성이 되는데요 이것을 전체적으로 왔다 갔다 이 방향으로든 저 방향으로든 전체적으로 검토해서 결과물을 만들어 내는 방식이다 라고 이해하시면 되겠습니다 GPT는 단방향 학습인데요 GPT 단방향 학습은 이런 의미입니다 예를 들어 나는 학교에 라는 부분이 있다 나는 이라고 하는 단어와 학교에 라는 단어가 있을 때 그 뒤에 빈칸이 존재하는 거죠 빈칸이 존재합니다 이때 GPT는 왼쪽에서부터 오른쪽으로 한쪽 방향으로 흘러가면서 나는 이라는 단어가 있고 학교에 라는 단어가 있으니 그 뒤에 나올 수 있는 굉장히 많은 후보 부분이 있겠죠 예를 들어 갔다 먹었다 입었다 울었다 웃었다 라고 하는 굉장히 많은 단어들이 있을 때 앞쪽까지의 내용을 고려할 때 뒤에 들어갈 수 있는 각각의 단어들의 확률을 계산하고 가장 확률적으로 적절하게 어울리는 단어를 선택하는 방식인거죠 나는 이라는 주어 학교 라는 위치 그리고 여기에 들어가는 것이 갔다 라고 하는 행동이다 라는 의미를 파악하려고 애쓰지는 않는 겁니다 의미를 파악하려고 애쓴다기 보다는 각각의 단어를 토대로 다음에 올 말이 무엇인가를 맞춰내는 방식을 우리가 GPT라고 얘기할 수 있습니다 이것을 조금 더 간단하게 정리해 보자면 이런 것입니다 아주 간단하게 정리해 보자면 우리가 언어 모델을 아주 쉽게 한마디로 얘기한다면 쉽게 말해서 빈칸에 들어갈 낱말은 무엇인가 라는 것을 맞춰내는 게 바로 언어 모델입니다 빈칸이 있을 때 우리가 어떤 문장을 만들었을 때 문장에 빈칸이 있습니다 그러면 빈칸에 알맞은 말이 무엇인가 라는 것을 맞추는데요 GPT의 방식 이것은 왼쪽에 있는 방식입니다 GPT의 방식은 앞에 있는 부분 나는 소설을 이라고 하는 것까지만 보고 뒤에 나올 수 있는 단어가 무엇인가 다음, 이 다음에 올 단어가 무엇인가? 라는 것을 단방향으로 파악합니다. 즉, 뒤따라 올 수 있는 단어는 무엇인가? 라는 질문을 토대로 언어를 만들어 내는 것이 바로 GPT 방식인 거고요. BERT라고 하는 것은 가운데에 들어갈 말은 무엇인가 이 문장의 전체적인 맥락을 봤을 때 가운데에 들어갈 말은 무엇인가 즉, 아이들이라고 하는 단어만 보고 다음에 올 단어를 맞춘다면 그건 GPT입니다 그렇지만 아이들이라고 하는 단어를 보고 뒤에 웃으며 달려간다 라고 하는 문장을 끝까지 다 읽은 다음에 아이들이 웃으며 달려가는 거니까 중간에 들어갈 단어는 훌쩍훌쩍보다는 하하호호가 맞겠다 라고 판단하는 방식이 BERT의 방식입니다 그러니까 GPT는 뒤에 올 단어를 맞추는 거고요 BERT는 가운데 올 단어를 맞추는 방식이다 라고 이해하셔도 크게 무리는 없겠습니다 이 각각은 각자의 특징과 장점이 있고요 그래서 각각 조금씩은 활용되는 분야가 다릅니다 다만 GPT의 방식은 문장을 전체적으로 다 파악하면서 가는 건 아니기 때문에 조금 더 빠른 속도로 우리에게 답을 줄 수가 있겠고요 이것은 한스와 마찬가지입니다 한스가 정말로 1 더하기 2는 3이라는 사실을 알았기 때문에 발굽을 세 번 두드린 건 아닙니다 마찬가지로 GPT가 어떠한 답을 우리에게 줄 때 GPT가 정말로 그 문장의 심오한 뜻 이런 어떤 자연어에 정확한 철학적이고 심오하게 인간이 이해하는 방식으로 그것을 이해해서 답변을 주는 것은 아니다 라고 하는 것을 인식하실 필요가 있습니다 물론 실제로 ChatGPT를 사용하시다 보면 GPT가 정말로 이것을 이해하고 말하는 것 같은데 라는 느낌을 받으실 수밖에 없어요 하지만 그것은 엄밀하게 의미한다면 한스와 마찬가지입니다 만약에 1 더하기 2는 무엇인가요? 라는 질문을 받았을 때 한스를 둘러싸고 있는 사람들이 이게 3이라는 사실을 알지 못했다면 그 사람들이 만약에 이것의 답이 4다라고 생각했다면 한스는 주변 사람들의 반응을 토대로 해서 그것은 4다라고 주변의 사람들과 동일한 반응에 따른 답 4번을 쿵쿵쿵쿵 했을 것입니다 마찬가지로 GPT가 여러분에게 주는 답 또한 여러분이 어떠한 사람인가에 따라서 답은 달라질 수 있습니다 그렇기 때문에 우리는 인공지능을 다룸에 있어서 우리의 능력이 또 잘 다루기 위해서는 우리의 능력이 그만큼 따라가야 하고 우리가 훌륭한 주인이 되어야 된다 라고 하는 것을 이 기본적인 개념을 잃지 않고 유지하면서 ChatGPT를 다루는 방법에 대해서 학습하시면 더 좋겠다 라는 제안을 드립니다