[김정호의 AI시대 전략] 단답형 아닌 논리적 추론… 요즘 AI는 본고사 수학 풀 때처럼 정답을 구한다

김정호 KAIST 전기·전자공학과 교수 
입력 2025.03.11. 23:58

그래픽=이철원

1981년 대학 2학년 때 ‘선형대수’라는 수학 과목을 수강했다. 디지털 전자공학의 기본이 되는 수학이다. 선형대수는 특히 디지털 데이터 처리에 사용되는 행렬의 기본 원리와 성질을 배우는 과목이다. 놀랍게도 40년이 지난 지금 인공지능(AI)의 학습과 추론 알고리즘도 행렬과 미적분 수학에 기초한다. 세계를 놀라게 한 중국 딥시크(DeepSeek) AI 모델의 성능 향상과 최적화에도 사용되는 수학이다.

선형대수 교과서에서는 행렬과 관련된 수십 개의 정리(定理)를 순서대로 증명한다. 완벽하고 깔끔하게 논리적으로 증명한다. 수학이 눈부시게 아름답다는 것을 그때 알았다. 수학에서는 정답을 구하는 것이 중요한 것이 아니라 답을 구하는 논리 전개 과정이 본질이다. 그러므로 지금 대학 입학 수학 시험에서 객관식 답을 근거로 채점하고 평가하는 것은 효율적이지만 비합리적이다. 그런 관점에서 1980년 이전의 대학 본고사 시험이 OMR 카드에 기록하는 객관식 시험으로 바뀐 것은 크나큰 실수가 아니었나 생각한다. 이제 논리적 추론과 사고는 수학자나 인간만의 전유물이 아니다. 중국 AI 딥시크의 R1모델과 미국의 오픈AI의 o1 모델, 그리고 미국 xAI의 Grok3 모델도 논리적 추론 능력을 갖는다. 이제 AI가 수학 문제와 코딩 능력에서 대부분의 인간을 뛰어넘을 것으로 예상한다.

그렇다면 딥시크 R1은 어떻게 논리적 추론 능력을 갖게 됐을까. 여기에 쓰인 가장 핵심적인 학습 방법이 바로 논리의 연결(CoT·Chain of Thought)이다. 즉, 학습을 할 때 질문을 하면 결과만 내놓는 것이 아니라 논리의 전개 과정도 줄줄이 순서대로 같이 답변한다. 이렇게 되려면 학습을 할 때 정답만 가르치는 것이 아니라 논리의 연결 과정도 순서대로 같이 제공해서 학습을 한다. 일종의 본고사 수학 문제를 풀도록 연습하는 것이다. 정답을 구하기보다는 논리의 전개를 더 중요시하는 셈이다. 그러려면 체계적인 논리 학습 데이터의 준비가 필요하다. 실제 딥시크 R1을 사용하면 응답을 주기 전에 논리적인 사고를 하는 전체 과정을 ‘생각(Thoughts)’이라는 화면에 계속 보여준다. 마치 인간이 주어진 문제에 답하기 전에 논리적으로 생각하는 것과 같이 보인다.

그다음으로 중요하게 적용된 학습 방법이 ‘강화 학습(Reinforcement Learning)’이다. 일종의 칭찬을 통해 추론적 논리 능력을 키우는 방법이다. 인간의 도움 없이 AI 스스로 추론 논리 과정을 채점해 자체적으로 능력을 향상시키는 방법이다. 딥시크 R1도 논리적 추론 사례를 발굴해 그 정답과 가장 가까운 답을 내놓으면 좋은 점수를 주고, 스스로 고치도록 학습을 한다. 주관식 수학 문제를 풀 때 스스로 채점하고 그 중간 과정을 지우개로 지우면서 고쳐가는 작업과 같다. 자기 주도의 우수한 학생의 공부 방법이다. AI 스스로 논리 추론 학습을 하는 딥시크 R1의 비밀 병기다.

다음 단계로 모델의 소형화 단계에 진입한다. 그래야 비용도 줄이고 활용도를 높일 수 있고 널리 확산할 수 있기 때문이다. 이때 사용된 방법을 ‘증류 학습(Distillation)’이라고 부른다. 전통 소주를 만들 때 사용하는 방법과 같다. 원액을 끓여 증기를 만들어 모으듯 모델의 핵심 지식만 추려낸다. 이 과정을 통해 논리 추론 능력이 전수된다. 다르게 설명하면 논리 추론 능력이 뛰어난 선생님 모델을 개발하고 그 모델을 통해 학습 자료를 만들어 제자 모델을 키우는 방법이다. 일종의 쪽집게 요약 학습 방법이다. 이를 통해서 크기를 300배 정도 줄인 증류 모델이 탄생했다. 소형 증류 모델이지만 논리적 추론 능력은 갖고 있다. 개인 노트북 컴퓨터에 설치해서 사용 가능하다. 그래서 잠재적으로 AI의 비용을 줄일 수 있는 가능성을 보인다. 다만 부정확성을 감수해야 한다. 데이터 보안 문제도 함께 있다.

마지막으로 딥시크 R1 모델은 효율성을 높이기 위해 ‘전문가 혼합(Mixture of Expert)’ 구조를 갖고 있다. 학원 종합반 대신에 일종의 학원 단과반 체제를 채택한 셈이다. 비유를 들면 AI 내부에는 수학, 과학, 역사, 국어, 영어 등 전문 과목으로 세분된 인공지능망들로 나누어져 있다. 질문에 따라 각기 전문 영역 세부 모델들이 답을 나눠서 하게 된다. 그 결과 일부 인공지능망만을 사용하기 때문에 메모리 사용량과 전력 소모량을 줄일 수도 있다.

이처럼 딥시크 R1은 다양한 수학적 방법을 조합해서 주어진 GPU(그래픽 처리 장치) 조건에서 최적의 논리적 추론을 가능하게 했다. 결과적으로 딥시크는 오픈AI가 주도하는 논리적 추론 인공지능의 시장 생태계를 흔들어 본 셈이다. 물론 드러나지 않은 숨겨진 대규모 자본과 데이터가 투입돼야 가능하다. 사용된 학습 데이터와 소스 코드는 공개하지 않았다. 그래서 숨겨진 오픈소스 정책이다. 그 결과 딥시크의 시장 파급력과 파괴력은 한정적이다.

이제 AI 패권 시대에 우리나라도 오픈 AI o1나 딥시크 R1과 같은 경쟁력 있는 논리적 추론 능력을 갖춘 언어 모델(LLM)을 자체적으로 개발해 세계 시장에 내놓아야 한다. 공개된 시장에서 평가를 받아야 한다. 그래야 국내 AI 시장을 지킬 수 있다. 국가 생존의 문제다. 그러기 위해서는 수만 대급의 GPU를 갖는 AI 데이터센터를 하루빨리 구축해 벤처기업, 학교, 연구소가 맘껏 자유롭게 사용하도록 해야 한다. 그리고 수학, 알고리즘, 소프트웨어에 뛰어난 수만 명의 인재들을 길러내야 한다. 이들에게 경제적, 사회적 보상을 충분히 제공해야 한다. AI 전쟁은 곧 인프라와 인재의 전쟁이다. 이것이 국가 전체 정책의 1순위 과제로 되어야 한다. 1분 1초가 시급하다.

원글: https://www.chosun.com/opinion/specialist_column/2025/03/11/SNJCIZFIOJBC7I5CH3ZBH3NFH4/
일러스트=이철원 ALL: https://ryoojin2.tistory.com/category/일러스트=이철원