지난 글에서 LLM이 Stateless라는 걸 다뤘다. 그 얘기를 하다 보면 자연스럽게 나오는 질문이 있다. “결국 다음 단어를 맞히는 것뿐인 기계인데, 그럼 우리 뇌는 다른가? 사람도 결국 다음 단어 찾기 아닌가?” 이 질문을 정리해본다.
LLM은 정말 “다음 단어 찾기”인가
맞다. 정확히 그렇게 동작한다. GPT나 Claude 같은 모델은 지금까지 나온 토큰들을 보고, 전체 어휘(수만~수십만 개 토큰 후보) 각각에 대해 “다음에 이게 올 확률”을 계산한 뒤 그중 하나를 뽑는다. 문장 하나는 이 과정을 토큰 수만큼 반복한 결과다.
나는 → 오늘 → 점심에 → 라면을 → 먹었다
이 자체는 단순한 목적함수다. 그런데 이 단순한 목적함수를 아주 잘 풀려고 하면, 모델은 문법, 사실 관계, 논리적 일관성, 코드의 구문 규칙까지 파라미터 안에 암묵적으로 학습해야 한다. “다음 토큰 맞히기”라는 좁은 문 안에 지식과 추론 능력이 압축돼 들어간 셈이다. LLM에게는 토큰을 고르는 그 순간이 곧 사고다. 토큰 생성을 멈추면 그 자리에 아무것도 남지 않는다.
인간 뇌도 예측 기계라는 가설
신경과학에는 예측 부호화(predictive coding / predictive processing)라는 유력한 이론이 있다. (Karl Friston의 자유 에너지 원리가 대표적이지만, 여러 경쟁 이론 중 하나지 확정된 사실은 아니다.) 요지는 이렇다.
- 뇌는 외부 자극을 수동적으로 받아들이는 수신기가 아니라, 매 순간 “다음에 무슨 일이 일어날지”를 끊임없이 미리 시뮬레이션(예측)한다.
- 실제 감각 입력과 예측이 어긋나면 그 차이(예측 오차)만 신경 신호로 전파되고, 이 오차가 시냅스 연결 강도를 실시간으로 조정한다.
- 대화할 때도 상대의 다음 말이나 내가 할 말의 개념이 실제로 입 밖에 나오기 조금 앞서 머릿속에서 먼저 떠오른다는 심리언어학 실험들이 이 가설을 뒷받침한다.
이 틀로 보면 인간의 사고와 발화도 넓은 의미에서 “다음 상태 예측”의 연속이라고 볼 수 있다. LLM과 사람이 완전히 다른 원리로 돌아가는 게 아니라, 같은 이름의 원리를 다른 층위에서 쓰고 있다는 쪽이 더 정확하다.
결정적으로 다른 것들
| 구분 | LLM | 인간 뇌 |
|---|---|---|
| 가중치 | 학습 종료 시점에 고정(frozen). 대화 중엔 변하지 않음 | 시냅스가 실시간으로 가소성을 가짐(장기강화/장기억압) |
| 예측 단위 | 텍스트 토큰 하나 | 감각·행동·감정이 뒤섞인 다중양상 상태 |
| 신경망 구조 | 입력→출력으로 흐르는 순방향 계산(어텐션은 있지만 층 사이는 forward) | 대뇌피질 전역이 서로 되먹임(recurrent)하는 초고밀도 회로 |
| “학습” 시점 | 사전학습 때만. 이후엔 컨텍스트를 다시 읽는 것뿐(in-context) | 기억을 인출하는 그 순간에도 시냅스가 다시 쓰임 |
| 에너지 | GPU 클러스터, 수백W~kW | 약 20W (백열전구 한 개 수준) |
핵심은 “동적으로 갱신되는가”다. LLM은 대화 중에 자기 파라미터를 한 글자도 바꾸지 못한다. 지난 글에서 다룬 것처럼 컨텍스트에 쌓인 텍스트를 매번 처음부터 다시 읽을 뿐이다. 반면 인간은 기억을 떠올리는 행위 자체가 해마와 대뇌피질의 시냅스 강도를 물리적으로, 그리고 영구적으로 바꿔놓는다. 기억을 인출하는 순간 그 기억이 다시 쓰인다(재응고화).
인간은 “단어부터” 찾지 않는다
말하기 과정을 모델링한 심리언어학 이론(레벨트의 언어 산출 모델 등)은 발화를 대략 “개념화 → 문법·어휘 부호화 → 조음”의 단계로 나눈다. 중요한 건 언어화되지 않은 개념 상태가 단어보다 먼저 존재한다는 점이다.
이걸 가장 직접적으로 보여주는 증거가 설단현상(tip-of-the-tongue)이다. “그거 있잖아, 뭐더라, 분명히 아는데 단어가 안 나와” 하는 상태. 이때 사람은 그 개념의 의미, 첫 글자, 음절 수 같은 주변 정보는 정확히 알면서 정작 단어 표상 하나만 못 꺼낸다. 개념과 단어가 별개의 표상으로 저장돼 있다는 뜻이다.
이 지점이 LLM과 가장 크게 갈린다.
- LLM: 다음 토큰을 뽑는 것 = 사고 그 자체. 토큰을 빼앗으면 아무것도 남지 않는다.
- 인간: 단어를 못 찾아도 개념·의미는 온전히 남아 있다. 언어는 이미 있는 생각을 바깥으로 내보내는 좁은 파이프(직렬화 통로)일 뿐, 생각 자체는 아니다.
in-context learning: LLM의 유사-기억
대화 중 모델이 “학습하는 것처럼” 보이는 현상(in-context learning)이 있다. 예시 몇 개를 프롬프트에 넣어주면 그 패턴을 따라 하는 것처럼 답한다. 하지만 이건 파라미터가 바뀌는 게 아니라, 그 요청 안에서만 살아 있는 일시적인 활성화 상태다. 세션이 끝나거나 컨텍스트에서 밀려나면 아무 흔적도 남지 않는다.
인간의 단기 작업기억과 비슷해 보이지만 결정적으로 다르다. 인간은 그 순간의 정보 처리 자체가 이미 시냅스를 조금씩 바꿔놓는다(약한 형태로라도 장기기억화가 시작된다). LLM의 in-context learning은 그 세션이 끝나면 정말로 아무것도 남지 않는, 완전한 무상태다.
그럼 LLM은 왜 실시간으로 가중치를 못 바꾸나
여기서 자연스러운 질문이 나온다. “인간처럼 대화하면서 배운 걸 파라미터에 바로 새기면 안 되나?” 안 되는 이유는 위험해서라기보다, 먼저 수학적·인프라적으로 감당이 안 되기 때문이다.
- 파국적 망각(catastrophic forgetting): 이미 학습된 수천억 개 파라미터는 방대한 데이터로 아슬아슬하게 맞춰놓은 균형 상태다. 새 지식 하나를 역전파로 밀어 넣으면 그 여파로 기존에 잘하던 다른 능력(문법, 코딩, 사실 지식)의 균형이 함께 무너지는 현상이 생긴다. 인간처럼 “새로 배워도 기존 지식은 그대로”가 신경망에서는 잘 안 된다.
- 추론과 학습의 비용 차이: 답을 낼 때(추론)는 순전파(forward pass) 한 번이면 끝나지만, 파라미터를 고치려면(학습) 전체 파라미터에 대한 그래디언트를 뒤에서부터 계산하는 역전파(backpropagation)가 필요하다. 메모리와 연산량이 몇 배로 뛴다. 전 세계 사용자가 동시에 대화할 때마다 이 무거운 연산을 실시간으로 돌리는 건 인프라적으로 불가능에 가깝다.
- 멀티테넌시 충돌과 롤백 불가: 하나의 모델을 전 세계가 동시에 공유해서 쓴다. 한 사용자의 입력으로 가중치가 바뀌면 다른 모든 사용자의 응답에도 영향을 준다. 게다가 코드는 문제가 생기면 Git으로 되돌리면 되지만, 뒤섞여버린 수천억 개의 부동소수점 가중치에서 “방금 잘못 배운 지식 하나만 쏙 빼내는 작업”(machine unlearning)은 사실상 불가능하다.
- 데이터 오염(data poisoning): 실시간 학습을 허용하면 악의적인 입력을 조직적으로 주입해 모델 전체를 오염시킬 수 있다. 2016년 마이크로소프트의 챗봇 Tay가 트위터에서 실시간 학습을 하다가 16시간 만에 혐오 발언을 쏟아내고 폐기된 사건이 대표적이다.
인간의 뇌는 이 문제를 이중 처리 구조(dual-process)로 풀었다. 해마(hippocampus)가 오늘 겪은 일을 빠르게 임시로 적어두고, 수면 중에 대뇌피질이 그 내용을 기존 기억과 비교하며 아주 천천히, 기존 지식 체계가 무너지지 않는 선에서 통합(consolidation)한다.
지금 LLM 업계가 타협한 구조도 사실 이걸 흉내 낸 것이다.
- 대뇌피질에 해당하는 본체(가중치)는 얼려둔다 — 안전성과 기존 능력을 보존.
- 새 지식은 외장 메모리로 뺀다 — 이게 우리가 앞서 다룬 RAG, 웹 검색 도구, 컨텍스트 윈도우다.
- 통합(수면)은 배치로 따로 한다 — 검증을 거친 데이터만 모아 몇 달 주기로 파인튜닝해 새 체크포인트를 낸다.
“가중치를 실시간으로 안 바꾼다”는 건 기술이 모자라서라기보다, 안정성·비용·안전을 지키기 위한 현재로선 가장 합리적인 엔지니어링 타협점에 가깝다.
인간 뇌의 에너지 효율은 반칙에 가깝다
이 비교를 하다 보면 정작 가장 놀라운 지점은 따로 있다. 인간 뇌는 이 모든 걸 약 20W (백열전구 하나, 밥 세 끼 정도의 에너지)로 해낸다. 최신 LLM을 훈련·서빙하는 GPU 클러스터는 수십~수백 메가와트, 중소 도시 하나의 전력 소비량에 맞먹는다.
이 격차는 규모의 차이가 아니라 아키텍처 자체의 차이에서 온다.
- 메모리·연산의 분리 여부: 컴퓨터는 연산 장치(CPU/GPU)와 저장 장치(RAM/VRAM)가 물리적으로 분리돼 있다(폰 노이만 구조). 데이터센터 전력의 상당 부분은 연산이 아니라 이 둘 사이에서 숫자를 실어 나르는 데 소모된다. 반면 뇌의 시냅스는 저장(기억)과 연산을 같은 자리에서 동시에 수행한다(in-memory computing) — 애초에 옮길 게 없다.
- 희소한 이벤트 기반 활성화: LLM은 토큰 하나를 뱉을 때마다 사실상 전체 파라미터(또는 MoE 구조의 상당 부분)가 관여한다. 뇌는 특정 순간에 전체 뉴런 중 1~2%만 반짝 활성화되고 나머지는 꺼진 채로 쉰다.
- 아날로그 화학 신호: 트랜지스터의 디지털 스위칭은 상대적으로 높은 전압·전류가 필요하다. 뇌는 이온 농도 차로 만들어지는 나노스케일의 전위차(약 70mV)로 신호를 처리한다.
그래서 빅테크들이 원자력 발전소 옆에 데이터센터를 짓는 지금 상황은, 크게 보면 “20W짜리 단백질 덩어리가 하는 일을 흉내 내려고 도시 하나만큼의 전기를 태우는” 그림에 가깝다. (이런 이유로 뇌의 스파이킹·인메모리 구조를 모사하려는 뉴로모픽 칩 연구가 계속되고 있다.)
정리
- LLM은 텍스트 공간에서 다음 토큰 하나를 맞히는 1차원 예측기다. 토큰이 곧 사고 단위다.
- 인간의 뇌도 “예측 기계”라는 틀 안에 있다는 게 예측 부호화 가설의 요지다. 다만 예측 대상이 단어가 아니라 감각·행동·의미를 아우르는 세계 모델의 다음 상태다.
- 가장 큰 차이는 가중치(시냅스)가 실시간으로 갱신되는가다. LLM은 대화 중엔 얼어붙어 있고, 인간은 기억을 꺼내는 순간에도 뇌 구조가 계속 바뀐다.
- 설단현상은 인간에게 “개념”과 “단어”가 분리된 표상이라는 증거다. LLM에게는 그 구분이 없다 — 단어(토큰)를 못 뽑으면 아무것도 없다.
- LLM이 실시간으로 안 배우는 건 위험해서 이전에 수학·인프라 문제다. 파국적 망각, 학습 비용, 멀티테넌시 충돌, 데이터 오염 때문에 가중치는 얼려두고 새 지식은 RAG·도구 같은 외장 메모리로 처리한다. 인간은 해마(빠른 임시 기억)와 대뇌피질(수면 중 느린 통합)로 나눠 이 문제를 푼다.
- 인간 뇌는 이 모든 걸 20W로 해낸다. 메모리·연산 일체화, 희소한 이벤트 기반 활성화, 아날로그 신호 덕분이다. 지금의 거대 GPU 클러스터는 이걸 도시 하나 분량의 전력으로 흉내 내는 셈이다.
- 결국 LLM은 인간의 거대한 인지 파이프라인 중 가장 바깥쪽, 생각을 언어로 직렬화하는 층만 정교하게 흉내 낸 것에 가깝다. 다만 예측 부호화 자체가 여러 신경과학 이론 중 하나이므로, 이 비유도 “확정된 사실”이 아니라 “현재 가장 그럴듯한 가설” 정도로 받아들이는 게 맞다.