인간은 정보 과부하를 관리하기 위해 복잡한 신호에서 핵심 특징을 파악하고 경험을 요약하여 개념을 형성합니다.이는 의미를 유지하면서 다양한 사례를 추상적인 표현으로 매핑하는 '의미론적 압축(semantic compression)' 과정입니다. 이러한 개념 구조는 표현의 충실도(의미)와 압축 효율성 사이의 균형을 맞추는 근본적인 절충의 결과입니다.
최근 거대 언어 모델(LLM)은 놀라운 언어 능력을 보여주지만, 과연 인간처럼 개념과 의미를 진정으로 파악하는지, 아니면 방대한 데이터셋에 대한 정교한 통계적 패턴 매칭에 불과한지는 여전히 풀리지 않는 수수께끼입니다.
이 연구는 정보 이론적 접근 방식을 사용하여 LLM과 인간의 개념 형성이 정보 압축과 의미 보존 사이의 균형을 어떻게 맞추는지 비교합니다. 인지 심리학의 고전적인 인간 범주화 데이터셋을 벤치마크로 활용했습니다.
분석 결과, LLM은 인간 판단과 일치하는 광범위한 개념적 범주를 형성하지만,인간 이해에 중요한 세부적인 의미론적 차이(예: 전형성)를 포착하는 데는 어려움을 겪는 것으로 나타났습니다. 더 근본적으로, LLM은 공격적인 통계적 압축에 강한 편향을 보이는 반면, 인간 개념 시스템은 측정 기준 상 압축 효율성이 낮더라도 적응적인 뉘앙스와 맥락적 풍부함을 우선시하는 것으로 보입니다.이는 LLM과 인간이 근본적으로 다른 최적화 목표를 가지고 있음을 시사합니다.
LLM은 통계적 압축에 크게 최적화되어 있는 반면, 인간 인지는 적응적인 일반화, 추론 능력, 효과적인 의사소통 등 더 넓은 범위의 기능적 필수 요소에 의해 형성됩니다. 이러한 전략의 차이는 현재 AI가 인간과 같은 깊은 이해를 추구하는 데 있어 한계를 보여주며, 통계적 효율성 이상의 풍부하고 미묘한 개념 구조를 육성해야 할 미래 연구 방향을 제시합니다.
참고 문헌
- From Tokens to Thoughts: How LLMs and Humans Trade Compression for Meaning