인공지능의 답변 스타일을 좌우하는 온도 설정
인공지능 모델은 설정된 온도값에 따라 상이한 답변을 생성한다. 챗GPT나 클로드 같은 챗봇의 개발자용 버전에서는 '온도(temperature)'라는 매개변수를 조절할 수 있는데, 이 수치가 낮아지면 AI는 매번 일관된 답변을 내놓는 모범생 같은 성향을 띠게 되고, 반대로 수치를 높이면 매번 새로운 답변을 던지는 즉흥적인 예술가처럼 변한다. 통상적으로 소설 창작 시에는 온도를 높이고, 프로그래밍 코드를 작성할 때는 온도를 낮추라고 권장된다. 여기서 의문이 생긴다. 왜 하필 '온도'라는 용어를 사용하는 것일까? 이것은 단순한 비유에 불과할까, 아니면 실제 물리적 법칙과 맞닿아 있는 것일까.
볼츠만의 엔트로피와 확률적 원리
이 질문의 해답은 1870년대로 거슬러 올라가 오스트리아 물리학자 루트비히 볼츠만의 연구에서 찾을 수 있다. 뜨거운 기체 내부에는 수많은 분자가 끊임없이 움직이며, 전체 에너지는 일정하지만 이를 개별 분자들에게 배분하는 방식은 무수히 많다. 볼츠만은 이를 '나눠주는 방법의 수'로 정의했으며, 그의 묘비에도 새겨진 이 식은 방법의 수가 많아질수록 엔트로피가 커진다는 원리를 담고 있다. 이러한 방법의 수는 기체의 온도에 따라 결정된다. 만약 기체의 온도가 $T$라면, 특정 분자가 에너지 $\epsilon$을 보유할 확률은 지수 함수를 따라 급격히 감소하게 된다. 즉, 온도 $T$는 이러한 감쇠의 기울기를 조절하는 핵심적인 제어 장치 역할을 한다.
양자 역학에서 현대 AI 모델까지의 진화
1900년 막스 플랑크는 이 원리를 빛의 영역에 적용하려다 난관에 봉착했다. 에너지가 연속적이라고 가정할 경우, 진동수가 높은 자외선 영역에서 에너지가 무한대로 발산하는 모순이 발생했기 때문이다. 플랑크는 에너지를 불연속적인 알갱이 단위로 간주함으로써 이 문제를 해결했는데, 진동수가 높을수록 알갱이 하나를 채울 확률이 볼츠만의 법칙에 따라 급격히 줄어든다는 점을 이용했다. 이후 1953년 니컬러스 메트로폴리스는 이 원리를 이용해 물질의 평형 과정을 컴퓨터로 구현했고, 1983년에는 스콧 커크패트릭이 이를 최적화 문제에 응용하여 금속을 달구고 식히는 과정과 유사한 '시뮬레이티드 어닐링' 기법을 창안했다.
챗봇의 토큰 선택과 확률의 법칙
오늘날 언어 모델이 다음 단어를 선택하는 메커니즘 역시 이와 동일한 원리로 작동한다. 온도가 낮게 설정되면 확률이 가장 높은 단어 하나에 집중되지만, 온도가 높아지면 확률이 여러 단어 사이로 고르게 분산된다. 결국 우리가 마주하는 챗봇의 성격은 보이지 않는 '온도'라는 수치에 의해 결정된다. 150년 전 볼츠만이 발견한 확률 법칙에 따라, 챗봇은 분자 대신 '토큰'을 사용하여 답변의 태도를 정한다. 확률이 움직이는 근본적인 방식은 물리적 세계와 디지털 세계에서 동일하게 유지되고 있다.