정보 요약 과정의 왜곡, 투자 판단에 심각한 영향 미쳐
기업의 보고서를 요약할 때 핵심적인 맥락이 빠지게 되면 투자 판단이 왜곡될 수 있다는 사실이 밝혀졌다. UNIST 이용재 교수 연구팀은 헝가리 부다페스트에서 10월 24일부터 29일까지 개최된 자연어처리 국제학회 'EMNLP 2024'에서 이와 관련된 연구를 포함해 총 4편의 논문을 발표했다. 이번 성과는 산업 트랙 3편과 메인 트랙 1편으로 구성되었으며, 한화생명과의 산학 협력 및 다양한 글로벌 금융기관 및 대학과의 공동 연구를 통해 이루어졌다.
연구팀은 '요약이 판단을 왜곡할 때(When Summarization Distorts Judgment)'라는 주제의 연구를 통해 의사결정의 전 단계인 정보 요약 과정에서의 문제점을 분석했다. 지난해 연구에서 투자 성향과 확증편향을 규명했던 팀은 이번에 분석 범위를 확장하여, 미국 기업의 분기 공시 자료 300건과 실적 발표 자료 297건을 바탕으로 실험을 진행했다. 동일한 모델이 원문을 보았을 때와 요약문을 보았을 때 내리는 투자 판단을 비교한 결과, 4종의 요약 모델 모두에서 공시 자료는 약 24~32%, 실적 발표 자료는 약 25~30%의 비율로 원문과 다른 판단을 내리는 것으로 나타났다. 이는 요약문에 사실관계 오류가 없더라도 결정적인 맥락이 생략되면 최종적인 투자 해석이 달라질 수 있음을 입증한 결과다.
'에이전트 기반 맥락 압축'으로 판단 오류 12%포인트 낮춰
이러한 왜곡 현상을 해결하기 위해 연구팀은 '에이전트 기반 맥락 압축(Agent-based Contextual Compression)'이라는 새로운 기법을 제안했다. 이 기술은 모델별로 생성된 요약문을 원문과 대조하여 가장 충실한 근거를 담은 요약본을 선별하는 방식이다. 실험 결과, 요약문의 분량을 원문의 약 4~5% 수준으로 대폭 줄이면서도 공시 자료에 대한 투자 판단 변화율을 기존 31.5%에서 19.5%로 12%포인트나 감소시키는 성과를 거두었다. 해당 연구는 이용재 교수와 안원빈 연구원이 공동 교신저자로 참여했으며, JP모건, 블랙록, 스테이트 스트리트 인베스트먼트 매니지먼트와 미국 텍사스대 오스틴·플로리다대, 영국 에든버러대 연구진이 뜻을 모았다.
맞춤형 금융 자문부터 지속가능성 보고서 평가까지
산업 트랙의 다른 논문들은 금융 서비스의 고도화를 다뤘다. 한화생명 AI 연구소와 협력한 '펀드투페르소나(Fund-to-Persona)' 연구는 펀드의 공시 내용과 종목 변동, 운용진의 설명 등을 학습해 특정 투자 철학을 가진 맞춤형 금융자문을 구현했다. 또한 '프롬 텍스트 투 알파(From Text to Alpha)' 연구는 기업 공시에서 나타나는 성과 지표의 변화를 추적해 투자 신호를 포착하는 기술을 검증했으며, 여기에는 링크알파, 블랙스톤, JP모건 등의 연구진이 참여했다.
메인 트랙에 채택된 '엠엠 컴플라이언스(MM Compliance)'는 기업의 지속가능성 보고서가 공시 기준을 준수하는지 평가하는 기술을 선보였다. 이 연구는 다국어 보고서 내의 텍스트뿐만 아니라 표와 그림까지 동시에 분석할 수 있는 데이터셋을 구축했다. 일본 쓰쿠바대·히토쓰바시대·국립정보학연구소(NII), 대만 국립타이베이대·국립대만대, 태국 출라롱콘대, 프랑스 3DS 아웃스케일 연구진이 공동으로 수행했다. 이용재 교수는 이번 성과가 산업 현장의 난제를 글로벌 협력을 통해 해결한 사례라고 평가하며, 향후 금융 AI가 투자자의 목적에 부합하는 자문을 제공하도록 후속 연구를 지속하겠다고 밝혔다.