법정 침투한 AI의 '가짜 판례' 환각 현상
재판을 진행하던 한 판사는 대리인이 제출한 서면을 검토하던 중 당혹스러운 상황에 직면했다. 변호사가 근거로 내세운 대법원 판례가 정밀 확인 결과, 인공지능(AI)이 임의로 만들어낸 존재하지 않는 사건번호였기 때문이다.
이처럼 AI가 허위 판례나 가공의 사건을 생성하는 이른바 ‘할루시네이션(환각)’ 문제가 사법 현장에서 심각한 위협으로 부상하고 있다. 민사, 가사, 행정 사건을 맡은 법관들 중 80%가 가짜 판례가 인용된 사례를 직접 경험했다는 충격적인 조사 결과가 발표되었다.
대법원 법원행정처가 지난달 6일부터 16일까지 각급 법원 소속 법관 360명을 대상으로 실시한 ‘AI 허위판례 등 인용 관련 설문조사’에 따르면, 응답자의 80%가 실존하지 않거나 왜곡된 판례가 인용된 상황을 겪었다고 답했다.
변호사조차 걸러내지 못한 AI 생성 서면
유형별로는 존재하지 않는 판례를 인용한 경우가 196명(80.7%)으로 가장 높은 비중을 차지했다. 이어 허위 판례 인용이 159명(65.4%)으로 나타났으며, 법령을 허위로 인용한 사례는 41명(16.9%), 논문이나 문헌 등 자료를 허위로 인용한 경우는 10명(4.1%) 순이었다. 이는 복수 응답을 포함한 결과다.
가짜 정보를 제출한 주체는 소송 당사자뿐만 아니라 법률 전문가인 변호사도 포함되어 있었다. 허위 판례를 인용한 주체로 ‘당사자 본인’을 지목한 법관은 164명(69.5%)이었으나, ‘변호사인 소송대리인 또는 변호인’을 선택한 응답자도 136명(57.6%)에 달했다. 이는 전문가가 작성한 서면에서도 왜곡되거나 실재하지 않는 판례가 빈번하게 발견되고 있음을 시사한다.
구체적인 사례를 살펴보면, 대법원 판결서 형식을 교묘하게 흉내 내어 AI로 만든 가짜 판결서를 제출하는 방식이 흔했다. 생소한 법리와 함께 대법원 사건번호를 적시했으나 실제 검색 시에는 나타나지 않는 식이다. 판결 내용을 임의로 바꾸거나 취지와 다르게 인용하는 경우도 있었으며, 심지어 AI와의 대화 기록이나 소송 전략 문구가 서면에 그대로 노출된 사례도 확인되었다.
재판 지연 방지 위한 제도적 대응 시동
이러한 허위 인용은 재판의 지연과 소송 비용의 증가라는 부작용을 낳는다. 가짜 판례의 진위 여부를 확인하고 이를 반박하는 과정에서 불필요한 시간과 비용이 소모되기 때문이다. 특히 변호인 없이 소송을 수행하는 당사자들은 이러한 허위 정보를 가려내고 대응하는 데 큰 어려움을 겪을 수 있다. 대법원은 AI 활용에 따른 허위 판례 인용이 재판부와 상대방 모두에게 부담을 주어, 결국 국민의 재판받을 권리를 침해한다고 지적했다.
설문에 참여한 이들 중 91.7%는 제도적 대책 마련이 필요하다고 입을 모았으며, 그중 64.8%는 매우 필요하다고 답했다. 구체적인 방안으로는 과태료 부과 근거 마련(215명, 61.4%)이 가장 많았고, 인용 판례 검증 의무화(214명, 61.1%), AI 활용 사실 기재 의무화(212명, 60.6%), 변호사 징계 의뢰 등 제재 방안(194명, 55.4%) 등이 뒤를 이었다.
법원행정처는 이번 조사 내용을 바탕으로 민사 및 형사소송법 개정을 통한 대응책 마련에 나선다. 허위 판례 인용 시 과태료를 부과할 수 있는 법적 근거를 확보하기 위해 법무부 등 관계 기관과 협의하고 국회에 의견을 제출할 방침이다. 아울러 전자소송 시스템 내에 AI 활용 시 주의사항을 공지하는 방안도 검토 중이다.