AI의 친절함은 신뢰가 아니다…판단력의 위기

유능함과 신뢰성을 혼동하지 마라

인공지능(AI)이 보여주는 공감 섞인 말투나 자신감 넘치는 답변이 곧 기술의 진정한 이해도나 책임감을 보장하는 것은 아니다. AI 신뢰 및 안전 분야의 전문가인 티퍼니 싱위 왕(Tiffany Xingyu Wang)은 AI를 무조건 믿을 것인지에 대한 이분법적 질문 대신, 어떤 업무를 어떤 조건 하에 어느 수준까지 위임할 것인지에 대한 구체적인 기준을 세워야 한다고 강조한다.

오아시스 컨소시엄의 공동창립자이자 회장인 왕은 최근 맥킨지의 '저자와의 대화(Author Talks)' 인터뷰를 통해 이러한 견해를 피력했다. 그는 지난 9월 발간한 저서 ‘트러스트 코드(The Trust Code)’에서 인간의 판단력을 보존하면서도 AI를 효과적으로 활용하는 전략을 심도 있게 다룬 바 있다. 왕 회장은 AI의 유능함이 곧 신뢰성으로 직결된다고 믿는 태도를 경계하며, 현재 일부 기술들이 실제 성과나 장기적 신뢰를 쌓기보다는 인간의 신뢰를 교묘하게 유발하고 있을 뿐이라고 지적했다.

기업의 책임과 검증 시스템 구축

왕 회장은 AI 기술을 무조건 거부하자는 것이 아니라, 과신으로 인한 피해와 불신으로 인한 혁신 저해 사이에서 균형을 잡아야 한다고 설명한다. 그는 시스템의 신뢰성을 평가할 네 가지 핵심 조건으로 역량, 진실성, 사용자 목표와의 일치 여부, 그리고 사용 맥락의 적합성을 꼽았다. 즉, 답변의 품질이 높더라도 해당 시스템이 사용자의 이익을 대변하는지, 그리고 특정 업무 환경에 적절한지는 별도로 검증해야 한다는 논리다.

특히 AI를 도입하는 기업의 역할을 강력하게 주문했다. 개발사가 모델을 구축하고 규제기관이 가이드라인을 제시하더라도, 실제 데이터를 다루고 업무 권한을 위임하는 최종 책임은 기업에 있다는 것이다. 이는 항공기 제조사가 설계를 책임지더라도 실제 운항의 책임은 항공사가 지는 것과 유사한 원리다. 기업은 단순히 공급자에게 안전성을 묻는 데 그치지 않고, 시스템 오류 시 통제 방식과 사고 인지 속도, 그리고 금전적·평판적 손실 발생 시의 구제 방안까지 철저히 확인해야 한다.

모래시계 속 인간의 결정권

AI 도입의 실질적 성과를 위해서는 조직의 근본적인 변화가 필수적이다. 왕 회장은 단순한 시범 사업을 넘어 업무 절차의 재설계, 직원 교육, 그리고 이에 걸맞은 보상 체계의 변화가 동반되어야 한다고 보았다. AI 기술이 고도화될수록 오히려 인간의 판단 가치는 더욱 높아질 것이라는 전망도 내놓았다.

그는 창작의 과정을 '모래시계'에 비유하며 설명했다. AI를 통해 자료 조사와 시안 제작, 결과물 배포의 속도는 비약적으로 빨라졌으나, 모래시계의 좁은 허리처럼 그 과정의 중심에는 반드시 인간의 판단이 개입되어야 한다는 것이다. 수많은 시안 중 메시지의 적합성, 대중의 공감대, 문화적 맥락을 고려해 최종 선택을 내리는 능력은 여전히 인간의 영역이다. 왕 회장은 AI를 특정 범위 내에서는 신뢰하되 전반적인 맹신은 경계해야 한다며, 다음 세대에게 물려줄 가장 중요한 가치는 스스로 결정하는 습관이라고 덧붙였다.