우리 AI학과의 학부생과 우리 대학 AI대학원의 참여 대학원생이, 자연어처리 관련 세계 최고 학술대회 중 하나인 NAACL (Annual Conference of the North American Chapter of the Association for Computational Linguistics) 2025에 논문을 게재하고 그 결과를 현지 시각 5월 1일과 2일에 각각 발표한다. NAACL은 자연어처리(NLP) 분야의 저명한 학술대회로서, 역사와 권위를 가진 인공지능 분야의 학술대회이다. 

먼저, 박현주 석사과정과 김병준 석사과정이 발표할 연구는 인공지능 작성 텍스트(AI-Generated Text)를 탐지하기 위하여, 텍스트의 구조가 아닌 의미론적 유사성을 측정 및 활용하는 기술이다. 최근 인공지능 생성 콘텐츠의 범람으로 인한 허위정보 유포 문제나 죽은 인터넷 문제 등에 유용하게 활용될 수 있는 기술로서, AI가 재작성한 콘텐츠와 사람의 의미론적 차이가 존재할 것이라는 가설에서 출발하였다. 논문은 텍스트를 AI가 재작성하고, 원본 텍스트와 재작성된 텍스트들 사이의 의미 차이를 계측함으로써, 인간과 AI 작성 텍스트를 구분하는 매우 간단한 방법을 제안한다. 간단한 방법론에도 불구하고, 논문은 대표적으로 많이 사용되는 언어모델인 GPT-4o, LLaMA 3, Gemini 1.5 등을 사람과 약 80%의 정확도로 분류할 수 있었으며, 특히 데이터 셋에 존재하지 않았던 언어모델이라 할지라도 평균 84%의 정확도로 검출할 수 있었다. 해당 논문은 NAACL에서 현지시각 5월 2일에 발표되며, 논문은 다음 링크에서 확인할 수 있다.

Hyeonchu Park, Byungjun Kim, Bugeun Kim

DART: An AIGT Detector using AMR of Rephrased Text

https://arxiv.org/abs/2412.11517

또한, 최준혁 학부연구생과 홍예선 학부연구생이 발표할 연구는, 거대 언어모델(Large Language Model; LLM)을 활용한 의사결정 과정에서 발생할 수 있는 잠재적인 심리 편향을 조사한 논문이다. 최근의 에이전트 시스템 등으로 의사결정 과정에 언어모델을 활용하는 예가 늘고 있다. 논문은 AI가 인간 데이터로부터 학습하였다는 점에 착안하여, AI도 인간과 유사한 심리적 편향이 존재할 것인지를 확인한다. 구체적으로, 자신의 잘못된 전제를 타인에게도 무의식적으로 강제하는 거짓 합의 효과(False consensus effect)가 각 언어모델에도 나타나는지를 고전적인 심리학 실험을 재현함으로써 확인하고, 그 효과를 완화하기 위한 간단한 프롬프팅 방법 또한 실험을 통하여 확인하였다. GPT, LLaMA, Claude, Mixtral 등 대표적인 언어모델의 편향을 확인한 이 연구는, 네 언어모델이 모두 거짓 합의 편향을 가지고 있으며, 인간과 마찬가지로 반대 의견과 함께 생각을 거듭하게 할수록 해당 편향이 감소한다는 사실 또한 확인하였다. 해당 논문은 NAACL Findings에 발표된 것으로, 현지 시각 5월 1일에 발표된다. 논문은 다음 링크에서 확인할 수 있다.

Junhyuk Choi, Yeseon Hong, Bugeun Kim

People will agree what I think: Investigating LLM's False Consensus Effect

https://arxiv.org/abs/2407.12007