AI 소설, 사람이 썼다고 믿을 때 더 높은 평가 받았다

독자들은 인간 작가를 선호한다고 생각하면서도 실제 글만 읽고는 인공지능(AI) 소설을 제대로 구분하지 못한다는 연구 결과가 나왔다. 특히 AI가 만든 작품을 사람이 썼다고 믿었을 때 평가 점수가 가장 높았다.

미국 빌라노바대학교 연구진은 18세부터 81세까지의 참가자를 대상으로 인간 작가와 AI가 쓴 단편 소설을 구별할 수 있는지 조사했다. 작품의 매력과 품질을 어떻게 평가하는지도 함께 살폈다. 실험에는 기성 작가와 생성형 AI인 ChatGPT가 각각 3편씩 작성한 단편 소설 6편이 쓰였다.

첫 번째 실험에는 1682명이 참여했다. 참가자들은 작품을 읽으면서 저자가 인간인지 AI인지에 관한 정보를 제공받았다. 연구진은 이 정보를 일부러 뒤섞어 일부 참가자가 실제 작성 주체와 반대로 받아들이도록 했다.

두 번째와 세 번째 실험에는 각각 424명과 481명이 참여했다. 연구진은 이들에게 작가 정보를 알리지 않은 채 인간 작품과 AI 작품을 한 편씩 읽도록 한 뒤 어느 글이 AI가 쓴 것인지 맞히게 했다. 그 결과 참가자들은 글만으로 작성자를 정확히 가려내지 못했다. AI 소설을 인간이 썼다고 생각한 참가자들은 해당 작품에 더 높은 점수를 줬다.

연구를 이끈 디나 와이스버그 빌라노바대학교 심리학·뇌과학과 박사는 사람들이 실제 인간이 쓴 글에 강한 선입견과 편향을 보인다고 설명했다. 창작에는 감정적 이해와 삶의 경험 같은 인간 고유의 자질이 필요하다고 믿기 때문에 AI의 능력을 낮게 평가하는 경향이 있다는 분석이다.

참가자의 특성에 따라서도 차이가 나타났다. AI에 대한 이해도가 높은 사람은 AI가 작성한 글을 비교적 잘 가려냈지만, 문학적 전문 지식이 높은 사람은 오히려 구분에 어려움을 겪었다.

연구진은 AI 소설이 높은 품질 평가를 받은 배경으로 글의 구조를 꼽았다. AI가 쓴 글은 대체로 명확하고 직접적이며 이해하기 쉬운 반면, 인간의 글은 더 미묘하고 복잡했다. 와이스버그 박사는 복잡하고 미묘한 글은 더 많은 인지적 노력, 즉 내용을 이해하기 위한 정신적 수고를 요구하기 때문에 독자들이 예측하기 쉬운 글을 선호하는 것으로 보인다고 분석했다.

자료: 빌라노바대학교