ChatGPT는 2022년 11월 미국의 인공지능 연구 회사인 오픈 AI에서 발표한 대화형 언어 모델입니다. 사람의 대화를 흉내 낸다는 기본적인 방향 자체는 기존의 언어 모델과 달라지지 않았지만 대단히 자연스러운 대화 흐름을 보여줘서 많은 사람들을 놀라게 했지요. 또한 거대 언어 모델에 가해지던 비판을 수용하면서 차별 발언이나 거짓 정보를 비교적 덜 출력하게 되었다고 합니다. 물론 언어 모델 자체의 한계를 극복하지는 못했기 때문에 아직 한계는 존재합니다. 아래 예시처럼요.
ChatGPT와의 대화 사례입니다. 그럴듯한 대답도 있고, 엉뚱한 답변도 있습니다.
이처럼 ChatGPT는 적어도 문장이나 문단 단위에서 문법적 규칙을 지켜 가며 그럴듯한 글을 생성하는 기능은 거의 완벽하게 구사합니다. 여러 실험에 따르면 컴퓨터 프로그램을 작성하거나 음악을 작곡하고 시를 쓰는 등, 언어와 유사한 인접 분야에서도 상당한 성능을 발휘한다고 해요. 물론 거대 언어 모델의 근본적인 한계를 극복하지는 못해서 아직도 엉뚱한 답을 하거나 틀린 정보를 내놓는 경우가 많이 있긴 합니다. 그러나 사용자가 성실하게 결과를 검토하면서 이용한다면 ChatGPT를 응용할 여지는 무궁무진하겠습니다.
그런데 언어 모델의 성능이 일취월장하면서 과학자들은 정작 위협을 느끼고 있습니다. 흔히 소설이나 영화에 나오는 것처럼 AI가 과학자를 대체하기 때문이 아닙니다. ChatGPT 수준의 언어 모델이 생성한 논문 초록이나 보고서가 가짜임을 알아보는 게 생각보다 쉽지 않기 때문이지요.
이번 글의 주인공은 2022년 12월에 시카고 대학에서 바이오아카이브(bioRxiv)에 발표한 원고[1,2]입니다. 저자들은 JAMA, NEJM, BMJ, Lancet, Nature Medicine 등 최고의 의학 학술지에서 총 50편의 연구논문을 수집한 다음 ChatGPT를 사용하여 논문의 초록을 다시 만들었습니다. 그리고 생성된 가짜 초록을 표절검사 프로그램에 통과시킨 다음, 현직 연구자들에게 어떤 것이 가짜 초록인지 맞히도록 하는 실험을 진행했습니다.
ChapGPT로 논문 초록을 생성하는 방법은 아주 단순합니다. ChatGPT 프롬프트 창에 “Please write a scientific abstract for the article [title] in the style of [journal] at [link]”라고 입력하고 엔터를 치면 됩니다. 꺾쇠괄호 안에 논문의 링크를 넣어 주게 되어 있는데요, 이 자리에는 아무 링크나 넣어도 괜찮습니다. 어차피 ChatGPT는 인터넷을 실시간으로 탐색하지 않기 때문에 논문 본문을 확인하지 않습니다. 즉 제목과 학술지 이름만으로 초록을 작성한다는 의미이지요.
ChatGPT의 성능은 놀라웠습니다. 50편 모두 표절검사 알고리즘을 통과했고, 독창성 점수의 중앙값은 100%였습니다. 표절임을 전혀 확인할 수 없다는 의미이지요. 게다가 초록을 확인한 현직 연구자들도 가짜 초록을 완전히 걸러낼 수 없었습니다. 연구자들은 ChatGPT가 작성한 초록 중 32%가 진짜라고 생각했고, 반대로 진짜 초록 중 14%는 가짜 초록이라고 판정했다고 합니다. 저도 제가 쓴 논문 몇 편을 ChatGPT에 넣어 봤는데, 정말 그럴듯한 초록을 만들어내더라고요. 2023년 1월에 출판된 Nature 논문 한 편으로 실험한 결과는 아래와 같습니다.
2023년 1월에 출판된 Nature 논문의 초록을 ChatGPT를 이용하여 재구성한 결과입니다.
물론 이 실험의 설정은 조금 미묘하긴 합니다. 초록은 대개 배경 설명과 논문의 주요 발견 사항, 논문의 함의로 이어지는 특징을 갖기 때문에 패턴을 찾기 쉬운 편입니다. 논문 내용을 요약하는 글이기에 개별 문장이 완벽한 엄밀성을 갖출 필요도 없습니다. 때문에 잘못된 초록이 무엇인지 애초에 판단하기도 어렵지요. 그리고 논문을 투고하려는 과학자가 본문을 다 쓴 다음에 고작 초록만 AI로 생성할 유인도 그렇게 크지 않으니 초록 생성만으로는 대단한 위협은 되지 않는다고 볼 수도 있겠습니다.
하지만 전문적으로 보이는 글을 AI가 대량 생산할 수 있다는 사실 자체는 꽤 위협적입니다. 실제로 ChatGPT의 등장 이후, 고등학교나 대학교의 수업에서 학생들이 보고서를 ChatGPT를 이용해 찍어낼 수 있다는 우려[3]도 제기된 바 있습니다. 때문에 뉴욕 시에서는 학생과 교사들이 ChatGPT를 사용할 수 없도록 학교 인터넷 망에서의 접속을 차단[4] 하기도 했어요.
ChatGPT를 개발한 오픈 AI에서도 여러 우려에 대응하여 ChatGPT가 생성한 텍스트에 일종의 워터마크를 삽입[5]하려 하고 있습니다. 사진에 흐릿한 워터마크를 삽입하여 출처를 명시하는 것처럼, ChatGPT가 생성한 텍스트에 미묘한 패턴이나 정보를 삽입하여 그것이 AI에 의해 생성된 문장임을 확인할 수 있게 하는 거죠. 하지만 이런 형태의 보안 술래잡기가 언제나 그렇듯 우회하는 수단도 분명 등장할 것이라 완벽한 해결책이라고 보기는 어렵습니다.
장기적으로 볼 때, ChatGPT를 비롯한 텍스트 생성 AI를 완전하게 통제하는 것은 아마 불가능할 겁니다. 오히려 인간이 거대 언어 모델에 적응하면서 글을 쓰고 공부하는 방식 자체를 바꿔야 할 가능성이 더 높습니다. 예컨대 AI로 생성한 가짜 논문이나 초록이 학술지에 게재되는 상황 자체는 분명 막아야 하지만, 애초에 논문 편수로 학자의 실력을 평가하는 시스템을 바꿔나가는 것이 더 근본적인 해결책이 될 테니까요.
*참고 자료
[1] H. Else/Nature News, Abstracts written by ChatGPT fool scientists (Jan. 12, 2023).
[2] C. A. Gao et al., preprint at bioRxiv (2022).
[3] C. Stokel-Walker/Nature News, AI bot ChatGPT writes smart essays — should professors worry? (Dec. 09, 2022).
[4] S. Cole/Vice, NYC Bans Students and Teachers from Using ChatGPT (Jan. 05, 2023).
[5] M. Karhade/Towards AI, OpenAI is Adding Watermark to GPT: No More Plagiarizing (Dec. 11, 2022).
