챗GPT 같은 생성형 인공지능(AI)에게 존재하지 않는 사건을 물으면 마치 실제 있었던 일처럼 그럴싸한 답을 내놓는 경우가 있다. 이런 현상은 AI가 검색엔진처럼 저장된 정답을 찾아 보여주는 것이 아니라, 다음에 올 가장 자연스러운 단어를 확률적으로 예측해 문장을 이어 붙이는 방식으로 작동하기 때문에 발생한다.
챗GPT는 인터넷에 있는 방대한 텍스트를 학습하면서 특정 단어 뒤에 어떤 단어가 이어지는지에 대한 확률 패턴을 익힌다. 이용자가 질문을 던지면 모델은 학습한 확률을 총동원해 가장 자연스러운 다음 글자를 순차적으로 조립해 문장을 완성한다. 즉 지식을 암기해서 답하는 게 아니라, 그럴듯한 말을 실시간으로 짜맞추는 방식이다. 과학자들은 이렇게 AI가 사실이 아닌 정보를 마치 진짜처럼 내놓는 현상을 ‘할루시네이션(환각)’이라고 부른다.
할루시네이션이 발생하는 이유는 AI가 질문에 담긴 상황이 실제인지 허구인지를 판단할 수 있는 상식 자체를 갖고 있지 않기 때문이다. 모델은 입력된 단어들을 조합했을 때 문법적으로 가장 자연스러운 문장 구조를 완성하는 데만 집중한다. 그 결과 문법적으로는 완벽하지만 사실과는 전혀 다른 내용의 문장이 만들어질 수 있다. 모델이 “모르겠다”고 답하기보다 가진 단어들을 조합해 그럴싸한 이야기를 완성하려는 경향을 보이는 것도 이런 구조에서 비롯된다.
이런 특성을 이해하면 AI를 더 정확하게 활용할 수 있는 방법도 찾을 수 있다. 질문을 구체적인 역할과 눈높이에 맞춰 던지고, “인터넷에 없는 사실이거나 확실하지 않으면 모른다고 답해달라”는 문장을 덧붙이면 AI가 근거 없는 답변을 내놓는 빈도를 줄일 수 있다는 설명이다. 답변 형식을 요약·원인·결과 같은 틀로 미리 제시하는 것도 원하는 결과를 얻는 데 도움이 된다.
생성형 AI의 보급으로 지식을 단순히 암기하는 능력의 가치는 상대적으로 줄어드는 추세다. 대신 AI가 내놓은 답변 중 어느 부분이 할루시네이션인지 가려내고 사실 여부를 검증하는 비판적 사고력이 중요해지고 있다는 지적이 나온다. 교육 현장에서도 단순 지식 암기형 과제 대신, AI 답변의 오류를 찾아내는 방식의 학습이 늘어날 가능성이 거론된다.
