대규모 언어 모델(LLM)이 소비자 기기 수리 분야에서 어느 정도 활용 가치를 보이지만, 고위험 실제 수리 작업에는 여전히 적절한 평가와 명시적 안전 장치 없이는 신뢰하기 어렵다는 연구 결과가 나왔다. Atm Mizanur Rahman 등 연구팀이 발표한 논문 “Evaluating LLMs’ Effectiveness on Real-World Consumer Device Repair Questions”은 소비자 기기 수리를 LLM의 새로운 시험대로 삼아 체계적 벤치마크를 구축하고 최신 모델들의 성능을 평가했다.
연구팀은 Reddit에서 수집한 실제 수리 질문 991개로 벤치마크를 구성했다. 스마트폰 수리, 컴퓨터 수리, 데이터 복구 세 영역을 포괄하며, 각 질문에는 전문 기술자가 작성한 참조 솔루션이 짝지어졌다. 다국어 성능 평가를 위해 방글라어 번역본도 포함됐다. 이를 바탕으로 최신 LLM 6종을 정확성, 완전성, 실용성, 안전성 네 가지 수리 특화 기준으로 평가했다. 평가 결과 GPT-5.4가 전반적으로 가장 높은 성능을 보였다.
기기 수리 태스크는 불완전한 문제 설명을 바탕으로 추론하는 능력, 하드웨어 특화 진단, 실행 가능한 문제 해결 방법 제시, 그리고 안전 관련 판단을 요구한다. 잘못된 조언은 기기 손상, 배터리 위험, 데이터 영구 손실로 이어질 수 있다. 연구팀은 모든 모델이 보드 레벨 진단, 수리 우선순위 결정, 안전한 복구 절차에서 상당한 오류를 범했다고 지적했다. 특히 스마트폰 수리가 가장 어렵고 안전에 민감한 영역으로 나타났다. 방글라어 응답은 모든 모델과 영역에서 영어보다 일관되게 낮은 성능을 보여 언어 간 격차 문제도 확인됐다.
이 연구는 기존 LLM 평가가 주로 학술 시험이나 코딩, 일반 추론에 집중해 온 상황에서, 실제 생활의 안전 민감 영역에서 모델의 한계를 체계적으로 드러냈다는 점에서 의의가 있다. AI 어시스턴트가 일상 기기 관련 조언을 제공하는 사례가 늘어나는 가운데, 이 연구는 특정 도메인에 특화된 평가 기준과 안전 장치의 필요성을 강조한다.
