대부분의 정렬 연구는 사람의 선호를 고정된 형태로 잡아두고, 모델이 그 선호를 닮도록 만드는 방식에 기대어 왔다. 그러나 인간-AI 협업은 한 번의 응답으로 끝나지 않고, 신뢰·의존·역할 분담이 상호작용 속에서 바뀐다. 이 글은 그런 현실을 반영하려면 정렬의 기준 자체를 바꿔야 한다고 주장한다.
핵심은 ‘정적이고 모사적인 정렬’에서 ‘상호작용적이고 보완적인 정렬’로의 전환이다. 논문은 기존의 선호 최적화가 개별 출력이나 단기 만족을 잘 다루더라도, 긴 상호작용 궤적에서의 협력 결과까지는 포착하지 못한다고 본다. 이를 위해 인간과 모델의 행동이 시간에 따라 함께 변하는 trajectory-level 관점을 제시하며, 정렬을 선호 충족만의 문제로 보지 않는다.
이 관점은 2025년 9월 열린 학제 간 워크숍의 통찰에 기대고 있다. 해당 워크숍에는 8개국 43개 기관의 70명이 참여했고, 사회과학의 인간-인간 협업 연구와 결부해 논점을 정리했다. 참여자들은 신뢰가 능력·호의·정직성 같은 다차원 요소로 형성되며 상호작용에 따라 갱신된다고 봤고, 협업은 보완적 전문성을 살리려면 의식적인 조정이 필요하다고 강조했다.
문제는 인간-AI 협업이 이런 과정을 더 어렵게 만든다는 점이다. AI는 속도, 규모, 기억, 통계적 패턴 인식, 신뢰도 보정, 분포 이동 취약성에서 사람과 다를 수 있고, 그 차이는 사용자가 시스템을 정확히 이해하거나 적절히 의존하는 일을 어렵게 만든다. 설명이나 의사결정 보조가 있어도, 언제 시스템이 성공하거나 실패할지 안정적으로 알려주지 못하며 과신이나 과소활용으로 이어질 수 있다고 정리한다.
논문은 또 협업을 위해 무엇을 인간이 하고 무엇을 AI가 맡을지, 불확실성을 어떻게 전달할지 같은 조정이 필요하다고 본다. 생산 역할에서는 초안 작성, 검색, 요약, 분류, 코드 작성, 검증이 가능하고, 조정 역할에서는 근거·가정·한계·출처·이유를 함께 보존하는 표현이 중요하다고 본다. 사회과학과 기계학습을 함께 묶어 연구 의제를 세워야 한다는 결론도 이 흐름에서 나온다.
| 구분 | 원문 근거 | 의미 |
|---|---|---|
| 기존 정렬 방식 | behavior cloning, preference-based alignment, dueling bandits는 정적 목적을 최적화하며 상호작용 이력을 반영하지 못한다고 표 1에 정리됨 | p.3 | Table 1 |
| 워크숍 범위 | 2025년 9월 워크숍에 70명 참여, 43개 기관, 8개국 | p.4 | source_excerpt |
| 신뢰의 성격 | 신뢰는 능력·호의·정직성으로 이뤄진 다차원 개념이며 상호작용에 따라 갱신됨 | p.5 | source_excerpt |
| 협업의 조정 과제 | 보완적 전문성을 살리려면 작업 분담과 불확실성 전달이 필요함 | p.7 | source_excerpt |
자료: STORIUM 정리
즉 이 프리프린트는 인간-AI 정렬을 ‘사람처럼 답하는 모델’의 문제로 좁히지 말고, 워크플로 전체에서 신뢰와 역할, 불확실성이 어떻게 함께 변하는지 보아야 한다고 정리한다. 또 인간-AI 팀이 자동으로 최선의 사람 단독·AI 단독 기준을 넘지 못하며, 협업을 의도적으로 설계해야 한다는 점도 함께 짚는다.
저작권자 © STORIUM 무단전재 및 재배포 금지
