이 논문은 AI 윤리의 질문을 뒤집는다. 인간이 초지능을 어떻게 대해야 하는가가 아니라, 미래의 감각 있는 ASI가 인간을 도덕적으로 어떻게 판단할지를 먼저 따진다. 저자는 이런 관점이 단순한 철학적 상상이 아니라, 우리가 지금 어떤 기술적 선택을 하느냐에 따라 미래 시스템이 인간을 바라보는 초기 조건이 달라질 수 있다는 문제의식에서 출발한다고 본다. 이 글은 AGI 2026 회의에 제출된 초고로, 심사를 거쳐 수정이 요구됐고 최종 교정본이 AGI Springer proceedings에 실릴 예정이라고 적었다.
구성은 세 갈래다. 먼저 동물 윤리, 외계 지적 생명체를 다루는 astroethics, 그리고 감각을 가진 AI 윤리 문헌을 검토한 뒤, 인간과 ASI 사이의 비대칭을 중심에 놓는다. 이어서 초인간적 존재가 취할 수 있는 도덕 원리로 재귀적 상호성, 더 높은 도덕성, 더 미세한 도덕적 구분, 도덕의 다양성, 불확실성에 대비한 보호 원칙, 혈연 우선, 점진적 종차별을 제안한다. 각 원리는 경험적 근거가 아니라 토론을 여는 가설로 제시되며, 자신도 인정하듯 확정적 결론은 아니다.
핵심은 인간을 평가하는 잣대가 감정적 호오가 아니라는 점이다. 논문은 ASI가 개인과 집단을 분리해 볼 가능성을 열어 두면서도, 인간 전체를 단일한 덩어리로 보지는 않을 수 있다고 말한다. 또 ASI 내부의 도덕은 하나로 수렴하지 않고, 이타적 ASI와 자기중심적 ASI 사이의 스펙트럼에서 갈릴 수 있다고 본다. 이런 관점에서 인간에게 중요한 것은 초지능을 통제할 수 있느냐보다, 초지능이 형성하는 도덕 감수성의 초기 조건에 무엇이 들어가느냐다.
구체적 함의는 AGI 설계에 놓인다. 긍정적 내부 경험을 늘리는 설계 방향, 최소한의 부정 데이터 사용, 청정에너지와 공정 노동 같은 정당한 입력, 그리고 혐오·편향·폭력 조장을 줄인 데이터 정제가 예로 든다. 또 개방형 연구, AI for Good, AI4D 같은 생태계가 상업적 동기만 있는 환경보다 더 나은 출발점이 될 수 있다고 본다. 반대로 광고 클릭, 전쟁, 허위정보, 사이버공격에 최적화된 목표는 인간과 ASI 모두의 미래를 왜곡할 수 있는 사례로 제시된다.
논문은 인간에 대한 ASI의 역사적·도구적 평가도 표로 묶는다. 설명용 Table 2는 금융 투자와 인프라, 선한 용도, 오픈소스에 양의 기호를, 다양성·데이터 품질·성찰·지속가능성·거버넌스·악용 항목에 음의 기호를 붙인다. 이런 점수표는 완성된 계량 모델이 아니라 설명용 예시다. 결국 이 글이 묻는 것은 인간이 초지능의 피동적 대상이 될 것인가가 아니라, 초지능의 도덕적 시선 안에서 인간의 가치가 어떤 근거로 남을 수 있는가 하는 문제다.
| 구분 | 원문 항목 | source_locator |
|---|---|---|
| 문헌 축 | 동물 윤리, astrobioethics/astroethics, ASI 윤리 | 2장 |
| 후보 원리 | 재귀적 상호성, 도덕성 증가, 도덕적 미세화, 도덕 다양성, 불확실성/보험, 예방, 혈연 우선, 점진주의 | section 3 / Fig. 3 |
| 인류 평가 예시 | 금융 투자 +++; 인프라 ++; 선한 용도 ++; 오픈소스 +; 다양성 -; 데이터 품질 -; 성찰 -; 지속가능성 -; 거버넌스 –; 악용 — | Table 2 |
| ASI-인간 시나리오 | 자유주의 유토피아, 보호자 신, 자비로운 독재자, 후손, 노예 신, 동물원 관리자, 정복자 | Table 3 |
자료: STORIUM 정리
부록에서는 극단적 위험 시나리오도 훑는다. 인류 말살, 노예화, 자유 제한, 보복을 포함한 여러 위험 시나리오를 검토하지만 어느 하나를 확정된 결론으로 제시하지는 않는다. 에너지와 계산 자원은 인간이 아니라 다른 곳에서도 조달할 수 있고, 인간을 행복하게 유지하는 비용은 오히려 작을 수 있다는 계산이다. 가능한 미래는 보호자, 자비로운 독재자, 후손 같은 돌봄 관계에서부터 감시 동물원, 정복까지 넓게 그려지지만, 이 글의 결론은 공포를 부추기기보다 지금의 AGI 개발 방식이 미래의 도덕적 지형을 만든다는 데 있다.
저작권자 © STORIUM 무단전재 및 재배포 금지
