신호처리 시스템의 목표가 결국 ‘행동’이라면, 의사결정자는 상태를 얼마나 알고 있는지에 맞는 불확실성 표현을 가져야 한다. Osvaldo Simeone의 arXiv 프리프린트 강의노트는 이 문제를 하나의 의사결정 이론 틀 안에서 정리하며, 목적과 지식 수준에 따라 어떤 형태의 불확실성 표현이 최적 행동에 충분한지 따져본다. 핵심은 불확실성을 단순히 줄이는 데 있지 않고, 실제 효용을 얼마나 신뢰할 수 있게 보증하느냐에 있다.
알려진 환경에서는 위험중립적 에이전트가 상태의 사후분포를 알아야 최적 행동을 고를 수 있다. p(s|o)에 기반해 관측 o마다 기대효용을 최대화하는 방식이다. 반면 위험회피적 에이전트는 상태 전체 분포 대신 커버리지 보장을 갖는 예측집합 Cα(o)와 최악값 기준의 max-min 규칙으로도 최적성을 잃지 않는다. 여기서 수준 α의 예측집합은 1−α 이상의 확률로 진짜 상태를 포함해야 하며, 그 집합에 대해 얻는 value-at-risk는 보증 가능한 하한이 된다.
이 노트는 이 관계를 정리해, 적절히 설계된 예측집합을 쓰면 위험회피적 최적 행동이 다시 복원된다고 보인다. 즉, 예측집합을 최적으로 고르면 value-at-risk를 최대화하는 행동과 max-min 행동이 일치한다. 그림 2와 3에서 보이듯, 알려진 환경에서의 ‘상태 사후분포→기대 최대화’와 ‘예측집합→최악값 최대화’는 각각 다른 정보 표현이지만, 각각의 목적에 대해서는 충분한 인터페이스가 된다.
환경이 미지인 경우에는 문제가 달라진다. 데이터가 제한되면 단순 대입 추정은 일반적으로 부분 최적에 그치며, 에이전트는 에피스테믹 불확실성을 따로 다뤄야 한다. 강의노트는 이를 위해 세 갈래를 제시한다. 첫째는 고정 예측기의 보정(calibration), 둘째는 credal set과 분포강건최적화, 셋째는 모수에 대한 베이지안 추론이다. 보정된 예측기는 예측확률이 실제 조건부 빈도를 반영할 때, 그 예측기만을 거치는 정책들 사이에서 최적이라는 점이 식 (25)~(26)으로 정리된다.
| 구분 | 필요한 표현/규칙 | 원문 근거 |
|---|---|---|
| 알려진 환경, 위험중립 | 상태 사후분포 p(s|o), 기대효용 최대화 | p.2, 식 (2)~(6) |
| 알려진 환경, 위험회피 | 예측집합 Cα(o), max-min 규칙, value-at-risk | p.2~p.3, 식 (7)~(16) |
| 미지 환경, 고정 예측기 | 보정된 예측기 ˆp(s|o), 예측기만 거친 정책 최적성 | p.4~p.5, 식 (22)~(26) |
| 미지 환경, 비모수/강건 | 부분데이터 D_o, credal set P(D_o), 표본 밖 실망도 ≤ δ | p.5~p.6, 식 (27)~(35) |
자료: STORIUM 정리
데이터 기반 비모수 접근에서는 관측별 부분데이터 D_o와 그로부터 만든 credal set P(D_o)가 등장한다. 이 집합이 진짜 사후를 확률 1−δ 이상으로 포함하면, max-min으로 얻은 인증값은 표본 밖 실망도(out-of-sample disappointment)를 δ 이하로 제어한다. TV 거리 예시에서는 상태공간 크기 |S|, 부분데이터 크기 n_o, 신뢰수준 δ를 이용한 반경 r 식이 제시되지만, 카드에 나온 범위 밖의 수치는 없다. 끝으로 베이지안 접근에서는 p(θ|D)와 예측분포 p(s|o,D)를 통해 위험중립 문제를 다시 풀어, 불확실성 표현이 의사결정 목적과 지식 수준에 맞아야 한다는 결론을 묶는다.
저작권자 © STORIUM 무단전재 및 재배포 금지
