디컴파일된 바이너리 함수의 원래 이름을 LLM이 얼마나 잘 복원하는지 평가할 때, 모델보다 정답표가 먼저 흔들릴 수 있다는 연구가 나왔다. ‘REFORGE’는 C 소스의 함수와 최적화된 바이너리 함수를 연결하는 전 과정을 추적하고, 어떤 함수가 신뢰할 만한 평가 대상인지 따로 기록하는 벤치마크 구축 방법이다.
컴파일러는 함수를 인라인하고 합치거나 제거하므로 최적화 수준이 높을수록 소스와 바이너리의 일대일 대응이 깨진다. REFORGE는 C 소스 생성, 컴파일, DWARF 정보와 구문 추출, 정렬, 디컴파일을 거친다. 여덟 개 품질 관문으로 정렬 불확실성을 걸러낸 뒤 함수별 정답을 세 신뢰 등급으로 나눈다. 모든 판단의 출처와 탈락 단계를 남겨 평가 가능 표본의 수율도 함께 보고한다.
통제된 마이크로 벤치마크에서 고신뢰 함수의 수율은 낮은 최적화 조건의 87.2%에서 높은 조건의 65.9%로 떨어졌다. 최적화 수준마다 남은 함수 집합을 별도로 비교하면 측정하기 쉬운 함수만 생존하는 편향 때문에 성능 감소를 과장할 수 있었다. 연구진은 소스 선언 위치에 고정된 키로 같은 함수를 최적화 수준 사이에서 짝지어 비교하는 방식을 대안으로 제시했다.
| 최적화 조건 | 고신뢰 정답 수율 | 의미 |
|---|---|---|
| 낮은 최적화 | 87.2% | 신뢰 가능한 함수 정답으로 남은 비율 |
| 높은 최적화 | 65.9% | 인라인·병합·제거로 정렬 수율 감소 |
| 비교 원칙 | 동일 소스 함수 짝비교 | 생존편향을 줄이는 방식 |
개념 검증에는 당시의 LLM 일곱 개를 함수 이름 복원 과제에 적용했다. 그러나 논문의 중심은 모델 순위를 확정하는 데 있지 않다. 연구진 스스로 실증 범위를 좁게 잡았으며, 성능 수치는 일반적인 역공학 능력 추정치가 아니라 평가 기반이 작동하는지 보여주는 예시로 다뤘다. 신뢰 등급 자체도 구조가 단순하고 정렬하기 쉬운 함수를 더 많이 포함할 수 있다.
합성 C 프로그램과 고정 도구체인을 쓰면 재현성을 높일 수 있지만, 실제 대형 소프트웨어·악성코드·여러 컴파일러·아키텍처의 복잡성을 모두 반영하지 못한다. Ghidra 디컴파일과 모델 응답에는 잔여 비결정성이 있고, 함수 이름이 의미적으로 여러 답을 허용하는 문제도 남는다. 따라서 87.2%와 65.9%는 LLM 정확도가 아니라 고신뢰 정답으로 남은 함수 비율이다.
논문은 2026년 10월 Applied Computing 국제학회 게재가 수락된 9쪽 연구로, 2026년 7월 arXiv에 공개됐다. 결과는 보안용 LLM 벤치마크가 정확도 하나만 보고할 것이 아니라 정답 정렬 수율, 탈락 원인, 동일 표본의 짝비교를 함께 공개해야 한다는 점을 보여준다. 이 결과는 동료 검토 전 프리프린트에 담긴 연구진의 보고이므로 후속 검증이 필요하다.
저작권자 © STORIUM 무단전재 및 재배포 금지
