[논문] 컴파일러 없이 스스로 코드를 고치는 ReflexiCoder

코드 생성 AI의 다음 단계. 스스로 틀린 코드를 고친다

"CompileBot이 빌드 실패 메시지를 보내줘야만 코드를 고칠 수 있다면 진짜 실력인가?"

최근 발표된 ReflexiCoder 논문(Jiang et al., 2026)은 이 질문에 정면으로 맞서는 연구입니다. 외부 실행 환경과 컴파일러와 사람의 피드백 없이 모델 스스로 코드를 반성하고 고치는 능력을 강화학습으로 내재화하는 방법을 제안합니다.

---

기존 접근법의 한계

코드 생성 LLM을 개선하는 기존 방법들은 크게 두 가지 패턴을 보입니다.

두 번째 방법은 성능을 올릴 수 있습니다. 하지만 배포 환경에서 외부 오라클을 항상 사용할 수 없다는 치명적인 한계가 있습니다. 프로덕션 환경에서 매번 코드를 실행해볼 수는 없습니다.

ReflexiCoder는 세 번째 길을 제시합니다. 자기반성 능력 자체를 모델 가중치에 내재화하는 것입니다.

---

ReflexiCoder의 핵심 아이디어

ReflexiCoder는 코드 생성 과정을 구조화된 추론 반성 궤적(trajectory)으로 정의합니다.

$$o^{\text{think}} \rightarrow o^{\text{answer}}_1 \rightarrow o^{\text{reflection}}_1 \rightarrow o^{\text{answer}}_2 \rightarrow \cdots \rightarrow o^{\text{answer}}_n$$

모델은 이 구조를 엄격히 따르도록 학습됩니다. 핵심은 각 단계가 강화학습의 보상으로 최적화된다는 점입니다. 단순히 올바른 출력만 보상하는 게 아니라 반성하는 과정 자체를 보상합니다.

왜 RL이 필요한가

단순 지도 학습(SFT)으로도 자기반성 패턴을 학습시킬 수 있습니다. 하지만 SFT는 외부에서 준 정답 궤적을 따라 하는 것에 불과합니다. RL은 모델이 직접 탐색하면서 최적의 반성 전략을 발견하게 합니다.

---

복합 보상 함수 설계

논문에서 가장 흥미로운 부분은 보상 함수 설계입니다. 네 가지 컴포넌트로 구성됩니다.

1. 형식 준수 게이팅 $F(\tau)$

형식을 위반한 궤적에 보상 0을 주는 바이너리 게이트입니다. 아무리 코드가 옳아도 형식이 틀리면 학습에 반영하지 않습니다.

이건 단순해 보이지만 강력합니다. 모델이 형식을 무시하고 결과만 맞히는 지름길을 차단합니다.

2. 사이클 수 규제 $P(n)$

최대 $n_0 = 5$회의 반성 사이클은 패널티 없이 허용합니다. 5회 이후부터는 다항 지수 감쇠와 진동 섭동을 적용합니다.

$$P(n) = e^{-\alpha(n-n_0)^\beta} \cdot \bigl(1 + \gamma \cdot \sin(\omega n)\bigr), \quad n > n_0$$

왜 이렇게 복잡하게 설계했을까요. 단순 지수 감쇠를 쓰면 모델이 반성을 아예 포기하거나 반대로 무한 반복하는 패턴으로 붕괴됩니다. 진동 항 $\gamma \cdot \sin(\omega n)$이 이 극단적 수렴을 막습니다.

3. 반복 품질 향상 보상 $R_{\text{trajectory}}$

가장 정교한 컴포넌트입니다. 단순히 최종 정답을 보상하는 게 아니라 반성을 통해 점진적으로 나아지는 궤적을 보상합니다.

$$R_{\text{trajectory}} = \sum_{j=1}^{n} e^{\lambda j} \cdot \Delta r_j + \mathbf{1}[r_n \geq \tau_q] \cdot B$$

여기서 $\Delta r_j = r_j - r_{j-1}$은 $j$번째 반성 후의 품질 향상입니다. $B$는 수렴 보너스입니다.

4. 효율 보상 $E(n)$

최소한의 반성 횟수로 최대한 개선하는 것을 보상합니다.

$$E(n) = \frac{\mathbf{1}[r_n \geq \tau_q]}{n} + \frac{r_n - r_0}{\max(1,, n-1) + \varepsilon}$$

최종 보상 공식

$$R_{\text{total}}(\tau) = \mathbf{1}[F(\tau)=1] \cdot P(n) \cdot \bigl(\varphi \cdot R_{\text{trajectory}} + \psi \cdot E(n)\bigr) + \xi \cdot F(\tau)$$

이 설계의 핵심은 형식과 효율과 품질과 점진적 개선 네 가지를 동시에 최적화한다는 것입니다.

---

Reflection-aware GRPO

최적화 알고리즘으로는 Group Relative Policy Optimization(GRPO)을 반성에 맞게 수정한 버전을 사용합니다.

기존 RL의 가치 함수(value function) 대신 그룹 내 상대적 이점(advantage) 추정을 사용합니다. 같은 문제에 대해 $G$개의 궤적을 샘플링하고 그룹 내 정규화된 보상으로 이점을 추정합니다.

$$\hat{A}i = \frac{R_i - \mu_G}{\sigma_G}, \quad \mu_G = \frac{1}{G}\sum{i=1}^{G} R_i$$

복잡한 코드 생성 같은 대규모 행동 공간에서 이 방식이 더 안정적이라는 게 논문의 주장입니다.

---

실험 결과

기본 성능 (HumanEval, MBPP 기준)

8B 파라미터 모델이 14B 모델을 능가하고 GPT-5.1과 경쟁적인 성능을 보입니다.

더 어려운 벤치마크

실제 경쟁 프로그래밍 문제인 LiveCodeBench와 알고리즘 대회 문제인 CodeForces에서의 결과입니다.

복잡한 문제일수록 자기반성 능력의 차이가 더 크게 드러납니다.

모델 크기별 스케일링

$0.6\text{B}$부터 $14\text{B}$까지 실험한 결과 ReflexiCoder의 성능 향상은 모델 크기와 함께 초선형(super-linear)으로 증가합니다. 큰 모델일수록 자기반성 능력을 더 효과적으로 내재화합니다.

---

놀라운 발견. 반성이 토큰을 줄인다

가장 반직관적인 발견입니다. 반성 과정을 추가하면 당연히 토큰이 더 많이 사용될 것 같습니다. 실제로는 반대입니다.

반성을 허용한 Multiple 모드가 Single 모드보다 약 36% 적은 토큰을 사용합니다.

왜 이런 결과가 나올까요. 반성 능력을 내재화한 모델은 처음부터 더 신중하게 사고합니다. 불필요한 추론 토큰을 줄이고 핵심에 집중합니다. 논문은 이를 규율 잡힌 추론(disciplined reasoning)이라 부릅니다.

실제로 ReflexiCoder는 약 99.9%의 케이스에서 정확히 $n=1$번의 반성 사이클만 수행하고 종료합니다. 무한히 반복하지 않고 최적 지점에서 멈추는 법을 학습한 것입니다.

---

어블레이션. 각 보상 컴포넌트의 기여

형식 게이팅이 가장 중요합니다. 구조를 강제하지 않으면 모델이 즉각 지름길을 찾습니다.

---

시사점. AI 코딩 어시스턴트의 미래

이 연구는 AI 코딩 도구의 다음 방향을 시사합니다.

---

한계

논문도 솔직하게 한계를 인정합니다.

---

마치며

ReflexiCoder는 단순한 성능 경쟁을 넘어 AI가 어떻게 오류를 인식하고 수정하는가라는 근본적 질문을 다룹니다.

강화학습으로 자기반성을 내재화한다는 아이디어는 코드 생성을 넘어 다양한 추론 작업에 적용될 수 있습니다. 앞으로의 LLM 연구에서 외부 도구에 의존하지 않는 자율적 오류 수정이 핵심 키워드가 될 것으로 보입니다.

참고 자료