Experiential Reinforcement Learning

← 📚 이번 주 Weekly Digest로 돌아가기

DD-029 Experiential Reinforcement Learning

arXiv: 2602.13949 기관: Microsoft Upvotes: 61 | Comments: 5 순위: 이번 주 Top 4

---

안녕하세요. AI/ML 전문가로서 흥미로운 논문을 하나 깊이 있게 분석해 드릴 기회를 갖게 되어 기쁩니다. 이번에 리뷰할 논문은 최근 대규모 언어 모델(LLM)의 강화 학습(Reinforcement Learning) 훈련 패러다임을 변화시킬 잠재력을 가진 ‘Experiential Reinforcement Learning(경험 기반 강화 학습)‘입니다.

이 논문은 단순히 시행착오를 통해 보상을 받는 기존 방식에서 벗어나, 인간처럼 ‘성찰(Reflection)’ 과정을 학습 루프에 직접 녹여내는 것이 얼마나 효과적인지를 보여줍니다. 주니어 개발자분들도 직관적으로 이해하실 수 있도록 비유와 예시를 들어 상세히 풀어보겠습니다.

---

왜 이 논문이 중요한가?

기존의 언어 모델 강화 학습(RLVR 등) 방식은 보상 신호(Reward Signal)가 성공 여부만 알려주고 실패의 원인은 알려주지 않는 희소한(Sparse) 환경에서 매우 비효율적이고 불안정한 문제가 있었습니다. 이 논문은 이를 해결하기 위해 인간의 학습 방식을 모방하여, ‘경험-성찰-통합(Consolidation)‘의 루프를 RL 과정에 명시적으로 포함시킴으로써 모델이 스스로 실수를 분석하고 행동을 교정하도록 유도하는 훈련 패러다임을 제시했습니다.

핵심 아이디어 쉽게 이해하기

일상생활 비유: ‘요리 실력 늘리기’

이 논문의 핵심을 이해하기 위해 요리를 배우는 상황을 상상해 보세요.

기존의 강화 학습(RL) 방식은 마치 요리를 해보고 맛없으면 그저 ‘0점’을 받고 다시 처음부터 랜덤으로 재료를 넣어보는 것과 비슷합니다. 왜 맛이 없는지(소금이 많았는지, 불이 약했는지) 전혀 모른 채 수만 번의 시행착오를 겪어야 합니다. 이는 매우 비효율적입니다.

반면, 이 논문에서 제안하는 경험 기반 강화 학습(ERL)은 다음과 같은 과정을 거칩니다.

1. 시도: 요리를 해봅니다.
2. 피드백: 음식이 짭니다.
3. 성찰(Reflection): “아, 소금 대신 간장을 넣었더니 짰다. 다음엔 간장을 덜 넣어야겠다.”라고 원인을 분석하여 메모를 합니다.
4. 재시도: 이 메모를 보고 요리를 다시 시도합니다. 이번엔 맛있게 됩니다.
5. 통합(Consolidation): “맛있는 요리 = 간장을 반만 넣는 것”이라는 사실을 내 뇌(모델)에 깊이 새겨, 다음부터는 메모를 안 봐도 맛있게 요리할 수 있게 됩니다.

단계별 동작 원리

ERL은 크게 세 가지 단계로 이루어진 루프를 학습 과정에 포함시킵니다.

1. 경험(Experience) 및 초기 시도: 모델이 주어진 작업에 대해 첫 번째 답안(Initial Attempt)을 생성하고 환경으로부터 피드백(보상)을 받습니다. 이때 대부분 실패하거나 낮은 점수를 받게 됩니다.
2. 성찰(Reflection) 및 수정: 모델은 자신의 첫 번째 시도와 받은 피드백을 바탕으로 “어떤 점이 잘못되었는지”를 분석하는 텍스트(Reflection)를 생성합니다. 그리고 이 성찰 내용을 바탕으로 두 번째 답안(Refined Attempt)을 생성합니다.
3. 통합(Consolidation): 두 번째 시도가 첫 번째보다 낫다면, 그 성공 경험을 모델의 가중치에 업데이트합니다. 핵심은 **추론 시점(Inference)**에는 성찰 과정 없이 바로 정답을 낼 수 있도록, 이 수정된 행동 패턴을 모델 자체에 내재화시킨다는 점입니다.

핵심 알고리즘

이 논문의 알고리즘은 기존의 RL 과정에 ‘Reflection’과 ‘Revision’ 단계를 삽입하여 데이터를 생성하고, 이를 통해 정책(Policy)을 업데이트하는 방식입니다.

1. $\tau_1 \sim \pi_{\theta}(y|s)$ : 초기 정책으로 첫 번째 궤적(Trajectory) 생성
2. $r_1 = R(\tau_1)$ : 환경으로부터 보상 획득 (보통 0, 실패)
3. $refl = \pi_{\theta}(\text{reflection} | \tau_1, r_1)$ : 실패 원인 분석 및 성찰 생성
4. $\tau_2 \sim \pi_{\theta}(y|s, refl)$ : 성찰을 조건(Condition)으로 하여 수정된 궤적 생성
5. $r_2 = R(\tau_2)$ : 수정된 시도에 대한 보상 획득 (보통 성공)
6. Update $\theta$ using $(\tau_1, \tau_2)$ : $\tau_2$의 성공 여부를 통해 정책 업데이트 (GRPO 등 사용)

즉, $\tau_1$을 단순히 실패 데이터로 치부하는 것이 아니라, $\tau_2$라는 좋은 데이터를 만들어내기 위한 ‘씨앗’으로 활용하는 것이 핵심입니다.

실험 결과 분석

연구진은 제한된 규칙 정보만 주고 모델이 스스로 규칙을 학습해야 하는 희소 보상(Sparse Reward) 환경에서 실험을 진행했습니다.

어떤 벤치마크에서 테스트했나?

1. Frozen Lake: 얼음판 위에서 구멍을 피해 목표지점까지 가야 하는 게임. 규칙을 몰라도 시행착오로 법칙을 유추해야 합니다.
2. Sokoban: 창고지기 게임. 박스를 미는 순서가 중요하며, 한 번 잘못 미우면 되돌릴 수 없어 긴 계획이 필요합니다.
3. HotpotQA: 멀티홉(Multi-hop) 질의응답. 여러 문서를 찾아보고 종합해 답을 해야 합니다.

기존 방법 대비 얼마나 좋아졌나?

특히 Sokoban에서 압도적인 성과를 보여주었습니다. 이 게임은 한 번의 실수가 돌이킬 수 없는 실패로 이어지기 때문에, 성찰 없는 학습은 거의 불가능에 가깝습니다.

• Qwen3-4B 모델: 기존 RLVR 방식은 성공률 0.06(수백 번 중 한 번 성공)에 그쳤으나, ERL은 0.87로 약 14배 이상 상승했습니다.
• Olmo3-7B 모델: 기존 RLVR은 0.04, ERL은 0.20으로 5배 상승했습니다.

HotpotQA에서도 F1 점수가 0.383(RLVR)에서 0.393(ERL)으로 소폭 but 유의미하게 개선되었습니다.

주목할 만한 성과

학습 곡선(Training Wall-clock time)을 살펴보면 ERL은 매우 빠르게 성능이 상승하는 것을 볼 수 있습니다. 즉, 데이터 효율성이 높아 적은 양의 훈련으로도 높은 성능을 달성할 수 있으며, 최종 성능(Converged Performance) 또한 기존 방법보다 훨씬 높습니다.

한계점과 향후 연구 방향

저자가 언급한 한계

1. 추론 비용(Inference Cost) 증가: 학습 시에는 두 번의 시도와 성찰 과정을 거치므로 계산 비용이 증가합니다. 다만, 학습된 모델은 배포 시에 추가 비용 없이 작동합니다.
2. 나쁜 성찰의 위험: 모델이 생성한 성찰(Reflection)이 항상 정확하지는 않습니다. 틀린 분석을 바탕으로 행동을 수정하면 오히려 학습이 방해받을 수 있습니다.

개선 가능한 점

• 성찰의 품질을 검증하거나 보정하는 메커니즘을 추가할 수 있습니다.
• 현재는 텍스트 기반의 성찰을 사용하지만, 이를 더 구조화된 상태 공간(State Space)으로 표현하여 효율성을 높이는 연구가 가능할 것입니다.

실무 적용 가능성

어디에 바로 적용 가능?

• 코딩 에이전트(Coding Agents): 코드를 짜고 에러가 났을 때, 단순히 다시 짜는 것이 아니라 “어떤 라이브러리가 누락되었는지” 분석하게 하여 수정된 코드를 학습시키기에 매우 적합합니다.
• 웹 브라우징 에이전트: 웹 페이지 탐색 중 실패했을 때, 페이지 구조를 이해 못 해 실패했는지, 버튼을 잘못 눌렀는지 성찰하게 하여 탐색 능력을 높일 수 있습니다.
• 복잡한 게임 AI: 규칙이 불확실하거나 장기적인 계획이 필요한 환경에서 강력한 성능을 발휘할 것입니다.

필요한 리소스

• GPU: 기존 RLHF나 RLVR과 유사한 수준의 GPU 자원이 필요하지만, 학습 데이터 생성 과정에서 토큰 생성량이 2배로 늘어날 수 있으므로 여유 있는 메모리와 연산 능력이 요구됩니다.
• 데이터: 별도의 외부 데이터셋이 필요한 것은 아니며, 환경(Environment)과 상호작용하여 생성된 궤적(Trajectory) 데이터를 사용합니다.

이 논문을 이해하기 위한 사전 지식

1. 강화 학습(Reinforcement Learning): 에이전트가 환경과 상호작용하며 보상을 최대화하는 행동을 학습하는 머신러닝의 한 분야입니다.
2. 희소 보상(Sparse Reward): 목표를 달성했을 때만 보상을 주고, 그 과정에는 아무런 피드백을 주지 않는 보상 체계로 학습이 어렵습니다.
3. 언어 모델(Language Model): 텍스트 데이터를 기반으로 다음 토큰을 예측하도록 훈련된 딥러닝 모델입니다.
4. 궤적(Trajectory): 강화 학습에서 에이전트가 상태(state)와 행동(action)을 시간 순서대로 겪은 경로의 기록입니다.
5. 정책(Policy): 에이전트가 특정 상태에서 어떤 행동을 취할지 결정하는 전략이나 모델 자체를 의미합니다.
6. 추론(Inference): 학습된 모델을 사용하여 실제 환경에서 예측을 수행하거나 답변을 생성하는 과정입니다.
7. RLVR (Reinforcement Learning from Verifiable Rewards): 검증 가능한 보상(예: 컴파일 성공 여부)을 통해 언어 모델을 강화 학습시키는 방법론입니다.

---

📚 이번 주 관련 Deep Dive

순위	논문	Deep Dive
🥇	Less is Enough: Synthesizing Divers…	DD-026
🥈	SQuTR: A Robustness Benchmark for S…	DD-027
🥉	GLM-5: from Vibe Coding to Agentic …	DD-028
4.	Experiential Reinforcement Learning	📍 현재 문서
5.	MedXIAOHE: A Comprehensive Recipe f…	DD-030

---

📅 생성일: 2026-02-22 | 🤖 GLM-4.7 Deep Dive