Learning and Planning Multi-Agent Tasks via an MoE-based World Model 논문 정리

핵심 요약

이 논문은 멀티태스크 멀티에이전트 강화학습에서 하나의 모델이 여러 작업을 안정적으로 풀도록 만드는 방법을 제안한다.

핵심은 간단하다.

• 여러 작업의 최적 정책은 서로 크게 다르다.
• 하지만 작업군 안에서는 환경이 변하는 원리, 즉 dynamics가 닮아 있다.
• 이 유사성은 전체 작업에 무한히 퍼지지 않는다.
• 그래서 저자들은 이를 bounded similarity라고 부른다.

M3W는 이 관찰을 바탕으로, MoE를 정책 네트워크가 아니라 월드 모델에 넣는다.

결과적으로 M3W는 다음을 동시에 노린다.

• 비슷한 작업끼리는 지식을 재사용한다.
• 다른 작업끼리는 간섭을 줄인다.
• 학습된 월드 모델로 미래를 예측하고, 그 예측 위에서 행동을 계획한다.

---

문제의 출발점: 정책은 다르지만 dynamics는 묶인다

기존 멀티태스크 MARL 방법들은 주로 정책을 어떻게 공유할지에 집중했다.

하지만 정책은 작업 목표에 매우 민감하다.
문을 여는 정책과 문을 닫는 정책은 서로 반대일 수 있다.
물체를 잡는 작업은 또 다른 행동 패턴을 요구한다.

 

저자들은 여기서 관점을 바꾼다.

정책이 아니라 환경 변화의 구조를 보면, 일부 작업은 서로 훨씬 더 비슷하다.
예를 들어 문 열기와 문 닫기는 목표는 다르지만, 문과 손이 상호작용하는 물리 구조는 비슷하다.

Crop 포인트: 정책 분포보다 dynamics 분포가 작업군 단위로 더 잘 묶이는 부분이 이 논문의 핵심 출발점이다.

 

이 관찰은 두 가지 결론으로 이어진다.

첫째, 공유할 대상은 정책보다 월드 모델이 더 적합하다.

둘째, 모든 작업을 하나로 뭉개면 안 된다.
비슷한 작업군 안에서는 공유하고, 다른 작업군은 분리해야 한다.

---

M3W: 정책 중심에서 월드 모델 중심으로

M3W는 MoE-based World Model for Multi-agent Multi-task scenarios의 약자다.

구조는 크게 세 부분이다.

• 여러 에이전트의 관측과 행동을 잠재공간으로 인코딩한다.
• MoE 기반 월드 모델이 다음 상태와 보상을 예측한다.
• 플래너가 예측된 미래를 비교해 행동을 고른다.

중요한 점은 실행 단계다.
M3W는 명시적인 정책 하나에만 의존하지 않는다.
월드 모델이 만든 가상 rollout을 평가하고, 그 결과로 행동을 최적화한다.

Crop 포인트: 왼쪽의 월드 모델·플래너 구조와 오른쪽의 평균 성능 차이를 함께 보면, 논문의 방법론과 결과가 한 번에 연결된다.

---

방법 1: 여러 에이전트를 sequence로 본다

M3W는 각 에이전트의 상태와 행동을 하나의 토큰처럼 다룬다.

예를 들어 두 손이 협력하는 작업이라면, 왼손의 관측·행동과 오른손의 관측·행동이 각각 토큰이 된다.
모델은 이 토큰들의 관계를 보고 다음 잠재 상태를 예측한다.

이 방식은 멀티에이전트 문제를 구조화된 sequence 예측 문제로 바꾼다.

---

방법 2: dynamics에는 SoftMoE, reward에는 SparseMoE

M3W의 월드 모델은 두 종류의 MoE를 사용한다.

Dynamics 모델에는 SoftMoE를 쓴다.

• 여러 에이전트 토큰을 전문가들에게 부드럽게 나눠 보낸다.
• 전문가들의 출력을 다시 모아 각 에이전트의 다음 상태를 예측한다.
• 비슷한 작업은 비슷한 전문가 조합을 쓰게 된다.

Reward 예측기에는 SparseMoE를 쓴다.

• 현재 작업에 맞는 일부 전문가만 선택한다.
• 선택된 전문가는 에이전트 간 상호작용을 보고 보상을 예측한다.
• 불필요한 전문가 활성화를 줄이고, 작업별 특화를 유도한다.

Crop 포인트: 왼쪽은 dynamics를 공유·조합하는 방식, 오른쪽은 reward 예측에서 필요한 전문가만 활성화하는 방식에 주목하면 된다.

---

방법 3: 행동은 정책이 아니라 planning으로 고른다

M3W의 actor는 최종 정책이 아니다.

actor는 플래너에 넣을 후보 행동을 빠르게 만드는 역할만 한다.
실제 선택은 월드 모델 기반 planning이 담당한다.

과정은 다음과 같다.

1. 여러 행동 후보를 만든다.
2. 월드 모델이 각 후보의 미래를 짧게 상상한다.
3. 예측 보상과 critic의 장기 평가를 함께 본다.
4. 좋은 후보를 남기고 행동 분포를 갱신한다.
5. 이 과정을 반복한 뒤 첫 행동을 실행한다.

이 구조의 장점은 분명하다.
정책 하나가 모든 작업의 충돌을 떠안지 않아도 된다.
월드 모델이 더 정확해질수록 planning도 좋아진다.

---

실험 환경: 유사성과 충돌이 함께 있는 작업들

논문은 두 벤치마크를 사용한다.

 

Bi-DexHands는 두 개의 로봇 손이 협력하는 조작 환경이다.
문 열기, 문 닫기, 물체 전달, 병뚜껑 열기처럼 복잡한 조작 작업이 포함된다.

 

MA-Mujoco는 로봇의 관절을 여러 에이전트가 나눠 제어하는 환경이다.
Cheetah, Walker, Hopper, Humanoid 등 서로 다른 로봇군이 포함된다.

이 두 환경은 M3W의 가정을 검증하기 좋다.
비슷한 작업군도 있고, 전혀 다른 dynamics를 가진 작업군도 있기 때문이다.

Crop 포인트: 같은 벤치마크 안에서도 작업 목표와 물리 구조가 섞여 있어, 지식 공유와 간섭 억제가 동시에 필요하다는 점을 보면 된다.

---

결과 1: Bi-DexHands에서 평균 성능이 크게 오른다

Bi-DexHands 14개 작업에서 M3W는 평균 정규화 점수 84.1을 기록했다.

주요 비교값은 다음과 같다.

• MACD: 72.0
• HMASD: 72.3
• MAT: 58.8
• MAPPO: 63.6
• HATRPO: 59.4

특히 catch 계열 작업에서 차이가 크다.
이 작업들은 물체를 던지고 받는 구조가 유사하다.
M3W는 이 유사한 dynamics를 재사용해 더 빠르게 수렴한다.

문 열기와 문 닫기처럼 목표가 반대인 작업에서도 강점이 드러난다.
비슷한 물리 구조는 공유하되, 보상과 의미 충돌은 MoE 구조로 완화한다.

Crop 포인트: 파란 곡선이 빠르게 올라가고 후반에도 안정적으로 유지되는 구간이 M3W의 sample efficiency를 보여준다.

---

결과 2: MA-Mujoco에서도 작업군 간 간섭을 줄인다

MA-Mujoco 24개 작업에서도 M3W가 가장 높은 평균 성능을 보였다.

평균 점수는 다음과 같다.

• M3W: 40.2
• MACD: 29.5
• HMASD: 33.1
• MAT: 24.3
• MAPPO: 24.1
• HATRPO: 15.7

Cheetah 계열에서는 비슷한 dynamics가 재사용된다.
Hopper처럼 다른 로봇군에서는 전문가 분리가 간섭을 줄인다.

간단한 stand 작업에서도 흥미로운 현상이 있다.
다른 방법들은 학습 후 성능이 흔들리지만, M3W는 비교적 안정적으로 유지된다.

Crop 포인트: Cheetah 계열의 빠른 수렴과 Hopper 계열의 안정성이 서로 다른 방식으로 M3W의 장점을 보여준다.

---

결과 3: 월드 모델 예측 자체가 더 정확하다

M3W의 성능은 planning만의 효과가 아니다.
월드 모델의 예측 정확도도 높다.

저자들은 MoE를 다른 구조로 바꿔 비교했다.

• 일반 MLP는 여러 작업의 dynamics를 한 번에 맞추기 어렵다.
• Transformer는 에이전트 상호작용을 볼 수 있지만, 모든 작업을 같은 파라미터로 처리한다.
• Switch-Transformer는 전문가 구조를 쓰지만, M3W처럼 multi-agent token을 적절히 배분하고 다시 모으는 구조가 부족하다.

M3W는 dynamics 예측과 reward 예측 모두에서 가장 낮은 오차를 보였다.

Crop 포인트: 예측 horizon이 길어져도 M3W의 dynamics 오차가 낮게 유지되는 부분이 장기 planning의 기반이다.

---

결과 4: planner를 붙여도 월드 모델 품질 차이는 남는다

저자들은 MACD에도 같은 planner를 붙여 비교했다.

결과는 명확하다.
planner를 추가하면 MACD도 좋아진다.
하지만 M3W와의 격차는 여전히 남는다.

 

즉, planning 구조만 중요한 것이 아니다.
planning이 믿고 사용할 수 있는 정확한 월드 모델이 필요하다.

 

Crop 포인트: MACD에 planner를 붙인 곡선이 개선되지만, M3W 곡선과의 간격이 유지되는 부분을 보면 된다.

---

해석 가능성 1: 전문가는 기능적으로 특화된다

M3W는 단순히 성능만 높이는 블랙박스가 아니다.
전문가가 어떤 부분에 집중하는지도 분석할 수 있다.

Walker-run 작업에서 높은 점수를 받은 전문가는 지면과 접촉하며 힘을 내는 다리 쪽에 집중한다.
낮은 점수의 전문가는 움직임 변화에 덜 적응적인 패턴을 보인다.

이는 router가 현재 작업에 맞는 전문가를 고르고 있다는 증거로 해석된다.

Crop 포인트: 높은 점수의 전문가가 실제 움직임에 중요한 관절 쪽으로 주의를 옮기는 흐름을 보면 된다.

---

해석 가능성 2: bounded similarity가 routing에 반영된다

저자들은 task별 router 출력의 유사도를 시각화했다.

비슷한 dynamics를 가진 작업들은 대각선 블록처럼 묶인다.
이는 router가 비슷한 작업에 비슷한 전문가 조합을 배정한다는 뜻이다.

 

또한 공유 잠재공간에서 task trajectory를 그리면, 유사한 작업들이 가까이 모인다.
catch 계열은 catch 계열끼리, door 계열은 door 계열끼리 가까운 위치를 차지한다.

Crop 포인트: 왼쪽의 블록 구조와 오른쪽의 작업군별 군집이 같은 메시지를 준다. M3W는 유사성은 공유하고 차이는 분리한다.

---

추가 분석: reward scale에도 덜 흔들린다

멀티태스크 강화학습에서는 보상 스케일 차이가 큰 문제가 된다.
보상이 큰 쉬운 작업이 학습을 지배할 수 있기 때문이다.

논문은 Hopper stand 보상을 크게 키운 뒤, hop 작업을 함께 학습시켰다.

 

대부분의 방법은 stand에는 빠르게 수렴하지만 hop을 계속 개선하지 못한다.

M3W는 hop 행동을 끝까지 개선한다.
저자들은 그 이유를 task embedding, 안정적인 reward 변환, planning 중심 구조에서 찾는다.

Crop 포인트: stand가 빠르게 포화된 뒤에도 hop에서 M3W만 계속 상승하는 구간이 핵심이다.

---

추가 분석: planning 비용은 줄일 수 있다

M3W는 실행 시 planning을 하기 때문에 정책 기반 방법보다 계산량이 크다.
하지만 논문은 기본 설정에서도 Bi-DexHands 기준 약 25.8ms per step이라고 보고한다.

또한 early stopping을 적용하면 약 9.8ms per step까지 줄어든다.
저자들은 이때 속도는 크게 빨라지고, 성능 하락은 작다고 설명한다.

Crop 포인트: 반복 수가 늘수록 비용이 증가하지만, early stopping이 성능과 속도의 균형점을 만든다는 점을 보면 된다.

---

추가 분석: 에이전트 수가 늘어도 확장된다

M3W는 모든 에이전트의 상태를 한 번에 길게 이어 붙이지 않는다.
각 에이전트의 잠재 상태와 행동을 토큰 단위로 처리한다.

이 덕분에 에이전트 수가 늘어날 때 차원이 폭발하는 문제를 줄인다.
논문은 10-agent Swimmer와 56-agent MAgent에서도 확장성을 확인했다.

Crop 포인트: 10-agent Swimmer에서 빠른 상승, 56-agent MAgent에서 높은 최종 성능을 함께 보면 확장성 주장을 이해하기 쉽다.

---

이 논문의 기여

M3W의 기여는 세 가지로 정리된다.

 

1. bounded similarity 관찰

멀티태스크 환경에서는 모든 작업이 비슷하지 않다.
하지만 일부 작업군 안에서는 dynamics가 강하게 닮아 있다.
이 구조를 학습에 활용해야 한다.

 

2. MoE를 정책이 아니라 월드 모델에 적용

기존 MoE 기반 강화학습은 주로 정책 모듈화에 초점을 맞췄다.
M3W는 dynamics와 reward 예측 쪽에 MoE를 배치한다.
이는 지식 재사용과 간섭 억제를 더 직접적으로 다룬다.

 

3. 월드 모델 기반 planning으로 실행

M3W는 하나의 명시적 정책에 모든 결정을 맡기지 않는다.
예측된 미래를 비교해 행동을 선택한다.
정확한 월드 모델이 성능 향상으로 이어지는 구조다.

---

한계

현재 M3W는 연속 행동 공간에 맞춰져 있다.
사용한 planner가 연속 행동을 샘플링하고 개선하는 방식이기 때문이다.

이산 행동 공간에서는 다른 planning 방식이 필요하다.

 

저자들은 향후 Monte Carlo Tree Search나 Cross-Entropy Method 계열 planner와의 결합을 제안한다.

또한 M3W는 멀티에이전트 월드 모델 학습을 위해 에이전트 간 관측과 행동 정보를 공유할 수 있다고 가정한다.
논문은 이를 한 번의 communication으로 구현할 수 있다고 설명한다.

---

정리

이 논문의 메시지는 명확하다.

멀티태스크 멀티에이전트 학습에서 중요한 것은 “하나의 정책이 모든 작업을 잘하게 만드는 것”만이 아니다.
오히려 여러 작업의 환경 구조를 잘 모델링하고, 그 모델 위에서 행동을 계획하는 접근이 더 강력할 수 있다.

M3W는 이 관점을 MoE 기반 월드 모델로 구현한다.

• 비슷한 dynamics는 공유한다.
• 다른 dynamics는 분리한다.
• 정책 충돌은 planning으로 완화한다.
• 예측 정확도, 성능, 해석 가능성을 함께 개선한다.

멀티태스크 MARL에서 월드 모델의 역할을 정책 보조 장치가 아니라 중심 모듈로 끌어올린 논문으로 볼 수 있다.

---

Source

• Paper: Zijie Zhao, Zhongyue Zhao, Kaixuan Xu, Yuqian Fu, Jiajun Chai, Yuanheng Zhu, Dongbin Zhao. Learning and Planning Multi-Agent Tasks via an MoE-based World Model. NeurIPS 2025.
• Code: https://github.com/zhaozijie2022/m3w-marl
• Provided PDF: 6412_Learning_and_Planning_Mul(1).pdf