[Mixtral of Experts] 논문 정리

한 줄 요약

Mixtral 8x7B는 큰 모델의 용량과 작은 모델에 가까운 실행 비용을 동시에 노린 언어 모델입니다.

핵심은 단순합니다.

• 모델 안에는 여러 개의 “전문가”가 있습니다.
• 토큰 하나를 처리할 때는 그중 일부만 사용합니다.
• Mixtral은 8개 전문가 중 2개만 골라 실행합니다.
• 그래서 전체 파라미터는 크지만, 매번 계산되는 파라미터는 훨씬 적습니다.

논문 기준으로 Mixtral은 Llama 2 70B와 GPT-3.5에 맞먹거나 앞서는 성능을 보였습니다.
특히 수학, 코드, 다국어 성능에서 강점이 큽니다.

왜 이 논문이 중요한가

기존 대형 언어 모델은 보통 성능을 높이기 위해 전체 모델 크기를 키웁니다.
문제는 비용입니다.

모델이 커지면 추론할 때도 더 많은 계산이 필요합니다.
메모리도 더 많이 필요합니다.
지연 시간도 늘어납니다.

 

Mixtral은 다른 접근을 택합니다.

모델 안에 많은 능력을 넣어두되, 매 순간 필요한 일부만 꺼내 쓰는 방식입니다.

이 방식은 Sparse Mixture of Experts, 즉 희소 전문가 혼합 구조라고 부릅니다.
“희소”하다는 말은 모든 경로를 다 쓰지 않는다는 뜻입니다.

구조: 8개 전문가 중 2개만 호출한다

Mixtral은 Mistral 7B 계열의 Transformer 구조를 바탕으로 합니다.
가장 큰 차이는 각 층의 피드포워드 블록입니다.

일반 Transformer는 토큰이 항상 같은 피드포워드 블록을 지나갑니다.
Mixtral은 이 부분을 8개의 전문가 블록으로 바꿉니다.

토큰이 들어오면 라우터가 먼저 판단합니다.

• 이 토큰을 어떤 전문가가 가장 잘 처리할지 점수를 매깁니다.
• 가장 적합한 전문가 2개를 고릅니다.
• 두 전문가의 결과를 가중해서 합칩니다.
• 나머지 전문가는 실행하지 않습니다.

즉, 모든 토큰이 같은 길을 가는 모델이 아닙니다.
토큰마다, 층마다, 선택되는 전문가가 달라질 수 있습니다.

 

 

Crop 포인트: 라우터에서 입력이 모든 전문가로 퍼지지 않고 선택된 전문가 쪽으로만 흐르는 지점이 핵심입니다.

이 구조의 직관은 명확합니다.

모델은 전체적으로 더 많은 지식을 담을 수 있습니다.
하지만 한 토큰을 처리할 때는 필요한 일부 회로만 켭니다.

논문은 이를 통해 Mixtral이 전체 47B 규모의 희소 파라미터를 갖지만, 토큰 하나를 처리할 때는 약 13B 활성 파라미터만 사용한다고 설명합니다.

성능: 작은 실행 비용으로 70B급 모델과 경쟁

논문은 Mixtral을 Llama 계열 모델과 같은 평가 파이프라인에서 비교합니다.
평가 범위는 넓습니다.

• 상식 추론
• 세계 지식
• 독해
• 수학
• 코드 생성
• MMLU, BBH, AGI Eval 같은 종합 벤치마크

결과는 분명합니다.

Mixtral은 대부분의 항목에서 Llama 2 70B와 비슷하거나 더 높은 성능을 냅니다.
특히 수학과 코드에서 격차가 큽니다.

 

 

Crop 포인트: 오른쪽의 Math와 Code 막대에서 Mixtral이 Llama 2 70B 대비 크게 앞서는 부분을 보면 이 모델의 강점이 드러납니다.

수치로 보면 차이가 더 선명합니다.

• MMLU: Mixtral 70.6%, Llama 2 70B 69.9%
• HumanEval: Mixtral 40.2%, Llama 2 70B 29.3%
• MBPP: Mixtral 60.7%, Llama 2 70B 49.8%
• MATH: Mixtral 28.4%, Llama 2 70B 13.8%
• GSM8K: Mixtral 74.4%, Llama 2 70B 69.6%

여기서 중요한 점은 Mixtral이 Llama 2 70B보다 훨씬 적은 활성 파라미터로 이 결과를 냈다는 것입니다.

 

 

Crop 포인트: 가로축의 활성 파라미터가 작아도 Mixtral 점이 Llama 2 70B 근처 또는 위에 놓이는 구간을 보면 효율성이 보입니다.

이 그림은 논문의 핵심 메시지를 잘 보여줍니다.

Mixtral은 “전체 모델 크기”보다 “실제로 매번 계산되는 부분”을 줄이는 데 초점을 둡니다.
그래서 성능 대비 추론 비용이 낮아질 수 있습니다.

다만 이 해석에는 조건이 있습니다.
활성 파라미터는 계산량과 강하게 연결되지만, 실제 서빙 비용은 메모리와 하드웨어 활용률에도 영향을 받습니다.
MoE는 라우팅 오버헤드가 있고, 여러 전문가를 장치에 나누어 올릴 때 부하 불균형도 생길 수 있습니다.

GPT-3.5와의 비교

논문은 Mixtral 8x7B를 Llama 2 70B, GPT-3.5와도 비교합니다.

결과는 “모든 항목에서 압도”라기보다 대부분의 항목에서 대등하거나 우세에 가깝습니다.

특히 코드 벤치마크인 MBPP와 수학 문제인 GSM8K에서 Mixtral이 강합니다.
MT-Bench에서는 Mixtral Instruct가 GPT-3.5 Turbo와 거의 같은 수준으로 보고됩니다.

이 비교는 논문 평가 당시의 특정 GPT-3.5 Turbo 버전을 기준으로 합니다.
따라서 현재 모델 생태계 전체의 순위를 의미하지는 않습니다.

다국어 성능: 영어만 잘하는 모델이 아니다

Mixtral은 사전학습에서 다국어 데이터 비중을 높였습니다.
논문은 프랑스어, 독일어, 스페인어, 이탈리아어 벤치마크에서 Mixtral이 Llama 2 70B를 앞선다고 보고합니다.

중요한 점은 영어 성능을 크게 희생하지 않았다는 것입니다.

즉, Mixtral은 다음 두 목표를 함께 노립니다.

• 영어 중심 벤치마크에서 강한 성능 유지
• 주요 유럽어에서도 높은 정확도 확보

이 결과는 MoE 구조의 여분 용량이 다국어 패턴을 흡수하는 데 도움이 되었을 가능성을 보여줍니다.

긴 문맥 처리: 32k 토큰을 실제로 활용하는가

긴 컨텍스트 길이를 지원한다고 해서 항상 긴 문맥을 잘 쓰는 것은 아닙니다.
그래서 논문은 passkey retrieval 과제를 사용합니다.

이 과제는 긴 프롬프트 어딘가에 비밀번호 같은 단서를 숨겨두고, 모델이 끝까지 읽은 뒤 그 단서를 되찾을 수 있는지 확인합니다.

Mixtral은 논문 실험에서 문맥 길이와 단서 위치에 관계없이 100% 검색 정확도를 보였습니다.
또한 수학 논문 스타일 데이터에서는 문맥이 길어질수록 예측 품질이 안정적으로 좋아지는 흐름을 보였습니다.

 

 

Crop 포인트: 왼쪽의 진한 영역은 단서 위치가 바뀌어도 검색 정확도가 유지된다는 점을 보여주며, 오른쪽 곡선은 문맥이 길어질수록 모델 예측이 개선되는 흐름을 보여줍니다.

이 결과는 Mixtral의 32k 컨텍스트가 단순한 명목상 길이가 아니라는 근거로 제시됩니다.

편향 평가: 개선은 있지만 해결은 아니다

논문은 BBQ와 BOLD를 사용해 편향 관련 평가도 수행합니다.

BBQ에서는 점수가 높을수록 편향적 단서에 덜 휘둘린다고 해석할 수 있습니다.
BOLD에서는 평균 감정 점수와 집단 내부 편차를 함께 봅니다.

Mixtral은 Llama 2 70B보다 BBQ 정확도가 높았습니다.
BOLD에서도 전반적으로 더 긍정적인 감정 경향을 보였습니다.

 

 

Crop 포인트: BBQ accuracy 행에서 Mixtral 수치가 Llama 2 70B보다 높게 나타나는 부분이 논문의 편향 완화 주장을 뒷받침합니다.

다만 이 결과를 “안전한 모델”의 증명으로 보기는 어렵습니다.
편향 벤치마크는 제한된 상황을 측정합니다.
실제 서비스 환경에서는 별도의 안전성 평가와 정책 튜닝이 필요합니다.

Instruction 튜닝: 오픈 가중치 모델의 경쟁력

논문은 기본 모델과 별도로 Mixtral 8x7B Instruct도 제시합니다.

학습은 두 단계로 이루어집니다.

• 먼저 지시문 데이터로 답변 형식을 맞춥니다.
• 이후 선호도 데이터를 사용해 더 나은 답변을 선택하도록 조정합니다.

논문 시점의 MT-Bench 점수는 8.30입니다.
LMSys Chatbot Arena 스크린샷 기준으로는 GPT-3.5 Turbo, Claude-2.1, Gemini Pro, Llama 2 70B Chat보다 높은 순위를 보였습니다.

 

 

Crop 포인트: Mixtral-8x7B-Instruct-v0.1 행이 폐쇄형 모델들 사이에서 높은 Arena Elo를 기록한 위치를 보면 오픈 가중치 모델의 경쟁력이 드러납니다.

 

여기서도 주의가 필요합니다.
리더보드는 계속 바뀝니다.
따라서 이 그림은 “논문 발표 시점의 강력한 위치”를 보여주는 자료로 보는 것이 적절합니다.

라우팅 분석: 전문가는 주제별로 나뉘었을까

MoE 모델을 보면 자연스럽게 이런 질문이 생깁니다.

“수학 전문가는 수학만 처리하고, 코드 전문가는 코드만 처리할까?”

논문은 The Pile의 여러 도메인 데이터를 사용해 전문가 선택 분포를 분석합니다.
결과는 예상보다 미묘합니다.

대부분의 도메인에서 전문가 선택 분포는 크게 다르지 않았습니다.
DM Mathematics만 약간 다른 경향을 보였습니다.

 

 

Crop 포인트: 도메인이 달라도 막대 분포가 크게 갈라지지 않는 부분이 “주제별 전문가 분화”가 뚜렷하지 않다는 해석을 뒷받침합니다.

 

이 결과는 흥미롭습니다.
전문가가 “분야별 부서”처럼 작동한다고 단순화하기 어렵다는 뜻입니다.

오히려 논문은 전문가 선택이 문법적·형식적 패턴과 더 관련 있을 수 있다고 봅니다.
예를 들어 코드의 들여쓰기, 특정 토큰 패턴, 반복되는 구문이 같은 전문가로 향하는 경우가 관찰됩니다.

 

 

Crop 포인트: 코드 들여쓰기와 반복 토큰이 비슷한 색으로 묶이는 부분을 보면 라우팅이 주제보다 형식 패턴에 민감할 수 있음을 알 수 있습니다.

첫 번째 전문가와 두 번째 전문가의 역할

부록 그림은 전문가 선택을 더 세분화합니다.
첫 번째 선택과 두 번째 선택을 나누어 보면, 특정 층에서 선택 분포가 조금 더 뚜렷하게 드러납니다.

하지만 전체 결론은 크게 바뀌지 않습니다.
전문가가 특정 학문 분야에 깔끔하게 1대1로 대응한다고 보기는 어렵습니다.

 

 

Crop 포인트: 첫 번째 선택과 두 번째 선택을 분리해도 도메인별 막대가 완전히 다른 형태로 갈라지지 않는 점이 중요합니다.

연속 토큰은 같은 전문가를 반복해서 쓰는 경향이 있다

논문에서 더 중요한 관찰은 “시간적 지역성”입니다.

가까운 토큰들이 같은 전문가를 반복해서 선택하는 경향이 있습니다.
특히 중간 이후의 층에서 이 현상이 강해집니다.

 

 

Crop 포인트: 점선보다 위에 놓인 곡선들이 연속 토큰의 전문가 선택이 무작위보다 훨씬 자주 반복된다는 점을 보여줍니다.

 

이 관찰은 시스템 최적화와 연결됩니다.

같은 전문가가 연속해서 자주 호출되면 캐싱이나 배치 최적화에 활용할 수 있습니다.
반대로 특정 전문가에 요청이 몰리면 expert parallelism에서 부하 불균형이 생길 수 있습니다.

즉, MoE는 모델 구조만의 문제가 아닙니다.
서빙 시스템 설계와 강하게 연결됩니다.

실무 관점에서 보는 장점

Mixtral의 장점은 다음과 같습니다.

• 강한 성능 대비 낮은 활성 계산량
• 32k 긴 문맥 지원
• 수학·코드·다국어에서 높은 경쟁력
• Apache 2.0 라이선스의 오픈 가중치 공개
• instruction 튜닝 모델까지 함께 제공

특히 오픈 가중치 모델이라는 점이 큽니다.
연구자는 내부 구조를 분석할 수 있습니다.
기업은 라이선스 조건 안에서 상업적 활용을 검토할 수 있습니다.

주의할 점

Mixtral이 모든 면에서 단순히 “작고 빠른 70B 대체재”라는 뜻은 아닙니다.

다음 요소를 함께 봐야 합니다.

• 전체 희소 파라미터를 올릴 메모리는 필요합니다.
• 라우터와 전문가 선택 과정에는 오버헤드가 있습니다.
• 작은 배치와 큰 배치에서 효율 특성이 달라질 수 있습니다.
• 전문가 병렬화는 부하 균형 문제가 생길 수 있습니다.
• 벤치마크 성능이 실제 제품 품질을 그대로 보장하지 않습니다.

논문도 활성 파라미터만으로 전체 서빙 비용을 설명할 수 없다고 분명히 구분합니다.

결론

Mixtral of Experts의 핵심 기여는 용량과 계산량을 분리한 실용적 대형 언어 모델 설계입니다.

모델 전체는 큰 용량을 갖습니다.
하지만 토큰마다 일부 전문가만 실행합니다.

 

그 결과 Llama 2 70B급 모델과 경쟁하면서도 활성 계산량은 훨씬 낮은 구조를 제시합니다.

또한 논문은 단순히 성능표만 제시하지 않습니다.
긴 문맥, 다국어, 편향, instruction 튜닝, 라우팅 패턴까지 함께 분석합니다.

특히 라우팅 분석은 MoE 모델을 이해하는 데 중요한 단서를 줍니다.
전문가가 주제별로 깔끔하게 나뉘기보다, 문법적·형식적 패턴과 연속 토큰 구조에 반응할 가능성이 큽니다.

Mixtral은 오픈 가중치 LLM 경쟁에서 중요한 기준점을 만든 모델입니다.
동시에 MoE가 앞으로 모델 성능뿐 아니라 추론 시스템 설계의 핵심 주제가 될 것임을 보여주는 논문입니다.

Source

• Albert Q. Jiang et al., “Mixtral of Experts”, arXiv:2401.04088v1, 2024.
• arXiv: https://arxiv.org/abs/2401.04088
• Code: https://github.com/mistralai/mistral-src
• Webpage: https://mistral.ai/news/mixtral-of-experts/