Capabilities of Gemini Models in Medicine 논문 정리

Med-Gemini가 보여준 의료 AI의 세 축: 추론, 멀티모달, 롱컨텍스트

논문 정보

• 제목: Capabilities of Gemini Models in Medicine
• 저자: Khaled Saab 외
• 공개: 2024-04-29, arXiv:2404.18416v2
• 한 줄 요약: Gemini를 의료에 맞게 특화한 Med-Gemini 계열은 웹 검색을 활용한 임상 추론, 의료 멀티모달 이해, 긴 EHR·비디오 처리에서 강한 성능을 보였지만, 저자들 역시 이를 곧바로 임상 배포 가능한 시스템으로 해석하지는 않는다.

---

1. 이 논문을 5문장으로 요약하면

이 논문은 Gemini 1.0/1.5를 기반으로 한 Med-Gemini라는 의료 특화 모델군을 제안한다.
핵심은 하나의 만능 모델을 만들었다기보다, 업무 성격에 맞게 서로 다른 모델 구성을 둔 “모델 패밀리”를 만들었다는 점이다.
텍스트 추론에서는 self-training + uncertainty-guided web search, 멀티모달에서는 의료 데이터로의 미세조정과 맞춤형 인코더, 롱컨텍스트에서는 긴 EHR와 비디오를 다루는 프롬프팅/추론 전략을 사용한다.
결과적으로 MedQA, NEJM CPC, 여러 의료 VQA 벤치마크, MedVidQA 같은 긴 문맥 벤치마크에서 강한 결과를 보였고, 일부 실사용형 텍스트 생성 과제에서는 전문가와의 블라인드 비교에서도 경쟁력 있는 평가를 받았다.
다만 이 논문의 더 중요한 메시지는 점수 자체보다도, 의료 AI에서는 최신 지식 접근, 멀티모달 통합, 긴 기록 처리, 그리고 벤치마크 품질 검증이 모두 중요하다는 점이다.

---

2. 블로그에서 잡아야 할 핵심 포인트

1. 이 논문은 “Gemini가 의학 시험을 잘 본다”는 수준을 넘어서려 한다.
   의료 현장에 더 가까운 문제인 최신 정보 검색, 이미지/신호 이해, 긴 EHR와 비디오 처리로 평가 축을 넓힌다.
2. Med-Gemini는 단일 모델이 아니라 역할이 분화된 모델군이다.
   저자들은 스스로 “범용 의료 AI 시스템 하나”를 만들겠다고 하기보다, 추론·멀티모달·롱컨텍스트에 맞춰 다른 구성을 제시한다.
3. 이 논문의 기술적 포인트는 “불확실할 때 검색한다”는 설계다.
   검색을 무조건 호출하는 것이 아니라, 여러 reasoning path의 충돌 정도를 엔트로피로 측정해 검색을 호출한다.
4. 멀티모달은 의료에서 선택이 아니라 필수라는 문제의식이 선명하다.
   피부 이미지, 병리 이미지, CXR, ECG, 수술 비디오, 긴 EHR를 같은 큰 그림 안에서 다룬다.
5. 저자들이 직접 벤치마크 품질 문제를 드러낸다는 점이 중요하다.
   MedQA 재라벨링 결과, 일부 문항은 누락 정보·정답 오류·애매성을 가진 것으로 확인된다. 즉 “SOTA” 숫자 자체도 데이터 품질 위에서 다시 해석해야 한다.

---

3. 전체 그림: 이 논문이 제안하는 구조

 

Figure 1. Gemini의 기본 역량(추론, 멀티모달, 롱컨텍스트) 위에 의료 특화 기법을 얹어 Med-Gemini를 구성하고, 텍스트·멀티모달·롱컨텍스트 전반의 성능 향상을 요약한 그림이다. (논문 p.2)

이 그림 하나만 봐도 논문의 메시지가 명확하다.

• 기반 모델: Gemini
• 의료 특화 축
  • 고급 추론: self-training + 웹 검색 통합
  • 멀티모달 이해: 의료 데이터 미세조정 + 맞춤형 인코더
  • 롱컨텍스트 처리: chain-of-reasoning prompting
• 평가 축
  • 텍스트 추론
  • 멀티모달 이해
  • 롱컨텍스트 처리
  • 실제 활용 가능성을 시사하는 과제

---

4. Med-Gemini는 무엇인가

논문에서 제안하는 Med-Gemini는 이름만 하나인 단일 모델이 아니다. 용도별로 다음과 같이 나뉜다.

모델	기반	주 용도	핵심 포인트
Med-Gemini-M 1.0	Gemini 1.0 Pro	요약, 의뢰서 생성 같은 장문 텍스트 작업	상대적으로 덜 복잡한 언어 기반 과제
Med-Gemini-L 1.0	Gemini 1.0 Ultra	고급 임상 추론	self-training, 검색 활용, uncertainty-guided search
Med-Gemini-M 1.5	Gemini 1.5 Pro	멀티모달 + 롱컨텍스트	이미지/비디오/EHR 같은 긴 입력 처리
Med-Gemini-S 1.0	Gemini 1.0 Nano	새로운 의료 신호 입력	ECG 같은 원시 신호를 맞춤형 인코더로 연결

이 구성이 중요한 이유는 의료 문제의 입력과 요구사항이 너무 다르기 때문이다.
즉, 이 논문은 “의료에서의 범용성”을 이야기하면서도 실제 설계는 상황별 최적화를 택한다.

---

5. 방법론 핵심 ①: self-training + uncertainty-guided search

 

Figure 2. 왼쪽은 self-training으로 reasoning chain과 검색 활용 예시를 합성 데이터처럼 축적하는 과정, 오른쪽은 추론 시 불확실성이 높을 때만 검색을 호출하는 uncertainty-guided search 루프를 보여준다. (논문 p.7)

이 논문의 가장 흥미로운 기술 포인트는 검색을 단순한 RAG처럼 붙인 것이 아니라, 불확실성 기반으로 검색을 호출한다는 점이다.

어떻게 작동하나

1. 같은 문제에 대해 여러 reasoning path를 생성한다.
2. 답변 분포의 엔트로피를 계산해 불확실성을 측정한다.
3. 불확실성이 높으면, 충돌하는 reasoning path를 해소할 수 있는 검색 질의를 새로 만든다.
4. 검색 결과를 프롬프트에 다시 넣고 재추론한다.

왜 의미가 있나

의료는 지식이 빠르게 바뀌는 영역이다.
따라서 “모델 내부에 저장된 지식”만으로 답하는 것보다, 필요할 때 최신 외부 정보에 접근하는 능력이 훨씬 중요하다.

함께 기억할 포인트

• 이 논문에서 이 전략은 주로 텍스트 벤치마크에 적용된다.
• 멀티모달 검색까지 확장한 것은 아니다.
• 저자들은 authoritative source 제한, 검색 결과의 질 평가, 인용 품질 분석 등은 후속 연구 과제로 남겨둔다.

---

6. 방법론 핵심 ②: 의료 멀티모달 특화

Gemini 자체도 멀티모달이지만, 저자들은 의료에서는 그것만으로 충분하지 않다고 본다.
이 논문은 두 가지를 한다.

1. 의료 이미지/텍스트 데이터로 직접 미세조정
   Slake-VQA, Path-VQA, MIMIC-CXR, PAD-UFES-20, ROCO 등을 사용한다.
2. 새로운 의료 신호를 위한 맞춤형 인코더 추가
   ECG를 위해 Gemini 1.0 Nano에 특수 인코더를 연결한 Med-Gemini-S 1.0을 만든다.

즉, 메시지는 단순하다.
강한 범용 멀티모달 모델이 있어도, 의료 데이터는 별도로 맞춰야 성능이 올라간다.

---

7. 방법론 핵심 ③: 롱컨텍스트를 의료 문제에 맞게 활용

이 논문에서 가장 실무적으로 흥미로운 부분은 롱컨텍스트다.

의료에서는 실제로 다음과 같은 문제가 많다.

• 수백 페이지에 이르는 EHR에서 특정 조건의 근거를 찾기
• 긴 수술/교육 비디오에서 특정 순간을 찾기
• 여러 논문 PDF를 한 번에 읽고 메커니즘을 정리하기

논문은 여기에 대해 두 방향을 보여준다.

• 긴 EHR에서 “needle-in-a-haystack” retrieval + existence 판단
• 긴 의료 비디오에서 질문 답변, 행동 분류, 수술 단계 해석

핵심은 단순히 context window가 길다는 점이 아니라, 긴 문맥 속에서 필요한 증거를 찾고, 그 증거를 근거로 결론을 내리는 절차를 설계했다는 점이다.

---

8. 텍스트 추론 성능: 이 논문의 첫 번째 축

 

Figure 3. 검색 통합이 MedQA를 넘어서 NEJM CPC와 GeneTuring에도 일반화되는지 보여준다. 특히 NEJM CPC에서는 top-k 성능이 뚜렷하게 개선된다. (논문 p.16)

 

 

Figure 4. self-training과 검색 라운드 수가 MedQA 정확도에 미치는 영향, 그리고 MedQA 재라벨링 후 정확도 변화가 함께 제시된다. (논문 p.17)

핵심 숫자

과제	Med-Gemini	비교 기준	해석
MedQA (USMLE)	91.1%	GPT-4 + MedPrompt 90.2, Med-PaLM 2 86.5	의료 시험형 QA에서 강한 SOTA
NEJM CPC Top-10	72.3%	AMIE 59.1	복잡한 감별진단 과제에서 큰 폭 개선
NEJM CPC Top-1	30.7%	AMIE 29.2	Top-1도 개선되지만 폭은 Top-10보다 작음
GeneTuring	12개 모듈 중 7개 모듈에서 SOTA 경신	GPT-4 등	유전체 지식 과제에서도 일부 일반화

여기서 정말 중요한 포인트

이 논문은 단순히 “91.1% 달성”으로 끝나지 않는다.
저자들은 MedQA 테스트셋을 다시 라벨링해서 벤치마크 자체의 품질 문제를 검토한다.

논문에 따르면 대략 다음 비율의 문제가 발견된다.

• 3.8%: 누락된 정보가 있음
• 2.9%: 정답 라벨 오류 가능성
• 0.7%: 애매한 문제

즉, 합치면 약 7.4%의 문항이 평가용으로 부적절하거나 애매할 수 있다는 뜻이다.
이것은 의료 AI 벤치마크를 읽을 때 꼭 짚어야 할 포인트다.
저자들은 이런 문항을 제외하면 MedQA 정확도가 91.1% → 91.8% ± 0.2로 올라간다고 보고한다.

내 해석

이 결과는 “모델이 좋아졌다”는 주장만이 아니라, 의료 벤치마크는 ground truth 자체가 흔들릴 수 있다는 사실을 보여준다.
의학에서는 단일 정답이 항상 깨끗하게 정의되지 않기 때문에, 이 논문은 오히려 평가 철학 면에서도 의미가 있다.

---

9. 실사용형 텍스트 생성: 시험 문제를 넘어선 평가

 

 

Figure 5. 의료 요약, 의뢰서 생성, 의료 단순화 과제에서 임상의와의 블라인드 비교 결과를 보여준다. (논문 p.17)

논문은 시험형 QA 외에도 실제 업무에 가까운 텍스트 생성 과제를 평가한다.

• After-visit summary 생성
• Referral letter 생성
• 의학적 systematic review를 plain language summary로 단순화

특히 부각할 만한 결과는 다음과 같다.

• After-visit summary 전체 품질 평가에서 65%가 Med-Gemini 선호
• Referral letter는 92%가 Med-Gemini 선호, 나머지 8%는 동률
• Medical simplification 전체 품질에서는 88%가 Med-Gemini 선호

이 부분은 상당히 중요하다.
의료 AI의 초기 실사용은 진단 보조보다도, 오히려 행정 부담 완화와 문서화 지원에서 먼저 가치가 나올 가능성이 높기 때문이다.

---

10. 멀티모달 성능: 이 논문의 두 번째 축

 

 

Figure 6. 사용자가 증상을 말하고 이미지를 올리면, 모델이 후속 질문을 하고 진단 후보와 치료 방향을 설명하는 피부과 대화 예시다. 저자들은 이것을 “가능성의 시연”으로 제시하며 실제 배포 수준이라고 주장하지 않는다. (논문 p.19)

 

 

Figure 7. CXR를 바탕으로 소견 작성, 근거 설명, 환자 친화적 언어로의 재서술까지 이어지는 영상의학 대화 예시다. (논문 p.20)

대표 성능

벤치마크	Med-Gemini	비교 기준	비고
NEJM Image Challenge	69.7	GPT-4V 61.0	OOD, close-ended VQA
USMLE-MM	93.5	GPT-4V 80.4	멀티모달 의학 문제
MMMU-HM	67.3	GPT-4V 64.7	health & medicine subset
ECG-QA	57.7	GPT-4 + SE-WRN 51.6	ECG 입력에 맞춤 인코더 사용
Path-VQA	64.7 F1	Med-PaLM M 62.7	병리 VQA
Slake-VQA	87.5 F1	SoTA 89.3	경쟁력 있으나 최고 성능은 아님
PAD-UFES-20	85.9	SoTA 88.0	경쟁력 있으나 최고 성능은 아님

논문이 강조하는 메시지

• Gemini는 기본적으로 멀티모달이 강하다.
• 하지만 의료에서 높은 성능을 내려면 도메인 데이터로 다시 맞춰야 한다.
• ECG처럼 사전학습에 충분히 없었을 가능성이 큰 입력은 별도 인코더가 필요하다.

해석 포인트

이 논문은 멀티모달 대화 예시를 꽤 인상적으로 제시하지만, 저자들 스스로도 이를 실제 진단 보조로 해석하면 안 된다고 선을 긋는다.
즉, 이 파트는 “현재 배포 가능성”보다 향후 인터랙션 형태의 가능성을 보여주는 시연에 가깝다.

---

11. 롱컨텍스트 성능: 이 논문의 세 번째 축

 

 

Figure 8. 긴 EHR에서 특정 condition의 언급을 모두 찾고, 그 증거를 바탕으로 condition 존재 여부를 판단하는 2단계 절차다. (논문 p.22)

대표 성능

과제	Med-Gemini	비교 기준	해석
EHR Needle-in-a-Haystack Precision	0.77	0.85 heuristic baseline	정밀도는 낮음
EHR Needle-in-a-Haystack Recall	0.76	0.73 heuristic baseline	재현율은 더 높음
EHR Needle-in-a-Haystack F1	0.77	0.78 heuristic baseline	거의 비슷
MedVidQA mIoU (video-only)	43.4	27.5	긴 비디오 이해에서 크게 개선
MedVidQA mIoU (video+subtitle)	65.8	58.3	자막이 있으면 더 강함
CVS assessment	55.2	67.0 supervised baseline	이 과제는 아직 약함

여기서 눈여겨볼 점은 EHR 결과다.
숫자만 보면 heuristic baseline과 거의 비슷하거나 약간 낮다. 그런데 저자들이 강조하는 가치는 따로 있다.

• baseline은 수작업 규칙 설계와 ontology 의존성이 크다.
• Med-Gemini는 롱컨텍스트 in-context learning만으로 비슷한 성능을 낸다.
• 즉, 새로운 조건이나 새로운 검색 과제로 확장 비용이 더 낮다는 것이 포인트다.

즉 이 결과는 “압도적 SOTA”라기보다, 긴 의료 문서를 직접 읽고 유연하게 추론하는 범용성을 보여주는 데 의미가 있다.

---

12. 롱컨텍스트 비디오: 의료 비디오 이해의 가능성

 

 

Figure 9. 담낭절제술 비디오에서 Critical View of Safety(CVS) 달성 여부를 항목별로 평가하는 예시다. (논문 p.24)

 

 

Figure 10. 질문에 답하는 비디오 구간을 정확한 타임스탬프로 찾아내는 MedVidQA 예시다. (논문 p.25)

 

 

Figure 11. 수술 비디오를 구간별로 나누어 cutting, suturing, background 등을 태깅하는 예시다. (논문 p.25)

 

 

Figure 12. 수술 장면을 보고 어떤 단계인지, 어떤 도구와 구조가 보이는지, 위험을 줄이려면 무엇을 해야 하는지 설명하는 대화 예시다. (논문 p.26)

이 네 개의 그림이 보여주는 것은 단순한 비디오 분류가 아니다.
저자들이 그리고 있는 방향은 다음과 같다.

• 교육용 비디오에서 필요한 순간 찾기
• 수술 단계나 행동 자동 태깅
• 안전성 체크리스트 보조
• 학습자/임상의와의 대화형 인터페이스

다만 논문도 솔직하다.
특히 CVS assessment는 여전히 supervised baseline보다 낮다.
즉 “긴 비디오를 이해할 수 있다”는 가능성은 보이지만, 의료 안전성과 직결되는 세부 과제에서는 아직 개선 여지가 크다.

---

13. 긴 EHR와 긴 논문 묶음을 직접 다루는 데모

 

 

Figure 13. 긴 의료 기록을 요약하고, 그 요약을 바탕으로 사용자가 자연어로 후속 질문을 던지는 EHR dialogue 예시다. (논문 p.27)

 

 

Figure 14. 12편의 논문 PDF를 입력으로 받아 FTO locus와 비만의 연결 메커니즘을 요약하는 scientific synthesis 예시다. (논문 p.28)

이 부분은 임상뿐 아니라 연구 워크플로우 측면에서도 의미가 있다.

• EHR 요약 + 후속 질의응답은 임상의의 정보 탐색 부담을 줄일 수 있다.
• 여러 논문 동시 읽기 + 기전 요약은 연구자나 clinician-scientist에게 생산성 향상을 줄 수 있다.

개인적으로 이 논문에서 가장 흥미로운 부분도 여기다.
의료 AI가 정말 현장에서 차별화될 가능성이 높은 지점은, “정답 하나 맞히기”보다 복잡한 기록과 문헌을 묶어서 다루는 능력이기 때문이다.

---

14. 이 논문의 강점

1) 평가 범위가 넓다

저자들은 14개 벤치마크, 25개 과제를 통해 텍스트·멀티모달·롱컨텍스트를 함께 평가한다.
의료 LLM 논문 중에서는 상당히 넓은 편이다.

2) 검색을 임상 추론에 연결한 방식이 설득력 있다

불확실성을 계량해서 검색을 호출하는 설계는 “도구 사용”을 의료 문제에 잘 번역한 사례다.

3) 벤치마크 점수만이 아니라 데이터 품질 문제까지 다룬다

MedQA 재라벨링은 이 논문의 신뢰도를 높이는 부분이다.
저자들이 자기 결과를 더 유리하게 보이게 하려는 것보다, 평가 자체를 정교하게 보려는 태도를 보여준다.

4) 롱컨텍스트를 실제 의료 데이터와 연결한다

긴 EHR와 수술/교육 비디오를 평가한 것은 단순히 “context window가 크다”는 데서 한 걸음 더 나간다.

---

15. 이 논문의 한계와 주의할 점

1) 모든 과제에서 최고는 아니다

• Slake-VQA와 PAD-UFES-20에서는 최고 성능이 아니다.
• CVS assessment는 supervised baseline보다 낮다.
• GeneTuring 일부 모듈에서는 여전히 약하다.

2) 인상적인 데모 중 상당수는 정량 검증보다 시연에 가깝다

피부과/영상의학/수술 대화 예시는 흥미롭지만, 임상 배포 수준의 검증과는 거리가 있다.

3) 검색 품질 자체에 대한 분석은 아직 제한적이다

어떤 출처를 우선할지, 검색 결과의 정확성과 편향을 어떻게 통제할지, 인용 품질을 어떻게 검증할지는 후속 과제로 남아 있다.

4) 저자들도 실제 배포에는 매우 신중하다

논문 말미에서 저자들은 공정성, 프라이버시, 편향, 안전성, 실제 환경에서의 검증이 필요하다고 반복해서 강조한다.
또한 모델 코드와 가중치를 오픈소스로 공개하지 않는다.

---

16. 이 논문이 진짜로 말하는 것

이 논문의 진짜 메시지는 “의료 벤치마크 점수를 또 올렸다”가 아니다.

오히려 더 중요한 메시지는 다음에 가깝다.

의료 AI가 실질적으로 유용해지려면,
(1) 최신 정보에 접근할 수 있어야 하고,
(2) 이미지·신호·비디오를 함께 이해해야 하며,
(3) 긴 기록과 문헌을 다룰 수 있어야 하고,
(4) 벤치마크 숫자를 넘어 실제 워크플로우에서 검증되어야 한다.

Med-Gemini는 이 네 가지 방향 중 앞의 세 가지에서 분명한 진전을 보인다.
반면 네 번째, 즉 실제 임상 환경에서의 안전하고 공정한 사용은 여전히 남은 과제다.

---

17. 결론

이 논문은 Med-Gemini를 통해 의료 AI의 방향이 더 이상 “의학 시험 문제를 얼마나 잘 푸는가”에만 머물 수 없음을 보여준다. 검색을 통한 최신 지식 활용, 의료 이미지와 신호를 함께 다루는 멀티모달 능력, 긴 EHR와 비디오를 직접 읽는 롱컨텍스트 능력이 앞으로의 핵심 경쟁력이라는 메시지가 분명하다. 동시에 저자들은 MedQA 재라벨링과 각종 한계 서술을 통해, 높은 성능이 곧바로 임상 적용 가능성을 의미하지는 않는다고 선을 긋는다. 그래서 이 논문은 단순한 SOTA 보고서라기보다, “의료 AI를 어디까지 확장할 수 있는가”와 “그 확장을 어떻게 신중하게 해석해야 하는가”를 함께 보여주는 논문이라고 보는 편이 맞다.

---

18. 마지막 정리

이 논문을 한 문장으로 정리하면 다음과 같다.

Med-Gemini는 “의료 AI가 어디까지 갈 수 있는가”를 추론·멀티모달·롱컨텍스트의 세 축에서 설득력 있게 보여준 논문이지만, 동시에 그 성능을 임상적 유효성과 동일시해서는 안 된다고 스스로 말하는 드문 논문이다.

---

Source

• Saab et al., Capabilities of Gemini Models in Medicine, arXiv:2404.18416v2, 2024.