EHRNoteQA 논문 핵심 정리

논문 제목: EHRNoteQA: An LLM Benchmark for Real-World Clinical Practice Using Discharge Summaries
발표: NeurIPS 2024 Track on Datasets and Benchmarks
저자: Sunjun Kweon, Jiyoun Kim, Heeyoung Kwak, Dongchul Cha, Hangyul Yoon, Kwanghyun Kim, Jeewon Yang, Seunghyun Won, Edward Choi

한 줄 요약
EHRNoteQA는 의료 LLM을 “의학시험 문제를 얼마나 잘 푸는가”가 아니라, 실제 환자의 여러 퇴원요약서(discharge summaries)를 읽고 의사 스타일 질문에 얼마나 정확히 답하는가로 평가하려는 벤치마크다.

---

1. 왜 이 논문이 중요한가

기존 의료 LLM 벤치마크는 대체로 MedQA, MedMCQA, PubMedQA처럼 의학 지식 문항 중심이다. 이런 벤치마크는 모델의 의학 상식을 보기는 좋지만, 실제 병원 업무에서 필요한 환자별 기록 기반 추론은 제대로 측정하지 못한다.
특히 임상 현장에서는 한 장의 note만 보는 것이 아니라, 여러 번의 입원 기록을 시간 순서대로 비교하면서 “약이 어떻게 바뀌었는지”, “이전 입원과 비교해 상태가 어떻게 달라졌는지”, “특정 증상의 원인이 무엇인지”를 파악해야 한다.

이 논문은 바로 그 간극을 찌른다.
즉, clinical knowledge QA가 아니라 chart-grounded, multi-note reasoning을 겨냥했다는 점이 핵심이다.

블로그 포인트

• “의료 LLM이 의학 시험을 잘 본다”와 “실제 EHR를 잘 읽는다”는 다른 문제다.
• EHRNoteQA는 후자, 즉 실사용 맥락의 환자 기록 QA를 측정하려는 시도다.

---

2. 이 논문의 핵심 기여

1. 다중 퇴원요약서 기반 QA 벤치마크를 제안했다.
   기존 discharge summary QA 데이터셋은 대부분 single-note 기반이었지만, EHRNoteQA는 여러 입원 기록을 함께 읽어야 하는 질문을 포함한다.
2. 질문 주제를 넓혔다.
   치료, 평가, 문제, 원인, 증상, 활력징후, 검사결과, 병력, 지시사항, 향후 계획까지 10개 카테고리를 다룬다.
3. 두 가지 평가 형식을 모두 제공한다.
   • open-ended QA
   • multi-choice QA
4. 실제 임상의 평가와 더 잘 맞는 벤치마크임을 보였다.
   논문은 EHRNoteQA 점수가 다른 의료/일반 벤치마크보다 임상의 수작업 평가와 더 높은 상관을 가진다고 보고한다.

---

3. 데이터셋은 어떻게 만들어졌나

EHRNoteQA는 MIMIC-IV의 discharge summary를 기반으로 만들었다.
초기 초안은 GPT-4가 생성했지만, 최종 품질은 임상의 3인 검수·수정을 통해 보강했다.

 

 

Figure 1. EHRNoteQA 구축 파이프라인. 환자 샘플링 → GPT-4 기반 초기 QA 생성 → 부적절 항목 제거 → 임상의 수정 순서로 진행된다. (원 논문 Figure 1에서 crop)

구축 절차 요약

• 환자 샘플링: MIMIC-IV에서 discharge summary 길이를 기준으로 환자를 나눠 샘플링
• GPT-4 초기 생성: 질문 1개, 정답 1개, 오답 선택지 4개 생성
• 임상의 검수:
  • 부적절한 질문 제거
  • 질문 문장 다듬기
  • 정답 보완
  • 오답 선택지를 더 그럴듯한 distractor로 수정

임상의 수정 결과

• 초기 1,000개 질문 중 38개 삭제
• 남은 962개 중 질문 206개 수정
• 정답 338개 수정
• 3,842개 오답 보기 중 966개 수정

블로그 포인트

이 데이터셋은 단순한 “LLM 생성 synthetic QA”가 아니다.
정확히는 LLM 초안 + 임상의 임상적 relevance 검수라는 하이브리드 제작 방식이다. 이 점이 벤치마크의 신뢰성을 높인다.

---

4. 데이터셋 스펙 한눈에 보기

항목	EHRNoteQA
최종 QA pair 수	962
환자 수	962
사용된 discharge summary 수	1,659
답변 형식	Open-ended + Multi-choice
문서 grounding	Multiple documents 가능
질문 카테고리	10개

기존 discharge summary QA 데이터셋과의 차이

데이터셋	답 형식	문서 단위	토픽 수
emrQA	Text span	Single	5
Fan	Text span	Single	1
Yue et al.	Text span	Single	5
Moon et al.	Text span	Single	1
EHRNoteQA	Open-ended + Multi-choice	Multiple	10

 

핵심은 규모보다 설계 방향이다.
EHRNoteQA는 “짧은 한 문장 span을 찾는 문제”보다, 여러 note를 넘나드는 임상 질의응답을 더 현실적으로 반영한다.

---

5. 전처리와 샘플링 설계도 실무적이다

논문은 discharge summary가 너무 길어 현재 LLM의 context limit를 쉽게 넘는다는 점을 고려했다.
그래서 먼저 불필요한 공백을 제거해 평균 길이를 약 10% 줄였고, 각 note 앞에 Patient ID / Admission ID / Chartdate 메타데이터를 붙여 여러 입원 기록의 순서를 구분 가능하게 만들었다.

 

 

Figure 2. discharge summary 전처리 예시. 공백 제거와 메타데이터 추가를 통해 길이와 시간 순서를 함께 다룰 수 있게 만든다. (원 논문 Figure 2에서 crop)

Level 1 / Level 2

• Level 1: 누적 discharge summary 길이 3,000 토큰 이하
• Level 2: 3,000~7,000 토큰

이 구분은 단순한 편의가 아니라, 당시 오픈소스 LLM의 context length 한계를 반영한 설계다.
논문은 이 두 그룹이 MIMIC-IV 환자의 약 70%를 커버한다고 설명한다.

블로그 포인트

이 논문은 단지 벤치마크를 만든 것이 아니라, “현실적으로 현재 모델이 소화 가능한 길이 안에서 임상 QA를 어떻게 설계할까”를 고민한 흔적이 선명하다.

---

6. 어떤 질문을 묻는가: 질문 카테고리 분포

EHRNoteQA의 질문은 10개 카테고리로 나뉜다.

• Treatment 64%
• Etiology 20%
• Assessment 19%
• Problem 19%
• Test Results 14%
• Sign/Symptom 12%
• History 12%
• Plan 5%
• Vitals 3%
• Instruction 3%

주의: 한 질문이 여러 카테고리에 동시에 속할 수 있어 합계는 100%를 넘지 않는다.

 

 

Figure 3. EHRNoteQA 질문 카테고리 분포. 치료 관련 질문 비중이 가장 높다. (원 논문 Figure 7에서 crop)

해석

가장 눈에 띄는 점은 Treatment 중심의 질문이 압도적으로 많다는 것이다.
이건 오히려 데이터셋의 약점이 아니라 강점에 가깝다. 임상 현장에서 discharge summary를 다시 보는 이유가 실제로 “무엇을 했고, 왜 했고, 이후 어떻게 관리할 것인가”에 집중되기 때문이다.

블로그 포인트

• 이 데이터셋은 “균등 분포”보다 실제 clinical inquiry 분포를 더 닮았다.
• 즉, 벤치마크의 목적이 리더보드용 균형 데이터가 아니라 현장 적합성이라는 점이 보인다.

---

7. 평가는 어떻게 했나

이 논문은 평가 방식도 흥미롭다.
open-ended 답변은 BLEU/ROUGE로 채점하지 않고, GPT-4를 평가자(judge)로 써서 정답/오답을 판정했다.
저자들은 이 방식이 사람 평가와 더 잘 맞는지 따로 검증했고, 임상의와의 Cohen’s kappa가 0.757 / 0.855 / 0.880으로 높게 나왔다고 보고한다.

multi-choice도 일반적인 확률 기반 scoring 대신 GPT-4를 사용해 정오 판정을 했고, 저자 수작업 기준 98% 정확도를 보였다.

 

 

Figure 4. Open-ended / Multi-choice 평가 파이프라인. 모델 출력 생성 후 GPT-4로 5회 평가하고 mode를 최종 점수로 사용한다. (원 논문 Figure 11에서 crop)

왜 5번 평가하나

논문 부록에 따르면 temperature를 0으로 둬도 GPT-4 평가 결과가 간혹 흔들려, 같은 출력에 대해 5회 평가 후 mode를 사용했다.

블로그 포인트

이 논문에서 중요한 것은 “LLM을 judge로 썼다” 자체보다,
그 judge가 실제 임상의 판단과 얼마나 align되는지까지 검증했다는 점이다.

---

8. 주요 실험 결과

저자들은 총 27개 LLM을 평가했다.
폐쇄형 모델 3개(GPT-4, GPT-4-Turbo, GPT-3.5-Turbo)와 24개 오픈소스 모델이 포함된다.

상위 성능 모델(핵심만)

Model	Multi-Choice L1	Multi-Choice L2	Open-Ended L1	Open-Ended L2
GPT-4	97.16	95.15	91.30	89.61
GPT-4-Turbo	95.27	94.23	91.30	86.61
Llama3-70B-Instruct	94.33	91.92	89.04	86.84
Mixtral-8x7B-Instruct	87.52	86.61	88.28	81.52
GPT-3.5-Turbo	88.28	84.99	82.23	75.52

결과 해석 1: GPT-4가 가장 강하다

예상대로 GPT-4가 전체 최고 성능을 보였다.
다만 오픈소스 모델 중에서는 Llama3-70B-Instruct가 꽤 근접했다는 점이 중요하다.

결과 해석 2: 모델 크기만으로 설명되지 않는다

작은 모델이 큰 모델을 이기는 예외가 나온다.
논문은 foundation model과 instruction tuning 데이터가 성능에 큰 영향을 준다고 해석한다.
예를 들어, 일부 7B 모델이 훨씬 큰 70B 모델보다 낫게 나오는 경우도 있다.

결과 해석 3: note가 길어질수록, 많아질수록 더 어렵다

이 논문에서 가장 실무적인 메시지다.

• 같은 모델이라도 Level 1 → Level 2로 가면 성능이 대체로 하락
• note 개수가 1개에서 2개, 3개로 늘어나도 성능 하락
• 즉, single-note reading과 multi-note longitudinal reasoning은 다른 능력이다

예를 들면, Mistral-7B-Instruct는

• Multi-choice: 82.04 → 64.90
• Open-ended: 72.97 → 53.81
  로 크게 떨어진다.

반면 Mixtral-8x7B-Instruct는 더 완만하게 떨어져,
단순한 기본 성능보다 긴 문맥과 누적 기록을 안정적으로 다루는 능력이 따로 중요하다는 점을 보여준다.

결과 해석 4: clinical tuning이 항상 이기는 것은 아니다

논문은 임상 도메인 instruction tuning 모델이라고 해서 무조건 우세하지는 않다고 말한다.
즉, “의료용으로 튜닝됨”이라는 라벨 자체보다, 무슨 형태의 데이터로 튜닝됐는가가 더 중요하다.

---

9. EHRNoteQA가 왜 더 현실적인 벤치마크인가

논문의 가장 강한 메시지는 여기 있다.
저자들은 별도 임상의가 실제 discharge summary 기반 질문(DiSCQ)에 대해 19개 모델의 응답을 직접 채점하게 한 뒤, 그 점수와 각 벤치마크 점수의 상관을 비교했다.

핵심 상관 결과

Benchmark	Clinician 평가와의 Spearman 상관(범위)
EHRNoteQA Open-Ended	0.770 ~ 0.805
EHRNoteQA Multi-Choice	0.732 ~ 0.812
emrQA	0.653 ~ 0.696
Yue et al.	0.502 ~ 0.542
MedQA	0.497 ~ 0.683
MedMCQA	0.505 ~ 0.737
일반 벤치마크 평균	0.575 ~ 0.619

논문 초록은 이를 평균적으로 Spearman 0.78, Kendall 0.62 수준이라고 요약한다.

해석

즉, EHRNoteQA 점수가 높을수록 실제 임상의가 “이 모델은 discharge summary QA를 잘한다”고 평가할 가능성이 더 높다는 뜻이다.
이건 단순히 “새 데이터셋을 만들었다”보다 훨씬 큰 의미가 있다.
벤치마크가 현장 성능의 proxy로 더 유효하다는 주장이기 때문이다.

블로그 포인트

블로그에서 가장 강조하기 좋은 문장은 이것이다.

“시험형 의학 QA에서 높은 점수를 받는 모델이 실제 환자 기록 QA도 잘하는 것은 아니며, EHRNoteQA는 그 간극을 더 잘 드러내는 벤치마크다.”

---

10. 이 논문에서 꼭 짚어야 할 해석

10-1. 이 논문은 “의료 지식”보다 “기록 기반 추론”을 본다

질병 지식이 아니라,

• 어떤 정보가 어느 note에 있었는지
• 시간 순서가 어떻게 되는지
• 치료가 어떻게 바뀌었는지
• 여러 입원 사이의 관계가 무엇인지
  를 모델이 읽어낼 수 있는지 묻는다.

10-2. Context length 지원과 long-note reasoning은 다르다

모델이 “8k context를 지원한다”는 것과, 실제로 길고 누적된 임상 기록을 정확히 해석한다는 것은 다르다.
이 논문은 그 차이를 실험적으로 보여준다.

10-3. 평가 메트릭도 과제에 맞게 바뀌어야 한다

open-ended clinical QA를 BLEU/ROUGE로 재는 것은 한계가 크다.
논문은 judge LLM을 쓰되, 사람 평가와의 정합성을 함께 검증하는 방향을 제시했다.

10-4. “더 큰 모델”보다 “더 맞는 튜닝”이 중요할 수 있다

foundation model과 instruction tuning 데이터에 따라 성능이 크게 달라진다.
임상 도메인에서 모델 선택은 단순 파라미터 수 경쟁이 아니다.

---

11. 논문이 직접 밝힌 한계와 앞으로의 방향

한계

1. MIMIC 기반 한정성
   EHRNoteQA는 MIMIC-IV를 기반으로 만들었고, 임상의 상관 실험도 MIMIC-III 기반 질문을 사용했다.
   따라서 다른 병원 EHR에 그대로 일반화된다고 보기는 어렵다.
2. 현재 context length에 맞춘 설계
   현 버전은 4k/8k 수준의 모델을 염두에 둔 Level 1/2 중심이다.
   즉, 더 긴 환자 히스토리 전체를 보는 수준까지는 아직 확장되지 않았다.
3. note 종류의 제한
   discharge summary에 집중했기 때문에 radiology note, physician note 등 다른 임상 문서 유형은 아직 다루지 않는다.

후속 방향

• 더 긴 context를 처리하는 모델이 늘어나면,
  더 많은 입원 횟수와 더 긴 누적 기록으로 확장 가능
• discharge summary 외에
  radiology note / physician note 등으로 확장 가능

---

12. 정리 문장

결론 3문장

1. EHRNoteQA의 가치는 규모보다도 문제 설정의 현실성에 있다.
2. 이 벤치마크는 의료 LLM 평가를 “의학 상식”에서 “환자 기록 기반 추론”으로 이동시킨다.
3. 실제 병원 현장에 가까운 모델 평가를 하려면, 앞으로 이런 유형의 benchmark가 더 중요해질 가능성이 크다.

---

13. 최종 한 줄 평

EHRNoteQA는 의료 LLM을 위한 “시험 문제” 벤치마크가 아니라, 실제 chart-reading 능력을 겨냥한 벤치마크라는 점에서 의미가 크다.
특히 multi-note reasoning, 임상의와의 상관 검증, open-ended 평가 설계가 이 논문의 가장 강한 포인트다.

---

참고

• Paper DOI (dataset access): https://doi.org/10.13026/acga-ht95
• Code: https://github.com/ji-youn-kim/EHRNoteQA

본 문서의 수치와 그림 설명은 원 논문 본문 및 부록을 바탕으로 요약했으며, 그림은 블로그용 가독성을 위해 crop하여 재배치했다.