RadGraph-XL: A Large-Scale Expert-Annotated Dataset for Entity and Relation Extraction from Radiology Reports (요약)

1. 연구 배경

영상의학 보고서는 환자 진료 과정에서 핵심적인 역할을 하지만, 대부분 비정형(unstructured) 텍스트 형태로 작성되어 임상 연구와 전산화된 응용에 직접 활용하기 어렵습니다.

• 언어적 특성: 전문 용어, 복잡한 수식어, 불명확한 서술 포함.
• 기존 자동화의 한계: 특정 질환 여부 분류는 가능했지만, 개별 임상 개체(entity)와 관계(relation) 수준의 구조적 정보 추출에는 부족.
• 전문가 주석 비용: 고도의 도메인 지식을 가진 영상의학 전문의의 참여가 필요해 비용·시간 부담이 큼.

기존의 대표적 데이터셋인 RadGraph-1.0은 흉부 X-ray 보고서만을 다루고 있어 CT, MRI 등 다양한 modality에는 적용할 수 없다는 제한이 있었습니다.

---

2. 기존 연구 동향

1. 대규모 라벨링 데이터셋
   • MIMIC-CXR, CheXpert: 흉부 X-ray 보고서를 자동 라벨링하여 대규모 데이터 확보.
   • 하지만, 질환 존재 여부(label) 수준에 집중, 세밀한 개체·관계 추출 불가능.
2. 세밀한 추출 시도
   • 엔티티 추출 및 공간적 관계 모델링 연구 등장.
   • 전문가의 밀집(dense) 주석 필요 → 비용과 시간의 병목 발생.
3. RadGraph-1.0 (Jain et al., 2021)
   • 흉부 X-ray 보고서 내 임상 정보를 entity-relation 형태로 최초 주석화.
   • 하지만 modality 범위가 제한적, 규모도 비교적 작음(550 보고서, 3만여 개 주석).
4. LLM 활용 시도
   • GPT-4 등 범용 대규모 모델을 이용해 few-shot prompting 기반 정보 추출을 시도.
   • 한계: 비용·추론 시간 문제, 긴 보고서 처리 불안정, 주석 스키마 이해 부족으로 구조적 오류 다수 발생.

---

3. RadGraph-XL 데이터셋의 기여

RadGraph-XL은 기존 RadGraph-1.0을 확장·보완한 대규모 전문가 주석 데이터셋입니다.

• 규모:
  • 총 2,300 보고서
  • 406,141건의 전문가 주석 (개체, 관계, 측정값 포함)
• 포함 modality-anatomy 조합 (4종):
  • Chest CT
  • Abdomen/Pelvis CT
  • Brain MRI
  • Chest X-ray
• 주요 특징:
  1. 범위 확장: X-ray에 국한되지 않고 CT, MRI 포함.
  2. 주석 복잡성 증가: 문장이 길고 정밀한 전문가 판단 필요.
  3. 측정값(measurement) 엔티티 추가: RadGraph-1.0에는 65건뿐이었으나, RadGraph-XL에는 3,297건 포함 → 정량적 데이터 추출 연구 가능.
  4. 데이터 다양성 확보: semantic clustering, 보고서 길이 균형화, 질환 분포 반영.

---

4. 데이터셋 통계 및 주석 과정

• 엔티티 총 226,563건
  • Anatomy: 113,121
  • Observation present: 82,522
  • Observation absent: 22,882
  • Observation uncertain: 8,038
• 관계 총 179,578건
  • Modify: 63.3%
  • Located at: 32.9%
  • Suggestive of: 3.7%
• modality별 비율:
  • Abdomen/Pelvis CT: 41.4%
  • Chest CT: 28.3%
  • Brain MR: 23.2%
  • Chest X-ray: 7.1%
• 주석자: 보드 인증 영상의학 전문의 2인.
  • 평균 일치율: 53~59% (불일치 시 제3의 심사자 판정).

---

5. 실험 및 성능 결과

(1) 학습 모델

• 프레임워크: DyGIE++, SpERT
• 백본 모델: BERT, BiomedBERT, BiomedVLP-CXR-BERT

(2) 성능

• BiomedVLP-CXR-BERT + DyGIE++ → 최고 성능
  • Entity Micro F1 = 0.889
  • Relation Micro F1 = 0.739
• RadGraph-1.0 vs RadGraph-XL 비교
  • Entity Macro F1: 0.744 → 0.863 (+16%)
  • Relation Macro F1: 0.453 → 0.691 (+52%)
• GPT-4와 비교
  • GPT-4 (0-shot): Entity F1 = 0.172 / Relation F1 = 0.012
  • GPT-4 (10-shot): Entity F1 = 0.206 / Relation F1 = 0.024
  • RadGraph-XL 모델: Entity F1 = 0.797 / Relation F1 = 0.691
    → 도메인 특화 모델이 GPT-4를 압도적으로 능가.
• 세부 성능
  • 강점: Anatomy/Observation present·absent 분류 강력.
  • 한계: Under-represented 클래스(예: “Anatomy absent”, “Suggestive of”) 성능 낮음.

---

6. Reader Study (전문가 평가)

• 대상: DVT 초음파 보고서 (RadGraph-XL에 없는 modality/anatomy).
• 결과:
  • 엔티티 265개, 관계 207개 추출.
  • Critical error 비율: 1.8% (5건)
    • “deep veins”의 “deep” → anatomy로 잘못 분류 등.
  • 관계 오류: 단 1건.
  • 새로운 개념도 상당 부분 올바르게 처리 → out-of-domain 일반화 가능성 확인.

---

7. 의의

• RadGraph-XL은 범위, 규모, 정밀성에서 기존 데이터셋을 압도.
• 도메인 특화 모델이 GPT-4 같은 범용 LLM보다 훨씬 강력함을 실험적으로 입증.
• 측정값까지 포함한 주석 제공 → 정량적 임상 정보 추출 연구 확장 가능.
• 데이터셋 및 학습 모델 공개 → 커뮤니티 연구 활성화 기대.

---

8. 한계

• 일부 raw annotation 오류 존재 (outlier span, mislabel).
• 긴 보고서(>512 tokens) 처리 시 분할 필요 → 문맥 손실 위험.
• 대규모 LLM fine-tuning은 성능 개선 없음 → PEFT(파라미터 효율적 미세조정) 필요.
• 새로운 modality/anatomy에서의 안정적 일반화는 추가 검증 필요.

---

9. 결론

RadGraph-XL은 영상의학 보고서 정보 추출을 위한 새로운 기준 데이터셋으로,

• 기존 RadGraph-1.0 대비 10배 이상의 데이터와 4종 modality를 포함,
• Transformer 기반 학습 모델로 GPT-4 대비 월등한 성능을 달성했으며,
• 임상 개체·관계·측정값 추출을 모두 포괄하여 의료 AI의 정밀한 구조화 연구를 촉진하는 역할을 합니다.