1. 연구 배경21세기 치료법(Cures Act, 2021.04.05 시행):환자가 자신의 건강 기록(예: 방사선 보고서)에 전자적으로 즉시 접근할 수 있도록 의무화.문제점:방사선 보고서는 의학 전문 용어가 많아 환자가 이해하기 어려움.의사의 설명 전에 보고서를 보면 환자가 불안·오해를 일으킬 수 있음.의료진에게 전화 문의 증가 → 시간 소모 및 소진(burnout)**으로 이어질 수 있음.현황:미국 성인의 평균 독해 수준은 8학년 수준.하지만 방사선 보고서 중 이 수준으로 읽을 수 있는 것은 4%에 불과.필요성:환자가 이해할 수 있도록 쉽게 풀어주는 자동화된 설명 도구 필요.대규모 언어 모델(LLM)이 그 해결책이 될 수 있음.2. 연구 목적GPT-4와 RadGraph를 활용하여 방사선 보고서를 환자 ..

1. 연구 배경영상의학 보고서는 환자 진료 과정에서 핵심적인 역할을 하지만, 대부분 비정형(unstructured) 텍스트 형태로 작성되어 임상 연구와 전산화된 응용에 직접 활용하기 어렵습니다.언어적 특성: 전문 용어, 복잡한 수식어, 불명확한 서술 포함.기존 자동화의 한계: 특정 질환 여부 분류는 가능했지만, 개별 임상 개체(entity)와 관계(relation) 수준의 구조적 정보 추출에는 부족.전문가 주석 비용: 고도의 도메인 지식을 가진 영상의학 전문의의 참여가 필요해 비용·시간 부담이 큼.기존의 대표적 데이터셋인 RadGraph-1.0은 흉부 X-ray 보고서만을 다루고 있어 CT, MRI 등 다양한 modality에는 적용할 수 없다는 제한이 있었습니다.2. 기존 연구 동향대규모 라벨링 데이터..

1. 개요용어정의MHAMulti-Head Attention: Q, K, V를 모두 여러 Head로 나눠 독립적으로 계산하는 전통적인 구조MQAMulti-Query Attention: Q는 여러 개, K/V는 하나만 계산하고 모든 Head에서 공유GQAGrouped-Query Attention: Q는 여러 개, K/V는 일부 Head끼리 공유 (MQA와 MHA의 절충형) 2. 구조 비교항목MHA (기본형)MQA (속도 최적화형)GQA (절충형)Query (Q)각 Head마다 다름각 Head마다 다름각 Head마다 다름Key (K)각 Head마다 다름공통 (1개만 사용)그룹별 공유 (예: 8개 그룹)Value (V)각 Head마다 다름공통그룹별 공유KV 캐시 크기num_heads 만큼1개 (8~16배 감소)..

인과 언어 모델링언어 모델링에는 인과적 언어 모델링과 마스크드 언어 모델링, 두 가지 유형이 있습니다. 이 가이드에서는 인과적 언어 모델링을 설명합니다. 인과적 언어 모델은 텍스트 생성에 자주 사용됩니다. 이러한 모델은 자신만의 텍스트 어드벤처 게임이나 Copilot 또는 CodeParrot과 같은 지능형 코딩 도우미와 같은 창의적인 애플리케이션에 사용할 수 있습니다.인과적 언어 모델링은 일련의 토큰에서 다음 토큰을 예측하며, 모델은 왼쪽에 있는 토큰에만 반응합니다. 즉, 모델은 향후 토큰을 예측할 수 없습니다. GPT-2는 인과적 언어 모델의 한 예입니다. 트랜스포머 레이어를 쌓아 대규모 모델을 만들면 다양한 언어 작업에서 정확도가 향상되고, 퓨샷 러닝이 가능하며, 심지어 인간에 가까운 능력을 발휘할 ..

#1 — LangChain고수준 아키텍처주요 특징LangChain은 100만 명 이상의 개발자와 약 10만 개의 GitHub 스타를 보유하며 AI 앱 구축의 사실상 표준이 되었습니다.포괄적인 벤더 통합, 클라우드 벤더 지원, 서드파티 라이브러리 통합, 다양한 벡터 데이터베이스 등 풍부한 기능을 제공합니다.방대한 커뮤니티 지식과 높은 개발자 인지도로 인해 가장 널리 사용되는 프레임워크입니다.적합한 경우 (장점)엔터프라이즈 개발에 가장 적합하며, 표준 및 커뮤니티 주도의 지원을 받습니다.엔터프라이즈 전용 GenAI-LangChain 애플리케이션의 기본 빌딩 블록 구축에 적합합니다.다양한 서드파티 벤더와의 호환성이 필요한 경우나, 여러 솔루션 및 제품과의 통합을 고려할 때 유리합니다.다른 프레임워크가 더 나은..

**LSTM (Long Short-Term Memory)**는 **순환 신경망(Recurrent Neural Network, RNN)**의 한 종류로, **시간 순서가 중요한 데이터(시계열 데이터)**를 처리하고 학습하는 데 사용됩니다. LSTM은 기존 RNN의 장기 의존성(Long-term dependency) 문제를 해결하기 위해 설계되었습니다.1. RNN과 LSTM의 차이RNN의 문제: 장기 의존성 문제RNN은 순차적인 데이터를 처리하기 위해 설계되었지만, 이전 입력에서 중요한 정보가 멀리 떨어져 있을 경우 해당 정보를 효과적으로 학습하기 어렵습니다.예를 들어, 긴 문장에서 초반에 나온 주어 정보를 끝부분에서 활용해야 하는 경우, RNN은 정보가 점차적으로 사라지는 기울기 소실(Vanishing G..