llama2로 판독문 데이터를 학습하였고, 더 좋은 모델을 찾기위해 여러가지 분석 후 Bio Gpt의 BioGPT-Large-PubMedQA를 선택하였다.LLama2에서는 LoRA 기법을 사용할 때 target_modules를 정의하는 오류가 발생하지 않았지만, 다른 모델에서는 이를 정의해야 하는 경우가 있다.특정 모듈을 업데이트해야 하는 경우, 모델의 복잡성 때문에 target_modules를 명확히 정의해야 LoRA가 올바르게 적용 됨.즉,  모델의 구조적 차이로 인해, 특정 모듈을 명시적으로 지정하지 않으면 LoRA가 적용되지 않을 수 있음.따라서, 모델 구조를 확인하고 레이어를 설정 함.    peft_config = LoraConfig(        task_type=TaskType.CAUSAL..

COT는 LLM의 성능을 높이는 여러 방법 중 프롬프트를 활용하는 방법으로주어진 질문에 대해 텍스트에서 답을 찾아 제공하는 질문 답변 (Question Answering)에서 추론 Task 성능을 끌어올리는 방법이다. 이미지를 사전에 학습시킨 모델에서 원본 이미지만 넣고 최상의 결과를 기대하지않는다.사전에 이미지를 개선하거나, 출력된 바운딩 박스를 조정하기도한다.이처럼 LLM도 사전 학습된 모델을 수정하지않는 상태로 특별한 학습 설정 없이 출력을, 즉 프롬프팅으로 기대하는 결과를 나오게 만들 수 있다.COT를 리뷰하기전 대표적인 프롬프팅의 배경으로 Zero Shot, Few Shot을 볼 수있다.Zero-Shot은 예시나 정보 없이 그대로 단답형으로 출력하는 것이라면Few-Shot은 Prompt의 벡터에..

LLM 훈련 및 추론에 엄청난 GPU 메모리가 요구된다. 추론 단계만 해도, 모델 파라미터 수 x 자료형 x 1.2 정도의 용량이 필요하다. 예를 들어, 40B 크기의 모델을 4바이트 자료형으로 구동하면 대략 190GB의 메모리가 필요하다. (여기서 1.2는 어텐션 캐시나 토큰 생성과 같은 추가 메모리 요구를 고려한 배수이다.)이러한 메모리 요구 사항을 줄이려면 자료형을 조정하는 양자화 기법을 사용할 수 있다. 양자역학에 따르면, 거시적인 세계는 연속적이지만 미시적인 세계는 이산화된 형태에 가까워서, 분절된 행렬 값으로 표현하기 적절하다고 한다. 딥러닝에서의 양자화란, 연속적인 형태의 정보를 이산화된 형태로 변환하여 의미를 유지하면서 정보 크기를 압축하는 기법을 말한다. 그러므로 그 어원은 양자역학에서 ..

보호되어 있는 글입니다.

이번 리뷰는 세그멘테이션을 하기 위해 많이 쓰이고 있는 U-Net에 대해 리뷰하고자 합니다.목차는 다음과 같이 구성됩니다.0. BackGround1. Coarse Feature map to Dense prediction 2. Architecture Detail3. Strategic4. Experiment  0.BackGroundUNet은 FCN을 기반으로 하여 개발되었으며, 설명에 앞서 간단하게 FCN의 개념과 U-Net의 기반이 된 이유를 설명할 것입니다.U-Net은 FCN(Fully convolutional network)을 토대로 확장한 개념이기 때문에 명확한 이해를 돕기 위해 우선적으로 FCN을 이해하는것이 중요합니다.Image classification 모델들은 기본적으로 ..

3과목 - 데이터 분석3-0. 데이터 분석 개요 #데이터마이닝 - 대표적인 고급 분석으로 데이터에 있는 패턴을 파악해 예측하는 분석으로 데이터가 크고 정보가 다양할수록 활용하기 유리한 분석 #데이터마이닝의 평가 기준과 시뮬레이션 지표 - 평가 기준: 정확도(정밀도, Accuracy), 디텍트 레이트(Detect Rate), 리프트(Lift) - 시뮬레이션: Throughout, Average Waiting Time, Average Queue Length, Time in System #데이터 처리 구조 - 데이터를 분석에 활용하기 위해 데이터웨어하우스와 데이터마트에서 데이터를 가져온다. - 신규 시스템이나 스테이진 영역의 데이터는 정제되지 않았기 때문에 정제하고 DW나 DM과 결합해야 한다.  - ODS는..