#1 — LangChain고수준 아키텍처주요 특징LangChain은 100만 명 이상의 개발자와 약 10만 개의 GitHub 스타를 보유하며 AI 앱 구축의 사실상 표준이 되었습니다.포괄적인 벤더 통합, 클라우드 벤더 지원, 서드파티 라이브러리 통합, 다양한 벡터 데이터베이스 등 풍부한 기능을 제공합니다.방대한 커뮤니티 지식과 높은 개발자 인지도로 인해 가장 널리 사용되는 프레임워크입니다.적합한 경우 (장점)엔터프라이즈 개발에 가장 적합하며, 표준 및 커뮤니티 주도의 지원을 받습니다.엔터프라이즈 전용 GenAI-LangChain 애플리케이션의 기본 빌딩 블록 구축에 적합합니다.다양한 서드파티 벤더와의 호환성이 필요한 경우나, 여러 솔루션 및 제품과의 통합을 고려할 때 유리합니다.다른 프레임워크가 더 나은..

**LSTM (Long Short-Term Memory)**는 **순환 신경망(Recurrent Neural Network, RNN)**의 한 종류로, **시간 순서가 중요한 데이터(시계열 데이터)**를 처리하고 학습하는 데 사용됩니다. LSTM은 기존 RNN의 장기 의존성(Long-term dependency) 문제를 해결하기 위해 설계되었습니다.1. RNN과 LSTM의 차이RNN의 문제: 장기 의존성 문제RNN은 순차적인 데이터를 처리하기 위해 설계되었지만, 이전 입력에서 중요한 정보가 멀리 떨어져 있을 경우 해당 정보를 효과적으로 학습하기 어렵습니다.예를 들어, 긴 문장에서 초반에 나온 주어 정보를 끝부분에서 활용해야 하는 경우, RNN은 정보가 점차적으로 사라지는 기울기 소실(Vanishing G..

1. Bidirectional Language Modelsfoward language Modelsinput sentence가 N개의 토큰으로 이루어져 있다고 할 때, (t1​,...,tk−1​)의 정보를 가지고 문맥에 대한 정보를 얻고 토큰 tk​의 확률을 계산 함.아래 예시로 설명할 수 있음.질문과 컨텍스트의 상황:질문: "What do you love most?"컨텍스트: "I Love Language"정답 확률:현재 토큰이 "Love"이며, 다음 토큰을 예측하는 시점: 현재 토큰이라고 표현 정의​: 마지막 층 L-th layer에서 생성된 벡터로, tk = "Love"와 이전 문맥 정보를 포함한 문맥 표현이 예시에서 문맥 정보라고 표현 정의: 다음 토큰 확률계산:모델은 문맥 정보를 기반으로 다음 토..

Collaborative Filtering (CF, 협업필터링)1) Memory-Based ApproachUser-based Filtering1. 평점 유사도 기반으로 자신과 유사한 사용자를 찾음2. 유사한 사용자가 좋아하는 item 추천 여기서 유사한 정도(거리) 측정 방법은 다양함       - 사용자(행) - 아이템(열) 행렬을 사용함    • 일반적인 거리 측정 방법론       - Cosine Similarity ( 일반적으로 사용되는 유사도 )         사용자 u와 사용자 u′가 같은 방향성을 보고 있지는를 평가함       - Pearson Similarity        평균적인 경향성에서 얼마나 차이가 나는지를 기반으로 함        Centered Cosine Similarity..

llama2로 판독문 데이터를 학습하였고, 더 좋은 모델을 찾기위해 여러가지 분석 후 Bio Gpt의 BioGPT-Large-PubMedQA를 선택하였다.LLama2에서는 LoRA 기법을 사용할 때 target_modules를 정의하는 오류가 발생하지 않았지만, 다른 모델에서는 이를 정의해야 하는 경우가 있다.특정 모듈을 업데이트해야 하는 경우, 모델의 복잡성 때문에 target_modules를 명확히 정의해야 LoRA가 올바르게 적용 됨.즉,  모델의 구조적 차이로 인해, 특정 모듈을 명시적으로 지정하지 않으면 LoRA가 적용되지 않을 수 있음.따라서, 모델 구조를 확인하고 레이어를 설정 함.    peft_config = LoraConfig(        task_type=TaskType.CAUSAL..

COT는 LLM의 성능을 높이는 여러 방법 중 프롬프트를 활용하는 방법으로주어진 질문에 대해 텍스트에서 답을 찾아 제공하는 질문 답변 (Question Answering)에서 추론 Task 성능을 끌어올리는 방법이다. 이미지를 사전에 학습시킨 모델에서 원본 이미지만 넣고 최상의 결과를 기대하지않는다.사전에 이미지를 개선하거나, 출력된 바운딩 박스를 조정하기도한다.이처럼 LLM도 사전 학습된 모델을 수정하지않는 상태로 특별한 학습 설정 없이 출력을, 즉 프롬프팅으로 기대하는 결과를 나오게 만들 수 있다.COT를 리뷰하기전 대표적인 프롬프팅의 배경으로 Zero Shot, Few Shot을 볼 수있다.Zero-Shot은 예시나 정보 없이 그대로 단답형으로 출력하는 것이라면Few-Shot은 Prompt의 벡터에..