Building Intelligent Apps withAgentic AI: Top Frameworks toWatch for in 2025

#1 — LangChain

고수준 아키텍처

주요 특징

• LangChain은 100만 명 이상의 개발자와 약 10만 개의 GitHub 스타를 보유하며 AI 앱 구축의 사실상 표준이 되었습니다.
• 포괄적인 벤더 통합, 클라우드 벤더 지원, 서드파티 라이브러리 통합, 다양한 벡터 데이터베이스 등 풍부한 기능을 제공합니다.
• 방대한 커뮤니티 지식과 높은 개발자 인지도로 인해 가장 널리 사용되는 프레임워크입니다.

적합한 경우 (장점)

• 엔터프라이즈 개발에 가장 적합하며, 표준 및 커뮤니티 주도의 지원을 받습니다.
• 엔터프라이즈 전용 GenAI-LangChain 애플리케이션의 기본 빌딩 블록 구축에 적합합니다.
• 다양한 서드파티 벤더와의 호환성이 필요한 경우나, 여러 솔루션 및 제품과의 통합을 고려할 때 유리합니다.

다른 프레임워크가 더 나은 경우 (단점)

• 다양한 통합과 기능들이 포함되다 보니 복잡성이 증가하여 학습 주기가 길어질 수 있습니다. 단순하거나 특정 용도에는 다른 프레임워크를 고려할 수 있습니다.
• 지속적인 기능 변경 및 업데이트로 인해 개발자가 코드를 자주 업데이트해야 하고, 때때로 호환성 문제나 라이브러리 충돌이 발생할 수 있습니다.

LangChain은 Java용 LangChain4J, Golang용 LangChainGo, C#용 LangChain 등 다른 언어용 유사 프레임워크 개발에 영감을 주었습니다.

---

#2 — LangGraph

고수준 아키텍처

출처: LangGraph 플랫폼 아키텍처

주요 특징

• LangGraph 프레임워크는 LangChain 팀이 제공하는 오픈 소스 프레임워크로, Agentic 아키텍처를 지원합니다. 또한 LangGraph 플랫폼은 Agentic 애플리케이션을 프로덕션 환경에 배포하기 위한 상업용 솔루션입니다.
• 상태 유지 설계, 그래프 기반 워크플로, 다중 에이전트 기능, LangChain과의 네이티브 통합, LangSmith를 통한 향상된 관측성, IDE 지원, 광범위한 커뮤니티 지원 등이 주요 기능입니다.

적합한 경우 (장점)

• 엔터프라이즈 수준의 다중 에이전트 프레임워크 개발에 적합하며, 표준 및 커뮤니티 주도의 지원을 받습니다.
• 다양한 솔루션 및 제품과의 통합을 고려하는 경우 유리합니다.
• LangChain 생태계 내에서 여러 프레임워크를 사용할 필요 없이 단일 솔루션으로 통합할 때 최적입니다.

다른 프레임워크가 더 나은 경우 (단점)

• 보안, 시각적 개발, 향상된 관측성 등 엔터프라이즈에 필수적인 기능들은 상업용 버전에서만 제공됩니다.
• LangChain과 마찬가지로 의존성 관리와 프레임워크 복잡성이 주요 장애 요인으로 지적되고 있습니다.

---

#3 — Autogen

고수준 아키텍처

출처: Autogen (0.4)

주요 특징

• Autogen은 Microsoft에서 개발한 프로그래밍 프레임워크로, Agentic AI 에이전트 및 애플리케이션 구축을 위한 도구입니다. 고수준의 다중 에이전트 대화 프레임워크를 제공합니다.
• 비동기 메시징, 모듈식 및 확장 가능 구조, 관측성과 디버깅 기능, 확장 가능한 분산 처리, 내장 및 커뮤니티 확장 기능, 다국어 및 완전한 타입 지원 등이 특징입니다.
• Autogen은 LLM 추론 API를 향상시켜 추론 성능 개선과 비용 절감을 도모할 수 있습니다.

적합한 경우 (장점)

• 오픈 소스와 Microsoft 생태계에 정통한 경우, Autogen은 Agentic 애플리케이션과 AI 에이전트 구축에 적합한 솔루션입니다.
• 다양한 도메인과 복잡성을 지원하는 발전 중인 에코시스템을 제공하며, 코드를 작성하지 않고 에이전트를 프로토타이핑 및 관리할 수 있는 Autogen 스튜디오 UI 애플리케이션도 제공합니다.

다른 프레임워크가 더 나은 경우 (단점)

• Autogen은 여전히 실험 단계에 있으며(완전히 프로덕션 준비 상태는 아님), 복잡한 에이전트 상호작용 연구나 다중 에이전트 시스템의 프로토타이핑, 고급 AI 에이전트 디자인 실험에 적합합니다.
• 오픈 소스임에도 불구하고, 조직에 따라 Microsoft 솔루션 의존성이 문제로 작용할 수 있습니다.
• Magentic-One은 Autogen을 기반으로 하는 상업용 솔루션으로, 엔터프라이즈용 고성능 범용 Agentic 시스템을 제공합니다.
• 특히 엔터프라이즈 환경에서 Autogen의 설정 복잡성이 주요 문제로 지적되고 있습니다.

---

#4 — SemanticKernel

고수준 아키텍처

출처: Semantic Kernel 문서

주요 특징

• Microsoft가 개발한 Semantic Kernel은 안정적이고 엔터프라이즈급의 강력한 통합 기능을 갖춘 애플리케이션 구축을 목표로 합니다.
• Semantic Kernel은 대규모 언어 모델(LLM)과 데이터 스토어를 애플리케이션에 통합하여 제품 규모의 GenAI 솔루션을 구축할 수 있도록 하는 프로덕션 준비된 SDK입니다. C#, Python, Java 등 다양한 프로그래밍 언어를 지원합니다.
• 현재 Agent와 Process 프레임워크를 미리보기 버전으로 제공하여 단일 에이전트 및 다중 에이전트 솔루션 구축을 지원합니다. — Microsoft
• 기본적으로 Agent 프레임워크와 Process 프레임워크를 내장하고 있습니다. Agent 프레임워크는 AI 에이전트 구축과 Agentic 패턴을 애플리케이션에 통합할 수 있는 플랫폼을 제공하며, Process 프레임워크는 비즈니스 프로세스와의 AI 통합 최적화를 위한 접근 방식을 제시합니다.

적합한 경우 (장점)

• 기존 시스템과 강력하게 통합되는 프로덕션 환경용 AI 에이전트 구축에 적합합니다.
• Python, C#, .Net, Java 등 여러 언어로 된 SDK가 필요할 때 유리합니다.
• 특히 Microsoft Azure 환경에서 제공되는 엔터프라이즈 지원과 개발자 교육 자료가 제공됩니다. (Azure와 함께 Semantic Kernel을 사용하는 강좌도 확인해 보세요.)

다른 프레임워크가 더 나은 경우 (단점)

• Semantic Kernel은 주로 SDK로 제공되므로, 경쟁 프레임워크가 제공하는 더 높은 수준의 추상화나 사용자 인터페이스와 비교했을 때 다소 낮은 편입니다.
• Agent 프레임워크는 아직 발전 중이며(현재 Java에서는 에이전트가 지원되지 않음), Microsoft 벤더 의존성을 피해야 하는 경우 다른 옵션을 고려할 수 있습니다.

---

#5 — LlamaIndex

고수준 아키텍처

출처: LlamaIndex 프레임워크

주요 특징

• LlamaIndex는 원래 LLM 애플리케이션을 위한 데이터 프레임워크로 시작했으나, 이후 AI 에이전트, 문서 파싱 및 인덱싱, 워크플로우, 커넥터 기반 통합, 모듈화 및 확장성 등 다양한 기능으로 발전했습니다.
• SaaS 기능인 LlamaCloud를 제공하여 AI 에이전트를 위한 지식 관리 허브 역할을 합니다. 또한, LlamaParse는 지시된 데이터를 LLM에 최적화된 형식으로 변환하는 차별화된 기능입니다.
• LlamaHub는 에이전트, LLM, 벡터 스토어, 데이터 로더 등을 한 곳에서 탐색할 수 있는 중앙 플랫폼입니다.

적합한 경우 (장점)

• LangChain의 대안으로 떠오르고 있으며, 특히 데이터 집약적인 LLM 애플리케이션에 매력적인 선택입니다.
• LlamaCloud를 통한 복잡한 문서의 효율적인 파싱 및 인덱싱 기능은 빠른 시장 출시를 원하는 엔터프라이즈에 적합합니다.
• 챗봇이나 질의응답 시스템과 같이 지식 기반의 AI 시스템 구축에 유리합니다.

다른 프레임워크가 더 나은 경우 (단점)

• 주로 데이터 인덱싱 및 검색에 중점을 두고 있어, 복잡한 에이전트의 행동이나 의사결정 기능은 상대적으로 덜 강조됩니다.
• 다만, Agentic 애플리케이션 구축을 위한 프레임워크로 발전 중이어서 앞으로의 기능 확장이 기대됩니다.

---

#6 — AutoGPT

고수준 아키텍처

AutoGPT 플랫폼 구성 요소

주요 특징

• Significant Gravitas가 개발한 AutoGPT는 복잡한 워크플로우를 자동화하는 연속적인 AI 에이전트를 생성, 배포 및 관리할 수 있는 강력한 플랫폼입니다.
• 원래 OpenAI의 GPT를 기반으로 구축되었으나, Anthropic, Groq, Llama 등 추가 LLM 지원으로 확장되었습니다.
• 주요 특징: 원활한 통합 및 로우코드 워크플로, 자율 운영 및 연속 에이전트, 지능형 자동화와 최대 효율성, 신뢰할 수 있는 성능과 예측 가능한 실행.

적합한 경우 (장점)

• 코드를 거의 작성하지 않거나 로우코드 접근 방식을 선호하는 경우에 적합하며, 클라우드에서 에이전트를 구축할 수 있는 기능을 제공합니다. (자체 호스팅 솔루션도 있으나, 설정 복잡성이 더 높습니다.)

다른 프레임워크가 더 나은 경우 (단점)

• 고급 기능에 접근하기 위해 벤더 의존성 및 종속성이 문제가 될 수 있습니다.
• 클라우드 호스팅 솔루션은 로드맵에 포함되어 있으며, 현재는 대기자 명단에 등록된 소비자에게 제공 중입니다.
• 라이선스 지원의 복잡성 — 현재 MIT 라이선스와 이중 라이선스가 혼재되어 있습니다.
• Google의 Gemini 등 추가 LLM 지원 및 커뮤니티 지원 확장이 앞으로의 주요 과제로 남아 있습니다.

---

#7 — CrewAI

고수준 아키텍처

출처: CrewAI 문서

주요 특징

• CrewAI는 다양한 LLM 및 클라우드 제공업체를 지원하는 워크플로우 기반 애플리케이션 구축 및 배포를 위한 유망한 다중 에이전트 프레임워크로 부상했습니다.
• 다중 에이전트 협업, 구조화된 워크플로 디자인, 사용자 친화적인 인터페이스, 통합 유연성, 커뮤니티 지원 등이 주요 기능입니다.

적합한 경우 (장점)

• CrewAI는 빠르게 성장하는 AI 에이전트 생태계로 부상했으며, 2024년 10월에 1,800만 달러의 자금을 유치했습니다. 비즈니스 친화적인 에이전트를 손쉽게 생성할 수 있어 생성형 AI의 가치를 빠르게 실현할 수 있습니다.
• 기본 제공되는 커스터마이징 기능을 통해 빠른 시장 출시가 가능하며, 마케팅 에이전트와 같이 경량 에이전트 구축에 적합합니다.

다른 프레임워크가 더 나은 경우 (단점)

• 대규모 엔터프라이즈 환경에서 데이터 통합 등을 포함한 복잡한 시나리오를 처리하는 능력은 아직 프로덕션 테스트가 완료되지 않았으며, 향후 평가가 필요합니다.
• 벤더 의존성과 종속성 문제가 주요 고려 사항이며, CrewAI가 하이퍼스케일러나 다른 기업에 인수될 가능성도 열려 있습니다.

---

#8 — PydanticAI

고수준 아키텍처

출처: PydanticAI 구성 요소

주요 특징

• PydanticAI는 Pydantic 팀이 FastAPI의 감성을 생성형 AI 앱 개발에 도입하기 위해 개발한 프레임워크입니다. Pydantic Logfire와의 통합을 통해 GenAI 애플리케이션의 관측성을 제공하며, 여러 LLM 및 에코시스템을 지원합니다.
• Pydantic 접근 방식, 모델 독립적 구현, 실시간 관측성, 타입 안정성, Pydantic Graph를 통한 그래프 지원, 의존성 주입, 단순성 등이 주요 기능입니다.

적합한 경우 (장점)

• Pydantic 및 FastAPI 방식을 활용하는 애플리케이션 구축에 적합하며, 해당 엔터프라이즈 기술 스택과 정렬된 단순한 프레임워크를 선호하는 경우 유리합니다.
• 단순한 시나리오에 적합하며, 프레임워크가 아직 발전 중입니다.

다른 프레임워크가 더 나은 경우 (단점)

• 별도로 명시된 단점은 없습니다.

---

#9 — Spring AI

고수준 아키텍처

출처: Agentic 시스템 구축을 위한 Spring AI

주요 특징

• Spring AI는 LangChain에서 영감을 받아, Spring 에코시스템을 활용하여 Java 환경에서 생성형 AI 애플리케이션을 구축합니다.
• 주요 특징으로는 다중 LLM 지원, Spring 에코시스템 내의 관측성 기능, 모델 평가, 반복되는 생성형 AI 패턴을 캡슐화하는 Advisors API, 채팅 대화, RAG 등이 있습니다.

적합한 경우 (장점)

• Spring 에코시스템을 활용하는 엔터프라이즈 환경에서 별도의 프레임워크나 언어를 추가로 학습할 필요 없이 GenAI 애플리케이션 구축이 가능합니다.
• 데이터 연결, 비동기 처리, 시스템 통합 등 Spring의 다양한 라이브러리와 원활하게 통합할 수 있습니다.

다른 프레임워크가 더 나은 경우 (단점)

• 별도의 단점은 원문에 명시되지 않았습니다.

---

#10 — Haystack

고수준 아키텍처

출처: Haystack

주요 특징

• deepset에서 개발한 Haystack은 프로덕션 준비된 LLM 애플리케이션, RAG 파이프라인, 복잡한 검색 애플리케이션 구축을 위한 오픈 소스 프레임워크입니다.
• OpenAI, Chroma, Marqo 등 다양한 오픈 소스 프로젝트와 Hugging Face의 Transformers, Elasticsearch 등의 기술을 모듈식 아키텍처 원칙으로 결합하여 구축되었습니다.

적합한 경우 (장점)

• deepsetCloud라는 LLM AI 플랫폼을 통해 어느 클라우드 환경에서도 LLM 애플리케이션 구축에 적합하며, 내장된 LLMOps 기능을 제공합니다.
• Jinja 템플릿을 활용한 맞춤형 RAG 파이프라인 구축이 가능합니다.
• deepset Studio라는 무료 AI 애플리케이션 개발 환경을 제공하여 전체 개발 주기를 보완합니다.

다른 프레임워크가 더 나은 경우 (단점)

• 다중 에이전트 기능은 아직 충분히 검증되지 않았으며, 전체 로드맵을 살펴봐야 합니다.

---

추가로, 다음과 같은 신생 프레임워크들도 등장하여 필요에 따라 매력적인 대안을 제공하고 있습니다:

• OpenAI Swarm: 생산 준비가 되지 않은 교육용 프레임워크로, 인체공학적이고 경량의 다중 에이전트 오케스트레이션을 탐구합니다.
• MetaGPT: 연구 논문 기반의 다중 에이전트 프레임워크로, 메타 프로그래밍 아이디어를 제시합니다.
• Flowise: 드래그 앤 드롭 UI를 제공하여 사용자 정의 LLM 플로우로 에이전트를 구축할 수 있는 오픈 소스 프레임워크입니다.
• Langflow: DataStax에 인수된 오픈 소스 프레임워크로, 인터랙티브한 플로우 기반 생성형 AI 애플리케이션 구축을 지원합니다.
• OpenAGI: AI Planet에서 개발한 단순한 프레임워크로, 인간과 유사한 에이전트를 구축할 수 있습니다.
• Camel-AI.org: 연구 논문 “CAMEL (Communicative Agents for ‘Mind’ Exploration of Large Language Model Society)”에서 영감을 받아, 맞춤형 에이전트를 구축할 수 있는 오픈 소스 다중 에이전트 프레임워크입니다.
• Firebase Genkit: Google Firebase에서 개발한 오픈 소스 프레임워크로, Node.js와 Go 환경에서 AI 기반 애플리케이션을 구축합니다.
• HF Smolagents: Hugging Face에서 제작한 오픈 소스 라이브러리로, 코드 에이전트에 대한 일류 지원과 함께 간단하면서도 강력한 에이전트 구축을 지원합니다.
• Agno: 다중 모달 에이전트 구축을 위한 경량 프레임워크입니다.
• Bee Agent Framework: 프로덕션 준비된 다중 에이전트 시스템 구축을 위한 오픈 소스 TypeScript 라이브러리입니다.

---

결론

각 프레임워크는 경쟁력 있는 기능을 제공하지만, 대부분은 생성형 AI 분야의 빠른 혁신에 맞춰 계속 발전 중입니다. 프레임워크 선택은 엔터프라이즈 환경, 애플리케이션 및 비즈니스 요구사항, 보안, 성능 및 기타 비기능적 요구사항 등 여러 요인에 따라 달라질 수 있습니다.