AI와 관련된 수 많은 오픈소스들이 쏟아지면서 오픈소스 생태계는 그야말로 AI 오픈소스 르네상스를 맞이하고 있습니다. LangChain의 성공을 시작으로 많은 오픈소스들이 나오면서 AI 업계 시스템을 빠르게 메꾸고 있기도 합니다.

Open LLM

생성형 AI의 핵심인 LLM(Large Language Model)은 GPT를 필두로 한 Closed LLM과 Llama 진영의 Open LLM 두 축으로 나뉘는데, Mistral 팀의 모델이 오픈소스 라이선스로 모델을 공개하였고, 뛰어난 성능까지 발휘하여 많은 이들의 관심을 받고 있습니다. Open LLM 은 주로 허깅페이스를 통해 관리하고 제공됩니다.

Mixtral-8x7B-Instruct-v0.1(Apache-2.0)

https://huggingface.co/mistralai/Mixtral-8x7B-Instruct-v0\.1

- 전문가 혼합 모델(SMoE)을 채용했습니다.

- Llama 2 70B 모델을 넘어 GPT-3.5 175B 를 앞서는 성능을 보여줍니다.

- 블라인드 챗봇테스트인 챗봇 아레나에서 GPT-4, Claude-2 에 이어 3번째 순위입니다.

Llama-2-7b-chat(Llama 2 Community)

https://huggingface.co/meta-llama/Llama-2-7b-chat

- 월간 활성사용자 7억명 이하인 서비스에서는 상업적으로 사용 가능한 라이선스입니다.

- Llama-2를 파인튜닝한 수 많은 파생 모델이 나와 있습니다.

phi-2(MIT)

https://huggingface.co/microsoft/phi-2

- MS 에서 공개한 2.7B 파라미터의 경량 모델입니다.

- 상식, 언어 이해, 논리적 추론을 테스트 결과 13B 모델보다 성능이 좋다는 결과를 보였다고 합니다.

LLM 추론 및 서빙

잘 학습된 LLM 을 효과적으로 사용하기 위해서는 빠르고, 컴퓨팅 자원을 효율적으로 관리해줄 수 있는 도구가 필요합니다.

Ollama(MIT)

https://github.com/jmorganca/ollama

- Mac, Linux, Windows 등 로컬환경에서 7B 수준의 LLM 을 직접 실행할 수 있습니다.

- 간단한 명령어만으로 모델을 다운로드하고 실행합니다.

- CLI로 모델을 관리하고, 간단한 채팅이 가능합니다.

- 제공된 API를 통해 여러가지 활용이 가능합니다.

vLLM(Apache-2.0)

https://github.com/vllm-project/vllm

- LLM 추론 및 서빙을 위한 빠르고 사용하기 쉬운 라이브러리입니다.

- 허깅페이스에서 제공되는 모델을 지원합니다.

- 분산처리, 병렬처리, 스트리밍 출력, OpenAI 호환 API 제공합니다.

- Nvidia, AMD GPU 지원합니다.

KServe(Apache-2.0)

https://github.com/kserve/kserve- Kubernetes 환경에서 구축가능한 ML 모델 추론을 위한 플랫폼입니다. - 스케일링, 네트워킹, 모니터링 등을 위한 추상화 인터페이스를 제공합니다.

LLM 프록싱

LiteLLM(MIT)

https://github.com/BerriAI/litellm

- 다양한 LLM API 를 통합하고, 프록시를 제공합니다.

- OpenAI 의 API 형식을 따릅니다.

- 사용자별 API 인증 관리를 제공합니다.

One API(MIT)

https://github.com/songquanpeng/one-api

- 표준 OpenAI API 형식을 통해 모든 대형 모델에 즉시 액세스할 수 있도록 합니다.

- 다양한 LLM 을 지원하며, 프록시 서비스도 제공합니다.

- 로드 밸런싱과 다중 배포가 가능하며, 사용자 관리 및 그룹 기능을 제공합니다.

AI Gateway(MIT)

https://github.com/Portkey-AI/gateway

- 하나의 빠르고 친숙한 API로 100개 이상의 LLM에 연결을 제공합니다.

- 작은 사이즈의 설치만으로 빠른 엑세스를 보장합니다.

LLM Monitoring Great Expectations(Apache-2.0)

https://github.com/great-expectations/great_expectations

- 데이터 팀이 품질 테스트, 문서화 및 프로파일링을 통해 데이터에 대한 공유된 이해를 구축하도록 돕습니다.

- CI/CD 파이프라인과 통합하여 필요한 곳에 정확하게 데이터 품질을 추가할 수 있습니다.

LangFuse(MIT)

https://github.com/langfuse/langfuse

- 오픈 소스 LLM 가시성, 분석, 신속한 관리, 평가, 테스트, 모니터링, 로깅, 추적을 제공합니다.

- 시각적 UI에서 복잡한 로그 및 추적을 탐색하고 디버깅할 수 있습니다.

- 향후 엔터프라이즈 기능이 추가 예정입니다.

Giskard(Apache-2.0, Dual License)

https://github.com/Giskard-AI/giskard

- 편향, 데이터 유출, 허위 상관관계, 환각, 독성, 보안 문제 등 표 형식 모델에서 LLM에 이르기까지 AI 모델의 취약점을 자동으로 탐지할 수 있습니다.

- AI 모델의 취약점을 스캔하고 테스트 스위트를 자동으로 생성하여 ML 모델과 LLM의 품질 보증 프로세스를 지원합니다.

- 배포된 LLM 애플리케이션에서 AI 안전 위험을 감지하는 SaaS 플랫폼을 제공합니다. (프리미엄)

LLM Framework

LangChain (MIT)

https://github.com/langchain-ai/langchain

- 언어 모델로 구동되는 애플리케이션을 개발하기 위한 프레임워크입니다.

- 파이썬 및 Javascript 로 제공하며, 수 많은 라이브러리들을 통합한 추상화 레이어를 제공합니다.

- 구축된 LangChain 을 API 로 배포할 수도 있습니다.

LlamaIndex(MIT)

https://github.com/run-llama/llama_index

- LLM 어플리케이션을 위한 데이터에 특화된 프레임워크입니다.

- 기존 데이터 소스 및 데이터 형식(API, PDF, 문서, SQL 등)을 수집하기 위한 데이터 커넥터를 제공합니다.

- 데이터를 LLM에서 쉽게 사용할 수 있도록 데이터(인덱스, 그래프)를 구조화하는 방법을 제공합니다.

Haystack(Apache-2.0)

https://github.com/deepset-ai/haystack

- 검색 증강 생성(RAG), 문서 검색, 질문 답변, 답변 생성 등 쉬운 구축을 위한 LLM 프레임워크입니다.

- 파이프라인 개념을 기반으로 구축합니다.

Flowise(Apache-2.0)

https://github.com/FlowiseAI/Flowise

- UI를 드래그 앤 드롭하여 맞춤형 LLM 플로우 구축할 수 있습니다.

LangFlow(MIT)

https://github.com/logspace-ai/langflow

- LangChain 파이프라인을 쉽게 실험하고 프로토타이핑할 수 있도록 합니다.

- CLI 를 이용해서 실행하며, Google Cloud Platform(GCP)에 Langflow 배포도 지원합니다.

Spring AI(Apache-2.0)

https://github.com/spring-projects/spring-ai

- Spring Framwork 에서 제공하는 AI 프레임워크 (아직 스냅샷 상태)

- OpenAI 및 MS Azure 기반의 API 연동을 지원하며, 추상화 레이어를 제공

- AI Template 을 이용하여 AI 기능을 보다 쉽고 확장성 있게 구현하는 것이 목표

Data Juicer(Apache-2.0)

https://github.com/alibaba/data-juicer

- Alibaba에서 공개한 오픈소스로 LLM을 위한 원스톱 데이터 처리 시스템입니다.

- 재사용 가능한 20개 이상의 구성 레시피, 50개 이상의 핵심 OP, 풍부한 기능의 전용 툴킷으로 구성된 체계적인 라이브러리를 제공합니다.

- 자동화된 보고서 생성 기능으로 상세한 데이터 분석을 수행하여 데이터 세트를 더 깊이 이해할 수 있습니다.