Với sự xuất hiện của vô số mã nguồn mở liên quan đến AI, hệ sinh thái mã nguồn mở đang trải qua một thời kỳ phục hưng thực sự với AI mã nguồn mở. Bắt đầu từ sự thành công của LangChain, nhiều mã nguồn mở khác đã ra đời và nhanh chóng lấp đầy hệ thống trong ngành AI.

Open LLM

LLM (Large Language Model) là cốt lõi của AI tạo sinh, được chia thành hai trục chính: Closed LLM với GPT dẫn đầu và Open LLM với phe Llama, trong đó mô hình của nhóm Mistral đã được công khai dưới giấy phép mã nguồn mở và thu hút được sự quan tâm của nhiều người bởi hiệu suất vượt trội. Open LLM chủ yếu được quản lý và cung cấp thông qua Hugging Face.

Mixtral-8x7B-Instruct-v0.1(Apache-2.0)

https://huggingface.co/mistralai/Mixtral-8x7B-Instruct-v0\.1

- Đã sử dụng mô hình kết hợp chuyên gia (SMoE).

- Hiệu năng vượt trội so với mô hình Llama 2 70B, thậm chí còn vượt qua cả GPT-3.5 175B.

- Xếp thứ 3 trong thử nghiệm chatbot mù, Chatbot Arena, sau GPT-4 và Claude-2.

Llama-2-7b-chat(Llama 2 Community)

https://huggingface.co/meta-llama/Llama-2-7b-chat

- Giấy phép sử dụng thương mại cho các dịch vụ có ít hơn 700 triệu người dùng hoạt động hàng tháng.

- Đã có rất nhiều mô hình phái sinh được tinh chỉnh từ Llama-2.

phi-2(MIT)

https://huggingface.co/microsoft/phi-2

- Mô hình nhẹ với 2,7B tham số được phát hành bởi MS.

- Kết quả thử nghiệm về kiến thức chung, hiểu ngôn ngữ và suy luận logic cho thấy hiệu năng của mô hình này tốt hơn mô hình 13B.

LLM Suy luận và phục vụ

Để sử dụng hiệu quả LLM được đào tạo tốt, cần có công cụ nhanh chóng và có thể quản lý tài nguyên tính toán hiệu quả.

Ollama(MIT)

https://github.com/jmorganca/ollama

- Cho phép chạy trực tiếp LLM cấp 7B trong môi trường cục bộ như Mac, Linux và Windows.

- Tải xuống và chạy mô hình chỉ với các lệnh đơn giản.

- Quản lý mô hình bằng CLI và cho phép trò chuyện đơn giản.

- Cho phép nhiều ứng dụng thông qua API được cung cấp.

vLLM(Apache-2.0)

https://github.com/vllm-project/vllm

- Thư viện nhanh chóng và dễ sử dụng cho suy luận và phục vụ LLM.

- Hỗ trợ các mô hình được cung cấp trên Hugging Face.

- Cung cấp xử lý phân tán, xử lý song song, xuất luồng, API tương thích OpenAI.

- Hỗ trợ GPU Nvidia và AMD.

KServe(Apache-2.0)

https://github.com/kserve/kserve- Nền tảng cho suy luận mô hình ML có thể triển khai trong môi trường Kubernetes. - Cung cấp giao diện trừu tượng hóa cho việc mở rộng, kết nối mạng và giám sát.

LLM Proxy

LiteLLM(MIT)

https://github.com/BerriAI/litellm

- Tích hợp các API LLM khác nhau và cung cấp proxy.

- Tuân theo định dạng API của OpenAI.

- Cung cấp quản lý xác thực API cho từng người dùng.

One API(MIT)

https://github.com/songquanpeng/one-api

- Cho phép truy cập tức thời vào mọi mô hình lớn thông qua định dạng API OpenAI tiêu chuẩn.

- Hỗ trợ nhiều LLM và cung cấp dịch vụ proxy.

- Cho phép cân bằng tải và triển khai đa điểm, cung cấp quản lý người dùng và chức năng nhóm.

AI Gateway(MIT)

https://github.com/Portkey-AI/gateway

- Cung cấp kết nối với hơn 100 LLM thông qua một API nhanh chóng và quen thuộc.

- Đảm bảo truy cập nhanh chóng với cài đặt nhỏ.

LLM Monitoring Great Expectations(Apache-2.0)

https://github.com/great-expectations/great_expectations

- Giúp các nhóm dữ liệu xây dựng sự hiểu biết chung về dữ liệu thông qua kiểm tra chất lượng, tài liệu hóa và tạo hồ sơ.

- Tích hợp với đường ống CI/CD để thêm chất lượng dữ liệu chính xác vào nơi cần thiết.

LangFuse(MIT)

https://github.com/langfuse/langfuse

- Cung cấp khả năng hiển thị LLM mã nguồn mở, phân tích, quản lý nhanh chóng, đánh giá, thử nghiệm, giám sát, ghi nhật ký, theo dõi.

- Cho phép duyệt và gỡ lỗi nhật ký và theo dõi phức tạp trong giao diện UI trực quan.

- Sẽ thêm các tính năng dành cho doanh nghiệp trong tương lai.

Giskard(Apache-2.0, Dual License)

https://github.com/Giskard-AI/giskard

- Có thể tự động phát hiện các điểm yếu của mô hình AI, từ các mô hình định dạng bảng đến LLM, bao gồm độ lệch, rò rỉ dữ liệu, mối tương quan sai, ảo giác, độc tính, vấn đề bảo mật.

- Hỗ trợ quy trình đảm bảo chất lượng cho mô hình ML và LLM bằng cách quét và tạo bộ thử nghiệm tự động cho các điểm yếu của mô hình AI.

- Cung cấp nền tảng SaaS để phát hiện rủi ro bảo mật AI trong các ứng dụng LLM đã triển khai. (Cao cấp)

LLM Framework

LangChain (MIT)

https://github.com/langchain-ai/langchain

- Framework để phát triển các ứng dụng được điều khiển bởi mô hình ngôn ngữ.

- Được cung cấp bằng Python và Javascript, cung cấp lớp trừu tượng hóa tích hợp nhiều thư viện.

- Có thể triển khai LangChain đã được xây dựng dưới dạng API.

LlamaIndex(MIT)

https://github.com/run-llama/llama_index

- Framework chuyên dụng cho dữ liệu dành cho ứng dụng LLM.

- Cung cấp bộ kết nối dữ liệu để thu thập nguồn dữ liệu và định dạng dữ liệu hiện có (API, PDF, tài liệu, SQL, v.v.).

- Cung cấp cách cấu trúc dữ liệu (chỉ mục, đồ thị) để LLM có thể sử dụng dễ dàng.

Haystack(Apache-2.0)

https://github.com/deepset-ai/haystack

- Framework LLM để xây dựng dễ dàng tìm kiếm tăng cường tạo (RAG), tìm kiếm tài liệu, hỏi đáp, tạo câu trả lời.

- Xây dựng dựa trên khái niệm đường ống.

Flowise(Apache-2.0)

https://github.com/FlowiseAI/Flowise

- Cho phép xây dựng luồng LLM tùy chỉnh bằng cách kéo và thả UI.

LangFlow(MIT)

https://github.com/logspace-ai/langflow

- Cho phép dễ dàng thử nghiệm và tạo nguyên mẫu đường ống LangChain.

- Sử dụng CLI để thực thi và hỗ trợ triển khai Langflow trên Google Cloud Platform (GCP).

Spring AI(Apache-2.0)

https://github.com/spring-projects/spring-ai

- Framework AI được cung cấp bởi Spring Framework (hiện đang ở trạng thái ảnh chụp nhanh)

- Hỗ trợ tích hợp API dựa trên OpenAI và MS Azure, cung cấp lớp trừu tượng hóa.

- Mục tiêu là sử dụng Mẫu AI để triển khai chức năng AI dễ dàng và khả năng mở rộng hơn.

Data Juicer(Apache-2.0)

https://github.com/alibaba/data-juicer

- Mã nguồn mở được phát hành bởi Alibaba, là hệ thống xử lý dữ liệu một cửa dành cho LLM.

- Cung cấp thư viện có hệ thống bao gồm hơn 20 công thức cấu hình có thể tái sử dụng, hơn 50 OP cốt lõi và bộ công cụ chuyên dụng giàu tính năng.

- Thực hiện phân tích dữ liệu chi tiết với chức năng tạo báo cáo tự động để hiểu sâu hơn về tập dữ liệu.