Với sự xuất hiện ồ ạt của vô số mã nguồn mở liên quan đến AI, hệ sinh thái mã nguồn mở đang thực sự bước vào thời kỳ Phục hưng AI mã nguồn mở. Bắt đầu từ thành công của LangChain, rất nhiều mã nguồn mở khác đã ra đời, góp phần nhanh chóng lấp đầy hệ thống trong ngành AI.
Open LLM
LLM (Large Language Model) - cốt lõi của AI tạo sinh - được chia thành hai trục chính: LLM đóng (Closed LLM) dẫn đầu bởi GPT và LLM mở (Open LLM) thuộc phe Llama. Mô hình của nhóm Mistral đã được công khai dưới giấy phép mã nguồn mở, cùng với hiệu năng vượt trội, thu hút được sự quan tâm của đông đảo người dùng. Open LLM chủ yếu được quản lý và cung cấp thông qua Hugging Face.
**Mixtral-8x7B-Instruct-v0.1** (Apache-2.0)
https://huggingface.co/mistralai/Mixtral-8x7B-Instruct-v0\.1
- Đã áp dụng mô hình hỗn hợp chuyên gia (SMoE).
- Hiệu năng vượt trội so với mô hình Llama 2 70B, thậm chí còn vượt qua cả GPT-3.5 175B.
- Đạt vị trí thứ 3 trong cuộc thi Chatbot Arena - một cuộc thi chatbot mù, chỉ xếp sau GPT-4 và Claude-2.
**Llama-2-7b-chat** (Llama 2 Community)
https://huggingface.co/meta-llama/Llama-2-7b-chat
- Giấy phép cho phép sử dụng thương mại đối với các dịch vụ có dưới 700 triệu người dùng hoạt động hàng tháng.
- Đã xuất hiện rất nhiều mô hình phái sinh được tinh chỉnh từ Llama-2.
**phi-2** (MIT)
https://huggingface.co/microsoft/phi-2
- Mô hình nhẹ có 2,7B tham số được công khai bởi MS.
- Kết quả thử nghiệm về kiến thức thường thức, hiểu ngôn ngữ và suy luận logic cho thấy mô hình này có hiệu năng tốt hơn mô hình 13B.
Suy luận và phục vụ LLM
Để sử dụng LLM đã được huấn luyện tốt một cách hiệu quả, cần có một công cụ có thể xử lý nhanh chóng và quản lý hiệu quả tài nguyên tính toán.
**Ollama** (MIT)
https://github.com/jmorganca/ollama
- Cho phép chạy trực tiếp LLM cấp 7B trên môi trường cục bộ như Mac, Linux và Windows.
- Tải xuống và chạy mô hình chỉ với các lệnh đơn giản.
- Quản lý mô hình và trò chuyện đơn giản thông qua giao diện dòng lệnh (CLI).
- Cung cấp API để hỗ trợ nhiều ứng dụng khác nhau.
**vLLM** (Apache-2.0)
https://github.com/vllm-project/vllm
- Thư viện nhanh và dễ sử dụng để suy luận và phục vụ LLM.
- Hỗ trợ các mô hình được cung cấp bởi Hugging Face.
- Cung cấp khả năng xử lý phân tán, xử lý song song, đầu ra luồng và API tương thích với OpenAI.
- Hỗ trợ GPU Nvidia và AMD.
**KServe** (Apache-2.0)
https://github.com/kserve/kserve- Nền tảng suy luận mô hình ML có thể triển khai trong môi trường Kubernetes. - Cung cấp giao diện trừu tượng cho việc mở rộng quy mô, kết nối mạng và giám sát.
Proxy LLM
**LiteLLM** (MIT)
https://github.com/BerriAI/litellm
- Tích hợp và cung cấp proxy cho nhiều API LLM khác nhau.
- Tuân theo định dạng API của OpenAI.
- Cung cấp quản lý xác thực API cho từng người dùng.
**One API** (MIT)
https://github.com/songquanpeng/one-api
- Cho phép truy cập tức thì vào tất cả các mô hình lớn thông qua định dạng API OpenAI tiêu chuẩn.
- Hỗ trợ nhiều LLM khác nhau và cung cấp dịch vụ proxy.
- Khả năng cân bằng tải và triển khai đa điểm, cùng với chức năng quản lý người dùng và nhóm.
**AI Gateway** (MIT)
https://github.com/Portkey-AI/gateway
- Cung cấp kết nối với hơn 100 LLM thông qua một API nhanh và thân thiện.
- Đảm bảo truy cập nhanh chóng với quy trình cài đặt nhỏ gọn.
**Giám sát LLM Great Expectations** (Apache-2.0)
https://github.com/great-expectations/great_expectations
- Hỗ trợ nhóm dữ liệu xây dựng sự hiểu biết chung về dữ liệu thông qua kiểm thử chất lượng, tài liệu hóa và lập hồ sơ.
- Tích hợp với đường ống CI/CD để thêm chất lượng dữ liệu chính xác vào đúng nơi cần thiết.
**LangFuse** (MIT)
https://github.com/langfuse/langfuse
- Cung cấp khả năng hiển thị, phân tích, quản lý nhanh chóng, đánh giá, kiểm thử, giám sát, ghi nhật ký và theo dõi cho LLM mã nguồn mở.
- Cho phép duyệt và gỡ lỗi nhật ký và bản ghi phức tạp trên giao diện người dùng trực quan.
- Dự kiến sẽ bổ sung thêm các tính năng cho doanh nghiệp trong tương lai.
**Giskard** (Apache-2.0, Giấy phép kép)
https://github.com/Giskard-AI/giskard
- Có thể tự động phát hiện các điểm yếu của mô hình AI, từ mô hình bảng đến LLM, bao gồm cả định kiến, rò rỉ dữ liệu, tương quan sai lệch, ảo giác, độc tính và vấn đề bảo mật.
- Hỗ trợ quy trình đảm bảo chất lượng cho mô hình ML và LLM bằng cách quét và tạo bộ kiểm thử tự động cho các điểm yếu của mô hình AI.
- Cung cấp nền tảng SaaS để phát hiện các rủi ro an toàn AI trong các ứng dụng LLM đã được triển khai. (Phiên bản cao cấp)
Khung LLM
LangChain (MIT)
https://github.com/langchain-ai/langchain
- Khung làm việc để phát triển các ứng dụng được điều khiển bởi mô hình ngôn ngữ.
- Được cung cấp bằng Python và Javascript, cung cấp lớp trừu tượng tích hợp nhiều thư viện.
- LangChain đã được xây dựng có thể được triển khai dưới dạng API.
**LlamaIndex** (MIT)
https://github.com/run-llama/llama_index
- Khung làm việc chuyên về dữ liệu cho các ứng dụng LLM.
- Cung cấp trình kết nối dữ liệu để thu thập dữ liệu từ các nguồn và định dạng dữ liệu hiện có (API, PDF, tài liệu, SQL, v.v.).
- Cung cấp phương pháp cấu trúc dữ liệu (chỉ mục, đồ thị) để LLM có thể dễ dàng sử dụng.
**Haystack** (Apache-2.0)
https://github.com/deepset-ai/haystack
- Khung LLM để xây dựng dễ dàng các ứng dụng như Tạo sinh tăng cường tìm kiếm (RAG), tìm kiếm tài liệu, hỏi đáp và tạo câu trả lời.
- Xây dựng dựa trên khái niệm đường ống.
**Flowise** (Apache-2.0)
https://github.com/FlowiseAI/Flowise
- Xây dựng luồng LLM tùy chỉnh bằng cách kéo và thả trên giao diện người dùng.
**LangFlow** (MIT)
https://github.com/logspace-ai/langflow
- Giúp dễ dàng thử nghiệm và tạo nguyên mẫu đường ống LangChain.
- Thực thi thông qua CLI và hỗ trợ triển khai Langflow trên Google Cloud Platform (GCP).
**Spring AI** (Apache-2.0)
https://github.com/spring-projects/spring-ai
- Khung AI được cung cấp bởi Spring Framework (hiện đang ở giai đoạn bản chụp nhanh).
- Hỗ trợ tích hợp API dựa trên OpenAI và MS Azure, cung cấp lớp trừu tượng.
- Mục tiêu là sử dụng Mẫu AI để triển khai các chức năng AI một cách dễ dàng hơn và có khả năng mở rộng hơn.
**Data Juicer** (Apache-2.0)
https://github.com/alibaba/data-juicer
- Mã nguồn mở được công khai bởi Alibaba, là một hệ thống xử lý dữ liệu một cửa cho LLM.
- Cung cấp thư viện có hệ thống bao gồm hơn 20 công thức cấu hình có thể tái sử dụng, hơn 50 OP cốt lõi và bộ công cụ chuyên dụng giàu tính năng.
- Thực hiện phân tích dữ liệu chi tiết thông qua chức năng tạo báo cáo tự động để hiểu rõ hơn về tập dữ liệu.
Bình luận0