AI से संबंधित ढेरों ओपन सोर्स सामने आने के साथ ही ओपन सोर्स इकोसिस्टम वास्तव में AI ओपन सोर्स पुनर्जागरण का दौर देख रहा है। LangChain की सफलता की शुरुआत के बाद से कई ओपन सोर्स सामने आए हैं, जिससे AI उद्योग के सिस्टम को तेजी से पूरा किया जा रहा है।
ओपन LLM
जनरेटिव AI का मूल LLM (Large Language Model) GPT के नेतृत्व वाले Closed LLM और Llama गुट के Open LLM दो धुरों में बंटा हुआ है, Mistral टीम ने अपने मॉडल को ओपन सोर्स लाइसेंस के तहत जारी किया है, और यह उत्कृष्ट प्रदर्शन भी कर रहा है, जिससे कई लोगों का ध्यान आकर्षित हो रहा है। Open LLM मुख्य रूप से Hugging Face के माध्यम से प्रबंधित और प्रदान किया जाता है।
**Mixtral-8x7B-Instruct-v0.1** (Apache-2.0)
https://huggingface.co/mistralai/Mixtral-8x7B-Instruct-v0\.1
- इसमें विशेषज्ञ मिश्रण मॉडल (SMoE) का इस्तेमाल किया गया है।
- यह Llama 2 70B मॉडल से भी आगे निकल गया है, और GPT-3.5 175B को भी पछाड़ रहा है।
- ब्लाइंड चैटबॉट टेस्ट, चैटबॉट एरेना में यह GPT-4, Claude-2 के बाद तीसरे स्थान पर है।
**Llama-2-7b-chat** (Llama 2 Community)
https://huggingface.co/meta-llama/Llama-2-7b-chat
- 7 करोड़ से कम मासिक सक्रिय उपयोगकर्ताओं वाली सेवाओं के लिए यह व्यावसायिक उपयोग के लिए उपलब्ध लाइसेंस है।
- Llama-2 को फाइन-ट्यून करके कई व्युत्पन्न मॉडल बनाए गए हैं।
**phi-2** (MIT)
https://huggingface.co/microsoft/phi-2
- MS द्वारा जारी किया गया 2.7B पैरामीटर वाला हल्का मॉडल है।
- सामान्य ज्ञान, भाषा समझ, तार्किक अनुमान के परीक्षण के परिणामस्वरूप यह 13B मॉडल से बेहतर प्रदर्शन करने वाला पाया गया है।
LLM अनुमान और सर्व
अच्छी तरह से प्रशिक्षित LLM का प्रभावी ढंग से उपयोग करने के लिए तेज और कंप्यूटिंग संसाधनों का कुशलतापूर्वक प्रबंधन करने वाले उपकरणों की आवश्यकता होती है।
**Ollama** (MIT)
https://github.com/jmorganca/ollama
- Mac, Linux, Windows जैसे स्थानीय वातावरण में 7B स्तर के LLM को सीधे चलाया जा सकता है।
- सरल निर्देशों से मॉडल को डाउनलोड और चलाया जा सकता है।
- CLI के माध्यम से मॉडल को प्रबंधित किया जा सकता है, और सरल चैट करना संभव है।
- प्रदान किए गए API के माध्यम से विभिन्न प्रकार के उपयोग किए जा सकते हैं।
**vLLM** (Apache-2.0)
https://github.com/vllm-project/vllm
- LLM अनुमान और सर्व के लिए एक तेज और उपयोग में आसान लाइब्रेरी है।
- Hugging Face पर उपलब्ध मॉडल को सपोर्ट करता है।
- वितरित प्रसंस्करण, समानांतर प्रसंस्करण, स्ट्रीमिंग आउटपुट, OpenAI संगत API प्रदान करता है।
- Nvidia, AMD GPU को सपोर्ट करता है।
**KServe** (Apache-2.0)
https://github.com/kserve/kserve- Kubernetes वातावरण में बनाया जा सकने वाला ML मॉडल अनुमान के लिए एक प्लेटफॉर्म है। - स्केलिंग, नेटवर्किंग, मॉनिटरिंग आदि के लिए एब्स्ट्रैक्शन इंटरफेस प्रदान करता है।
LLM प्रॉक्सिंग
**LiteLLM** (MIT)
https://github.com/BerriAI/litellm
- विभिन्न LLM API को एकीकृत करता है, और प्रॉक्सी प्रदान करता है।
- OpenAI के API प्रारूप का पालन करता है।
- प्रत्येक उपयोगकर्ता के लिए API प्रमाणीकरण प्रबंधन प्रदान करता है।
**One API** (MIT)
https://github.com/songquanpeng/one-api
- मानक OpenAI API प्रारूप के माध्यम से सभी बड़े मॉडल तक तुरंत पहुँच प्रदान करता है।
- विभिन्न LLM का सपोर्ट करता है, और प्रॉक्सी सेवा भी प्रदान करता है।
- लोड बैलेंसिंग और बहु-परिनियोजन संभव है, और उपयोगकर्ता प्रबंधन और समूह कार्यक्षमता प्रदान करता है।
**AI Gateway** (MIT)
https://github.com/Portkey-AI/gateway
- एक तेज़ और परिचित API के माध्यम से 100 से अधिक LLM से कनेक्शन प्रदान करता है।
- छोटे आकार की स्थापना के साथ ही तेज़ पहुँच की गारंटी देता है।
**LLM Monitoring Great Expectations** (Apache-2.0)
https://github.com/great-expectations/great_expectations
- डेटा टीमों को गुणवत्ता परीक्षण, दस्तावेज़ीकरण और प्रोफाइलिंग के माध्यम से डेटा के लिए एक साझा समझ बनाने में मदद करता है।
- CI/CD पाइपलाइन के साथ एकीकृत करके, आवश्यक स्थान पर डेटा गुणवत्ता को जोड़ा जा सकता है।
**LangFuse** (MIT)
https://github.com/langfuse/langfuse
- ओपन सोर्स LLM दृश्यता, विश्लेषण, त्वरित प्रबंधन, मूल्यांकन, परीक्षण, निगरानी, लॉगिंग, ट्रैकिंग प्रदान करता है।
- विजुअल UI के माध्यम से जटिल लॉग और ट्रेसेस को खोजा और डीबग किया जा सकता है।
- भविष्य में एंटरप्राइज़ सुविधाएँ जोड़ी जाएँगी।
**Giskard** (Apache-2.0, Dual License)
https://github.com/Giskard-AI/giskard
- पक्षपात, डेटा लीक, गलत सहसंबंध, भ्रम, विषाक्तता, सुरक्षा समस्याओं जैसे सारणीबद्ध मॉडल से लेकर LLM तक AI मॉडल की कमजोरियों का स्वचालित रूप से पता लगाया जा सकता है।
- AI मॉडल की कमजोरियों को स्कैन करता है, और स्वचालित रूप से परीक्षण सूट बनाता है, जिससे ML मॉडल और LLM की गुणवत्ता आश्वासन प्रक्रिया में सहायता मिलती है।
- परिनियोजित LLM अनुप्रयोगों में AI सुरक्षा जोखिमों का पता लगाने के लिए SaaS प्लेटफॉर्म प्रदान करता है। (प्रीमियम)
LLM फ्रेमवर्क
LangChain (MIT)
https://github.com/langchain-ai/langchain
- भाषा मॉडल द्वारा संचालित अनुप्रयोगों को विकसित करने के लिए एक ढाँचा है।
- यह Python और Javascript में उपलब्ध है, और कई लाइब्रेरी को एकीकृत करके एक अमूर्त परत प्रदान करता है।
- बने हुए LangChain को API के रूप में भी तैनात किया जा सकता है।
**LlamaIndex** (MIT)
https://github.com/run-llama/llama_index
- LLM अनुप्रयोगों के लिए डेटा-केंद्रित ढाँचा है।
- मौजूदा डेटा स्रोतों और डेटा स्वरूपों (API, PDF, दस्तावेज़, SQL आदि) को इकट्ठा करने के लिए डेटा कनेक्टर प्रदान करता है।
- डेटा को LLM में आसानी से उपयोग करने योग्य बनाने के लिए डेटा (सूचकांक, ग्राफ) को संरचित करने का तरीका प्रदान करता है।
**Haystack** (Apache-2.0)
https://github.com/deepset-ai/haystack
- खोज-वर्धित पीढ़ी (RAG), दस्तावेज़ खोज, प्रश्नोत्तर, उत्तर पीढ़ी जैसे कार्यों को आसानी से बनाने के लिए LLM ढाँचा है।
- पाइपलाइन अवधारणा पर आधारित है।
**Flowise** (Apache-2.0)
https://github.com/FlowiseAI/Flowise
- UI के माध्यम से ड्रैग और ड्रॉप करके कस्टम LLM फ्लो बनाया जा सकता है।
**LangFlow** (MIT)
https://github.com/logspace-ai/langflow
- LangChain पाइपलाइन का आसानी से प्रयोग और प्रोटोटाइप बनाया जा सकता है।
- CLI का उपयोग करके इसे चलाया जा सकता है, और Google Cloud Platform (GCP) पर Langflow को तैनात करने का भी समर्थन करता है।
**Spring AI** (Apache-2.0)
https://github.com/spring-projects/spring-ai
- Spring Framework में उपलब्ध AI ढाँचा है (अभी स्नैपशॉट अवस्था में है)
- OpenAI और MS Azure आधारित API एकीकरण का समर्थन करता है, और अमूर्त परत प्रदान करता है
- AI टेम्पलेट का उपयोग करके AI कार्यक्षमता को और अधिक आसान और स्केलेबल तरीके से लागू करना लक्ष्य है।
**Data Juicer** (Apache-2.0)
https://github.com/alibaba/data-juicer
- Alibaba द्वारा जारी किया गया ओपन सोर्स है, जो LLM के लिए एक वन-स्टॉप डेटा प्रोसेसिंग सिस्टम है।
- पुन: प्रयोज्य 20 से अधिक कॉन्फ़िगरेशन रेसिपी, 50 से अधिक मुख्य OP, और एक समृद्ध सुविधाओं वाला समर्पित टूलकिट वाला एक व्यवस्थित लाइब्रेरी प्रदान करता है।
- स्वचालित रिपोर्ट जेनरेट करने की क्षमता के साथ, डेटा सेट को और बेहतर समझने के लिए विस्तृत डेटा विश्लेषण किया जा सकता है।
टिप्पणियाँ0