AI से संबंधित कई ओपन-सोर्स सामने आने लगे हैं, जिसके कारण ओपन-सोर्स इकोसिस्टम में AI ओपन-सोर्स पुनर्जागरण का दौर चल रहा है। LangChain की सफलता के बाद से, कई ओपन-सोर्स सामने आए हैं और AI उद्योग में सिस्टम को तेजी से भर रहे हैं।

Open LLM

जनरेटिव AI का मूल LLM (Large Language Model) GPT का नेतृत्व करने वाले Closed LLM और Llama गुट के Open LLM दो अक्षों में विभाजित है। Mistral टीम ने अपने मॉडल को ओपन-सोर्स लाइसेंस के तहत जारी किया है, और उत्कृष्ट प्रदर्शन के साथ, यह कई लोगों का ध्यान आकर्षित कर रहा है। Open LLM मुख्य रूप से Hugging Face के माध्यम से प्रबंधित और प्रदान किया जाता है।

Mixtral-8x7B-Instruct-v0.1(Apache-2.0)

https://huggingface.co/mistralai/Mixtral-8x7B-Instruct-v0\.1

- इसमें विशेषज्ञ मिश्रित मॉडल (SMoE) का इस्तेमाल किया गया है।

- Llama 2 70B मॉडल को पछाड़ते हुए, यह GPT-3.5 175B से बेहतर प्रदर्शन करता है।

- ब्लिंड चैटबॉट टेस्ट, चैटबॉट एरीना में, यह GPT-4, Claude-2 के बाद तीसरे स्थान पर है।

Llama-2-7b-chat(Llama 2 Community)

https://huggingface.co/meta-llama/Llama-2-7b-chat

- यह लाइसेंस 70 करोड़ से कम मासिक सक्रिय उपयोगकर्ताओं वाली सेवाओं में व्यावसायिक उपयोग के लिए उपलब्ध है।

- Llama-2 पर कई डेरिवेटिव मॉडल बने हैं।

phi-2(MIT)

https://huggingface.co/microsoft/phi-2

- यह MS द्वारा जारी किया गया 2.7B पैरामीटर का एक हल्का मॉडल है।

- सामान्य ज्ञान, भाषा समाधान, तार्किक तर्क के परीक्षण परिणामों ने दिखाया है कि इसका प्रदर्शन 13B मॉडल से बेहतर है।

LLM अनुमान और सर्विंग

अच्छे से प्रशिक्षित LLM का प्रभावी रूप से उपयोग करने के लिए, एक ऐसे उपकरण की आवश्यकता होती है जो तेज हो, और कंप्यूटिंग संसाधनों का कुशलतापूर्वक प्रबंधन कर सके।

Ollama(MIT)

https://github.com/jmorganca/ollama

- यह Mac, Linux, Windows आदि स्थानीय पर्यावरण में 7B स्तर के LLM को सीधे चलाने की अनुमति देता है।

- यह सरल कमांड के माध्यम से मॉडल को डाउनलोड और चलाता है।

- यह CLI के माध्यम से मॉडल का प्रबंधन करता है, और सरल चैट की अनुमति देता है।

- यह प्रदान किए गए API के माध्यम से कई उपयोगों की अनुमति देता है।

vLLM(Apache-2.0)

https://github.com/vllm-project/vllm

- यह LLM अनुमान और सर्विंग के लिए एक तेज़ और उपयोग में आसान लाइब्रेरी है।

- यह Hugging Face द्वारा प्रदान किए गए मॉडलों का समर्थन करता है।

- यह वितरित प्रसंस्करण, समानांतर प्रसंस्करण, स्ट्रीमिंग आउटपुट, OpenAI संगत API प्रदान करता है।

- यह Nvidia, AMD GPU का समर्थन करता है।

KServe(Apache-2.0)

https://github.com/kserve/kserve- Kubernetes पर्यावरण में बनाया जा सकने वाला ML मॉडल अनुमान के लिए एक प्लेटफ़ॉर्म है। - यह स्केलिंग, नेटवर्किंग, निगरानी आदि के लिए एक सारांशित इंटरफ़ेस प्रदान करता है।

LLM प्रॉक्सी

LiteLLM(MIT)

https://github.com/BerriAI/litellm

- यह विभिन्न LLM API को एकीकृत करता है, और प्रॉक्सी प्रदान करता है।

- यह OpenAI के API प्रारूप का पालन करता है।

- यह प्रत्येक उपयोगकर्ता के लिए API प्रमाणीकरण प्रबंधन प्रदान करता है।

One API(MIT)

https://github.com/songquanpeng/one-api

- यह मानक OpenAI API प्रारूप के माध्यम से सभी बड़े मॉडलों तक तुरंत पहुँच प्रदान करता है।

- यह विभिन्न LLM का समर्थन करता है, और प्रॉक्सी सेवाएँ भी प्रदान करता है।

- यह लोड बैलेंसिंग और मल्टीपल डिप्लॉयमेंट की अनुमति देता है, और उपयोगकर्ता प्रबंधन और समूह कार्यक्षमताएँ प्रदान करता है।

AI Gateway(MIT)

https://github.com/Portkey-AI/gateway

- यह एक तेज़ और परिचित API के माध्यम से 100 से अधिक LLM से कनेक्शन प्रदान करता है।

- यह छोटे आकार की स्थापना के साथ तेज़ पहुँच प्रदान करता है।

LLM Monitoring Great Expectations(Apache-2.0)

https://github.com/great-expectations/great_expectations

- यह डेटा टीमों को गुणवत्ता परीक्षण, दस्तावेज़ीकरण और प्रोफाइलिंग के माध्यम से डेटा की साझा समझ बनाने में मदद करता है।

- यह CI/CD पाइपलाइन के साथ एकीकृत होता है, ताकि आवश्यकतानुसार डेटा गुणवत्ता जोड़ सकें।

LangFuse(MIT)

https://github.com/langfuse/langfuse

- यह ओपन-सोर्स LLM दृश्यता, विश्लेषण, त्वरित प्रबंधन, मूल्यांकन, परीक्षण, निगरानी, लॉगिंग, ट्रैकिंग प्रदान करता है।

- यह विज़ुअल UI में जटिल लॉग और ट्रैकिंग को खोजने और डीबग करने की अनुमति देता है।

- भविष्य में एंटरप्राइज़ सुविधाएँ जोड़ी जाएंगी।

Giskard(Apache-2.0, Dual License)

https://github.com/Giskard-AI/giskard

- यह टेबल प्रारूप मॉडल से लेकर LLM तक, AI मॉडल के कमजोरियों का स्वचालित रूप से पता लगा सकता है, जैसे पक्षपात, डेटा रिसाव, झूठे सहसंबंध, भ्रम, विषाक्तता, सुरक्षा समस्याएँ आदि।

- यह AI मॉडल की कमजोरियों का स्कैन करता है और स्वचालित रूप से परीक्षण सूट बनाता है, ML मॉडल और LLM के गुणवत्ता आश्वासन प्रक्रिया का समर्थन करता है।

- यह परिचालित LLM एप्लिकेशन में AI सुरक्षा जोखिमों का पता लगाने के लिए एक SaaS प्लेटफ़ॉर्म प्रदान करता है। (प्रीमियम)

LLM फ्रेमवर्क

LangChain (MIT)

https://github.com/langchain-ai/langchain

- यह भाषा मॉडल द्वारा संचालित एप्लिकेशन विकसित करने के लिए एक फ्रेमवर्क है।

- यह पायथन और जावास्क्रिप्ट में उपलब्ध है, और कई लाइब्रेरी को एकीकृत करने के लिए एक सारांशित परत प्रदान करता है।

- बने हुए LangChain को API के रूप में तैनात किया जा सकता है।

LlamaIndex(MIT)

https://github.com/run-llama/llama_index

- यह LLM एप्लिकेशन के लिए डेटा केन्द्रित फ्रेमवर्क है।

- यह मौजूदा डेटा स्रोतों और डेटा प्रारूपों (API, PDF, दस्तावेज़, SQL आदि) को एकत्रित करने के लिए डेटा कनेक्टर प्रदान करता है।

- यह डेटा (सूचकांक, ग्राफ़) को संरचित करने का तरीका प्रदान करता है, ताकि LLM में डेटा का आसानी से उपयोग किया जा सके।

Haystack(Apache-2.0)

https://github.com/deepset-ai/haystack

- यह खोज वृद्धि जनरेशन (RAG), दस्तावेज़ खोज, प्रश्न उत्तर, उत्तर जनरेशन आदि के लिए एक आसान निर्माण LLM फ्रेमवर्क है।

- यह पाइपलाइन अवधारणा पर आधारित है।

Flowise(Apache-2.0)

https://github.com/FlowiseAI/Flowise

- यह UI को खींचने और छोड़ने के माध्यम से कस्टमाइज्ड LLM प्रवाह बनाने की अनुमति देता है।

LangFlow(MIT)

https://github.com/logspace-ai/langflow

- यह LangChain पाइपलाइन का आसानी से परीक्षण और प्रोटोटाइप करने की अनुमति देता है।

- यह CLI का उपयोग करके चलाया जाता है, और Google Cloud Platform (GCP) में Langflow तैनाती का भी समर्थन करता है।

Spring AI(Apache-2.0)

https://github.com/spring-projects/spring-ai

- Spring Framework द्वारा प्रदान किया गया AI फ्रेमवर्क (अभी भी स्नैपशॉट स्थिति में)

- यह OpenAI और MS Azure आधारित API एकीकरण का समर्थन करता है, और एक सारांशित परत प्रदान करता है

- AI टेम्पलेट का उपयोग करके AI कार्यक्षमता को अधिक आसानी से और स्केलेबल रूप से लागू करना लक्ष्य है

Data Juicer(Apache-2.0)

https://github.com/alibaba/data-juicer

- Alibaba द्वारा जारी किया गया ओपन-सोर्स, यह LLM के लिए वन-स्टॉप डेटा प्रसंस्करण सिस्टम है।

- यह पुन: उपयोग योग्य 20 से अधिक कॉन्फ़िगरेशन रेसिपी, 50 से अधिक कोर OP, और विशेषज्ञ टूलकिट से युक्त एक व्यवस्थित लाइब्रेरी प्रदान करता है जिसमें अधिक कार्यक्षमताएँ हैं।

- स्वचालित रिपोर्ट जनरेशन सुविधा के साथ, यह विश्लेषण की गहराई से डेटा का अध्ययन करता है और डेटासेट को बेहतर रूप से समझने में मदद करता है।