Wraz z lawiną open source'ów związanych ze sztuczną inteligencją, ekosystem open source'a przeżywa prawdziwy renesans AI open source. Począwszy od sukcesu LangChain, wiele open source'ów pojawia się, szybko uzupełniając systemy branży AI.
Open LLM
LLM (Large Language Model) będący rdzeniem generatywnej AI dzieli się na dwie osie: Closed LLM z GPT na czele oraz Open LLM z obozu Llama. Model zespołu Mistral został udostępniony na licencji open source i charakteryzuje się znakomitą wydajnością, co przyciągnęło uwagę wielu osób. Open LLM są głównie zarządzane i udostępniane za pośrednictwem Hugging Face.
**Mixtral-8x7B-Instruct-v0.1** (Apache-2.0)
https://huggingface.co/mistralai/Mixtral-8x7B-Instruct-v0\.1
- Zastosowano model mieszany ekspertów (SMoE).
- Wykazuje wydajność przewyższającą model Llama 2 70B i zbliżoną do GPT-3.5 175B.
- W ślepym teście chatbotów, Chatbot Arena, zajął 3. miejsce po GPT-4 i Claude-2.
**Llama-2-7b-chat** (Llama 2 Community)
https://huggingface.co/meta-llama/Llama-2-7b-chat
- Licencja umożliwiająca komercyjne wykorzystanie dla usług o liczbie aktywnych użytkowników miesięcznie poniżej 700 milionów.
- Istnieje wiele pochodnych modeli powstałych w wyniku fine-tuning'u Llama-2.
**phi-2** (MIT)
https://huggingface.co/microsoft/phi-2
- Lekki model o 2,7B parametrach udostępniony przez MS.
- W testach wiedzy ogólnej, rozumienia języka i wnioskowania logicznego wykazał lepszą wydajność niż modele 13B.
Wnioskowanie i serwowanie LLM
Aby efektywnie wykorzystać dobrze wyszkolone LLM, potrzebne są narzędzia, które będą szybkie i będą w stanie efektywnie zarządzać zasobami obliczeniowymi.
**Ollama** (MIT)
https://github.com/jmorganca/ollama
- Umożliwia bezpośrednie uruchamianie LLM o rozmiarze 7B na środowiskach lokalnych, takich jak Mac, Linux i Windows.
- Proste polecenia pozwalają na pobranie i uruchomienie modelu.
- CLI służy do zarządzania modelem i umożliwia proste czatowanie.
- Dostępne API pozwala na różnorodne zastosowania.
**vLLM** (Apache-2.0)
https://github.com/vllm-project/vllm
- Szybka i łatwa w użyciu biblioteka do wnioskowania i serwowania LLM.
- Obsługuje modele udostępniane przez Hugging Face.
- Zapewnia przetwarzanie rozproszone, równoległe, strumieniowe wyjście oraz API zgodne z OpenAI.
- Obsługuje karty graficzne Nvidia i AMD.
**KServe** (Apache-2.0)
https://github.com/kserve/kserve- Platforma do wnioskowania modeli ML, którą można wdrożyć w środowisku Kubernetes. - Zapewnia interfejs abstrakcji dla skalowania, sieci i monitorowania.
Proksowanie LLM
**LiteLLM** (MIT)
https://github.com/BerriAI/litellm
- Integruje różne API LLM i zapewnia funkcję proxy.
- Stosuje format API OpenAI.
- Zapewnia zarządzanie uwierzytelnianiem API dla poszczególnych użytkowników.
**One API** (MIT)
https://github.com/songquanpeng/one-api
- Umożliwia natychmiastowy dostęp do wszystkich dużych modeli za pośrednictwem standardowego formatu API OpenAI.
- Obsługuje różne LLM i zapewnia usługę proxy.
- Umożliwia równoważenie obciążenia i wiele wdrożeń, a także zapewnia funkcje zarządzania użytkownikami i grupami.
**AI Gateway** (MIT)
https://github.com/Portkey-AI/gateway
- Zapewnia połączenie z ponad 100 LLM za pośrednictwem jednego szybkiego i przyjaznego API.
- Mała instalacja zapewnia szybki dostęp.
**Monitorowanie LLM Great Expectations** (Apache-2.0)
https://github.com/great-expectations/great_expectations
- Pomaga zespołom ds. danych w budowaniu wspólnego zrozumienia danych poprzez testowanie jakości, dokumentowanie i profilowanie.
- Można go zintegrować z potokom CI/CD, aby dodawać jakość danych dokładnie tam, gdzie jest to potrzebne.
**LangFuse** (MIT)
https://github.com/langfuse/langfuse
- Zapewnia widoczność, analizę, szybkie zarządzanie, ocenę, testowanie, monitorowanie, rejestrowanie i śledzenie open source'owych LLM.
- Umożliwia przeglądanie i debugowanie złożonych logów i śladów w graficznym interfejsie użytkownika.
- W przyszłości planowane jest dodanie funkcji dla przedsiębiorstw.
**Giskard** (Apache-2.0, Dual License)
https://github.com/Giskard-AI/giskard
- Umożliwia automatyczne wykrywanie luk w zabezpieczeniach modeli AI, od modeli tabelarycznych po LLM, w tym stronniczość, wyciek danych, fałszywe korelacje, halucynacje, toksyczność i problemy z bezpieczeństwem.
- Wspiera procesy zapewnienia jakości modeli ML i LLM poprzez skanowanie luk w zabezpieczeniach modeli AI i automatyczne generowanie zestawów testowych.
- Oferuje platformę SaaS do wykrywania zagrożeń bezpieczeństwa AI we wdrożonych aplikacjach LLM. (Premium)
Frameworki LLM
LangChain (MIT)
https://github.com/langchain-ai/langchain
- Framework do tworzenia aplikacji opartych na modelach językowych.
- Dostępny w Pythonie i Javascript, oferuje warstwę abstrakcji integrującą wiele bibliotek.
- Utworzony LangChain można również wdrożyć jako API.
**LlamaIndex** (MIT)
https://github.com/run-llama/llama_index
- Framework specjalizujący się w danych dla aplikacji LLM.
- Zapewnia konektory do pobierania danych z istniejących źródeł i formatów (API, PDF, dokumenty, SQL itp.).
- Oferuje sposoby strukturyzacji danych (indeksy, grafy), aby LLM mógł je łatwo wykorzystać.
**Haystack** (Apache-2.0)
https://github.com/deepset-ai/haystack
- Framework LLM ułatwiający budowanie wyszukiwania wzbogaconego generowaniem (RAG), wyszukiwania dokumentów, odpowiadania na pytania i generowania odpowiedzi.
- Zbudowany w oparciu o koncepcję potoku.
**Flowise** (Apache-2.0)
https://github.com/FlowiseAI/Flowise
- Umożliwia budowanie niestandardowych przepływów LLM za pomocą interfejsu typu „przeciągnij i upuść”.
**LangFlow** (MIT)
https://github.com/logspace-ai/langflow
- Ułatwia eksperymentowanie i tworzenie prototypów potoku LangChain.
- Uruchamiany za pomocą CLI, obsługuje również wdrażanie Langflow w Google Cloud Platform (GCP).
**Spring AI** (Apache-2.0)
https://github.com/spring-projects/spring-ai
- Framework AI oferowany w ramach Spring Framework (nadal w fazie snapshot).
- Obsługuje integrację z API opartymi na OpenAI i MS Azure, zapewniając warstwę abstrakcji.
- Celem jest ułatwienie i zwiększenie skalowalności implementacji funkcji AI za pomocą szablonów AI.
**Data Juicer** (Apache-2.0)
https://github.com/alibaba/data-juicer
- Open source'owy system udostępniony przez Alibaba, stanowiący kompleksowe rozwiązanie do przetwarzania danych dla LLM.
- Oferuje uporządkowaną bibliotekę składającą się z ponad 20 przepisów konfiguracyjnych, ponad 50 kluczowych operacji i bogatego zestawu narzędzi.
- Funkcja automatycznego generowania raportów umożliwia przeprowadzanie szczegółowych analiz danych, co pozwala na pogłębione zrozumienie zbiorów danych.
Komentarze0