Wraz z pojawieniem się niezliczonych projektów open source związanych z AI, ekosystem open source przeżywa prawdziwy renesans w dziedzinie AI open source. Sukces LangChain zapoczątkował pojawienie się wielu projektów open source, które szybko wypełniają lukę w systemach branży AI.

Open LLM

LLM (Large Language Model), stanowiący rdzeń generatywnej AI, dzieli się na dwa główne nurty: zamknięte LLM, z GPT na czele, oraz Open LLM, reprezentowany przez Llama. Model stworzony przez zespół Mistral został udostępniony na licencji open source i charakteryzuje się wysokimi osiągami, co przyciąga uwagę wielu użytkowników. Open LLM są w głównej mierze zarządzane i udostępniane za pośrednictwem Hugging Face.

Mixtral-8x7B-Instruct-v0.1(Apache-2.0)

https://huggingface.co/mistralai/Mixtral-8x7B-Instruct-v0\.1

- Zastosowano model mieszaniny ekspertów (SMoE).

- Wykazuje lepsze wyniki niż model Llama 2 70B i przewrotny GPT-3.5 175B.

- Zajmuje 3. miejsce w rankingu testów ślepych czatbotów Chatbot Arena, po GPT-4 i Claude-2.

Llama-2-7b-chat(Llama 2 Community)

https://huggingface.co/meta-llama/Llama-2-7b-chat

- Licencja pozwalająca na użytkowanie komercyjne w usługach z liczba aktywnych użytkowników miesięcznie nieprzekraczającą 700 mln.

- Dostępnych jest wiele pochodnych modeli otrzymanych poprzez dostosowanie Llama-2.

phi-2(MIT)

https://huggingface.co/microsoft/phi-2

- Lekki model z 2,7 mld parametrów opublikowany przez MS.

- W testach wiedzy ogólnej, rozumienia języka i rozumowania logicznego model ten wykazał lepsze wyniki niż model 13B.

Wnioskowanie i serwowanie LLM

Do efektywnego wykorzystania dobrze wytrenowanych LLM potrzebne są narzędzia, które są szybkie i umożliwiają efektywne zarządzanie zasobami komputerowymi.

Ollama(MIT)

https://github.com/jmorganca/ollama

- Umożliwia bezpośrednie uruchomienie LLM na poziomie 7B w środowisku lokalnym (Mac, Linux, Windows).

- Pobieranie i uruchamianie modelu za pomocą prostych poleceń.

- Zarządzanie modelami za pomocą interfejsu wierszowego (CLI), proste czatowanie.

- Różnorodne możliwości wykorzystania za pomocą dostępnych interfejsów API.

vLLM(Apache-2.0)

https://github.com/vllm-project/vllm

- Szybka i łatwa w użyciu biblioteka do wnioskowania i serwowania LLM.

- Obsługa modeli dostępnych na Hugging Face.

- Obsługa rozproszonego przetwarzania, przetwarzania równoległego, strumieniowego wyjścia, oferuje interfejs API kompatybilny z OpenAI.

- Obsługa kart graficznych Nvidia i AMD.

KServe(Apache-2.0)

https://github.com/kserve/kserve- Platforma do wnioskowania o modelach ML, którą można wdrażać w środowisku Kubernetes. - Dostarcza abstrakcyjny interfejs do skalowania, sieci i monitorowania.

Proxy LLM

LiteLLM(MIT)

https://github.com/BerriAI/litellm

- Integrator różnych interfejsów API LLM, oferuje usługę proxy.

- Zgodność z formatem API OpenAI.

- Oferuje zarządzanie autoryzacją API dla poszczególnych użytkowników.

One API(MIT)

https://github.com/songquanpeng/one-api

- Zapewnia natychmiastowy dostęp do wszystkich dużych modeli za pomocą standardowego formatu API OpenAI.

- Obsługa różnych LLM oraz usługa proxy.

- Możliwość bilansowania obciążenia i wdrażania wielokrotnego, oferuje zarządzanie użytkownikami i funkcje grupowe.

AI Gateway(MIT)

https://github.com/Portkey-AI/gateway

- Oferuje połączenie z ponad 100 LLM za pomocą jednego szybkiego i znanego interfejsu API.

- Zapewnia szybki dostęp poprzez małą instalację.

LLM Monitoring Great Expectations(Apache-2.0)

https://github.com/great-expectations/great_expectations

- Pomaga zespołom danych w budowaniu wspólnego rozumienia danych za pomocą testów jakości, dokumentacji i profilowania.

- Integracja z potokom CI/CD umożliwia dodawanie jakości danych w potrzebnych miejscach.

LangFuse(MIT)

https://github.com/langfuse/langfuse

- Oferuje widoczność otwartego LLM, analizę, szybkie zarządzanie, ocenę, testowanie, monitorowanie, rejestrowanie, śledzenie.

- Możliwość przeglądania i debugowania złożonych logów i śladów w interfejsie graficznym.

- Planowane jest dodanie funkcji dla przedsiębiorstw w przyszłości.

Giskard(Apache-2.0, Dual License)

https://github.com/Giskard-AI/giskard

- Automatyczne wykrywanie słabych punktów modeli AI, od modeli w formie tabeli po LLM, w tym stronniczość, wyciek danych, fałszywe korelacje, halucynacje, toksyczność, problemy bezpieczeństwa.

- Skanowanie słabych punktów modeli AI i automatyczne generowanie zestawów testów w celu wsparcia procesu zapewniania jakości modeli ML i LLM.

- Dostępna jest platforma SaaS do wykrywania zagrożeń bezpieczeństwa AI w wdrożonych aplikacjach LLM (wersja premium).

Ramka LLM

LangChain (MIT)

https://github.com/langchain-ai/langchain

- Ramka do tworzenia aplikacji sterowanych modelami językowymi.

- Dostępna w języku Python i Javascript, oferuje abstrakcyjną warstwę integrującą wiele bibliotek.

- Możliwość wdrożenia zbudowanego LangChain jako interfejsu API.

LlamaIndex(MIT)

https://github.com/run-llama/llama_index

- Specjalistyczna ramka dla aplikacji LLM z naciskiem na dane.

- Oferuje konektory danych do gromadzenia istniejących źródeł danych i formatów (API, PDF, dokumenty, SQL itp.).

- Dostarcza sposoby na strukturyzowanie danych (indeksy, grafy) w celu ułatwienia wykorzystania ich w LLM.

Haystack(Apache-2.0)

https://github.com/deepset-ai/haystack

- Ramka LLM do łatwego tworzenia rozwiązań z obszaru generowania wzbogaconego o wyszukiwanie (RAG), wyszukiwania dokumentów, pytania i odpowiedzi, generowania odpowiedzi.

- Zbudowany w oparciu o koncepcję potoków.

Flowise(Apache-2.0)

https://github.com/FlowiseAI/Flowise

- Możliwość tworzenia niestandardowych potoków LLM za pomocą przeciągania i upuszczania elementów w interfejsie graficznym.

LangFlow(MIT)

https://github.com/logspace-ai/langflow

- Ułatwia eksperymentowanie i tworzenie prototypów potoków LangChain.

- Uruchamianie za pomocą interfejsu wierszowego (CLI), obsługa wdrożenia Langflow w usługach Google Cloud Platform (GCP).

Spring AI(Apache-2.0)

https://github.com/spring-projects/spring-ai

- Ramka AI oferowana przez Spring Framework (obecnie w fazie początkowej).

- Obsługa integracji API w oparciu o OpenAI i MS Azure, oferuje abstrakcyjną warstwę.

- Celem jest ułatwienie i rozszerzenie implementacji funkcji AI za pomocą szablonów AI.

Data Juicer(Apache-2.0)

https://github.com/alibaba/data-juicer

- Projekt open source opublikowany przez Alibaba, oferuje system przetwarzania danych all-in-one dla LLM.

- Dostarcza systematyczną bibliotekę składającą się z ponad 20 ponownie wykorzystywanych przepisów konfiguracyjnych, ponad 50 kluczowych operacji (OP) i bogatych funkcjonalności dedykowanych zestawów narzędzi.

- Funkcja automatycznego tworzenia raportów umożliwia przeprowadzenie szczegółowej analizy danych w celu lepszego rozumienia zestawów danych.