Az AI-hoz kapcsolódó számtalan nyílt forráskódú megoldás megjelenésével a nyílt forráskódú ökoszisztéma igazi AI nyílt forráskódú reneszánszot él át. A LangChain sikerét követően számos nyílt forráskódú megoldás jelent meg, amelyek gyorsan kitöltik az AI iparág rendszereit.

Open LLM

A generatív AI szívén a LLM (Large Language Model) áll, amely két fő kategóriába sorolható: a GPT vezette Closed LLM és a Llama csapat Open LLM-je. A Mistral csapat modelljét nyílt forráskódú licenc alatt tette közzé, és kiváló teljesítményével sok ember figyelmét felkeltette. Az Open LLM-eket főként a Hugging Face kezeli és szolgáltatja.

Mixtral-8x7B-Instruct-v0.1(Apache-2.0)

https://huggingface.co/mistralai/Mixtral-8x7B-Instruct-v0\.1

- Szakértői kevert modellt (SMoE) alkalmaz.

- Meghaladja a Llama 2 70B modell teljesítményét, és a GPT-3.5 175B is elmarad tőle.

- A vak chatbot tesztelés, a Chatbot Arena ban a GPT-4 és a Claude-2 után a harmadik helyen áll.

Llama-2-7b-chat(Llama 2 Community)

https://huggingface.co/meta-llama/Llama-2-7b-chat

- A licenc kereskedelmi célokra használható azon szolgáltatások esetén, amelyek havi aktív felhasználói száma 700 millió alatt van.

- Számos származtatott modell létezik, amelyek a Llama-2 modell finomhangolásával jöttek létre.

phi-2(MIT)

https://huggingface.co/microsoft/phi-2

- A MS által közzétett 2.7B paraméterű kisméretű modell.

- A közös tudat, a nyelvi megértés és a logikai következtetés tesztelésében jobb eredményeket mutatott, mint a 13B modell.

LLM következtetés és szolgáltatás

A jól betanított LLM hatékony használatához olyan eszközre van szükség, amely gyors és hatékonyan kezeli a számítási forrásokat.

Ollama(MIT)

https://github.com/jmorganca/ollama

- A 7B méretű LLM közvetlenül futtatható helyi környezetben, mint például Mac, Linux vagy Windows operációs rendszereken.

- Egyszerű parancsokkal lehet letölteni és futtatni a modelleket.

- A modellek CLI felületen kezelhetők, és egyszerű csevegés lehetséges.

- A szolgáltatott API segítségével különböző módokon használható.

vLLM(Apache-2.0)

https://github.com/vllm-project/vllm

- Gyors és könnyen használható könyvtár az LLM következtetéséhez és szolgáltatásához.

- Támogatja a Hugging Face által szolgáltatott modelleket.

- Szolgáltat szétosztott feldolgozást, párhuzamos feldolgozást, folyamatos kimenetet és OpenAI kompatibilis API-t.

- Támogatja az Nvidia és AMD GPU-kat.

KServe(Apache-2.0)

https://github.com/kserve/kserve- Kubernetes környezetben építhető ML modell következtetéshez szánt platform. - Szolgáltat absztrakt felületet a méretezéshez, a hálózathoz és a figyeléshez.

LLM proxy

LiteLLM(MIT)

https://github.com/BerriAI/litellm

- Integrálja a különböző LLM API-kat és szolgáltat proxyt.

- Követi az OpenAI API formátumát.

- Személyre szabott API hitelesítés kezelést nyújt.

One API(MIT)

https://github.com/songquanpeng/one-api

- Lehetővé teszi minden nagy modellhez az azonnali hozzáférést a szabványos OpenAI API formátumon keresztül.

- Támogat különböző LLM-eket, és proxy szolgáltatást is nyújt.

- Lehetővé teszi a terheléselosztást és a többszörös telepítést, valamint a felhasználókezelést és a csoportfunkciókat.

AI Gateway(MIT)

https://github.com/Portkey-AI/gateway

- Gyors és ismerős API keresztül lehetővé teszi a kapcsolatot több mint 100 LLM-mel.

- A kis méretű telepítés gyors hozzáférést biztosít.

LLM Monitoring Great Expectations(Apache-2.0)

https://github.com/great-expectations/great_expectations

- Segít a adatcsapatoknak a közös megértés kialakításában az adatokról a minőségellenőrzés, a dokumentáció és a profilozás segítségével.

- Integrálható a CI/CD folyamatláncokba, hogy pontosan a szükséges helyeken javítsa az adatminőséget.

LangFuse(MIT)

https://github.com/langfuse/langfuse

- Nyílt forráskódú LLM láthatóságot, elemzést, gyors kezelést, értékelést, tesztelést, figyelést, naplózás, és nyomon követést nyújt.

- Lehetővé teszi a bonyolult naplók és nyomon követési adatok áttekintését és hibakeresését a vizuális felületen.

- A jövőben vállalati funkciók is elérhetők lesznek.

Giskard(Apache-2.0, Dual License)

https://github.com/Giskard-AI/giskard

- Automatikusan felismerheti az AI modellek gyengeségeit, mint például a torzítást, az adatkiáramlást, a hamis korrelációt, a hallucinációt, a toxikus viselkedést, a biztonsági problémákat stb. a táblázatos modellektől az LLM-ekig.

- Az AI modellek gyengeségeinek szkennelésével és a tesztkészletek automatikus generálásával támogatja az ML modellek és az LLM-ek minőségbiztosítási folyamatát.

- SaaS platformot nyújt az AI biztonsági kockázatok észleléséhez a telepített LLM alkalmazásokban. (Prémium)

LLM Keretrendszer

LangChain (MIT)

https://github.com/langchain-ai/langchain

- Keretrendszer a nyelvi modellek által üzemeltetett alkalmazások fejlesztéséhez.

- Python és Javascript nyelven érhető el, és absztrakt réteget nyújt a számos könyvtár integrálásához.

- A kialakított LangChain telepíthető API ként is.

LlamaIndex(MIT)

https://github.com/run-llama/llama_index

- Adatokra szabott keretrendszer az LLM alkalmazásokhoz.

- Adatcsatlakozókat nyújt a meglévő adatforrások és adatformátumok (API, PDF, dokumentumok, SQL stb.) gyűjtéséhez.

- Módszereket nyújt az adatok szervezésére (indexelés, grafikonok), hogy azok könnyen használhatók legyenek az LLM-ekben.

Haystack(Apache-2.0)

https://github.com/deepset-ai/haystack

- LLM keretrendszer a kereséssel kiegészített generálás (RAG), dokumentumkeresés, kérdés-felelet és válaszgenerálás könnyű létrehozásához.

- A folyamatláncok koncepcióján alapul.

Flowise(Apache-2.0)

https://github.com/FlowiseAI/Flowise

- Személyre szabott LLM folyamatok építhetők a felületen húzás-és elengedés módszerével.

LangFlow(MIT)

https://github.com/logspace-ai/langflow

- Lehetővé teszi a LangChain folyamatláncok könnyű kísérletezését és prototípuskészítését.

- CLI felületen futtatható, és támogatja a Langflow telepítését a Google Cloud Platformon (GCP).

Spring AI(Apache-2.0)

https://github.com/spring-projects/spring-ai

- AI keretrendszer a Spring Framework része (még fejlesztés alatt).

- Támogatja az OpenAI és a MS Azure alapú API-kkal való integrációt, és absztrakt réteget nyújt.

- Célja, hogy az AI sablonok segítségével könnyebbé és skálázhatóbbá tegye az AI funkciók megvalósítását.

Data Juicer(Apache-2.0)

https://github.com/alibaba/data-juicer

- Az Alibaba által közzétett nyílt forráskódú megoldás, egy egyablakos adatfeldolgozó rendszer az LLM-ekhez.

- Szisztematikus könyvtárat nyújt, amely több mint 20 újrahasználható konfigurációs receptből, több mint 50 kulcsfontosságú OP-ből és egy gazdag funkciókkal rendelkező dedikált eszközcsomagból áll.

- Automatizált jelentéskészítő funkciókkal lehetővé teszi az adatok részletes elemzését, hogy mélyebb betekintést nyerjen az adatkészletekbe.