A rengeteg, mesterséges intelligenciával kapcsolatos nyílt forráskódú projekt megjelenésével a nyílt forráskódú ökoszisztéma igazi AI nyílt forráskódú reneszánszát éli. A LangChain sikerétől kezdve számos nyílt forráskódú megoldás jelenik meg, melyek gyorsan töltik be az AI iparági rendszerekben keletkező hiányosságokat.
Nyílt LLM
A generatív AI magját képező LLM (Large Language Model) két fő irányba ágazik: a GPT vezette Zárt LLM-ekre és a Llama-család Nyílt LLM-eire. A Mistral csapat modellje nyílt forráskódú licenc alatt érhető el, és lenyűgöző teljesítményével számosan felkeltette a figyelmet. A Nyílt LLM-ek főként a Hugging Face platformon keresztül kezelhetők és érhetők el.
**Mixtral-8x7B-Instruct-v0.1** (Apache-2.0)
https://huggingface.co/mistralai/Mixtral-8x7B-Instruct-v0\.1
- Szakértői keverék modellt (SMoE) alkalmaz.
- Felülmúlja a Llama 2 70B modellt, sőt a GPT-3.5 175B teljesítményét is.
- A vak chatbot teszten, a Chatbot Arénában a GPT-4 és Claude-2 után a 3. helyen végzett.
**Llama-2-7b-chat** (Llama 2 Community)
https://huggingface.co/meta-llama/Llama-2-7b-chat
- Havi 700 millió alatti aktív felhasználóval rendelkező szolgáltatásokban kereskedelmi célra is használható licenc.
- A Llama-2 számos származékos modelljének alapjául szolgál.
**phi-2** (MIT)
https://huggingface.co/microsoft/phi-2
- Az MS által közzétett 2,7 milliárd paraméteres könnyű modell.
- A közönséges tudás, a nyelvi megértés és a logikai következtetés tesztelése során jobb eredményt mutatott, mint a 13 milliárd paraméteres modellek.
LLM következtetés és kiszolgálás
Egy jól képzett LLM hatékony használatához gyors és számítási erőforrásokat hatékonyan kezelő eszközökre van szükség.
**Ollama** (MIT)
https://github.com/jmorganca/ollama
- Mac, Linux, Windows rendszereken lehetővé teszi 7 milliárd paraméteres LLM-ek helyi futtatását.
- Egyszerű parancsokkal letölthető és futtatható a modell.
- CLI-n keresztül kezelhető a modell és egyszerű chat funkció is elérhető.
- A nyújtott API-n keresztül számos felhasználási lehetőség kínálkozik.
**vLLM** (Apache-2.0)
https://github.com/vllm-project/vllm
- Gyors és felhasználóbarát könyvtár LLM következtetéshez és kiszolgáláshoz.
- Támogatja a Hugging Face-en elérhető modelleket.
- Szolgáltat elosztott feldolgozást, párhuzamos feldolgozást, streamelt kimenetet és OpenAI kompatibilis API-t.
- Nvidia és AMD GPU-kat támogat.
**KServe** (Apache-2.0)
https://github.com/kserve/kserve- Kubernetes környezetben üzembe helyezhető ML modell következtetési platform. - Skálázási, hálózati és monitoring funkciókhoz absztrakciós interfészt biztosít.
LLM proxy
**LiteLLM** (MIT)
https://github.com/BerriAI/litellm
- Integrálja a különböző LLM API-kat és proxy szolgáltatást nyújt.
- Követi az OpenAI API formátumát.
- Felhasználónkénti API hitelesítési kezelést biztosít.
**One API** (MIT)
https://github.com/songquanpeng/one-api
- A szabványos OpenAI API formátum segítségével azonnali hozzáférést biztosít minden nagyméretű modellhez.
- Támogatja a különböző LLM-eket és proxy szolgáltatást is nyújt.
- Terheléselosztást és több telepítést tesz lehetővé, valamint felhasználó- és csoportkezelési funkciókat kínál.
**AI Gateway** (MIT)
https://github.com/Portkey-AI/gateway
- Egyetlen, gyors és ismerős API-n keresztül 100-nál több LLM-hez biztosít kapcsolatot.
- Kis telepítési mérettel garantálja a gyors hozzáférést.
**LLM Monitoring Great Expectations** (Apache-2.0)
https://github.com/great-expectations/great_expectations
- Segít az adatcsapatoknak megosztott megértést kialakítani az adatokról a minőségvizsgálat, dokumentáció és profilozás révén.
- Integrálható a CI/CD folyamatba, így a szükséges helyeken pontosan hozzáadható az adatminőség.
**LangFuse** (MIT)
https://github.com/langfuse/langfuse
- Nyílt forráskódú LLM láthatóságot, elemzést, gyors kezelést, értékelést, tesztelést, monitorozást, naplózást és nyomon követést biztosít.
- A vizuális felhasználói felületen keresztül böngészhetők és hibakereshetők a komplex naplók és nyomon követési adatok.
- A jövőben vállalati funkciók is várhatók.
**Giskard** (Apache-2.0, Dual License)
https://github.com/Giskard-AI/giskard
- Automatikusan képes felismerni az AI modellek sebezhetőségeit, beleértve az elfogultságot, az adatkiszivárgást, a hamis korrelációkat, a hallucinációkat, a toxicitást és a biztonsági problémákat, a táblázatos modellektől az LLM-ekig.
- Segíti az ML modellek és LLM-ek minőségbiztosítási folyamatát a sebezhetőségek szkennelésével és a tesztkészletek automatikus generálásával.
- SaaS platformot kínál az üzembe helyezett LLM alkalmazásokban található AI biztonsági kockázatok észlelésére. (Prémium)
LLM keretrendszerek
LangChain (MIT)
https://github.com/langchain-ai/langchain
- Keretrendszer nyelvi modellek által működtetett alkalmazások fejlesztéséhez.
- Python és Javascript nyelven érhető el, és számos könyvtárat integráló absztrakciós réteget biztosít.
- A létrehozott LangChain-t API-ként is telepíthetjük.
**LlamaIndex** (MIT)
https://github.com/run-llama/llama_index
- Az LLM alkalmazásokhoz készült, adatokra specializálódott keretrendszer.
- Adatösszekötőket biztosít a meglévő adatforrások és adattípusok (API, PDF, dokumentumok, SQL stb.) összegyűjtéséhez.
- Módszereket kínál az adatok (indexek, grafikonok) strukturálására, hogy az LLM könnyen használhassa őket.
**Haystack** (Apache-2.0)
https://github.com/deepset-ai/haystack
- LLM keretrendszer a kereséssel kibővített generálás (RAG), dokumentumkeresés, kérdés-felelet és válaszgenerálás egyszerűbb megvalósításához.
- Pipline koncepcióra épül.
**Flowise** (Apache-2.0)
https://github.com/FlowiseAI/Flowise
- Drag and drop felülettel lehetővé teszi egyedi LLM folyamatok létrehozását.
**LangFlow** (MIT)
https://github.com/logspace-ai/langflow
- Lehetővé teszi a LangChain pipeline-ek egyszerű kísérletezését és prototípuskészítését.
- CLI segítségével futtatható, és támogatja a Langflow telepítését a Google Cloud Platformon (GCP).
**Spring AI** (Apache-2.0)
https://github.com/spring-projects/spring-ai
- A Spring Framework által biztosított AI keretrendszer (jelenleg pillanatkép állapotban).
- Támogatja az OpenAI és az MS Azure alapú API-k integrációját, valamint absztrakciós réteget biztosít.
- Célja, hogy az AI sablonok használatával egyszerűbbé és skálázhatóbbá tegye az AI funkciók implementációját.
**Data Juicer** (Apache-2.0)
https://github.com/alibaba/data-juicer
- Az Alibaba által közzétett nyílt forráskódú, egyablakos adatfeldolgozó rendszer LLM-ekhez.
- Rendszeres könyvtárat biztosít, amely több mint 20 újrafelhasználható konfigurációs receptből, több mint 50 alapvető műveletből és egy gazdag funkciókkal rendelkező dedikált eszközkészletből áll.
- Az automatizált jelentéskészítési funkciók részletes adat-elemzést tesznek lehetővé, így mélyebben megérthetjük az adatkészleteket.
Hozzászólások0