De open-source-ecosystemen ervaart een ware renaissance van AI-open-source-projecten, met een enorme toestroom van open-source-projecten die verband houden met AI. Na het succes van LangChain is een groot aantal open-source-projecten verschenen, die de AI-industrie snel vullen.

Open LLM

LLM (Large Language Model), de kern van generatieve AI, is verdeeld in twee kampen: Closed LLM, met GPT aan het hoofd, en Open LLM, met Llama aan het roer. Het model van het Mistral-team is met een open-source-licentie vrijgegeven en heeft veel aandacht getrokken vanwege zijn uitstekende prestaties. Open LLM wordt meestal beheerd en geleverd via Hugging Face.

Mixtral-8x7B-Instruct-v0.1(Apache-2.0)

https://huggingface.co/mistralai/Mixtral-8x7B-Instruct-v0\.1

- Het gebruikt een expert-gemengde model (SMoE).

- Het overtreft de prestaties van het Llama 2 70B-model en zelfs GPT-3.5 175B.

- Het staat op de derde plaats in de Chatbot Arena, een blinde chatbot-test, na GPT-4 en Claude-2.

Llama-2-7b-chat(Llama 2 Community)

https://huggingface.co/meta-llama/Llama-2-7b-chat

- Het is een commercieel bruikbare licentie voor services met minder dan 700 miljoen maandelijkse actieve gebruikers.

- Er zijn talloze afgeleide modellen van Llama-2 beschikbaar, die zijn afgestemd op verschillende taken.

phi-2(MIT)

https://huggingface.co/microsoft/phi-2

- Dit is een lichtgewicht model van 2.7B parameters dat door MS is vrijgegeven.

- Tests op algemene kennis, taalbegrip en logisch redeneren hebben aangetoond dat het model betere prestaties levert dan het 13B-model.

LLM redeneren en serveren

Om goed getrainde LLM's effectief te gebruiken, zijn tools nodig die snel en efficiënt computing resources kunnen beheren.

Ollama(MIT)

https://github.com/jmorganca/ollama

- Het stelt je in staat om LLM's op 7B-niveau direct uit te voeren in lokale omgevingen, zoals Mac, Linux en Windows.

- Je kunt modellen eenvoudig downloaden en uitvoeren met behulp van eenvoudige opdrachten.

- Het biedt CLI-gebaseerde modelbeheer en eenvoudige chatfunctionaliteit.

- De meegeleverde API kan voor verschillende doeleinden worden gebruikt.

vLLM(Apache-2.0)

https://github.com/vllm-project/vllm

- Het is een snelle en gebruiksvriendelijke bibliotheek voor LLM-redeneren en -serveren.

- Het ondersteunt modellen die worden aangeboden door Hugging Face.

- Het biedt gedistribueerde verwerking, parallelle verwerking, streaming-uitvoer en een OpenAI-compatibele API.

- Het ondersteunt Nvidia en AMD GPU's.

KServe(Apache-2.0)

https://github.com/kserve/kserve- Het is een platform voor ML-modelredeneren dat in een Kubernetes-omgeving kan worden geïmplementeerd. - Het biedt een geabstraheerde interface voor schaling, netwerken, monitoring, etc.

LLM proxy's

LiteLLM(MIT)

https://github.com/BerriAI/litellm

- Het integreert verschillende LLM-API's en biedt proxyservices.

- Het volgt de API-indeling van OpenAI.

- Het biedt API-authenticatiebeheer per gebruiker.

One API(MIT)

https://github.com/songquanpeng/one-api

- Het biedt direct toegang tot alle grote modellen via de standaard OpenAI API-indeling.

- Het ondersteunt verschillende LLM's en biedt proxyservices.

- Het ondersteunt load balancing, meerdere implementaties en biedt gebruikersbeheer en groepsfuncties.

AI Gateway(MIT)

https://github.com/Portkey-AI/gateway

- Het biedt verbinding met meer dan 100 LLM's via één snelle en vertrouwde API.

- Een kleine installatie zorgt voor snelle toegang.

LLM Monitoring Great Expectations(Apache-2.0)

https://github.com/great-expectations/great_expectations

- Het helpt data teams om een ​​gedeelde kennis van data te ontwikkelen via kwaliteitstests, documentatie en profilering.

- Het kan worden geïntegreerd met CI/CD-pijplijnen om data-kwaliteit nauwkeurig toe te voegen waar dat nodig is.

LangFuse(MIT)

https://github.com/langfuse/langfuse

- Het biedt zichtbaarheid, analyse, snel beheer, beoordeling, testen, monitoring, loggen en tracering voor open-source LLM's.

- Je kunt complexe logs en traces verkennen en debuggen via een visuele gebruikersinterface.

- Er worden in de toekomst enterprise-functies toegevoegd.

Giskard(Apache-2.0, Dual License)

https://github.com/Giskard-AI/giskard

- Het kan automatisch zwakke punten in AI-modellen detecteren, van tabelvormige modellen tot LLM's, waaronder bias, data lekken, valse correlaties, hallucinaties, toxiciteit, beveiligingsproblemen en meer.

- Het scant AI-modellen op zwakke punten en genereert automatisch testsuites ter ondersteuning van kwaliteitsborgingsprocessen voor ML-modellen en LLM's.

- Het biedt een SaaS-platform voor het detecteren van AI-veiligheidsrisico's in ingebruik genomen LLM-applicaties. (Premium)

LLM Frameworks

LangChain (MIT)

https://github.com/langchain-ai/langchain

- Het is een framework voor het ontwikkelen van applicaties die worden aangedreven door taalmodellen.

- Het is beschikbaar in Python en Javascript en biedt een abstractielaag die verschillende bibliotheken integreert.

- Je kunt de ontwikkelde LangChain als API implementeren.

LlamaIndex(MIT)

https://github.com/run-llama/llama_index

- Het is een framework dat is gespecialiseerd in data voor LLM-applicaties.

- Het biedt data-connectoren voor het verzamelen van bestaande data bronnen en formaten (API's, PDF's, documenten, SQL, etc.).

- Het biedt manieren om data (indexen, grafieken) te structureren, zodat LLM's ze gemakkelijk kunnen gebruiken.

Haystack(Apache-2.0)

https://github.com/deepset-ai/haystack

- Het is een LLM-framework voor het eenvoudig bouwen van Retrieval-Augmented Generation (RAG), document zoeken, vraag-en-antwoord, antwoordgeneratie, etc.

- Het is gebaseerd op het pijplijnconcept.

Flowise(Apache-2.0)

https://github.com/FlowiseAI/Flowise

- Het stelt je in staat om aangepaste LLM-workflows te bouwen door middel van drag-and-drop met een gebruikersinterface.

LangFlow(MIT)

https://github.com/logspace-ai/langflow

- Het maakt het eenvoudig om LangChain-pijplijnen te experimenteren en prototypes te maken.

- Het wordt uitgevoerd via de CLI en ondersteunt ook de implementatie van Langflow in Google Cloud Platform (GCP).

Spring AI(Apache-2.0)

https://github.com/spring-projects/spring-ai

- Een AI-framework dat wordt aangeboden door Spring Framework (nog in snapshot-fase)

- Het ondersteunt API-integratie op basis van OpenAI en MS Azure en biedt een abstractielaag.

- Het doel is om AI-functionaliteit gemakkelijker en schaalbaarder te implementeren met behulp van AI-sjablonen.

Data Juicer(Apache-2.0)

https://github.com/alibaba/data-juicer

- Het is een open-source-systeem voor dataverwerking voor LLM's dat is vrijgegeven door Alibaba.

- Het biedt een gestructureerde bibliotheek met meer dan 20 herbruikbare configuratie-recepten, meer dan 50 kern-OP's en een uitgebreide set tools.

- De functie voor geautomatiseerde rapportage maakt gedetailleerde data-analyse mogelijk, waardoor je datasets beter kunt begrijpen.