Door de stortvloed aan AI-gerelateerde open source projecten beleeft het open source ecosysteem een ware AI open source renaissance. Vanaf het succes van LangChain zijn er veel open source projecten verschenen die snel gaten vullen in de systemen van de AI-industrie.
Open LLM
LLM's (Large Language Model), de kern van generatieve AI, worden verdeeld in twee kampen: Closed LLM, met GPT voorop, en Open LLM, geleid door Llama. Het Mistral-team heeft zijn model onder een open source licentie vrijgegeven, en de uitstekende prestaties trekken veel aandacht. Open LLM's worden voornamelijk beheerd en aangeboden via Hugging Face.
**Mixtral-8x7B-Instruct-v0.1** (Apache-2.0)
https://huggingface.co/mistralai/Mixtral-8x7B-Instruct-v0\.1
- Maakt gebruik van een expert-mix model (SMoE).
- Overtreft het Llama 2 70B model en zelfs GPT-3.5 175B in prestaties.
- Behaalt de derde plaats in de Chatbot Arena, een blinde chatbot test, na GPT-4 en Claude-2.
**Llama-2-7b-chat** (Llama 2 Community)
https://huggingface.co/meta-llama/Llama-2-7b-chat
- Beschikt over een commerciële licentie voor diensten met minder dan 700 miljoen maandelijkse actieve gebruikers.
- Er zijn talloze afgeleide modellen van Llama-2 die zijn fine-tuned.
**phi-2** (MIT)
https://huggingface.co/microsoft/phi-2
- Een lichtgewicht model met 2,7B parameters, vrijgegeven door MS.
- Testresultaten voor algemene kennis, taalbegrip en logisch redeneren tonen aan dat het beter presteert dan een 13B model.
LLM Inferentie en Serving
Om goed getrainde LLM's effectief te gebruiken, zijn tools nodig die snel zijn en computing resources efficiënt beheren.
**Ollama** (MIT)
https://github.com/jmorganca/ollama
- Maakt het mogelijk om LLM's van ongeveer 7B parameters direct uit te voeren in lokale omgevingen zoals Mac, Linux en Windows.
- Download en start modellen met eenvoudige commando's.
- Beheer modellen via de CLI en voer eenvoudige chats uit.
- Verschillende toepassingen zijn mogelijk via de aangeboden API.
**vLLM** (Apache-2.0)
https://github.com/vllm-project/vllm
- Een snelle en gebruiksvriendelijke bibliotheek voor LLM inferentie en serving.
- Ondersteunt modellen die beschikbaar zijn op Hugging Face.
- Biedt ondersteuning voor gedistribueerde verwerking, parallelle verwerking, streaming output en een OpenAI-compatibele API.
- Ondersteunt Nvidia en AMD GPU's.
**KServe** (Apache-2.0)
https://github.com/kserve/kserve- Een platform voor ML-model inferentie dat kan worden geïmplementeerd in Kubernetes-omgevingen. - Biedt een abstractie-interface voor schaalbaarheid, netwerken en monitoring.
LLM Proxying
**LiteLLM** (MIT)
https://github.com/BerriAI/litellm
- Integreert verschillende LLM API's en biedt proxy-functionaliteit.
- Volgt de API-indeling van OpenAI.
- Biedt API-authenticatiebeheer per gebruiker.
**One API** (MIT)
https://github.com/songquanpeng/one-api
- Maakt onmiddellijke toegang tot alle grote modellen mogelijk via de standaard OpenAI API-indeling.
- Ondersteunt diverse LLM's en biedt proxyservices.
- Mogelijkheid tot load balancing en meerdere implementaties, evenals gebruikersbeheer en groepsfuncties.
**AI Gateway** (MIT)
https://github.com/Portkey-AI/gateway
- Biedt connectiviteit naar meer dan 100 LLM's via één snelle en vertrouwde API.
- Garandeert snelle toegang met een kleine installatiegrootte.
**LLM Monitoring Great Expectations** (Apache-2.0)
https://github.com/great-expectations/great_expectations
- Helpt datateams een gedeeld begrip van data op te bouwen via kwaliteitstests, documentatie en profilering.
- Kan worden geïntegreerd met CI/CD-pipelines om data kwaliteit precies daar toe te voegen waar het nodig is.
**LangFuse** (MIT)
https://github.com/langfuse/langfuse
- Biedt open source LLM zichtbaarheid, analyse, snelle beheer, evaluatie, testen, monitoring, logging en tracing.
- Maakt het mogelijk om complexe logs en traces te verkennen en te debuggen in een visuele UI.
- Er zijn toekomstige plannen om enterprise functies toe te voegen.
**Giskard** (Apache-2.0, Dual License)
https://github.com/Giskard-AI/giskard
- Kan automatisch kwetsbaarheden detecteren in AI-modellen, van tabulaire modellen tot LLM's, zoals bias, datalekken, valse correlaties, hallucinaties, toxiciteit en beveiligingsproblemen.
- Ondersteunt het kwaliteitsborgingsproces van ML-modellen en LLM's door het scannen van AI-modelkwetsbaarheden en het automatisch genereren van testsuites.
- Biedt een SaaS-platform (premium) voor het detecteren van AI-veiligheidsrisico's in geïmplementeerde LLM-applicaties.
LLM Framework
LangChain (MIT)
https://github.com/langchain-ai/langchain
- Een framework voor het ontwikkelen van applicaties die worden aangedreven door taalmodellen.
- Beschikbaar in Python en Javascript, en biedt een abstractielaag die talloze bibliotheken integreert.
- Het is ook mogelijk om gebouwde LangChain als API te implementeren.
**LlamaIndex** (MIT)
https://github.com/run-llama/llama_index
- Een framework dat zich specifiek richt op data voor LLM-applicaties.
- Biedt data-connectors voor het verzamelen van bestaande data bronnen en formaten (API's, PDF's, documenten, SQL, etc.).
- Geeft methoden om data (indexen, grafieken) te structureren, zodat deze gemakkelijk door LLM's kunnen worden gebruikt.
**Haystack** (Apache-2.0)
https://github.com/deepset-ai/haystack
- Een LLM-framework voor eenvoudige implementatie van Retrieval Augmented Generation (RAG), document zoeken, vraag-en-antwoord en antwoordgeneratie.
- Gebaseerd op het concept van pipelines.
**Flowise** (Apache-2.0)
https://github.com/FlowiseAI/Flowise
- Maakt het mogelijk om aangepaste LLM-flows te bouwen met drag-and-drop via de UI.
**LangFlow** (MIT)
https://github.com/logspace-ai/langflow
- Maakt het eenvoudiger om LangChain-pipelines te experimenteren en prototypes te maken.
- Wordt uitgevoerd via de CLI en ondersteunt ook de implementatie van Langflow op Google Cloud Platform (GCP).
**Spring AI** (Apache-2.0)
https://github.com/spring-projects/spring-ai
- Een AI-framework dat wordt aangeboden door Spring Framework (nog in snapshot-fase).
- Ondersteunt API-integratie op basis van OpenAI en MS Azure, en biedt een abstractielaag.
- Het doel is om AI-functionaliteit eenvoudiger en schaalbaarder te implementeren met behulp van AI-sjablonen.
**Data Juicer** (Apache-2.0)
https://github.com/alibaba/data-juicer
- Een open source project van Alibaba, een one-stop dataverwerkingssysteem voor LLM's.
- Biedt een gestructureerde bibliotheek met meer dan 20 herbruikbare configuratierecipes, meer dan 50 kernoperaties (OP's) en een uitgebreide toolkit met functies.
- Met de functie voor geautomatiseerde rapportgeneratie kunnen gedetailleerde data-analyses worden uitgevoerd om datasets beter te begrijpen.
Reacties0