Die zunehmende Zahl an KI-bezogenen Open-Source-Projekten hat zu einer regelrechten Renaissance des Open-Source-Ökosystems im Bereich der KI geführt. Angefangen mit dem Erfolg von LangChain entstehen immer mehr Open-Source-Lösungen, die die Lücken im KI-Branchensystem schnell schließen.
Open LLM
Das Herzstück der generativen KI, das LLM (Large Language Model), teilt sich in zwei Bereiche auf: Closed LLM, angeführt von GPT, und Open LLM, vertreten durch Llama. Das Mistral-Team hat ein Modell unter einer Open-Source-Lizenz veröffentlicht und beeindruckt mit seiner herausragenden Leistung viele. Open LLM werden hauptsächlich über Hugging Face verwaltet und bereitgestellt.
**Mixtral-8x7B-Instruct-v0.1** (Apache-2.0)
https://huggingface.co/mistralai/Mixtral-8x7B-Instruct-v0\.1
- Es kommt ein Experten-Mischmodell (SMoE) zum Einsatz.
- Übertrifft das Llama 2 70B Modell und zeigt sogar eine bessere Leistung als GPT-3.5 175B.
- Im Chatbot-Arena-Blindtest, einem Chatbot-Benchmark, belegt es nach GPT-4 und Claude-2 den dritten Platz.
**Llama-2-7b-chat** (Llama 2 Community)
https://huggingface.co/meta-llama/Llama-2-7b-chat
- Für Dienste mit weniger als 700 Millionen monatlich aktiven Nutzern ist eine kommerzielle Nutzung mit dieser Lizenz erlaubt.
- Es gibt zahlreiche abgeleitete Modelle, die auf Llama-2 basieren und durch Fine-Tuning entstanden sind.
**phi-2** (MIT)
https://huggingface.co/microsoft/phi-2
- Von MS veröffentlichtes, leichtgewichtiges Modell mit 2,7 Milliarden Parametern.
- Tests zu Allgemeinwissen, Sprachverständnis und logischem Schlussfolgern haben gezeigt, dass es eine bessere Leistung als 13B-Modelle erbringt.
LLM Inferenz und Serving
Um gut trainierte LLMs effektiv zu nutzen, werden Tools benötigt, die schnell und effizient Rechenressourcen verwalten.
**Ollama** (MIT)
https://github.com/jmorganca/ollama
- Ermöglicht die direkte Ausführung von LLMs mit 7 Milliarden Parametern in lokalen Umgebungen wie Mac, Linux und Windows.
- Einfache Befehle zum Herunterladen und Ausführen des Modells.
- Verwaltung des Modells über die CLI und einfache Chatfunktionen.
- Vielfältige Nutzungsmöglichkeiten durch die bereitgestellte API.
**vLLM** (Apache-2.0)
https://github.com/vllm-project/vllm
- Schnelle und benutzerfreundliche Bibliothek für die LLM-Inferenz und das Serving.
- Unterstützt Modelle, die über Hugging Face bereitgestellt werden.
- Bietet verteilte Verarbeitung, parallele Verarbeitung, Streaming-Ausgabe und eine OpenAI-kompatible API.
- Unterstützt Nvidia und AMD GPUs.
**KServe** (Apache-2.0)
https://github.com/kserve/kserve- Plattform für die Inferenz von ML-Modellen, die in Kubernetes-Umgebungen aufgebaut werden kann. - Bietet eine Abstraktionsschicht für Skalierung, Netzwerk und Überwachung.
LLM Proxying
**LiteLLM** (MIT)
https://github.com/BerriAI/litellm
- Integriert verschiedene LLM-APIs und bietet einen Proxy-Dienst an.
- Befolgt das API-Format von OpenAI.
- Bietet API-Authentifizierung und -Verwaltung pro Benutzer.
**One API** (MIT)
https://github.com/songquanpeng/one-api
- Ermöglicht sofortigen Zugriff auf alle großen Modelle über das standardmäßige OpenAI-API-Format.
- Unterstützt verschiedene LLMs und bietet einen Proxy-Dienst.
- Ermöglicht Load Balancing und Multi-Deployment sowie Benutzerverwaltung und Gruppenfunktionen.
**AI Gateway** (MIT)
https://github.com/Portkey-AI/gateway
- Bietet Verbindung zu über 100 LLMs über eine einzige, schnelle und vertraute API.
- Garantiert schnellen Zugriff durch eine kleine Installationsgröße.
**LLM Monitoring Great Expectations** (Apache-2.0)
https://github.com/great-expectations/great_expectations
- Hilft Datenteams, ein gemeinsames Verständnis der Daten aufzubauen, indem sie Qualitätsprüfungen, Dokumentation und Profilerstellung nutzen.
- Integriert sich in CI/CD-Pipelines, um die Datenqualität genau dort hinzuzufügen, wo sie benötigt wird.
**LangFuse** (MIT)
https://github.com/langfuse/langfuse
- Bietet Transparenz, Analyse, schnelles Management, Bewertung, Tests, Überwachung, Protokollierung und Tracing für Open-Source-LLMs.
- Ermöglicht die Navigation und das Debugging komplexer Protokolle und Traces über eine visuelle Benutzeroberfläche.
- Zukünftige Erweiterung um Enterprise-Funktionen ist geplant.
**Giskard** (Apache-2.0, Dual License)
https://github.com/Giskard-AI/giskard
- Kann Schwachstellen von KI-Modellen automatisch erkennen, von tabellarischen Modellen bis hin zu LLMs, einschließlich Verzerrungen, Datenlecks, falschen Korrelationen, Halluzinationen, Toxizität und Sicherheitsproblemen.
- Unterstützt den Qualitätsprüfungsprozess von ML-Modellen und LLMs durch Scannen von KI-Modellen auf Schwachstellen und die automatische Generierung von Testsuiten.
- Bietet eine SaaS-Plattform (Premium) zur Erkennung von KI-Sicherheitsrisiken in bereitgestellten LLM-Anwendungen.
LLM Framework
LangChain (MIT)
https://github.com/langchain-ai/langchain
- Framework zur Entwicklung von Anwendungen, die von Sprachmodellen angetrieben werden.
- Verfügbar in Python und Javascript, bietet eine Abstraktionsschicht mit der Integration vieler Bibliotheken.
- Die erstellte LangChain kann auch als API bereitgestellt werden.
**LlamaIndex** (MIT)
https://github.com/run-llama/llama_index
- Datenspezifisches Framework für LLM-Anwendungen.
- Bietet Datenkonnektoren zum Sammeln bestehender Datenquellen und -formate (APIs, PDFs, Dokumente, SQL usw.).
- Bietet Möglichkeiten zur Strukturierung von Daten (Indizes, Graphen), damit sie einfach in LLMs verwendet werden können.
**Haystack** (Apache-2.0)
https://github.com/deepset-ai/haystack
- LLM-Framework für den einfachen Aufbau von Retrieval Augmented Generation (RAG), Dokumentensuche, Frage-Antwort-Systemen und Antwortgenerierung.
- Basiert auf dem Pipeline-Konzept.
**Flowise** (Apache-2.0)
https://github.com/FlowiseAI/Flowise
- Ermöglicht die Erstellung benutzerdefinierter LLM-Flows per Drag-and-Drop über eine Benutzeroberfläche.
**LangFlow** (MIT)
https://github.com/logspace-ai/langflow
- Ermöglicht das einfache Experimentieren und Prototyping von LangChain-Pipelines.
- Die Ausführung erfolgt über die CLI, und Langflow unterstützt auch die Bereitstellung in Google Cloud Platform (GCP).
**Spring AI** (Apache-2.0)
https://github.com/spring-projects/spring-ai
- KI-Framework, das im Spring Framework bereitgestellt wird (noch im Snapshot-Stadium).
- Unterstützt die Integration von APIs basierend auf OpenAI und MS Azure und bietet eine Abstraktionsschicht.
- Ziel ist es, KI-Funktionen mithilfe von KI-Vorlagen einfacher und skalierbarer zu implementieren.
**Data Juicer** (Apache-2.0)
https://github.com/alibaba/data-juicer
- Open-Source-Lösung von Alibaba, die ein One-Stop-Datenverarbeitungssystem für LLMs darstellt.
- Bietet eine systematische Bibliothek mit über 20 wiederverwendbaren Konfigurationsrezepten, über 50 Kern-OPs und einem funktionsreichen, dedizierten Toolkit.
- Die Funktion zur automatischen Berichterstellung ermöglicht eine detaillierte Datenanalyse, um einen tieferen Einblick in Datensätze zu gewinnen.
Kommentare0