Die Flut an Open-Source-Produkten im Zusammenhang mit KI hat zu einer wahren Renaissance von Open-Source-Ökosystemen im Bereich der KI geführt. Angefangen mit dem Erfolg von LangChain kommen immer mehr Open-Source-Produkte auf den Markt, die die AI-Branchenlandschaft schnell ausfüllen.

Open LLM

LLM (Large Language Model), das Herzstück der generativen KI, teilt sich in zwei Lager auf: Closed LLM mit GPT an der Spitze und Open LLM mit dem Llama-Lager. Das Modell des Mistral-Teams wurde unter einer Open-Source-Lizenz veröffentlicht und hat mit seiner herausragenden Leistung viel Aufmerksamkeit erregt. Open LLM wird hauptsächlich über Hugging Face verwaltet und bereitgestellt.

Mixtral-8x7B-Instruct-v0.1(Apache-2.0)

https://huggingface.co/mistralai/Mixtral-8x7B-Instruct-v0\.1

- Es wurde ein Experten-Mix-Modell (SMoE) eingesetzt.

- Die Leistung übertrifft das Llama 2 70B-Modell und sogar GPT-3.5 175B.

- Im Chatbot Arena, einem Blindtest für Chatbots, belegte es den dritten Platz hinter GPT-4 und Claude-2.

Llama-2-7b-chat(Llama 2 Community)

https://huggingface.co/meta-llama/Llama-2-7b-chat

- Die Lizenz erlaubt die kommerzielle Nutzung für Dienste mit weniger als 700 Millionen monatlich aktiven Nutzern.

- Es gibt bereits viele abgeleitete Modelle, die auf Llama-2 trainiert wurden.

phi-2(MIT)

https://huggingface.co/microsoft/phi-2

- Ein leichtes Modell mit 2,7 Milliarden Parametern, das von MS veröffentlicht wurde.

- Tests zur allgemeinen Kenntnis, zum Sprachverständnis und zur logischen Schlussfolgerung haben ergeben, dass es die Leistung von 13B-Modellen übertrifft.

LLM Inferenz und Serving

Um gut trainierte LLMs effektiv zu nutzen, werden Werkzeuge benötigt, die schnell sind und die Rechenressourcen effizient verwalten können.

Ollama(MIT)

https://github.com/jmorganca/ollama

- Ermöglicht die direkte Ausführung von LLMs mit 7B Parametern in lokalen Umgebungen wie Mac, Linux und Windows.

- Modelle können mit einfachen Befehlen heruntergeladen und ausgeführt werden.

- Die Verwaltung von Modellen erfolgt über die CLI, und es ist ein einfacher Chat möglich.

- Verschiedene Anwendungen sind über die bereitgestellte API möglich.

vLLM(Apache-2.0)

https://github.com/vllm-project/vllm

- Eine schnelle und benutzerfreundliche Bibliothek für LLM-Inferenz und Serving.

- Unterstützt Modelle, die von Hugging Face bereitgestellt werden.

- Bietet verteilte Verarbeitung, parallele Verarbeitung, Streaming-Ausgabe und eine OpenAI-kompatible API.

- Unterstützt Nvidia und AMD GPUs.

KServe(Apache-2.0)

https://github.com/kserve/kserve- Eine Plattform für die Inferenz von ML-Modellen, die in einer Kubernetes-Umgebung aufgesetzt werden kann. - Bietet eine abstrakte Schnittstelle für Skalierung, Vernetzung und Überwachung.

LLM Proxying

LiteLLM(MIT)

https://github.com/BerriAI/litellm

- Integriert verschiedene LLM-APIs und bietet einen Proxy.

- Folgt dem API-Format von OpenAI.

- Bietet API-Authentifizierung und Verwaltung nach Benutzern.

One API(MIT)

https://github.com/songquanpeng/one-api

- Ermöglicht den sofortigen Zugriff auf alle großen Modelle über das standardmäßige OpenAI API-Format.

- Unterstützt verschiedene LLMs und bietet auch einen Proxy-Dienst.

- Ermöglicht Lastausgleich und Mehrfachbereitstellung sowie Benutzerverwaltung und Gruppenfunktionen.

AI Gateway(MIT)

https://github.com/Portkey-AI/gateway

- Bietet Verbindungen zu über 100 LLMs über eine einzige schnelle und vertraute API.

- Sichert den schnellen Zugriff mit einer kleinen Installationsgröße.

LLM Monitoring Great Expectations(Apache-2.0)

https://github.com/great-expectations/great_expectations

- Hilft Daten-Teams, ein gemeinsames Verständnis von Daten aufzubauen durch Qualitätsprüfungen, Dokumentation und Profilerstellung.

- Kann in CI/CD-Pipelines integriert werden, um die Datenqualität genau dort hinzuzufügen, wo sie benötigt wird.

LangFuse(MIT)

https://github.com/langfuse/langfuse

- Bietet Sichtbarkeit, Analyse, schnelle Verwaltung, Bewertung, Tests, Überwachung, Protokollierung und Verfolgung für Open-Source-LLMs.

- Ermöglicht die Navigation und das Debugging von komplexen Protokollen und Spuren in einer visuellen Benutzeroberfläche.

- Enterprise-Funktionen sind in Zukunft geplant.

Giskard(Apache-2.0, Dual License)

https://github.com/Giskard-AI/giskard

- Kann automatisch Schwachstellen in AI-Modellen erkennen, von tabellarischen Modellen bis hin zu LLMs, einschließlich Verzerrungen, Datenlecks, falsche Korrelationen, Halluzinationen, Toxizität und Sicherheitsprobleme.

- Unterstützt den Qualitätssicherungsprozess für ML-Modelle und LLMs durch das Scannen von Schwachstellen in AI-Modellen und die automatische Generierung von Testsuiten.

- Bietet eine SaaS-Plattform zum Erkennen von AI-Sicherheitsrisiken in bereits eingesetzten LLM-Anwendungen. (Premium)

LLM Framework

LangChain (MIT)

https://github.com/langchain-ai/langchain

- Ein Framework zur Entwicklung von Anwendungen, die von Sprachmodellen angetrieben werden.

- Verfügbar für Python und Javascript und bietet eine abstrakte Schicht, die viele Bibliotheken integriert.

- Die erstellte LangChain kann auch als API veröffentlicht werden.

LlamaIndex(MIT)

https://github.com/run-llama/llama_index

- Ein Framework, das sich auf Daten für LLM-Anwendungen konzentriert.

- Bietet Daten-Connectors, um bereits vorhandene Datenquellen und Datenformate (APIs, PDFs, Dokumente, SQL etc.) zu sammeln.

- Bietet Methoden, um Daten (Indizes, Graphen) zu strukturieren, sodass sie leicht von LLMs verwendet werden können.

Haystack(Apache-2.0)

https://github.com/deepset-ai/haystack

- Ein LLM-Framework für den einfachen Aufbau von Search Augmented Generation (RAG), Dokumentensuche, Fragenbeantwortung und Antwortgenerierung.

- Basiert auf dem Konzept von Pipelines.

Flowise(Apache-2.0)

https://github.com/FlowiseAI/Flowise

- Ermöglicht den Aufbau von kundenspezifischen LLM-Flows durch Drag-and-Drop einer Benutzeroberfläche.

LangFlow(MIT)

https://github.com/logspace-ai/langflow

- Ermöglicht das einfache Experimentieren und Prototyping von LangChain-Pipelines.

- Wird über die CLI ausgeführt und unterstützt die Bereitstellung von Langflow in Google Cloud Platform (GCP).

Spring AI(Apache-2.0)

https://github.com/spring-projects/spring-ai

- AI-Framework, das vom Spring Framework bereitgestellt wird (noch im Snapshot-Zustand).

- Unterstützt die Integration von APIs auf Basis von OpenAI und MS Azure und bietet eine abstrakte Schicht.

- Das Ziel ist es, AI-Funktionen mit Hilfe von AI-Templates einfacher und skalierbarer zu implementieren.

Data Juicer(Apache-2.0)

https://github.com/alibaba/data-juicer

- Ein Open-Source-Produkt, das von Alibaba veröffentlicht wurde und ein One-Stop-System für die Datenverarbeitung für LLMs ist.

- Bietet eine strukturierte Bibliothek mit über 20 wiederverwendbaren Konfigurationsrezepten, über 50 Kern-OPs und einem umfangreichen Satz an spezialisierten Toolkits mit vielen Funktionen.

- Mit der Funktion zur automatischen Berichtserstellung können detaillierte Datenanalysen durchgeführt werden, um die Datenmenge besser zu verstehen.