L'écosystème open source connaît une véritable renaissance en matière d'IA open source, avec une pléthore de projets open source liés à l'IA qui émergent. Suite au succès de LangChain, de nombreux projets open source ont vu le jour, contribuant à combler rapidement les lacunes du système de l'industrie de l'IA.

Open LLM

Les LLM (Large Language Model), qui constituent le cœur des IA génératives, se divisent en deux axes principaux : les LLM fermés, tels que GPT, et les LLM ouverts, tels que Llama. L'équipe de Mistral a publié un modèle sous licence open source, qui a suscité un grand intérêt grâce à ses performances exceptionnelles. Les LLM ouverts sont généralement gérés et fournis via Hugging Face.

Mixtral-8x7B-Instruct-v0.1(Apache-2.0)

https://huggingface.co/mistralai/Mixtral-8x7B-Instruct-v0\.1

- Il a adopté un modèle de mélange d'experts (SMoE).

- Il surpasse les performances du modèle Llama 2 70B et du GPT-3.5 175B.

- Il se classe troisième au classement des tests aveugles de chatbot, Chatbot Arena, juste derrière GPT-4 et Claude-2.

Llama-2-7b-chat(Llama 2 Community)

https://huggingface.co/meta-llama/Llama-2-7b-chat

- Il s'agit d'une licence commerciale autorisée pour les services dont le nombre d'utilisateurs actifs mensuels est inférieur à 700 millions.

- De nombreux modèles dérivés de Llama-2, qui ont été affinés, sont disponibles.

phi-2(MIT)

https://huggingface.co/microsoft/phi-2

- Il s'agit d'un modèle léger de 2,7 milliards de paramètres publié par MS.

- Les résultats des tests de connaissances, de compréhension du langage et de raisonnement logique ont montré que ses performances étaient meilleures que celles du modèle de 13 milliards de paramètres.

Inférer et servir LLM

Pour utiliser efficacement un LLM bien formé, vous avez besoin d'un outil capable de gérer rapidement et efficacement les ressources informatiques.

Ollama(MIT)

https://github.com/jmorganca/ollama

- Permet d'exécuter un LLM d'environ 7 milliards de paramètres directement dans un environnement local, sur Mac, Linux ou Windows.

- Téléchargez et exécutez le modèle avec des commandes simples.

- Permet de gérer le modèle via une interface de ligne de commande (CLI) et d'effectuer des conversations simples.

- L'API fournie permet une variété d'utilisations.

vLLM(Apache-2.0)

https://github.com/vllm-project/vllm

- Il s'agit d'une bibliothèque rapide et facile à utiliser pour l'inférence et le service des LLM.

- Prend en charge les modèles fournis par Hugging Face.

- Il propose des fonctionnalités de traitement distribué, de traitement parallèle, de sortie en continu et une API compatible OpenAI.

- Il prend en charge les GPU Nvidia et AMD.

KServe(Apache-2.0)

https://github.com/kserve/kserve- Plateforme d'inférence de modèle ML pouvant être déployée dans un environnement Kubernetes. - Il fournit une interface abstraite pour la mise à l'échelle, la mise en réseau et la surveillance.

Proxy LLM

LiteLLM(MIT)

https://github.com/BerriAI/litellm

- Il intègre et fournit un proxy pour diverses API LLM.

- Il respecte le format de l'API OpenAI.

- Il fournit une gestion d'authentification des API par utilisateur.

One API(MIT)

https://github.com/songquanpeng/one-api

- Il permet un accès instantané à tous les grands modèles via le format standard de l'API OpenAI.

- Il prend en charge divers LLM et fournit également des services de proxy.

- Il offre un équilibrage de charge et un déploiement multiple, ainsi que des fonctionnalités de gestion des utilisateurs et des groupes.

AI Gateway(MIT)

https://github.com/Portkey-AI/gateway

- Il fournit une connexion à plus de 100 LLM via une seule API rapide et familière.

- Une petite installation garantit un accès rapide.

LLM Monitoring Great Expectations(Apache-2.0)

https://github.com/great-expectations/great_expectations

- Aide les équipes de données à établir une compréhension partagée des données par le biais de tests de qualité, de documentation et de profilage.

- Intégration aux pipelines CI/CD pour ajouter la qualité des données au bon endroit.

LangFuse(MIT)

https://github.com/langfuse/langfuse

- Fournit une visibilité open source, une analyse, une gestion rapide, une évaluation, des tests, une surveillance, une journalisation, un suivi des LLM.

- Permet d'explorer et de déboguer des journaux et des suivis complexes dans une interface utilisateur graphique.

- Des fonctionnalités d'entreprise seront ajoutées ultérieurement.

Giskard(Apache-2.0, Dual License)

https://github.com/Giskard-AI/giskard

- Permet de détecter automatiquement les vulnérabilités des modèles d'IA, des modèles tabulaires aux LLM, notamment les biais, les fuites de données, les corrélations fallacieuses, les hallucinations, la toxicité et les problèmes de sécurité.

- Il analyse les vulnérabilités des modèles d'IA et génère automatiquement des suites de tests pour prendre en charge le processus d'assurance qualité des modèles ML et des LLM.

- Il propose une plateforme SaaS pour la détection des risques de sécurité de l'IA dans les applications LLM déployées (Premium).

Cadre LLM

LangChain (MIT)

https://github.com/langchain-ai/langchain

- Il s'agit d'un cadre pour le développement d'applications alimentées par des modèles linguistiques.

- Il est proposé en Python et en Javascript et fournit une couche d'abstraction qui intègre de nombreuses bibliothèques.

- Vous pouvez également déployer LangChain via une API.

LlamaIndex(MIT)

https://github.com/run-llama/llama_index

- Il s'agit d'un cadre spécialisé dans les données pour les applications LLM.

- Il fournit des connecteurs de données pour collecter les sources de données existantes et les formats de données (API, PDF, documents, SQL, etc.).

- Il fournit des méthodes pour structurer les données (index, graphes) afin qu'elles puissent être facilement utilisées par les LLM.

Haystack(Apache-2.0)

https://github.com/deepset-ai/haystack

- Un cadre LLM pour une construction facile de la génération augmentée par la recherche (RAG), de la recherche de documents, de la réponse aux questions et de la génération de réponses.

- Il est construit sur le concept de pipeline.

Flowise(Apache-2.0)

https://github.com/FlowiseAI/Flowise

- Permet de créer des flux LLM personnalisés en utilisant une interface utilisateur graphique de type glisser-déposer.

LangFlow(MIT)

https://github.com/logspace-ai/langflow

- Il permet d'expérimenter et de prototyper facilement les pipelines LangChain.

- Il s'exécute via une interface de ligne de commande (CLI) et prend également en charge le déploiement de Langflow sur Google Cloud Platform (GCP).

Spring AI(Apache-2.0)

https://github.com/spring-projects/spring-ai

- Un cadre d'IA fourni par Spring Framework (encore à l'état d'ébauche).

- Il prend en charge l'intégration des API basées sur OpenAI et MS Azure, et fournit une couche d'abstraction.

- L'objectif est de faciliter et d'accroître la capacité d'extension de l'implémentation des fonctionnalités d'IA à l'aide de modèles d'IA.

Data Juicer(Apache-2.0)

https://github.com/alibaba/data-juicer

- Un projet open source publié par Alibaba qui constitue un système de traitement de données unique pour les LLM.

- Il fournit une bibliothèque systématique composée de plus de 20 recettes configurables réutilisables, de plus de 50 opérations centrales et d'un ensemble d'outils spécialisés riches en fonctionnalités.

- La fonction de génération de rapports automatisés permet d'effectuer une analyse approfondie des données afin d'obtenir une compréhension plus approfondie des ensembles de données.