Avec la profusion d'outils open source liés à l'IA, l'écosystème open source connaît une véritable renaissance de l'IA open source. Après le succès de LangChain, de nombreux autres projets open source émergent, comblant rapidement les lacunes des systèmes du secteur de l'IA.
Open LLM
Au cœur de l'IA générative se trouvent les LLM (Large Language Model), qui se divisent en deux catégories : les LLM fermés, menés par GPT, et les LLM ouverts, incarnés par Llama. L'équipe Mistral a publié son modèle sous licence open source et a démontré des performances exceptionnelles, suscitant un vif intérêt. Les LLM ouverts sont principalement gérés et distribués via Hugging Face.
Mixtral-8x7B-Instruct-v0.1(Apache-2.0)
https://huggingface.co/mistralai/Mixtral-8x7B-Instruct-v0\.1
- Il utilise un modèle de mélange d'experts (SMoE).
- Il surpasse les performances du modèle Llama 2 70B et se rapproche de GPT-3.5 175B.
- Il se classe troisième au classement du test aveugle de chatbot, Chatbot Arena, derrière GPT-4 et Claude-2.
Llama-2-7b-chat(Llama 2 Community)
https://huggingface.co/meta-llama/Llama-2-7b-chat
- Il est disponible sous licence commerciale pour les services dont le nombre d'utilisateurs actifs mensuels est inférieur à 700 millions.
- De nombreux modèles dérivés issus du fine-tuning de Llama-2 sont disponibles.
phi-2(MIT)
https://huggingface.co/microsoft/phi-2
- Modèle léger de 2,7 milliards de paramètres publié par Microsoft.
- Des tests sur le bon sens, la compréhension du langage et le raisonnement logique ont montré que ses performances étaient supérieures à celles d'un modèle de 13 milliards de paramètres.
LLM Inférer et Servir
Pour utiliser efficacement un LLM bien entraîné, il est nécessaire de disposer d'outils rapides et capables de gérer efficacement les ressources informatiques.
Ollama(MIT)
https://github.com/jmorganca/ollama
- Permet d'exécuter directement un LLM d'environ 7 milliards de paramètres dans un environnement local (Mac, Linux, Windows).
- Téléchargement et exécution du modèle à l'aide de simples commandes.
- Gestion du modèle via l'interface en ligne de commande et possibilité d'engager des conversations simples.
- Possibilité de diverses utilisations via l'API fournie.
vLLM(Apache-2.0)
https://github.com/vllm-project/vllm
- Bibliothèque rapide et conviviale pour l'inférence et le service des LLM.
- Prise en charge des modèles disponibles sur Hugging Face.
- Offre des fonctionnalités de traitement distribué, de traitement parallèle, de sortie en streaming et une API compatible avec OpenAI.
- Compatible avec les GPU Nvidia et AMD.
KServe(Apache-2.0)
https://github.com/kserve/kserve- Plateforme d'inférence de modèles ML pouvant être déployée dans un environnement Kubernetes. - Fournit une interface d'abstraction pour la mise à l'échelle, la mise en réseau et la surveillance.
LLM Proxying
LiteLLM(MIT)
https://github.com/BerriAI/litellm
- Intègre diverses API LLM et fournit un service de proxy.
- Suit le format de l'API d'OpenAI.
- Fournit une gestion d'authentification d'API par utilisateur.
One API(MIT)
https://github.com/songquanpeng/one-api
- Permet un accès instantané à tous les grands modèles via le format standard de l'API OpenAI.
- Prend en charge divers LLM et fournit également un service de proxy.
- Permet l'équilibrage de charge et le déploiement multiple, ainsi que la gestion des utilisateurs et les fonctions de groupe.
AI Gateway(MIT)
https://github.com/Portkey-AI/gateway
- Fournit une connexion à plus de 100 LLM via une seule API rapide et familière.
- Garantit un accès rapide avec une petite taille d'installation.
LLM Monitoring Great Expectations(Apache-2.0)
https://github.com/great-expectations/great_expectations
- Aide les équipes de données à établir une compréhension partagée des données grâce à des tests de qualité, à la documentation et au profilage.
- Permet d'intégrer la qualité des données exactement là où elle est nécessaire dans les pipelines CI/CD.
LangFuse(MIT)
https://github.com/langfuse/langfuse
- Offre une visibilité, une analyse, une gestion rapide, une évaluation, des tests, une surveillance, une journalisation et un suivi des LLM open source.
- Permet d'explorer et de déboguer des journaux et des traces complexes dans une interface utilisateur visuelle.
- Des fonctionnalités d'entreprise sont prévues à l'avenir.
Giskard(Apache-2.0, Dual License)
https://github.com/Giskard-AI/giskard
- Peut détecter automatiquement les faiblesses des modèles d'IA, des modèles tabulaires aux LLM, tels que les biais, les fuites de données, les corrélations fallacieuses, les hallucinations, la toxicité et les problèmes de sécurité.
- Analyse les faiblesses des modèles d'IA et génère automatiquement des suites de tests pour prendre en charge le processus d'assurance qualité des modèles ML et des LLM.
- Fournit une plateforme SaaS pour détecter les risques de sécurité de l'IA dans les applications LLM déployées. (Premium)
LLM Framework
LangChain (MIT)
https://github.com/langchain-ai/langchain
- Framework pour le développement d'applications pilotées par des modèles linguistiques.
- Disponible en Python et Javascript, il fournit une couche d'abstraction intégrant de nombreuses bibliothèques.
- Il est également possible de déployer LangChain en tant qu'API.
LlamaIndex(MIT)
https://github.com/run-llama/llama_index
- Framework spécialisé dans les données pour les applications LLM.
- Fournit des connecteurs de données pour collecter les sources de données et les formats de données existants (API, PDF, documents, SQL, etc.).
- Fournit des méthodes pour structurer les données (index, graphes) afin de les rendre facilement utilisables par les LLM.
Haystack(Apache-2.0)
https://github.com/deepset-ai/haystack
- Framework LLM pour une construction simplifiée de la recherche augmentée par génération (RAG), de la recherche de documents, de la question-réponse et de la génération de réponses.
- Construit sur le concept de pipeline.
Flowise(Apache-2.0)
https://github.com/FlowiseAI/Flowise
- Permet de construire des flux LLM personnalisés via une interface glisser-déposer.
LangFlow(MIT)
https://github.com/logspace-ai/langflow
- Facilite l'expérimentation et le prototypage des pipelines LangChain.
- Exécuté via l'interface en ligne de commande, il prend également en charge le déploiement de Langflow sur Google Cloud Platform (GCP).
Spring AI(Apache-2.0)
https://github.com/spring-projects/spring-ai
- Framework IA fourni par Spring Framework (encore au stade de la version snapshot).
- Prend en charge l'intégration des API basées sur OpenAI et MS Azure, et fournit une couche d'abstraction.
- L'objectif est de faciliter et d'améliorer l'extensibilité de l'implémentation des fonctionnalités d'IA à l'aide de modèles IA.
Data Juicer(Apache-2.0)
https://github.com/alibaba/data-juicer
- Système de traitement de données en un seul arrêt pour les LLM, open source et publié par Alibaba.
- Fournit une bibliothèque structurée composée de plus de 20 recettes configurables, plus de 50 opérations principales et d'une boîte à outils dédiée riche en fonctionnalités.
- Dispose d'une fonction de génération de rapports automatisée pour effectuer une analyse de données détaillée et approfondir la compréhension des ensembles de données.
Commentaires0