Con la avalancha de innumerables proyectos de código abierto relacionados con la IA, el ecosistema de código abierto está experimentando un verdadero renacimiento de la IA de código abierto. Comenzando con el éxito de LangChain, han surgido muchos proyectos de código abierto que están llenando rápidamente el panorama de los sistemas de la industria de la IA.
Open LLM
El núcleo de la IA generativa, LLM (Large Language Model), se divide en dos ejes: LLM cerrado encabezado por GPT y LLM abierto del grupo Llama. El equipo de Mistral ha publicado un modelo bajo una licencia de código abierto, y debido a su excelente rendimiento, ha llamado la atención de muchos. Open LLM se gestiona y proporciona principalmente a través de Hugging Face.
Mixtral-8x7B-Instruct-v0.1 (Apache-2.0)
https://huggingface.co/mistralai/Mixtral-8x7B-Instruct-v0\.1
- Ha adoptado un modelo de mezcla de expertos (SMoE).
- Muestra un rendimiento que supera al modelo Llama 2 70B y se acerca al GPT-3.5 175B.
- Ocupa el tercer lugar en la prueba de chatbot a ciegas, Chatbot Arena, después de GPT-4 y Claude-2.
Llama-2-7b-chat (Llama 2 Community)
https://huggingface.co/meta-llama/Llama-2-7b-chat
- Es una licencia que permite el uso comercial en servicios con menos de 700 millones de usuarios activos mensuales.
- Se han derivado numerosos modelos a partir de Llama-2, que ha sido ajustado finamente.
phi-2 (MIT)
https://huggingface.co/microsoft/phi-2
- Es un modelo ligero de 2.7B parámetros publicado por MS.
- Según los resultados de las pruebas de sentido común, comprensión del lenguaje y razonamiento lógico, se ha demostrado que su rendimiento es mejor que el de los modelos de 13B.
LLM Inferencia y servicio
Para utilizar eficazmente un LLM bien entrenado, se necesita una herramienta que sea rápida y pueda gestionar los recursos informáticos de forma eficiente.
Ollama (MIT)
https://github.com/jmorganca/ollama
- Permite ejecutar directamente un LLM de nivel 7B en entornos locales como Mac, Linux y Windows.
- Descarga y ejecuta modelos con sencillos comandos.
- Gestiona los modelos a través de la CLI y permite realizar chats sencillos.
- Permite diversas funcionalidades a través de la API proporcionada.
vLLM (Apache-2.0)
https://github.com/vllm-project/vllm
- Es una biblioteca rápida y fácil de usar para la inferencia y el servicio de LLM.
- Admite los modelos proporcionados por Hugging Face.
- Ofrece procesamiento distribuido, procesamiento paralelo, salida en streaming y API compatible con OpenAI.
- Admite GPU Nvidia y AMD.
KServe (Apache-2.0)
https://github.com/kserve/kserve- Plataforma para la inferencia de modelos ML que se puede implementar en un entorno Kubernetes. - Proporciona una interfaz de abstracción para escalado, redes y monitorización.
Proxificación de LLM
LiteLLM (MIT)
https://github.com/BerriAI/litellm
- Integra diversas API de LLM y proporciona un proxy.
- Sigue el formato de API de OpenAI.
- Ofrece gestión de autenticación de API por usuario.
One API (MIT)
https://github.com/songquanpeng/one-api
- Permite acceder instantáneamente a todos los modelos grandes a través del formato estándar de API de OpenAI.
- Admite una variedad de LLM y también proporciona servicios de proxy.
- Permite el equilibrio de carga y la implementación múltiple, y ofrece funciones de gestión de usuarios y grupos.
AI Gateway (MIT)
https://github.com/Portkey-AI/gateway
- Ofrece conexión a más de 100 LLM a través de una única API rápida y familiar.
- Garantiza un acceso rápido con una pequeña instalación.
Monitorización de LLM Great Expectations (Apache-2.0)
https://github.com/great-expectations/great_expectations
- Ayuda a los equipos de datos a construir una comprensión compartida de los datos mediante pruebas de calidad, documentación y creación de perfiles.
- Se puede integrar con canalizaciones CI/CD para agregar calidad de datos exactamente donde se necesita.
LangFuse (MIT)
https://github.com/langfuse/langfuse
- Ofrece visibilidad, análisis, gestión rápida, evaluación, pruebas, monitorización, registro y rastreo de LLM de código abierto.
- Permite explorar y depurar registros y rastreos complejos en una interfaz de usuario visual.
- Se planea agregar funciones empresariales en el futuro.
Giskard (Apache-2.0, Licencia dual)
https://github.com/Giskard-AI/giskard
- Puede detectar automáticamente las vulnerabilidades de los modelos de IA, desde modelos de tablas hasta LLM, como sesgos, filtraciones de datos, correlaciones falsas, alucinaciones, toxicidad y problemas de seguridad.
- Escanea las vulnerabilidades de los modelos de IA y genera automáticamente conjuntos de pruebas para respaldar el proceso de garantía de calidad de los modelos ML y LLM.
- Ofrece una plataforma SaaS para detectar riesgos de seguridad de IA en aplicaciones LLM implementadas. (Premium)
Marco de trabajo LLM
LangChain (MIT)
https://github.com/langchain-ai/langchain
- Es un marco de trabajo para desarrollar aplicaciones impulsadas por modelos de lenguaje.
- Está disponible en Python y Javascript, y proporciona una capa de abstracción que integra numerosas bibliotecas.
- También es posible implementar LangChain como API.
LlamaIndex (MIT)
https://github.com/run-llama/llama_index
- Es un marco de trabajo especializado en datos para aplicaciones LLM.
- Ofrece conectores de datos para recopilar fuentes de datos y formatos de datos existentes (API, PDF, documentos, SQL, etc.).
- Proporciona una forma de estructurar los datos (índices, gráficos) para que puedan utilizarse fácilmente en LLM.
Haystack (Apache-2.0)
https://github.com/deepset-ai/haystack
- Es un marco de trabajo LLM para una fácil construcción de generación aumentada por búsqueda (RAG), búsqueda de documentos, preguntas y respuestas y generación de respuestas.
- Se basa en el concepto de canalización para su construcción.
Flowise (Apache-2.0)
https://github.com/FlowiseAI/Flowise
- Permite construir flujos de trabajo LLM personalizados mediante arrastrar y soltar en la interfaz de usuario.
LangFlow (MIT)
https://github.com/logspace-ai/langflow
- Permite experimentar y crear prototipos de canalizaciones LangChain fácilmente.
- Se ejecuta mediante la CLI y también admite la implementación de Langflow en Google Cloud Platform (GCP).
Spring AI (Apache-2.0)
https://github.com/spring-projects/spring-ai
- Marco de trabajo de IA proporcionado por Spring Framework (todavía en estado de instantánea).
- Admite la integración de API basada en OpenAI y MS Azure, y proporciona una capa de abstracción.
- El objetivo es implementar funciones de IA de forma más sencilla y escalable utilizando plantillas de IA.
Data Juicer (Apache-2.0)
https://github.com/alibaba/data-juicer
- Es un sistema de procesamiento de datos integral para LLM de código abierto publicado por Alibaba.
- Ofrece una biblioteca sistemática compuesta por más de 20 recetas configurables, más de 50 OP centrales y un conjunto de herramientas dedicado con amplias funciones.
- La función de generación de informes automatizada permite realizar análisis de datos detallados para una comprensión más profunda de los conjuntos de datos.
Comentarios0