Con la proliferación de numerosos proyectos de código abierto relacionados con la IA, el ecosistema de código abierto está experimentando un verdadero renacimiento de código abierto de IA. El éxito de LangChain ha dado lugar a la aparición de numerosos proyectos de código abierto que están llenando rápidamente el panorama de los sistemas de la industria de la IA.

Open LLM

El núcleo de la IA generativa, LLM (Large Language Model), se divide en dos ejes: Closed LLM, encabezado por GPT, y Open LLM, encabezado por Llama. El equipo de Mistral ha publicado un modelo bajo una licencia de código abierto, que ha captado la atención de muchos por su excelente rendimiento. Open LLM se gestiona y proporciona principalmente a través de Hugging Face.

Mixtral-8x7B-Instruct-v0.1(Apache-2.0)

https://huggingface.co/mistralai/Mixtral-8x7B-Instruct-v0\.1

- Adopta un modelo de mezcla de expertos (SMoE).

- Supera el rendimiento de Llama 2 70B y GPT-3.5 175B.

- Ocupa el tercer puesto en la prueba ciega de chatbots, Chatbot Arena, después de GPT-4 y Claude-2.

Llama-2-7b-chat(Llama 2 Community)

https://huggingface.co/meta-llama/Llama-2-7b-chat

- Es una licencia comercialmente viable para servicios con menos de 700 millones de usuarios activos mensuales.

- Hay muchos modelos derivados de Llama-2 que han sido finamente ajustados.

phi-2(MIT)

https://huggingface.co/microsoft/phi-2

- Es un modelo ligero de 2,7 B de parámetros publicado por MS.

- Se ha informado de que las pruebas de sentido común, comprensión del lenguaje y razonamiento lógico han mostrado resultados mejores que los de un modelo de 13 B.

LLM Inference and Serving

Para utilizar eficazmente un LLM bien entrenado, se necesita una herramienta que sea rápida y pueda gestionar los recursos informáticos de forma eficiente.

Ollama(MIT)

https://github.com/jmorganca/ollama

- Permite ejecutar LLM de hasta 7 B directamente en entornos locales como Mac, Linux y Windows.

- Descargue y ejecute modelos con sencillos comandos.

- Gestione los modelos a través de la CLI y permita conversaciones sencillas.

- Permite diversas aplicaciones a través de las API proporcionadas.

vLLM(Apache-2.0)

https://github.com/vllm-project/vllm

- Es una biblioteca rápida y fácil de usar para la inferencia y el servicio de LLM.

- Admite modelos proporcionados por Hugging Face.

- Proporciona procesamiento distribuido, procesamiento paralelo, salida de transmisión y API compatibles con OpenAI.

- Admite GPU de Nvidia y AMD.

KServe(Apache-2.0)

https://github.com/kserve/kserve- Es una plataforma para la inferencia de modelos ML que se puede implementar en entornos Kubernetes. - Proporciona una interfaz de abstracción para escalado, redes y supervisión.

LLM Proxying

LiteLLM(MIT)

https://github.com/BerriAI/litellm

- Integra y proporciona proxies para varias API de LLM.

- Sigue el formato de API de OpenAI.

- Proporciona gestión de autenticación de API por usuario.

One API(MIT)

https://github.com/songquanpeng/one-api

- Proporciona acceso inmediato a todos los modelos grandes a través del formato estándar de API de OpenAI.

- Admite varios LLM y también proporciona servicios de proxy.

- Permite el equilibrio de carga y la implementación múltiple, y proporciona gestión de usuarios y funciones de grupo.

AI Gateway(MIT)

https://github.com/Portkey-AI/gateway

- Proporciona conexiones a más de 100 LLM a través de una API rápida y familiar.

- Garantiza un acceso rápido con una pequeña instalación.

LLM Monitoring Great Expectations(Apache-2.0)

https://github.com/great-expectations/great_expectations

- Ayuda a los equipos de datos a construir una comprensión compartida de los datos a través de pruebas de calidad, documentación y creación de perfiles.

- Se puede integrar con las canalizaciones de CI/CD para añadir la calidad de los datos exactamente donde se necesita.

LangFuse(MIT)

https://github.com/langfuse/langfuse

- Proporciona visibilidad de LLM de código abierto, análisis, gestión rápida, evaluación, pruebas, supervisión, registro y seguimiento.

- Permite explorar y depurar registros y seguimientos complejos en una interfaz de usuario visual.

- Se espera que se añadan funciones empresariales en el futuro.

Giskard(Apache-2.0, Dual License)

https://github.com/Giskard-AI/giskard

- Puede detectar automáticamente las vulnerabilidades de los modelos de IA, desde los modelos de tabla hasta los LLM, como sesgos, fugas de datos, correlaciones espurias, alucinaciones, toxicidad y problemas de seguridad.

- Escanea las vulnerabilidades de los modelos de IA y genera automáticamente conjuntos de pruebas para apoyar el proceso de garantía de calidad de los modelos ML y LLM.

- Proporciona una plataforma SaaS para detectar riesgos de seguridad de la IA en aplicaciones LLM implementadas. (Premium)

LLM Framework

LangChain (MIT)

https://github.com/langchain-ai/langchain

- Es un marco para el desarrollo de aplicaciones impulsadas por modelos de lenguaje.

- Está disponible en Python y Javascript, y proporciona una capa de abstracción que integra numerosas bibliotecas.

- También puede implementar LangChain como una API.

LlamaIndex(MIT)

https://github.com/run-llama/llama_index

- Es un marco especializado en datos para aplicaciones LLM.

- Proporciona conectores de datos para recopilar fuentes de datos existentes y formatos de datos (API, PDF, documentos, SQL, etc.).

- Proporciona métodos para estructurar los datos (índices, gráficos) para que los LLM puedan utilizarlos fácilmente.

Haystack(Apache-2.0)

https://github.com/deepset-ai/haystack

- Es un marco LLM para una fácil construcción de búsqueda aumentada por generación (RAG), búsqueda de documentos, respuesta a preguntas y generación de respuestas.

- Está construido sobre el concepto de canalización.

Flowise(Apache-2.0)

https://github.com/FlowiseAI/Flowise

- Puede crear flujos LLM personalizados arrastrando y soltando elementos de la interfaz de usuario.

LangFlow(MIT)

https://github.com/logspace-ai/langflow

- Facilita la experimentación y creación de prototipos de canalizaciones de LangChain.

- Se ejecuta a través de la CLI y también admite la implementación de Langflow en Google Cloud Platform (GCP).

Spring AI(Apache-2.0)

https://github.com/spring-projects/spring-ai

- Marco de IA proporcionado por Spring Framwork (todavía en estado de instantánea).

- Admite la integración de API basada en OpenAI y MS Azure, y proporciona una capa de abstracción.

- El objetivo es implementar funciones de IA de forma más fácil y escalable utilizando AI Template.

Data Juicer(Apache-2.0)

https://github.com/alibaba/data-juicer

- Es un sistema de procesamiento de datos de un solo paso para LLM, publicado por Alibaba.

- Proporciona una biblioteca sistemática que consta de más de 20 recetas de configuración reutilizables, más de 50 OP esenciales y un kit de herramientas dedicado con amplias funciones.

- La función de generación de informes automatizada permite realizar análisis de datos detallados para obtener una comprensión más profunda de los conjuntos de datos.