Con la proliferazione di numerosi open source relativi all'IA, l'ecosistema open source sta vivendo una vera e propria rinascita dell'open source AI. A partire dal successo di LangChain, molti open source stanno emergendo, riempiendo rapidamente i sistemi del settore dell'IA.

Open LLM

Il cuore dell'IA generativa, l'LLM (Large Language Model), si divide in due assi: Closed LLM, guidato da GPT, e Open LLM, guidato da Llama. Il modello del team Mistral ha rilasciato il suo modello con licenza open source e ha attirato molta attenzione per le sue prestazioni eccezionali. Open LLM è gestito e fornito principalmente tramite Hugging Face.

Mixtral-8x7B-Instruct-v0.1(Apache-2.0)

https://huggingface.co/mistralai/Mixtral-8x7B-Instruct-v0\.1

- Ha adottato il modello di miscelazione degli esperti (SMoE).

- Supera le prestazioni del modello Llama 2 70B e supera GPT-3.5 175B.

- Si colloca al terzo posto nella Chatbot Arena, un test chatbot cieco, dopo GPT-4 e Claude-2.

Llama-2-7b-chat(Llama 2 Community)

https://huggingface.co/meta-llama/Llama-2-7b-chat

- È una licenza utilizzabile commercialmente per servizi con meno di 700 milioni di utenti attivi mensili.

- Esistono molti modelli derivati ​​da Llama-2 con messa a punto.

phi-2(MIT)

https://huggingface.co/microsoft/phi-2

- È un modello leggero da 2,7B parametri rilasciato da MS.

- Ha mostrato risultati migliori rispetto al modello da 13B nei test di conoscenza generale, comprensione del linguaggio e ragionamento logico.

Inferenza e servizio LLM

Per utilizzare efficacemente un LLM ben addestrato, è necessario uno strumento che sia veloce e che possa gestire le risorse di calcolo in modo efficiente.

Ollama(MIT)

https://github.com/jmorganca/ollama

- È possibile eseguire direttamente un LLM di livello 7B in ambienti locali come Mac, Linux e Windows.

- Scarica ed esegui il modello con semplici comandi.

- Gestisce i modelli tramite CLI e consente una semplice chat.

- Offre diverse funzionalità tramite l'API fornita.

vLLM(Apache-2.0)

https://github.com/vllm-project/vllm

- È una libreria veloce e facile da usare per l'inferenza e il servizio LLM.

- Supporta i modelli forniti da Hugging Face.

- Fornisce elaborazione distribuita, elaborazione parallela, output in streaming e API compatibili con OpenAI.

- Supporta GPU Nvidia e AMD.

KServe(Apache-2.0)

https://github.com/kserve/kserve- È una piattaforma per l'inferenza di modelli ML costruibile in ambienti Kubernetes. - Fornisce un'interfaccia astratta per la scalabilità, la rete e il monitoraggio.

Proxy LLM

LiteLLM(MIT)

https://github.com/BerriAI/litellm

- Integra varie API LLM e fornisce un proxy.

- Segue il formato API di OpenAI.

- Fornisce la gestione dell'autenticazione API per utente.

One API(MIT)

https://github.com/songquanpeng/one-api

- Consente l'accesso immediato a tutti i modelli di grandi dimensioni tramite il formato standard dell'API OpenAI.

- Supporta vari LLM e fornisce anche servizi di proxy.

- Consente il bilanciamento del carico e la distribuzione multipla e fornisce funzionalità di gestione degli utenti e dei gruppi.

AI Gateway(MIT)

https://github.com/Portkey-AI/gateway

- Fornisce connessioni a oltre 100 LLM tramite un'unica API veloce e familiare.

- Garantire un accesso rapido con una piccola installazione.

LLM Monitoring Great Expectations(Apache-2.0)

https://github.com/great-expectations/great_expectations

- Aiuta i team di dati a costruire una comprensione condivisa dei dati attraverso test di qualità, documentazione e profilazione.

- Può essere integrato nei pipeline CI/CD per aggiungere la qualità dei dati esattamente dove necessario.

LangFuse(MIT)

https://github.com/langfuse/langfuse

- Fornisce visibilità, analisi, gestione rapida, valutazione, test, monitoraggio, registrazione e tracciamento per open source LLM.

- Consente di esplorare e debug complicate registrazioni e tracciamenti nell'interfaccia utente visiva.

- Le funzionalità aziendali saranno aggiunte in futuro.

Giskard(Apache-2.0, Dual License)

https://github.com/Giskard-AI/giskard

- Può rilevare automaticamente le vulnerabilità dei modelli AI, dai modelli di tabella ai LLM, come bias, perdita di dati, correlazioni errate, allucinazioni, tossicità e problemi di sicurezza.

- Supporta il processo di garanzia della qualità dei modelli ML e LLM scansionando le vulnerabilità dei modelli AI e generando automaticamente suite di test.

- Offre una piattaforma SaaS per il rilevamento dei rischi di sicurezza AI nelle applicazioni LLM distribuite. (Premium)

Framework LLM

LangChain (MIT)

https://github.com/langchain-ai/langchain

- È un framework per lo sviluppo di applicazioni alimentate da modelli linguistici.

- Fornito in Python e Javascript, fornisce un livello di astrazione che integra molte librerie.

- È anche possibile distribuire LangChain costruito come API.

LlamaIndex(MIT)

https://github.com/run-llama/llama_index

- È un framework specializzato nei dati per le applicazioni LLM.

- Fornisce connettori di dati per raccogliere fonti di dati e formati di dati esistenti (API, PDF, documenti, SQL, ecc.).

- Fornisce modi per strutturare i dati (indici, grafici) in modo che i dati possano essere facilmente utilizzati dagli LLM.

Haystack(Apache-2.0)

https://github.com/deepset-ai/haystack

- È un framework LLM per una facile costruzione di ricerca aumentata generativa (RAG), ricerca di documenti, domande e risposte e generazione di risposte.

- Costruito basato sul concetto di pipeline.

Flowise(Apache-2.0)

https://github.com/FlowiseAI/Flowise

- Consente di costruire flussi LLM personalizzati trascinando e rilasciando l'interfaccia utente.

LangFlow(MIT)

https://github.com/logspace-ai/langflow

- Consente di sperimentare e creare prototipi di pipeline LangChain in modo semplice.

- Eseguito tramite CLI e supporta anche la distribuzione di Langflow su Google Cloud Platform (GCP).

Spring AI(Apache-2.0)

https://github.com/spring-projects/spring-ai

- Framework AI fornito da Spring Framework (ancora in fase di snapshot)

- Supporta l'integrazione dell'API basata su OpenAI e MS Azure e fornisce un livello di astrazione

- L'obiettivo è implementare funzionalità AI in modo più semplice e scalabile utilizzando i modelli AI

Data Juicer(Apache-2.0)

https://github.com/alibaba/data-juicer

- È un open source rilasciato da Alibaba ed è un sistema di elaborazione dei dati one-stop per LLM.

- Fornisce una libreria sistematica composta da oltre 20 ricette di configurazione riutilizzabili, oltre 50 OP core e un ricco toolkit di funzionalità dedicate.

- È possibile eseguire analisi approfondite dei dati utilizzando la funzione di generazione di report automatizzata per comprendere più a fondo i set di dati.