Con la proliferazione di numerosi open source correlati all'IA, l'ecosistema open source sta vivendo una vera e propria rinascita dell'open source AI. A partire dal successo di LangChain, sono stati rilasciati molti open source che stanno rapidamente colmando il divario nel sistema del settore AI.
Open LLM
L'LLM (Large Language Model), che è il cuore dell'IA generativa, è diviso in due assi: LLM chiuso con GPT in testa e Open LLM con il fronte Llama. Il modello del team Mistral è stato rilasciato con licenza open source e sta ricevendo molta attenzione per le sue elevate prestazioni. Open LLM è principalmente gestito e fornito tramite Hugging Face.
Mixtral-8x7B-Instruct-v0.1(Apache-2.0)
https://huggingface.co/mistralai/Mixtral-8x7B-Instruct-v0\.1
- Ha adottato un modello di mix esperto (SMoE).
- Mostra prestazioni superiori al modello Llama 2 70B e supera anche GPT-3.5 175B.
- Si classifica al terzo posto nel test di chatbot cieco, Chatbot Arena, dopo GPT-4 e Claude-2.
Llama-2-7b-chat(Llama 2 Community)
https://huggingface.co/meta-llama/Llama-2-7b-chat
- È una licenza utilizzabile commercialmente per servizi con meno di 700 milioni di utenti attivi mensili.
- Sono disponibili numerosi modelli derivati ottenuti tramite fine-tuning di Llama-2.
phi-2(MIT)
https://huggingface.co/microsoft/phi-2
- È un modello leggero da 2,7B di parametri rilasciato da MS.
- I risultati dei test di conoscenza generale, comprensione del linguaggio e ragionamento logico hanno mostrato prestazioni migliori rispetto al modello da 13B.
Inferenza e Serving di LLM
Per utilizzare efficacemente un LLM ben addestrato, è necessario uno strumento in grado di gestire rapidamente ed efficientemente le risorse di calcolo.
Ollama(MIT)
https://github.com/jmorganca/ollama
- È possibile eseguire direttamente un LLM di livello 7B in ambienti locali come Mac, Linux e Windows.
- Scarica ed esegue il modello con semplici comandi.
- Gestisce i modelli tramite CLI e consente semplici chat.
- Consente una varietà di utilizzi tramite l'API fornita.
vLLM(Apache-2.0)
https://github.com/vllm-project/vllm
- È una libreria veloce e facile da usare per l'inferenza e il serving di LLM.
- Supporta i modelli forniti da Hugging Face.
- Fornisce elaborazione distribuita, elaborazione parallela, output in streaming e API compatibili con OpenAI.
- Supporta GPU Nvidia e AMD.
KServe(Apache-2.0)
https://github.com/kserve/kserve- Piattaforma per l'inferenza di modelli ML costruibili in ambienti Kubernetes. - Fornisce un'interfaccia di astrazione per scaling, networking e monitoraggio.
Proxying LLM
LiteLLM(MIT)
https://github.com/BerriAI/litellm
- Integra diverse API LLM e fornisce un proxy.
- Segue il formato API di OpenAI.
- Fornisce la gestione dell'autenticazione API per utente.
One API(MIT)
https://github.com/songquanpeng/one-api
- Consente di accedere immediatamente a tutti i modelli di grandi dimensioni tramite il formato standard OpenAI API.
- Supporta vari LLM e fornisce anche un servizio proxy.
- È possibile eseguire il bilanciamento del carico e la distribuzione multipla, nonché la gestione degli utenti e le funzionalità di gruppo.
AI Gateway(MIT)
https://github.com/Portkey-AI/gateway
- Fornisce la connessione a oltre 100 LLM tramite una singola API veloce e familiare.
- Garantisce un accesso rapido con una piccola installazione.
LLM Monitoring Great Expectations(Apache-2.0)
https://github.com/great-expectations/great_expectations
- Aiuta i team di dati a costruire una comprensione condivisa dei dati tramite test di qualità, documentazione e profilazione.
- Può essere integrato con pipeline CI/CD per aggiungere la qualità dei dati esattamente dove necessario.
LangFuse(MIT)
https://github.com/langfuse/langfuse
- Fornisce visibilità, analisi, gestione rapida, valutazione, test, monitoraggio, registrazione e tracciamento di LLM open source.
- È possibile esplorare e eseguire il debug di log e tracce complessi tramite un'interfaccia utente visiva.
- Sono previste funzionalità aziendali per il futuro.
Giskard(Apache-2.0, Dual License)
https://github.com/Giskard-AI/giskard
- È in grado di rilevare automaticamente le vulnerabilità dei modelli AI, tra cui pregiudizi, perdite di dati, correlazioni false, allucinazioni, tossicità e problemi di sicurezza, dai modelli tabulari agli LLM.
- Supporta il processo di garanzia della qualità dei modelli ML e LLM eseguendo la scansione delle vulnerabilità dei modelli AI e generando automaticamente suite di test.
- Fornisce una piattaforma SaaS per rilevare i rischi di sicurezza dell'IA nelle applicazioni LLM distribuite. (Premium)
LLM Framework
LangChain (MIT)
https://github.com/langchain-ai/langchain
- È un framework per lo sviluppo di applicazioni basate su modelli linguistici.
- Disponibile in Python e Javascript, fornisce un livello di astrazione che integra numerose librerie.
- È anche possibile distribuire LangChain costruito come API.
LlamaIndex(MIT)
https://github.com/run-llama/llama_index
- È un framework specializzato nei dati per applicazioni LLM.
- Fornisce connettori dati per raccogliere sorgenti dati e formati dati esistenti (API, PDF, documenti, SQL, ecc.).
- Fornisce metodi per strutturare i dati (indici, grafici) in modo che possano essere facilmente utilizzati dagli LLM.
Haystack(Apache-2.0)
https://github.com/deepset-ai/haystack
- È un framework LLM per una facile costruzione di Retrieval Augmented Generation (RAG), ricerca di documenti, domande e risposte e generazione di risposte.
- Costruito sulla base del concetto di pipeline.
Flowise(Apache-2.0)
https://github.com/FlowiseAI/Flowise
- È possibile costruire flussi LLM personalizzati tramite trascinamento della selezione dell'interfaccia utente.
LangFlow(MIT)
https://github.com/logspace-ai/langflow
- Consente di sperimentare e creare prototipi di pipeline LangChain in modo semplice.
- Viene eseguito tramite CLI e supporta anche la distribuzione di Langflow su Google Cloud Platform (GCP).
Spring AI(Apache-2.0)
https://github.com/spring-projects/spring-ai
- Framework AI fornito da Spring Framework (ancora in fase di snapshot).
- Supporta l'integrazione di API basate su OpenAI e MS Azure e fornisce un livello di astrazione.
- L'obiettivo è implementare le funzionalità AI in modo più semplice e scalabile utilizzando i modelli AI.
Data Juicer(Apache-2.0)
https://github.com/alibaba/data-juicer
- Open source rilasciato da Alibaba, è un sistema di elaborazione dati one-stop per LLM.
- Fornisce una libreria sistematica composta da oltre 20 ricette configurabili, oltre 50 OP core e un ricco toolkit di funzionalità dedicate.
- La funzionalità di generazione di report automatizzati consente di eseguire analisi dettagliate dei dati per una comprensione più approfondita dei set di dati.
Commenti0