Com o surgimento de inúmeros softwares de código aberto relacionados à IA, o ecossistema de código aberto está vivendo uma verdadeira renascença de softwares de IA de código aberto. Começando com o sucesso do LangChain, muitos softwares de código aberto surgiram, preenchendo rapidamente o sistema da indústria de IA.
Open LLM
O LLM (Large Language Model), que é o núcleo da IA generativa, é dividido em dois eixos: o Closed LLM liderado pelo GPT e o Open LLM do grupo Llama. O modelo da equipe Mistral foi lançado sob uma licença de código aberto e está recebendo muita atenção por seu desempenho excepcional. O Open LLM é principalmente gerenciado e fornecido através do Hugging Face.
**Mixtral-8x7B-Instruct-v0.1** (Apache-2.0)
https://huggingface.co/mistralai/Mixtral-8x7B-Instruct-v0\.1
- Adotou o modelo de mistura de especialistas (SMoE).
- Apresenta desempenho superior ao do modelo Llama 2 70B e até mesmo ao do GPT-3.5 175B.
- Ocupa a terceira posição no Chatbot Arena, um teste cego de chatbot, atrás apenas do GPT-4 e do Claude-2.
**Llama-2-7b-chat** (Llama 2 Community)
https://huggingface.co/meta-llama/Llama-2-7b-chat
- Licença que permite uso comercial em serviços com menos de 700 milhões de usuários mensais ativos.
- Vários modelos derivados do Llama-2 foram criados através de fine-tuning.
**phi-2** (MIT)
https://huggingface.co/microsoft/phi-2
- Modelo leve de 2,7B parâmetros lançado pela MS.
- De acordo com os resultados dos testes de conhecimento geral, compreensão da linguagem e raciocínio lógico, apresentou um desempenho melhor do que modelos de 13B parâmetros.
Inferência e Serviço LLM
Para usar um LLM bem treinado de forma eficaz, são necessárias ferramentas que sejam rápidas e possam gerenciar os recursos computacionais de forma eficiente.
**Ollama** (MIT)
https://github.com/jmorganca/ollama
- Permite executar LLMs de até 7B parâmetros diretamente em ambientes locais como Mac, Linux e Windows.
- Baixa e executa modelos com comandos simples.
- Permite gerenciar modelos através da CLI e realizar chats simples.
- Permite diversos usos através da API fornecida.
**vLLM** (Apache-2.0)
https://github.com/vllm-project/vllm
- Biblioteca rápida e fácil de usar para inferência e serviço LLM.
- Suporta modelos fornecidos pelo Hugging Face.
- Fornece processamento distribuído, processamento paralelo, saída em streaming e API compatível com OpenAI.
- Suporta GPUs Nvidia e AMD.
**KServe** (Apache-2.0)
https://github.com/kserve/kserve- Plataforma para inferência de modelos ML que pode ser construída em ambientes Kubernetes. - Fornece uma interface de abstração para dimensionamento, rede e monitoramento.
Proxy LLM
**LiteLLM** (MIT)
https://github.com/BerriAI/litellm
- Integra diversas APIs LLM e fornece serviços de proxy.
- Segue o formato da API do OpenAI.
- Fornece gerenciamento de autenticação de API por usuário.
**One API** (MIT)
https://github.com/songquanpeng/one-api
- Permite acesso imediato a todos os modelos grandes através do formato padrão da API OpenAI.
- Suporta vários LLMs e também fornece serviços de proxy.
- Permite balanceamento de carga e implantação múltipla, além de fornecer gerenciamento de usuários e recursos de grupos.
**AI Gateway** (MIT)
https://github.com/Portkey-AI/gateway
- Fornece conexão com mais de 100 LLMs através de uma API única, rápida e familiar.
- Garante acesso rápido com uma pequena instalação.
**Monitoramento LLM Great Expectations** (Apache-2.0)
https://github.com/great-expectations/great_expectations
- Ajuda as equipes de dados a construir uma compreensão compartilhada dos dados por meio de testes de qualidade, documentação e criação de perfis.
- Permite integrar com pipelines CI/CD para adicionar qualidade de dados exatamente onde necessário.
**LangFuse** (MIT)
https://github.com/langfuse/langfuse
- Fornece visibilidade, análise, gerenciamento ágil, avaliação, teste, monitoramento, registro e rastreamento de LLMs de código aberto.
- Permite navegar e depurar logs e rastreamentos complexos em uma interface gráfica.
- Recursos empresariais serão adicionados no futuro.
**Giskard** (Apache-2.0, Dual License)
https://github.com/Giskard-AI/giskard
- Pode detectar automaticamente vulnerabilidades em modelos de IA, desde modelos de tabela até LLMs, incluindo viés, vazamento de dados, correlação falsa, alucinação, toxicidade e problemas de segurança.
- Suporta o processo de garantia de qualidade de modelos ML e LLMs, escaneando vulnerabilidades de modelos de IA e gerando automaticamente suítes de teste.
- Fornece uma plataforma SaaS para detectar riscos de segurança de IA em aplicativos LLM implantados. (Premium)
Estrutura LLM
LangChain (MIT)
https://github.com/langchain-ai/langchain
- É uma estrutura para desenvolver aplicativos baseados em modelos de linguagem.
- É fornecido em Python e Javascript, e fornece uma camada de abstração que integra muitas bibliotecas.
- Também é possível implantar o LangChain construído como uma API.
**LlamaIndex** (MIT)
https://github.com/run-llama/llama_index
- É uma estrutura especializada em dados para aplicativos LLM.
- Fornece conectores de dados para coletar fontes de dados e formatos de dados existentes (API, PDF, documentos, SQL, etc.).
- Fornece uma maneira de estruturar dados (índices, gráficos) para que possam ser facilmente usados por LLMs.
**Haystack** (Apache-2.0)
https://github.com/deepset-ai/haystack
- É uma estrutura LLM para facilitar a construção de geração aumentada por pesquisa (RAG), pesquisa de documentos, perguntas e respostas e geração de respostas.
- É construído com base no conceito de pipeline.
**Flowise** (Apache-2.0)
https://github.com/FlowiseAI/Flowise
- Permite construir fluxos LLM personalizados usando arrastar e soltar na interface gráfica.
**LangFlow** (MIT)
https://github.com/logspace-ai/langflow
- Permite experimentar e criar protótipos de pipelines LangChain facilmente.
- É executado usando a CLI e também suporta implantação do Langflow no Google Cloud Platform (GCP).
**Spring AI** (Apache-2.0)
https://github.com/spring-projects/spring-ai
- Estrutura de IA fornecida pelo Spring Framework (ainda em estágio de snapshot).
- Suporta integração de API baseada em OpenAI e MS Azure e fornece uma camada de abstração.
- O objetivo é implementar recursos de IA de forma mais fácil e escalável usando modelos de IA.
**Data Juicer** (Apache-2.0)
https://github.com/alibaba/data-juicer
- Software de código aberto lançado pela Alibaba, é um sistema de processamento de dados one-stop para LLMs.
- Fornece uma biblioteca estruturada com mais de 20 receitas configuráveis, mais de 50 OPs principais e um kit de ferramentas dedicado com recursos abrangentes.
- Permite realizar análises de dados mais aprofundadas por meio da geração automática de relatórios para uma compreensão mais profunda do conjunto de dados.
Comentários0