Esta é uma postagem traduzida por IA.
Construindo um AI Full Stack com Open Source
- Idioma de escrita: Coreana
- •
-
País de referência: Todos os países
- •
- TI
0000-00-00 00:00:00
Selecionar idioma
Texto resumido pela IA durumis
- O ecossistema de código aberto está vivenciando um renascimento de código aberto de IA, com muitos modelos sendo lançados pelo grupo Open LLM.
- Diversas ferramentas de inferência e servindo, além de ferramentas de monitoramento e gerenciamento de LLM, estão surgindo para facilitar o uso de LLM.
- Diversos frameworks para o desenvolvimento de aplicações baseadas em LLM estão sendo apresentados.
Com o surgimento de inúmeros projetos de código aberto relacionados à IA, o ecossistema de código aberto está vivendo uma verdadeira renascença de código aberto de IA. O sucesso do LangChain deu início a uma série de projetos de código aberto que estão rapidamente preenchendo o cenário de sistemas na indústria de IA.
Open LLM
O núcleo da IA gerativa, o LLM (Large Language Model), é dividido em dois eixos: o Closed LLM, liderado pelo GPT, e o Open LLM, do acampamento Llama. O modelo da equipe Mistral foi lançado sob uma licença de código aberto e ganhou muita atenção por seu desempenho excepcional. O Open LLM é gerenciado e fornecido principalmente por meio do Hugging Face.
Mixtral-8x7B-Instruct-v0.1(Apache-2.0)
https://huggingface.co/mistralai/Mixtral-8x7B-Instruct-v0\.1
- Adotou o modelo híbrido de especialistas (SMoE).
- Ele supera o desempenho do modelo Llama 2 70B e do GPT-3.5 175B.
- É o terceiro lugar no Chatbot Arena, um teste de chatbot cego, atrás do GPT-4 e do Claude-2.
Llama-2-7b-chat(Llama 2 Community)
https://huggingface.co/meta-llama/Llama-2-7b-chat
- É uma licença que permite o uso comercial em serviços com menos de 700 milhões de usuários ativos mensais.
- Existem muitos modelos derivados de Llama-2 que foram ajustados finamente.
phi-2(MIT)
https://huggingface.co/microsoft/phi-2
- É um modelo leve de 2,7 bilhões de parâmetros lançado pela MS.
- Os resultados dos testes de conhecimento geral, compreensão da linguagem e raciocínio lógico mostraram que ele supera o desempenho do modelo de 13 bilhões de parâmetros.
LLM Inference and Serving
Para usar efetivamente um LLM bem treinado, você precisa de uma ferramenta que possa gerenciá-lo de maneira rápida e eficiente em termos de recursos de computação.
Ollama(MIT)
https://github.com/jmorganca/ollama
- Permite executar LLMs de até 7B diretamente em ambientes locais, como Mac, Linux e Windows.
- Baixe e execute o modelo com simples comandos.
- Gerencie o modelo por meio do CLI e permite conversas simples.
- Oferece uma API que permite vários usos.
vLLM(Apache-2.0)
https://github.com/vllm-project/vllm
- É uma biblioteca rápida e fácil de usar para inferência e serviço de LLMs.
- Suporta modelos fornecidos pelo Hugging Face.
- Oferece processamento distribuído, processamento paralelo, saída de streaming e API compatível com OpenAI.
- Suporta GPUs Nvidia e AMD.
KServe(Apache-2.0)
https://github.com/kserve/kserve- Uma plataforma para inferência de modelos ML que pode ser construída em ambientes Kubernetes. - Fornece uma interface abstrata para escalabilidade, rede e monitoramento.
LLM Proxying
LiteLLM(MIT)
https://github.com/BerriAI/litellm
- Integra várias APIs de LLM e fornece um serviço de proxy.
- Segue o formato da API do OpenAI.
- Oferece gerenciamento de autenticação de API por usuário.
One API(MIT)
https://github.com/songquanpeng/one-api
- Permite acessar imediatamente todos os modelos grandes por meio do formato padrão da API OpenAI.
- Suporta vários LLMs e também fornece serviços de proxy.
- Permite balanceamento de carga e implementações múltiplas, e oferece gerenciamento de usuários e funcionalidade de grupo.
AI Gateway(MIT)
https://github.com/Portkey-AI/gateway
- Fornece conexão a mais de 100 LLMs por meio de uma API única rápida e familiar.
- Garante acesso rápido com uma instalação de tamanho reduzido.
LLM Monitoring Great Expectations(Apache-2.0)
https://github.com/great-expectations/great_expectations
- Ajuda as equipes de dados a construir uma compreensão compartilhada dos dados por meio de testes de qualidade, documentação e profilagem.
- Pode ser integrado a pipelines CI/CD para adicionar qualidade de dados precisamente onde necessário.
LangFuse(MIT)
https://github.com/langfuse/langfuse
- Fornece visibilidade, análise, gerenciamento rápido, avaliação, teste, monitoramento, registro e rastreamento de LLMs de código aberto.
- Permite explorar e depurar registros e rastreamento complexos em uma interface de usuário visual.
- Recursos de empresa serão adicionados no futuro.
Giskard(Apache-2.0, Dual License)
https://github.com/Giskard-AI/giskard
- Pode detectar automaticamente vulnerabilidades em modelos de IA, desde modelos de tabela até LLMs, como viés, vazamento de dados, correlações falsas, alucinações, toxicidade e problemas de segurança.
- Ele verifica e cria automaticamente conjuntos de testes para modelos ML e LLMs, supor.
- Fornece uma plataforma SaaS para detectar riscos de segurança de IA em aplicativos LLM implementados. (Premium)
LLM Framework
LangChain (MIT)
https://github.com/langchain-ai/langchain
- É um framework para desenvolver aplicativos alimentados por modelos de linguagem.
- Ele é fornecido em Python e Javascript e fornece uma camada de abstração que integra várias bibliotecas.
- LangChain construído pode ser implementado como uma API.
LlamaIndex(MIT)
https://github.com/run-llama/llama_index
- É um framework especializado em dados para aplicativos LLM.
- Ele fornece conectores de dados para coletar fontes de dados e formatos de dados existentes (API, PDF, documentos, SQL, etc.).
- Ele fornece uma maneira de estruturar dados (índices, gráficos) para que os LLMs possam acessá-los facilmente.
Haystack(Apache-2.0)
https://github.com/deepset-ai/haystack
- É um framework LLM para construção fácil de recuperação de informações aumentada por geração (RAG), busca de documentos, perguntas e respostas e geração de respostas.
- Ele é construído com base no conceito de pipeline.
Flowise(Apache-2.0)
https://github.com/FlowiseAI/Flowise
- Permite construir fluxos LLM personalizados arrastando e soltando uma interface de usuário.
LangFlow(MIT)
https://github.com/logspace-ai/langflow
- Facilita a experimentação e a prototipagem de pipelines LangChain.
- Ele é executado usando o CLI e também suporta a implementação do Langflow no Google Cloud Platform (GCP).
Spring AI(Apache-2.0)
https://github.com/spring-projects/spring-ai
- Framework de IA fornecido pelo Spring Framework (ainda em estágio de instantâneo).
- Ele suporta integração de API baseada em OpenAI e MS Azure e fornece uma camada de abstração.
- Tem como objetivo implementar funcionalidades de IA de forma mais fácil e escalável usando modelos de IA.
Data Juicer(Apache-2.0)
https://github.com/alibaba/data-juicer
- Um projeto de código aberto lançado pela Alibaba, é um sistema de processamento de dados único para LLMs.
- Ele fornece uma biblioteca estruturada com mais de 20 receitas de configuração reutilizáveis, mais de 50 OPs essenciais e um conjunto de ferramentas dedicadas com recursos ricos.
- Ele realiza análise detalhada de dados com funcionalidade de geração de relatórios automatizados para uma compreensão mais profunda dos conjuntos de dados.
