По мере появления множества проектов с открытым исходным кодом, связанных с ИИ, экосистема с открытым исходным кодом переживает настоящий ренессанс ИИ с открытым исходным кодом. Начиная с успеха LangChain, появилось множество проектов с открытым исходным кодом, которые быстро восполняют пробелы в системах отрасли ИИ.
Open LLM
LLM (Large Language Model) — ядро генеративного ИИ — делится на две основные ветви: Closed LLM во главе с GPT и Open LLM во главе с Llama. Команда Mistral выпустила свою модель под открытой лицензией, и благодаря своим выдающимся характеристикам она привлекла внимание многих. Open LLM, как правило, управляется и предоставляется через Hugging Face.
Mixtral-8x7B-Instruct-v0.1(Apache-2.0)
https://huggingface.co/mistralai/Mixtral-8x7B-Instruct-v0\.1
- Использует модель смешанных экспертов (SMoE).
- Демонстрирует производительность, превосходящую модель Llama 2 70B и приближающуюся к GPT-3.5 175B.
- Занимает 3-е место в слепом тесте чат-ботов Chatbot Arena после GPT-4 и Claude-2.
Llama-2-7b-chat(Llama 2 Community)
https://huggingface.co/meta-llama/Llama-2-7b-chat
- Лицензия, позволяющая использовать в коммерческих целях для сервисов с менее чем 700 миллионами активных пользователей в месяц.
- Существует множество производных моделей, полученных путем тонкой настройки Llama-2.
phi-2(MIT)
https://huggingface.co/microsoft/phi-2
- Лёгкая модель с 2,7 млрд параметров, выпущенная компанией MS.
- По результатам тестов на общие знания, понимание языка и логическое рассуждение, она продемонстрировала лучшие результаты, чем модель с 13 млрд параметров.
LLM 추론 및 서빙
Для эффективного использования хорошо обученной модели LLM необходимы инструменты, обеспечивающие высокую скорость и эффективное управление вычислительными ресурсами.
Ollama(MIT)
https://github.com/jmorganca/ollama
- Позволяет запускать модели LLM объемом до 7B непосредственно в локальной среде (Mac, Linux, Windows).
- Загрузка и запуск модели осуществляется с помощью простых команд.
- Управление моделями и простой чат через интерфейс командной строки (CLI).
- Предоставляет API для различных вариантов использования.
vLLM(Apache-2.0)
https://github.com/vllm-project/vllm
- Быстрая и простая в использовании библиотека для вывода и обслуживания LLM.
- Поддерживает модели, предоставляемые Hugging Face.
- Обеспечивает распределённую обработку, параллельную обработку, потоковую передачу вывода и совместимый с OpenAI API.
- Поддерживает графические процессоры Nvidia и AMD.
KServe(Apache-2.0)
https://github.com/kserve/kserve- Платформа для вывода моделей машинного обучения, которые можно развернуть в среде Kubernetes. - Предоставляет абстрактный интерфейс для масштабирования, работы сети и мониторинга.
LLM 프록싱
LiteLLM(MIT)
https://github.com/BerriAI/litellm
- Интегрирует различные API LLM и предоставляет прокси.
- Следует формату API OpenAI.
- Обеспечивает управление аутентификацией API для каждого пользователя.
One API(MIT)
https://github.com/songquanpeng/one-api
- Позволяет мгновенно получить доступ ко всем большим моделям через стандартный формат API OpenAI.
- Поддерживает различные LLM и предоставляет прокси-сервис.
- Возможность балансировки нагрузки и многократного развертывания, а также управление пользователями и групповые функции.
AI Gateway(MIT)
https://github.com/Portkey-AI/gateway
- Обеспечивает подключение к более чем 100 моделям LLM через один быстрый и знакомый API.
- Гарантирует быстрый доступ при минимальном размере установки.
LLM Monitoring Great Expectations(Apache-2.0)
https://github.com/great-expectations/great_expectations
- Помогает командам данных создать общее понимание данных с помощью тестирования качества, документирования и профилирования.
- Интегрируется с конвейерами CI/CD, чтобы можно было добавлять качество данных именно там, где это необходимо.
LangFuse(MIT)
https://github.com/langfuse/langfuse
- Предоставляет видимость, анализ, быстрое управление, оценку, тестирование, мониторинг, ведение журнала и трассировку для моделей LLM с открытым исходным кодом.
- Позволяет просматривать и отлаживать сложные журналы и трассировки в визуальном интерфейсе.
- Планируется добавление функций для предприятий в будущем.
Giskard(Apache-2.0, Dual License)
https://github.com/Giskard-AI/giskard
- Может автоматически обнаруживать уязвимости моделей ИИ, такие как смещение, утечка данных, ложные корреляции, галлюцинации, токсичность и проблемы безопасности, от табличных моделей до LLM.
- Поддерживает процесс обеспечения качества моделей ML и LLM за счет сканирования уязвимостей моделей ИИ и автоматического создания наборов тестов.
- Предоставляет платформу SaaS для обнаружения рисков безопасности ИИ в развернутых приложениях LLM. (премиум)
LLM Framework
LangChain (MIT)
https://github.com/langchain-ai/langchain
- Фреймворк для разработки приложений, управляемых языковыми моделями.
- Доступен на Python и Javascript, предоставляет абстрактный уровень, объединяющий множество библиотек.
- Развертывание созданного LangChain в виде API также возможно.
LlamaIndex(MIT)
https://github.com/run-llama/llama_index
- Фреймворк, специализирующийся на данных для приложений LLM.
- Предоставляет соединители данных для сбора существующих источников данных и форматов данных (API, PDF, документы, SQL и т. д.).
- Предлагает способы структурирования данных (индексы, графы) для простого использования в LLM.
Haystack(Apache-2.0)
https://github.com/deepset-ai/haystack
- Фреймворк LLM для простоты создания поиска с усилением генерации (RAG), поиска документов, вопросов и ответов, генерации ответов и т. д.
- Создан на основе концепции конвейера.
Flowise(Apache-2.0)
https://github.com/FlowiseAI/Flowise
- Позволяет создавать настраиваемые потоки LLM с помощью перетаскивания в пользовательском интерфейсе.
LangFlow(MIT)
https://github.com/logspace-ai/langflow
- Позволяет легко экспериментировать и создавать прототипы конвейеров LangChain.
- Запуск с помощью CLI, а также поддержка развертывания Langflow в Google Cloud Platform (GCP).
Spring AI(Apache-2.0)
https://github.com/spring-projects/spring-ai
- Фреймворк ИИ, предоставляемый Spring Framework (пока находится на стадии снимков).
- Поддерживает интеграцию API на основе OpenAI и MS Azure, а также предоставляет абстрактный уровень.
- Цель — упростить и повысить масштабируемость реализации функций ИИ с помощью шаблонов ИИ.
Data Juicer(Apache-2.0)
https://github.com/alibaba/data-juicer
- Система обработки данных «одним касанием» для LLM с открытым исходным кодом, выпущенная Alibaba.
- Предлагает систематическую библиотеку, состоящую из более чем 20 готовых рецептов, более 50 основных операций и богатого функционального набора инструментов.
- Функция автоматического создания отчетов позволяет проводить подробный анализ данных для более глубокого понимания набора данных.
Комментарии0