Появление множества открытых исходных кодов, связанных с ИИ, привело к тому, что экосистема открытых исходных кодов переживает настоящий ренессанс ИИ с открытым исходным кодом. Успех LangChain положил начало появлению множества открытых исходных кодов, которые быстро заполняют системы в сфере ИИ.

Open LLM

LLM (Large Language Model), являющийся ядром генеративного ИИ, делится на две оси: Closed LLM с GPT во главе и Open LLM лагеря Llama, при этом модель команды Mistral была опубликована под открытой лицензией, демонстрируя выдающиеся показатели и вызывая интерес у многих. Open LLM в основном управляется и предоставляется через Hugging Face.

Mixtral-8x7B-Instruct-v0.1(Apache-2.0)

https://huggingface.co/mistralai/Mixtral-8x7B-Instruct-v0\.1

- Используется смешанная модель экспертов (SMoE).

- Демонстрирует производительность, превосходящую модель Llama 2 70B и GPT-3.5 175B.

- Занимает третье место в слепом тестировании чат-ботов в Chatbot Arena после GPT-4 и Claude-2.

Llama-2-7b-chat(Llama 2 Community)

https://huggingface.co/meta-llama/Llama-2-7b-chat

- Лицензия, разрешающая коммерческое использование в сервисах с количеством активных пользователей не более 700 миллионов в месяц.

- Существует множество производных моделей, полученных путем дообучения Llama-2.

phi-2(MIT)

https://huggingface.co/microsoft/phi-2

- Легкая модель с 2,7 миллиарда параметров, выпущенная MS.

- Согласно результатам тестирования по общему знанию, пониманию языка и логическим выводам, она продемонстрировала более высокую производительность, чем модель с 13 миллиардами параметров.

LLM вывод и сервировка

Для эффективного использования хорошо обученного LLM требуется инструмент, обеспечивающий быструю работу и эффективное управление вычислительными ресурсами.

Ollama(MIT)

https://github.com/jmorganca/ollama

- Позволяет непосредственно запускать LLM размером до 7 миллиардов параметров в локальной среде (Mac, Linux, Windows).

- Простая загрузка и запуск модели с помощью нескольких команд.

- Управление моделями через CLI и возможность простого чата.

- Разнообразные возможности использования через предоставленный API.

vLLM(Apache-2.0)

https://github.com/vllm-project/vllm

- Быстрая и простая в использовании библиотека для вывода и сервировки LLM.

- Поддерживает модели, предоставляемые Hugging Face.

- Обеспечивает распределенную обработку, параллельную обработку, потоковую выдачу и совместимый с OpenAI API.

- Поддерживает GPU Nvidia и AMD.

KServe(Apache-2.0)

https://github.com/kserve/kserve- Платформа для вывода моделей ML, которую можно развернуть в среде Kubernetes. - Предоставляет абстрактный интерфейс для масштабирования, сетевого взаимодействия и мониторинга.

Проксирование LLM

LiteLLM(MIT)

https://github.com/BerriAI/litellm

- Интегрирует различные API LLM и предоставляет прокси.

- Следует формату API OpenAI.

- Обеспечивает управление аутентификацией API для каждого пользователя.

One API(MIT)

https://github.com/songquanpeng/one-api

- Обеспечивает немедленный доступ ко всем большим моделям через стандартный формат API OpenAI.

- Поддерживает различные LLM и предоставляет прокси-сервис.

- Доступна балансировка нагрузки и многократное размещение, предоставляется управление пользователями и групповые функции.

AI Gateway(MIT)

https://github.com/Portkey-AI/gateway

- Предоставляет соединение с более чем 100 LLM через один быстрый и знакомый API.

- Гарантирует быстрый доступ с помощью небольшого размера установки.

LLM Monitoring Great Expectations(Apache-2.0)

https://github.com/great-expectations/great_expectations

- Помогает командам по данным создать общее понимание данных с помощью тестирования качества, документации и профилирования.

- Интеграция с конвейером CI/CD позволяет добавлять качество данных точно в нужном месте.

LangFuse(MIT)

https://github.com/langfuse/langfuse

- Предоставляет видимость, анализ, быстрое управление, оценку, тестирование, мониторинг, журналирование, отслеживание для LLM с открытым исходным кодом.

- Позволяет просматривать и отлаживать сложные журналы и следы в визуальном интерфейсе.

- В будущем планируется добавление функций для предприятий.

Giskard(Apache-2.0, Dual License)

https://github.com/Giskard-AI/giskard

- Может автоматически обнаруживать уязвимости в моделях ИИ, от табличных моделей до LLM, включая предвзятость, утечку данных, ложные корреляции, галлюцинации, токсичность и проблемы безопасности.

- Обеспечивает сканирование и тестирование уязвимостей в моделях ИИ, автоматически создавая тестовые наборы для поддержки процесса обеспечения качества моделей ML и LLM.

- Предоставляет SaaS-платформу для обнаружения рисков безопасности ИИ в развернутых приложениях LLM. (Премиум)

LLM Framework

LangChain (MIT)

https://github.com/langchain-ai/langchain

- Фреймворк для разработки приложений, управляемых языковыми моделями.

- Доступен на Python и Javascript, предоставляет абстрактный уровень для интеграции множества библиотек.

- Созданный LangChain также можно развернуть в виде API.

LlamaIndex(MIT)

https://github.com/run-llama/llama_index

- Фреймворк, специализирующийся на данных для приложений LLM.

- Предоставляет соединители данных для сбора существующих источников данных и форматов данных (API, PDF, документы, SQL и т. д.).

- Предоставляет способы структурирования данных (индексы, графы) для простого использования данных в LLM.

Haystack(Apache-2.0)

https://github.com/deepset-ai/haystack

- Фреймворк LLM для простой построения поисковой генерации с усилением (RAG), поиска документов, ответа на вопросы, создания ответов и т. д.

- Построен на основе концепции конвейера.

Flowise(Apache-2.0)

https://github.com/FlowiseAI/Flowise

- Позволяет строить настраиваемые потоки LLM с помощью перетаскивания в интерфейсе.

LangFlow(MIT)

https://github.com/logspace-ai/langflow

- Позволяет легко экспериментировать и создавать прототипы конвейеров LangChain.

- Запускается с помощью CLI, поддерживается размещение Langflow в Google Cloud Platform (GCP).

Spring AI(Apache-2.0)

https://github.com/spring-projects/spring-ai

- AI-фреймворк, предоставляемый Spring Framwork (пока находится на стадии снимка).

- Поддерживает интеграцию API на основе OpenAI и MS Azure, предоставляет абстрактный уровень.

- Цель состоит в том, чтобы с помощью шаблонов ИИ делать реализацию функций ИИ более простой и масштабируемой.

Data Juicer(Apache-2.0)

https://github.com/alibaba/data-juicer

- Открытый исходный код, выпущенный Alibaba, представляет собой единую систему обработки данных для LLM.

- Предоставляет систематическую библиотеку, состоящую из более чем 20 переиспользуемых рецептов конфигурации, более чем 50 ключевых OP и богатого функционала специализированных инструментариев.

- Функция автоматического создания отчетов позволяет проводить глубокий анализ данных для лучшего понимания наборов данных.