AI関連の多くのオープンソースが続々と登場するにつれて、オープンソースエコシステムはまさにAIオープンソースのルネサンスを迎えています。 LangChainの成功を皮切りに、多くのオープンソースが登場し、AI業界のシステムを急速に埋め尽くしています。

Open LLM

生成型AIの中核であるLLM（Large Language Model）は、GPTを筆頭としたClosed LLMとLlama陣営のOpen LLMの2つの軸に分かれますが、Mistralチームのモデルがオープンソースライセンスでモデルを公開し、優れた性能を発揮したため、多くの人々の関心を集めています。Open LLMは主にハギングフェイスを通じて管理および提供されます。

Mixtral-8x7B-Instruct-v0.1(Apache-2.0)

https://huggingface.co/mistralai/Mixtral-8x7B-Instruct-v0\.1

- 専門家混合モデル（SMoE）を採用しました。

- Llama 2 70Bモデルを上回り、GPT-3.5 175Bを凌駕する性能を発揮します。

- ブラインドチャットボットテストであるチャットボットアリーナでは、GPT-4、Claude-2に続いて3位にランクインしています。

Llama-2-7b-chat(Llama 2 Community)

https://huggingface.co/meta-llama/Llama-2-7b-chat

- 月間アクティブユーザー7億人以下のサービスでは、商用利用が可能なライセンスです。

- Llama-2をファインチューニングした多数の派生モデルが登場しています。

phi-2(MIT)

https://huggingface.co/microsoft/phi-2

- MSが公開した2.7Bパラメーターの軽量モデルです。

- 常識、言語理解、論理的推論のテスト結果、13Bモデルよりも性能が良いことが示されました。

LLM 推論およびサービング

学習済みのLLMを効果的に使用するためには、高速で、コンピューティングリソースを効率的に管理できるツールが必要です。

Ollama(MIT)

https://github.com/jmorganca/ollama

- Mac、Linux、Windowsなどのローカル環境で、7BレベルのLLMを直接実行できます。

- 簡単なコマンドでモデルをダウンロードして実行します。

- CLIでモデルを管理し、簡単なチャットが可能です。

- 提供されたAPIを通じて、様々な活用が可能です。

vLLM(Apache-2.0)

https://github.com/vllm-project/vllm

- LLM推論およびサービングのための高速で使いやすいライブラリです。

- ハギングフェイスから提供されるモデルをサポートしています。

- 分散処理、並列処理、ストリーミング出力、OpenAI互換APIを提供します。

- Nvidia、AMD GPUをサポートしています。

KServe(Apache-2.0)

https://github.com/kserve/kserve- Kubernetes環境で構築可能なMLモデル推論のためのプラットフォームです。 - スケーリング、ネットワーキング、モニタリングなどのための抽象化インターフェースを提供します。

LLM プロキシング

LiteLLM(MIT)

https://github.com/BerriAI/litellm

- 様々なLLM APIを統合し、プロキシを提供します。

- OpenAIのAPI形式に従います。

- ユーザー別のAPI認証管理を提供します。

One API(MIT)

https://github.com/songquanpeng/one-api

- 標準OpenAI API形式を通じて、すべての巨大言語モデルにすぐにアクセスできるようにします。

- 様々なLLMをサポートし、プロキシサービスも提供します。

- ロードバランシングとマルチデプロイが可能で、ユーザー管理およびグループ機能を提供します。

AI Gateway(MIT)

https://github.com/Portkey-AI/gateway

- 1つ高速で使い慣れたAPIで、100以上のLLMへの接続を提供します。

- 小さなサイズのインストールだけで、高速アクセスを保証します。

LLM Monitoring Great Expectations(Apache-2.0)

https://github.com/great-expectations/great_expectations

- データチームが品質テスト、ドキュメント化、プロファイリングを通じて、データに関する共通の理解を構築するのを支援します。

- CI/CDパイプラインと統合することで、必要な場所に正確にデータ品質を追加できます。

LangFuse(MIT)

https://github.com/langfuse/langfuse

- オープンソースLLMの可視性、分析、迅速な管理、評価、テスト、監視、ロギング、追跡を提供します。

- 視覚的なUIで、複雑なログと追跡を探索し、デバッグできます。

- 将来、エンタープライズ機能が追加される予定です。

Giskard(Apache-2.0, Dual License)

https://github.com/Giskard-AI/giskard

- バイアス、データ漏洩、偽の相関関係、幻覚、毒性、セキュリティ問題など、表形式モデルからLLMに至るまで、AIモデルの脆弱性を自動的に検出できます。

- AIモデルの脆弱性をスキャンし、テストスイートを自動的に生成することで、MLモデルとLLMの品質保証プロセスを支援します。

- デプロイされたLLMアプリケーションにおけるAI安全性のリスクを検出するSaaSプラットフォームを提供します。（プレミアム）

LLM フレームワーク

LangChain (MIT)

https://github.com/langchain-ai/langchain

- 言語モデルで駆動されるアプリケーションを開発するためのフレームワークです。

- PythonとJavascriptで提供されており、多数のライブラリを統合した抽象化レイヤーを提供します。

- 構築されたLangChainをAPIとしてデプロイすることもできます。

LlamaIndex(MIT)

https://github.com/run-llama/llama_index

- LLMアプリケーションのためのデータに特化したフレームワークです。

- 既存のデータソースおよびデータ形式（API、PDF、ドキュメント、SQLなど）を収集するためのデータコネクタを提供します。

- データをLLMで簡単に使用できるように、データ（インデックス、グラフ）を構造化する手段を提供します。

Haystack(Apache-2.0)

https://github.com/deepset-ai/haystack

- 検索強化生成（RAG）、ドキュメント検索、質問応答、応答生成など、簡単に構築するためのLLMフレームワークです。

- パイプラインの概念に基づいて構築されます。

Flowise(Apache-2.0)

https://github.com/FlowiseAI/Flowise

- UIをドラッグアンドドロップして、カスタムLLMフローを構築できます。

LangFlow(MIT)

https://github.com/logspace-ai/langflow

- LangChainパイプラインを簡単に実験およびプロトタイピングできるようにします。

- CLIを使用して実行し、Google Cloud Platform（GCP）へのLangflowデプロイもサポートしています。

Spring AI(Apache-2.0)

https://github.com/spring-projects/spring-ai

- Spring Frameworkから提供されるAIフレームワーク（まだスナップショット状態）

- OpenAIおよびMS AzureベースのAPI連携をサポートし、抽象化レイヤーを提供

- AIテンプレートを使用して、AI機能をより簡単に拡張性を持って実装することを目指しています。

Data Juicer(Apache-2.0)

https://github.com/alibaba/data-juicer

- アリババが公開したオープンソースで、LLMのためのワンストップデータ処理システムです。

- 再利用可能な20以上の構成レシピ、50以上の主要なOP、豊富な機能を備えた専用のツールキットで構成された体系的なライブラリを提供します。

- 自動化されたレポート生成機能により、詳細なデータ分析を実行し、データセットをより深く理解することができます。