AI関連の多くのオープンソースが続々と登場し、オープンソースエコシステムはまさにAIオープンソースのルネサンスを迎えています。LangChainの成功を皮切りに、多くのオープンソースが登場し、AI業界のシステムを急速に埋めつつあります。
Open LLM
生成AIの中核であるLLM（Large Language Model）は、GPTを筆頭とするClosed LLMとLlama陣営のOpen LLMの2つに分けられますが、Mistralチームのモデルがオープンソースライセンスでモデルを公開し、優れた性能を発揮したことから、多くの人々の注目を集めています。Open LLMは主にHugging Faceを通じて管理および提供されています。
**Mixtral-8x7B-Instruct-v0.1**（Apache-2.0）
https://huggingface.co/mistralai/Mixtral-8x7B-Instruct-v0\.1
- 専門家混合モデル（SMoE）を採用しました。
- Llama 2 70Bモデルを上回り、GPT-3.5 175Bを凌駕する性能を示しています。
- ブラインドチャットボットテストであるチャットボットアリーナで、GPT-4、Claude-2に次いで3位です。
**Llama-2-7b-chat**（Llama 2 Community）
https://huggingface.co/meta-llama/Llama-2-7b-chat
- 月間アクティブユーザー7億人以下のサービスであれば、商用利用可能なライセンスです。
- Llama-2をファインチューニングした数多くの派生モデルが登場しています。
**phi-2**（MIT）
https://huggingface.co/microsoft/phi-2
- MSが公開した2.7Bパラメータの軽量モデルです。
- 常識、言語理解、論理的推論をテストした結果、13Bモデルよりも性能が良いという結果が出たそうです。
LLM 推論およびサービング
学習済みのLLMを効果的に使用するには、高速で、コンピューティングリソースを効率的に管理できるツールが必要です。
**Ollama**（MIT）
https://github.com/jmorganca/ollama
- Mac、Linux、Windowsなどのローカル環境で、7BレベルのLLMを直接実行できます。
- 簡単なコマンドでモデルをダウンロードして実行します。
- CLIでモデルを管理し、簡単なチャットが可能です。
- 提供されたAPIを通じて、さまざまな活用が可能です。
**vLLM**（Apache-2.0）
https://github.com/vllm-project/vllm
- LLM推論およびサービングのための、高速で使いやすいライブラリです。
- Hugging Faceで提供されているモデルをサポートしています。
- 分散処理、並列処理、ストリーミング出力、OpenAI互換APIを提供します。
- Nvidia、AMD GPUをサポートしています。
**KServe**（Apache-2.0）
https://github.com/kserve/kserve- Kubernetes環境で構築可能なMLモデル推論のためのプラットフォームです。- スケーリング、ネットワーキング、モニタリングなどのための抽象化インターフェースを提供します。
LLM プロキシング
**LiteLLM**（MIT）
https://github.com/BerriAI/litellm
- さまざまなLLM APIを統合し、プロキシを提供します。
- OpenAIのAPI形式に従います。
- ユーザーごとのAPI認証管理を提供します。
**One API**（MIT）
https://github.com/songquanpeng/one-api
- 標準のOpenAI API形式を通じて、すべてのLLMに即座にアクセスできるようにします。
- さまざまなLLMをサポートし、プロキシサービスも提供します。
- ロードバランシングと複数展開が可能で、ユーザー管理とグループ機能を提供します。
**AI Gateway**（MIT）
https://github.com/Portkey-AI/gateway
- 1つ高速で使い慣れたAPIで、100以上のLLMへの接続を提供します。
- 小さなサイズのインストールで、高速アクセスを保証します。
**LLM Monitoring Great Expectations**（Apache-2.0）
https://github.com/great-expectations/great_expectations
- データチームが品質テスト、ドキュメント化、プロファイリングを通じて、データに関する共通の理解を構築するのに役立ちます。
- CI/CDパイプラインと統合して、必要な場所に正確にデータ品質を追加できます。
**LangFuse**（MIT）
https://github.com/langfuse/langfuse
- オープンソースLLMの可視性、分析、迅速な管理、評価、テスト、モニタリング、ロギング、トレーシングを提供します。
- 視覚的なUIで、複雑なログとトレースを探索してデバッグできます。
- 今後、エンタープライズ機能が追加される予定です。
**Giskard**（Apache-2.0、デュアルライセンス）
https://github.com/Giskard-AI/giskard
- バイアス、データ漏洩、偽の相関関係、幻覚、毒性、セキュリティ問題など、表形式モデルからLLMに至るまで、AIモデルの脆弱性を自動的に検出できます。
- AIモデルの脆弱性をスキャンし、テストスイートを自動的に生成することで、MLモデルとLLMの品質保証プロセスを支援します。
- デプロイされたLLMアプリケーションでAI安全上のリスクを検出するSaaSプラットフォームを提供します。（プレミアム）
LLM フレームワーク
LangChain（MIT）
https://github.com/langchain-ai/langchain
- 言語モデルで駆動されるアプリケーションを開発するためのフレームワークです。
- PythonおよびJavascriptで提供し、多くのライブラリを統合した抽象化レイヤーを提供します。
- 構築されたLangChainをAPIとしてデプロイすることもできます。
**LlamaIndex**（MIT）
https://github.com/run-llama/llama_index
- LLMアプリケーションのためのデータに特化したフレームワークです。
- 既存のデータソースおよびデータ形式（API、PDF、ドキュメント、SQLなど）を収集するためのデータコネクタを提供します。
- データをLLMで簡単に使用できるように、データ（インデックス、グラフ）を構造化する手法を提供します。
**Haystack**（Apache-2.0）
https://github.com/deepset-ai/haystack
- 検索拡張生成（RAG）、ドキュメント検索、質問応答、回答生成などの簡単な構築のためのLLMフレームワークです。
- パイプラインの概念に基づいて構築します。
**Flowise**（Apache-2.0）
https://github.com/FlowiseAI/Flowise
- UIをドラッグアンドドロップして、カスタムLLMフローを構築できます。
**LangFlow**（MIT）
https://github.com/logspace-ai/langflow
- LangChainパイプラインを簡単に実験およびプロトタイピングできるようにします。
- CLIを使用して実行し、Google Cloud Platform（GCP）にLangflowをデプロイすることもサポートしています。
**Spring AI**（Apache-2.0）
https://github.com/spring-projects/spring-ai
- Spring Frameworkで提供されるAIフレームワーク（まだスナップショット状態）
- OpenAIおよびMS AzureベースのAPI連携をサポートし、抽象化レイヤーを提供
- AIテンプレートを使用して、AI機能をより簡単かつ拡張性を持って実装することを目標とする
**Data Juicer**（Apache-2.0）
https://github.com/alibaba/data-juicer
- アリババが公開したオープンソースで、LLMのためのワンストップデータ処理システムです。
- 再利用可能な20以上の構成レシピ、50以上の主要なOP、豊富な機能を備えた専用のツールキットで構成される体系的なライブラリを提供します。
- 自動化されたレポート生成機能で、詳細なデータ分析を実行し、データセットをより深く理解することができます。
コメント0