用開源打造 AI 全棧 AI 生態系統中,新的開源 LLM(大型語言模型)模型不斷湧現。Mistral、Llama、phi-2 等具有強大性能和開放許可證的模型已公開, 為使用這些模型開發的各種工具也正在開發中。LangChain、LlamaIndex、Haystack 等 LLM 框架,Ollama、vLLM、KServe 等推論和 服務工具,LiteLLM、One API 等 LLM 代理解決方案,都讓 AI 開發