With the surge of numerous open-source projects related to AI, the open-source ecosystem is experiencing a true renaissance in AI open-source. Following the success of LangChain, many open-source projects have emerged, rapidly filling the gaps in AI industry systems.

Open LLM

LLM (Large Language Model), the core of generative AI, is divided into two axes: Closed LLM led by GPT and Open LLM in the Llama camp. Mistral team has released its model under an open-source license, drawing attention from many with its outstanding performance. Open LLM is primarily managed and provided through Hugging Face.

Mixtral-8x7B-Instruct-v0.1(Apache-2.0)

https://huggingface.co/mistralai/Mixtral-8x7B-Instruct-v0\.1

- Expert Mixture of Experts (SMoE) model was adopted.

- It shows performance that surpasses the Llama 2 70B model and even GPT-3.5 175B.

- It ranks third in Chatbot Arena, a blind chatbot test, following GPT-4 and Claude-2.

Llama-2-7b-chat(Llama 2 Community)

https://huggingface.co/meta-llama/Llama-2-7b-chat

- It is a license that allows commercial use for services with less than 700 million monthly active users.

- Numerous derivative models based on Llama-2 have emerged.

phi-2(MIT)

https://huggingface.co/microsoft/phi-2

- It is a lightweight model with 2.7B parameters released by MS.

- Tests on common sense, language understanding, and logical reasoning have shown that its performance is better than the 13B model.

LLM Inference and Serving

To effectively utilize well-trained LLMs, tools are needed that can provide fast inference and efficient management of computing resources.

Ollama(MIT)

https://github.com/jmorganca/ollama

- It allows you to run LLMs up to 7B in size directly on local environments like Mac, Linux, and Windows.

- You can download and run models with simple commands.

- Models can be managed through the CLI, and simple chatting is possible.

- Various applications are possible through the provided API.

vLLM(Apache-2.0)

https://github.com/vllm-project/vllm

- It is a fast and easy-to-use library for LLM inference and serving.

- Supports models provided by Hugging Face.

- Provides distributed processing, parallel processing, streaming output, and OpenAI compatible API.

- Supports Nvidia and AMD GPUs.

KServe(Apache-2.0)

https://github.com/kserve/kserve- It is a platform for ML model inference that can be built in a Kubernetes environment. - Provides an abstraction interface for scaling, networking, and monitoring.

LLM Proxying

LiteLLM(MIT)

https://github.com/BerriAI/litellm

- Integrates various LLM APIs and provides proxying.

- Follows the API format of OpenAI.

- Provides user-specific API authentication management.

One API(MIT)

https://github.com/songquanpeng/one-api

- It enables instant access to all large models through the standard OpenAI API format.

- Supports various LLMs and also provides proxy services.

- Load balancing and multi-deployment are possible, and it provides user management and group features.

AI Gateway(MIT)

https://github.com/Portkey-AI/gateway

- Provides connections to over 100 LLMs with a single, fast, and familiar API.

- Ensures fast access with a small installation size.

LLM Monitoring Great Expectations(Apache-2.0)

https://github.com/great-expectations/great_expectations

- Helps data teams build a shared understanding of their data through quality testing, documentation, and profiling.

- It can be integrated with CI/CD pipelines to add data quality precisely where needed.

LangFuse(MIT)

https://github.com/langfuse/langfuse

- Provides open-source LLM visibility, analysis, rapid management, evaluation, testing, monitoring, logging, and tracing.

- You can explore and debug complex logs and traces from a visual UI.

- Enterprise features are planned for the future.

Giskard(Apache-2.0, Dual License)

https://github.com/Giskard-AI/giskard

- It can automatically detect vulnerabilities in AI models, from tabular models to LLMs, such as bias, data leakage, spurious correlations, hallucinations, toxicity, and security issues.

- It scans for vulnerabilities in AI models and automatically generates test suites to support quality assurance processes for ML models and LLMs.

- Provides a SaaS platform for detecting AI safety risks in deployed LLM applications. (Premium)

LLM Framework

LangChain (MIT)

https://github.com/langchain-ai/langchain

- It is a framework for developing applications powered by language models.

- It is available in Python and Javascript, providing an abstraction layer that integrates numerous libraries.

- You can also deploy the built LangChain as an API.

LlamaIndex(MIT)

https://github.com/run-llama/llama_index

- It is a data-centric framework for LLM applications.

- Provides data connectors for collecting existing data sources and data formats (API, PDF, documents, SQL, etc.).

- Provides methods for structuring data (indexes, graphs) to make it easily usable by LLMs.

Haystack(Apache-2.0)

https://github.com/deepset-ai/haystack

- It is an LLM framework for easy construction of search augmented generation (RAG), document search, question answering, and answer generation.

- It is built based on the pipeline concept.

Flowise(Apache-2.0)

https://github.com/FlowiseAI/Flowise

- You can build custom LLM flows by dragging and dropping the UI.

LangFlow(MIT)

https://github.com/logspace-ai/langflow

- It makes it easy to experiment and prototype LangChain pipelines.

- It is executed using the CLI, and it also supports deploying Langflow to Google Cloud Platform (GCP).

Spring AI(Apache-2.0)

https://github.com/spring-projects/spring-ai

- AI framework provided by Spring Framework (still in snapshot stage)

- Supports API integration based on OpenAI and MS Azure, providing an abstraction layer

- The goal is to make it easier and more scalable to implement AI features using AI Templates

Data Juicer(Apache-2.0)

https://github.com/alibaba/data-juicer

- It is an open-source project released by Alibaba, providing a one-stop data processing system for LLMs.

- It provides a systematic library comprised of over 20 reusable configuration recipes, over 50 core OPs, and a rich functional dedicated toolkit.

- With automated report generation capabilities, it allows for in-depth data analysis to gain a deeper understanding of data sets.