Dengan banyaknya open source yang terkait AI yang bermunculan, ekosistem open source telah memasuki era renaisans open source AI. Mulai dari kesuksesan LangChain, banyak open source yang muncul dan dengan cepat mengisi sistem industri AI.

Open LLM

LLM (Large Language Model), jantung dari AI generatif, dibagi menjadi dua poros: Closed LLM yang dipimpin oleh GPT dan Open LLM dari kubu Llama, dengan model dari tim Mistral yang telah merilis model dengan lisensi open source dan menunjukkan kinerja yang luar biasa, menarik perhatian banyak orang. Open LLM biasanya dikelola dan disediakan melalui Hugging Face.

Mixtral-8x7B-Instruct-v0.1(Apache-2.0)

https://huggingface.co/mistralai/Mixtral-8x7B-Instruct-v0\.1

- Menyertakan model campuran ahli (SMoE).

- Menunjukkan performa yang melampaui model Llama 2 70B dan GPT-3.5 175B.

- Berada di peringkat ketiga dalam Chatbot Arena, sebuah tes chatbot buta, setelah GPT-4 dan Claude-2.

Llama-2-7b-chat(Llama 2 Community)

https://huggingface.co/meta-llama/Llama-2-7b-chat

- Lisensi yang memungkinkan penggunaan komersial untuk layanan dengan pengguna aktif bulanan kurang dari 700 juta.

- Ada banyak turunan model dari Llama-2 yang telah disetel halus.

phi-2(MIT)

https://huggingface.co/microsoft/phi-2

- Model ringan dengan 2.7B parameter yang dirilis oleh MS.

- Hasil pengujian pengetahuan umum, pemahaman bahasa, dan penalaran logis menunjukkan bahwa performanya lebih baik daripada model 13B.

Inferensi dan Penyajian LLM

Untuk menggunakan LLM yang sudah dilatih dengan baik secara efektif, kita membutuhkan alat yang cepat dan dapat mengelola sumber daya komputasi secara efisien.

Ollama(MIT)

https://github.com/jmorganca/ollama

- Memungkinkan Anda menjalankan LLM berukuran 7B secara langsung di lingkungan lokal seperti Mac, Linux, dan Windows.

- Unduh dan jalankan model hanya dengan perintah sederhana.

- Kelola model melalui CLI dan memungkinkan percakapan sederhana.

- Berbagai penggunaan tersedia melalui API yang disediakan.

vLLM(Apache-2.0)

https://github.com/vllm-project/vllm

- Perpustakaan yang cepat dan mudah digunakan untuk inferensi dan penyajian LLM.

- Mendukung model yang disediakan oleh Hugging Face.

- Menawarkan pemrosesan terdistribusi, pemrosesan paralel, keluaran streaming, dan API yang kompatibel dengan OpenAI.

- Mendukung GPU Nvidia dan AMD.

KServe(Apache-2.0)

https://github.com/kserve/kserve- Platform untuk inferensi model ML yang dapat dibangun di lingkungan Kubernetes. - Menawarkan antarmuka abstrak untuk penskalaan, jaringan, dan pemantauan.

LLM Proxying

LiteLLM(MIT)

https://github.com/BerriAI/litellm

- Menyatukan berbagai API LLM dan menyediakan proxy.

- Mengikuti format API OpenAI.

- Menawarkan manajemen autentikasi API per pengguna.

One API(MIT)

https://github.com/songquanpeng/one-api

- Memungkinkan akses instan ke semua model besar melalui format API OpenAI standar.

- Mendukung berbagai LLM dan juga menyediakan layanan proxy.

- Memungkinkan penyeimbangan beban dan penyebaran multipel, dan menawarkan manajemen pengguna dan fungsi grup.

AI Gateway(MIT)

https://github.com/Portkey-AI/gateway

- Menawarkan koneksi ke lebih dari 100 LLM melalui satu API yang cepat dan familiar.

- Menjamin akses cepat dengan instalasi yang berukuran kecil.

LLM Monitoring Great Expectations(Apache-2.0)

https://github.com/great-expectations/great_expectations

- Membantu tim data membangun pemahaman bersama tentang data melalui pengujian kualitas, dokumentasi, dan pembuatan profil.

- Dapat diintegrasikan dengan pipa CI/CD untuk menambahkan kualitas data dengan tepat di mana diperlukan.

LangFuse(MIT)

https://github.com/langfuse/langfuse

- Menawarkan visibilitas, analisis, manajemen cepat, penilaian, pengujian, pemantauan, pencatatan, dan pelacakan untuk LLM open source.

- Memungkinkan Anda menjelajahi dan melakukan debug log dan jejak yang kompleks dalam antarmuka pengguna visual.

- Rencana untuk menambahkan fungsi perusahaan di masa mendatang.

Giskard(Apache-2.0, Dual License)

https://github.com/Giskard-AI/giskard

- Dapat secara otomatis mendeteksi kerentanan model AI dari model tabular hingga LLM, termasuk bias, kebocoran data, korelasi palsu, halusinasi, toksisitas, dan masalah keamanan.

- Mendukung proses jaminan kualitas model ML dan LLM dengan memindai kerentanan model AI dan secara otomatis membuat rangkaian pengujian.

- Menawarkan platform SaaS untuk mendeteksi risiko keamanan AI dalam aplikasi LLM yang diimplementasikan. (Premium)

LLM Framework

LangChain (MIT)

https://github.com/langchain-ai/langchain

- Kerangka kerja untuk mengembangkan aplikasi yang didukung model bahasa.

- Disediakan dalam Python dan Javascript, dan menawarkan lapisan abstraksi yang mengintegrasikan banyak pustaka.

- LangChain yang dibangun juga dapat disebarkan sebagai API.

LlamaIndex(MIT)

https://github.com/run-llama/llama_index

- Kerangka kerja khusus data untuk aplikasi LLM.

- Menawarkan konektor data untuk mengumpulkan sumber data dan format data yang ada (API, PDF, dokumen, SQL, dll.).

- Menawarkan cara untuk menyusun data (indeks, grafik) agar mudah digunakan dalam LLM.

Haystack(Apache-2.0)

https://github.com/deepset-ai/haystack

- Kerangka kerja LLM untuk membangun RAG (Retrieval-Augmented Generation), pencarian dokumen, tanya jawab, dan pembuatan jawaban dengan mudah.

- Dibangun berdasarkan konsep pipa.

Flowise(Apache-2.0)

https://github.com/FlowiseAI/Flowise

- Memungkinkan Anda untuk membangun alur LLM yang disesuaikan dengan menyeret dan melepas UI.

LangFlow(MIT)

https://github.com/logspace-ai/langflow

- Membuat percobaan dan pembuatan prototipe pipa LangChain menjadi mudah.

- Dijalankan menggunakan CLI dan juga mendukung penyebaran Langflow di Google Cloud Platform (GCP).

Spring AI(Apache-2.0)

https://github.com/spring-projects/spring-ai

- Kerangka kerja AI yang disediakan dalam Spring Framework (masih dalam tahap snapshot).

- Mendukung integrasi API berbasis OpenAI dan MS Azure, dan menawarkan lapisan abstraksi.

- Tujuannya adalah untuk membuat implementasi fungsi AI lebih mudah dan skalabel dengan menggunakan Templat AI.

Data Juicer(Apache-2.0)

https://github.com/alibaba/data-juicer

- Open source yang dirilis oleh Alibaba, Data Juicer adalah sistem pemrosesan data satu atap untuk LLM.

- Menawarkan pustaka sistematis yang terdiri dari lebih dari 20 resep konfigurasi yang dapat digunakan kembali, lebih dari 50 OP inti, dan toolkit khusus yang kaya fitur.

- Memungkinkan Anda untuk melakukan analisis data yang lebih mendalam dengan fungsi pembuatan laporan otomatis, yang memberikan analisis data yang terperinci.