Seiring dengan banyaknya open source yang terkait dengan AI yang bermunculan, ekosistem open source telah memasuki era renaisans open source AI. Dimulai dengan kesuksesan LangChain, banyak open source lainnya muncul dan dengan cepat mengisi sistem industri AI.
Open LLM
LLM (Large Language Model), inti dari AI generatif, terbagi menjadi dua poros utama: Closed LLM yang dipimpin oleh GPT dan Open LLM dari kubu Llama. Model dari tim Mistral telah dirilis dengan lisensi open source, dan menarik banyak perhatian karena kinerja yang luar biasa. Open LLM terutama dikelola dan disediakan melalui Hugging Face.
Mixtral-8x7B-Instruct-v0.1(Apache-2.0)
https://huggingface.co/mistralai/Mixtral-8x7B-Instruct-v0\.1
- Menggunakan model campuran pakar (SMoE).
- Menunjukkan kinerja yang melampaui model Llama 2 70B dan bahkan mendekati GPT-3.5 175B.
- Mendapatkan peringkat ketiga dalam Chatbot Arena, sebuah uji coba chatbot buta, setelah GPT-4 dan Claude-2.
Llama-2-7b-chat(Llama 2 Community)
https://huggingface.co/meta-llama/Llama-2-7b-chat
- Lisensi yang memungkinkan penggunaan komersial untuk layanan dengan kurang dari 700 juta pengguna aktif bulanan.
- Banyak turunan model yang dihasilkan dari fine-tuning Llama-2.
phi-2(MIT)
https://huggingface.co/microsoft/phi-2
- Model ringan dengan 2,7B parameter yang dirilis oleh MS.
- Hasil pengujian menunjukkan bahwa model ini lebih baik daripada model 13B dalam hal pengetahuan umum, pemahaman bahasa, dan penalaran logis.
Inferensi dan Penyajian LLM
Untuk menggunakan LLM yang terlatih dengan baik secara efektif, diperlukan alat yang cepat dan dapat mengelola sumber daya komputasi secara efisien.
Ollama(MIT)
https://github.com/jmorganca/ollama
- Memungkinkan Anda menjalankan LLM hingga level 7B secara langsung di lingkungan lokal seperti Mac, Linux, dan Windows.
- Unduh dan jalankan model hanya dengan perintah sederhana.
- Kelola model melalui CLI dan memungkinkan percakapan sederhana.
- Berbagai penggunaan dimungkinkan melalui API yang disediakan.
vLLM(Apache-2.0)
https://github.com/vllm-project/vllm
- Perpustakaan yang cepat dan mudah digunakan untuk inferensi dan penyajian LLM.
- Mendukung model yang disediakan oleh Hugging Face.
- Menyediakan pemrosesan terdistribusi, pemrosesan paralel, output streaming, dan API yang kompatibel dengan OpenAI.
- Mendukung GPU Nvidia dan AMD.
KServe(Apache-2.0)
https://github.com/kserve/kserve- Platform untuk inferensi model ML yang dapat dibangun di lingkungan Kubernetes. - Menyediakan antarmuka abstraksi untuk penskalaan, jaringan, dan pemantauan.
Proxying LLM
LiteLLM(MIT)
https://github.com/BerriAI/litellm
- Mengintegrasikan berbagai API LLM dan menyediakan layanan proxy.
- Mengikuti format API OpenAI.
- Menyediakan manajemen autentikasi API per pengguna.
One API(MIT)
https://github.com/songquanpeng/one-api
- Memungkinkan akses instan ke semua model besar melalui format API OpenAI standar.
- Mendukung berbagai LLM dan juga menyediakan layanan proxy.
- Memungkinkan penyeimbangan beban dan penyebaran multi, serta menyediakan manajemen pengguna dan fungsi grup.
AI Gateway(MIT)
https://github.com/Portkey-AI/gateway
- Menyediakan koneksi ke lebih dari 100 LLM melalui satu API yang cepat dan mudah digunakan.
- Menjamin akses cepat dengan instalasi yang berukuran kecil.
LLM Monitoring Great Expectations(Apache-2.0)
https://github.com/great-expectations/great_expectations
- Membantu tim data membangun pemahaman bersama tentang data melalui pengujian kualitas, dokumentasi, dan pembuatan profil.
- Berintegrasi dengan pipeline CI/CD untuk menambahkan kualitas data dengan tepat di mana diperlukan.
LangFuse(MIT)
https://github.com/langfuse/langfuse
- Menyediakan visibilitas LLM open source, analisis, manajemen yang cepat, evaluasi, pengujian, pemantauan, logging, dan pelacakan.
- Memungkinkan Anda menjelajahi dan melakukan debugging log dan jejak yang kompleks dalam UI visual.
- Fitur perusahaan akan ditambahkan di masa mendatang.
Giskard(Apache-2.0, Dual License)
https://github.com/Giskard-AI/giskard
- Secara otomatis mendeteksi kerentanan model AI, mulai dari model tabular hingga LLM, seperti bias, kebocoran data, korelasi palsu, halusinasi, toksisitas, dan masalah keamanan.
- Mendukung proses jaminan kualitas model ML dan LLM dengan memindai kerentanan model AI dan menghasilkan rangkaian pengujian secara otomatis.
- Menyediakan platform SaaS untuk mendeteksi risiko keamanan AI dalam aplikasi LLM yang telah disebarluaskan. (premium)
Framework LLM
LangChain (MIT)
https://github.com/langchain-ai/langchain
- Framework untuk mengembangkan aplikasi yang didukung oleh model bahasa.
- Disediakan dalam Python dan Javascript, dan menyediakan lapisan abstraksi yang mengintegrasikan banyak pustaka.
- LangChain yang telah dibangun juga dapat disebarluaskan sebagai API.
LlamaIndex(MIT)
https://github.com/run-llama/llama_index
- Framework yang khusus untuk data untuk aplikasi LLM.
- Menyediakan konektor data untuk mengumpulkan sumber data dan format data yang ada (API, PDF, dokumen, SQL, dll.).
- Menyediakan cara untuk menstrukturkan data (indeks, grafik) agar mudah digunakan dalam LLM.
Haystack(Apache-2.0)
https://github.com/deepset-ai/haystack
- Framework LLM untuk pembangunan yang mudah dari Retrieval Augmented Generation (RAG), pencarian dokumen, tanya jawab, dan pembuatan jawaban.
- Dibangun berdasarkan konsep pipeline.
Flowise(Apache-2.0)
https://github.com/FlowiseAI/Flowise
- Memungkinkan Anda membangun alur LLM khusus dengan menyeret dan melepaskan UI.
LangFlow(MIT)
https://github.com/logspace-ai/langflow
- Memudahkan Anda untuk bereksperimen dan membuat prototipe pipeline LangChain.
- Dijalankan menggunakan CLI, dan juga mendukung penyebaran Langflow di Google Cloud Platform (GCP).
Spring AI(Apache-2.0)
https://github.com/spring-projects/spring-ai
- Framework AI yang disediakan oleh Spring Framework (masih dalam tahap snapshot).
- Mendukung integrasi API berbasis OpenAI dan MS Azure, serta menyediakan lapisan abstraksi.
- Bertujuan untuk mengimplementasikan fungsi AI dengan lebih mudah dan skalabel menggunakan Templat AI.
Data Juicer(Apache-2.0)
https://github.com/alibaba/data-juicer
- Open source yang dirilis oleh Alibaba, merupakan sistem pemrosesan data satu atap untuk LLM.
- Menyediakan pustaka sistematis yang terdiri dari lebih dari 20 resep konfigurasi yang dapat digunakan kembali, lebih dari 50 OP inti, dan toolkit khusus yang kaya fitur.
- Menyediakan fungsi pembuatan laporan otomatis untuk melakukan analisis data yang terperinci dan memahami dataset dengan lebih dalam.
Komentar0