AI ile ilgili çok sayıda açık kaynaklı yazılım ortaya çıkmasıyla açık kaynaklı ekosistem adeta bir AI açık kaynaklı yazılım Rönesansına tanıklık ediyor. LangChain'in başarısının ardından birçok açık kaynaklı yazılım ortaya çıktı ve AI sektörü sistemlerini hızla dolduruyor.

Açık LLM

Üretken AI'nın kalbi olan LLM (Büyük Dil Modeli), GPT öncülüğünde Kapalı LLM ve Llama cephesinin Açık LLM olmak üzere iki eksene ayrılıyor, Mistral ekibinin modeli açık kaynaklı lisansla yayınlandı ve yüksek performansı ile birçok kişinin dikkatini çekti. Açık LLM'ler çoğunlukla Hugging Face aracılığıyla yönetiliyor ve sağlanıyor.

Mixtral-8x7B-Instruct-v0.1(Apache-2.0)

https://huggingface.co/mistralai/Mixtral-8x7B-Instruct-v0\.1

- Uzman karışımı modeli (SMoE) kullandı.

- Llama 2 70B modelini geride bırakarak GPT-3.5 175B'yi geride bırakıyor.

- GPT-4, Claude-2'den sonra Chatbot Arena'da kör chatbot testi, üçüncü sırada yer alıyor.

Llama-2-7b-chat(Llama 2 Topluluk)

https://huggingface.co/meta-llama/Llama-2-7b-chat

- Aylık 700 milyon aktif kullanıcıya sahip hizmetlerde ticari olarak kullanılabilir bir lisansdır.

- Llama-2'nin ince ayarlanmış birçok türetilmiş modeli mevcuttur.

phi-2(MIT)

https://huggingface.co/microsoft/phi-2

- MS tarafından yayınlanan 2.7B parametreli hafif bir modeldir.

- Ortak bilgi, dil anlayışı ve mantıksal akıl yürütme test sonuçlarına göre, 13B modelinden daha iyi performans gösterdiği görüldü.

LLM Çıkarımı ve Sunumu

İyi eğitilmiş bir LLM'yi etkili bir şekilde kullanmak için hızlı ve bilgi işlem kaynaklarını verimli bir şekilde yönetebilen bir araca ihtiyaç vardır.

Ollama(MIT)

https://github.com/jmorganca/ollama

- Mac, Linux, Windows gibi yerel ortamlarda 7B seviyesinde LLM'yi doğrudan çalıştırabilirsiniz.

- Sadece birkaç basit komutla modeli indirin ve çalıştırın.

- CLI'yi kullanarak modeli yönetin ve basit sohbetler yapın.

- Sağlanan API aracılığıyla çeşitli uygulamalar mümkündür.

vLLM(Apache-2.0)

https://github.com/vllm-project/vllm

- LLM çıkarımı ve sunumu için hızlı ve kullanımı kolay bir kütüphanedir.

- Hugging Face tarafından sunulan modelleri destekler.

- Dağıtık işlem, paralel işlem, akış çıktısı, OpenAI uyumlu API sunar.

- Nvidia, AMD GPU'yu destekler.

KServe(Apache-2.0)

https://github.com/kserve/kserve- Kubernetes ortamında oluşturulabilen ML modeli çıkarımı için bir platformdur. - Ölçekleme, ağ oluşturma ve izleme için soyutlama arayüzü sunar.

LLM Vekilliği

LiteLLM(MIT)

https://github.com/BerriAI/litellm

- Çok çeşitli LLM API'lerini entegre eder ve vekalet sağlar.

- OpenAI'nin API biçimini takip eder.

- Kullanıcı bazlı API kimlik doğrulaması yönetimi sunar.

One API(MIT)

https://github.com/songquanpeng/one-api

- Standart OpenAI API biçimi aracılığıyla tüm büyük modellere anında erişim sağlar.

- Çok çeşitli LLM'leri destekler ve vekalet hizmeti sunar.

- Yük dengeleme ve çoklu dağıtım mümkündür ve kullanıcı yönetimi ve grup işlevleri sunar.

AI Gateway(MIT)

https://github.com/Portkey-AI/gateway

- 100'den fazla LLM'ye tek bir hızlı ve tanıdık API ile bağlantı sağlar.

- Küçük bir yükleme boyutu ile hızlı erişim sağlar.

LLM Monitoring Great Expectations(Apache-2.0)

https://github.com/great-expectations/great_expectations

- Veri ekiplerinin, veri kalitesi testleri, dokümantasyon ve profilleme yoluyla veriler hakkında ortak bir anlayış oluşturmasına yardımcı olur.

- CI/CD hatlarıyla entegre olarak veri kalitesini ihtiyacınız olan yere tam olarak eklemenizi sağlar.

LangFuse(MIT)

https://github.com/langfuse/langfuse

- Açık kaynaklı LLM görünürlüğü, analizi, hızlı yönetimi, değerlendirmesi, test edilmesi, izlenmesi, günlüğe kaydedilmesi ve izlenmesi sağlanır.

- Görsel bir arayüzden karmaşık günlükleri ve izlemeleri keşfedin ve hata ayıklayın.

- Gelecekte kurumsal özellikler eklenecektir.

Giskard(Apache-2.0, Çift Lisans)

https://github.com/Giskard-AI/giskard

- Önyargı, veri sızıntısı, yanlış korelasyon, halüsinasyon, toksisite, güvenlik sorunları gibi tablo biçimli modellerden LLM'lere kadar AI modellerinin zayıflıklarını otomatik olarak algılayabilir.

- AI modellerinin zayıflıklarını tarayarak ve test takımlarını otomatik olarak oluşturarak ML modelleri ve LLM'ler için kalite güvencesi süreçlerini destekler.

- Dağıtılmış LLM uygulamalarında AI güvenliği risklerini tespit eden bir SaaS platformu sunar. (Premium)

LLM Çerçevesi

LangChain (MIT)

https://github.com/langchain-ai/langchain

- Dil modellerini çalıştıran uygulamalar geliştirmek için bir çerçevedir.

- Python ve Javascript olarak sunulur ve çok sayıda kütüphaneyi entegre eden bir soyutlama katmanı sunar.

- Oluşturulan LangChain'i API olarak da dağıtabilirsiniz.

LlamaIndex(MIT)

https://github.com/run-llama/llama_index

- LLM uygulamaları için verilere özel bir çerçevedir.

- Mevcut veri kaynaklarını ve veri biçimlerini (API'ler, PDF'ler, belgeler, SQL vb.) toplamak için veri bağlayıcıları sunar.

- Verilerin LLM'lerde kolayca kullanılabilmesi için verileri yapılandırmanın (indeksleme, grafik) yollarını sağlar.

Haystack(Apache-2.0)

https://github.com/deepset-ai/haystack

- Arama destekli oluşturma (RAG), belge arama, soru yanıtlama, yanıt oluşturma gibi kolay kurulum için bir LLM çerçevesidir.

- Hat kavramı üzerine kuruludur.

Flowise(Apache-2.0)

https://github.com/FlowiseAI/Flowise

- Sürükle bırak ile özelleştirilmiş LLM akışları oluşturmak için bir UI.

LangFlow(MIT)

https://github.com/logspace-ai/langflow

- LangChain hatlarını kolayca deneyip prototiplemenizi sağlar.

- CLI'yi kullanarak çalıştırın ve Google Cloud Platform'a (GCP) Langflow dağıtımını destekler.

Spring AI(Apache-2.0)

- Spring Framework tarafından sunulan bir AI çerçevesi (henüz anlık görüntü aşamasında)

- OpenAI ve MS Azure tabanlı API entegrasyonunu destekler ve bir soyutlama katmanı sağlar

- AI Şablonlarını kullanarak AI işlevlerini daha kolay ve ölçeklenebilir bir şekilde uygulamak hedeflenir

Data Juicer(Apache-2.0)

https://github.com/alibaba/data-juicer

- Alibaba tarafından yayınlanan açık kaynaklı, LLM'ler için tek durak noktası veri işleme sistemidir.

- 20'den fazla yapılandırılabilir tarif, 50'den fazla temel OP ve zengin özelliklere sahip özel bir araç seti ile sistematik bir kütüphane sağlar.

- Otomatikleştirilmiş rapor oluşturma özelliği, veri kümelerini daha derinlemesine anlamak için ayrıntılı veri analizleri gerçekleştirir.