Yapay zekâ ile ilgili çok sayıda açık kaynak kodlu yazılım ortaya çıkmasıyla, açık kaynak ekosistemi tam anlamıyla bir yapay zekâ açık kaynak kodlu rönesansına tanık oluyor. LangChain'in başarısıyla başlayan bu süreçte, ortaya çıkan birçok açık kaynak kodlu yazılım, yapay zekâ endüstrisindeki sistem boşluklarını hızla dolduruyor.
Açık LLM
Üretken yapay zekânın kalbi olan LLM (Büyük Dil Modeli), GPT önderliğindeki Kapalı LLM ve Llama cephesinin Açık LLM olmak üzere iki ana eksende ayrılıyor. Mistral ekibinin, açık kaynak lisansı altında yayınladığı ve etkileyici performans sergileyen modeli, birçok kişinin dikkatini çekti. Açık LLM'ler çoğunlukla Hugging Face aracılığıyla yönetiliyor ve sunuluyor.
**Mixtral-8x7B-Instruct-v0.1** (Apache-2.0)
https://huggingface.co/mistralai/Mixtral-8x7B-Instruct-v0\.1
- Uzman karışım modeli (SMoE) kullanıyor.
- Llama 2 70B modelini geride bırakarak, GPT-3.5 175B'nin önüne geçiyor.
- Kör sohbet robotu testinde (Chatbot Arena), GPT-4 ve Claude-2'den sonra 3. sırada yer alıyor.
**Llama-2-7b-chat** (Llama 2 Topluluğu)
https://huggingface.co/meta-llama/Llama-2-7b-chat
- Aylık aktif kullanıcı sayısı 700 milyondan az olan hizmetlerde ticari kullanım için uygun bir lisansa sahip.
- Llama-2'nin ince ayarlanmış çok sayıda türevi mevcut.
**phi-2** (MIT)
https://huggingface.co/microsoft/phi-2
- MS tarafından yayınlanan 2,7B parametreli hafif bir model.
- Genel bilgi, dil anlayışı ve mantıksal akıl yürütme testlerinde, 13B modelinden daha iyi sonuçlar aldığı belirtiliyor.
LLM Çıkarımı ve Sunumu
İyi eğitilmiş bir LLM'yi etkili bir şekilde kullanabilmek için hızlı ve hesaplama kaynaklarını verimli bir şekilde yönetebilen bir araca ihtiyaç vardır.
**Ollama** (MIT)
https://github.com/jmorganca/ollama
- Mac, Linux, Windows gibi yerel ortamlarda 7B seviyesindeki LLM'leri doğrudan çalıştırmayı sağlar.
- Basit komutlarla modeli indirip çalıştırır.
- CLI ile modeli yönetir ve basit sohbetler gerçekleştirebilirsiniz.
- Sağlanan API aracılığıyla çeşitli kullanımlar mümkündür.
**vLLM** (Apache-2.0)
https://github.com/vllm-project/vllm
- LLM çıkarımı ve sunumu için hızlı ve kullanımı kolay bir kütüphanedir.
- Hugging Face'te sunulan modelleri destekler.
- Dağıtık işlem, paralel işlem, akışlı çıktı ve OpenAI uyumlu API sunar.
- Nvidia ve AMD GPU'ları destekler.
**KServe** (Apache-2.0)
https://github.com/kserve/kserve- Kubernetes ortamında kurulabilen ML modeli çıkarımı için bir platformdur. Ölçekleme, ağ oluşturma ve izleme gibi konularda soyutlama arayüzü sağlar.
LLM Vekilliği
**LiteLLM** (MIT)
https://github.com/BerriAI/litellm
- Çeşitli LLM API'lerini entegre eder ve vekil sunar.
- OpenAI API biçimini takip eder.
- Kullanıcı bazlı API kimlik doğrulama yönetimi sunar.
**One API** (MIT)
https://github.com/songquanpeng/one-api
- Standart OpenAI API biçimi aracılığıyla tüm büyük modellere anında erişim sağlar.
- Çeşitli LLM'leri destekler ve vekil hizmeti sunar.
- Yük dengeleme ve çoklu dağıtım olanağı sunar, ayrıca kullanıcı yönetimi ve grup işlevleri sağlar.
**AI Gateway** (MIT)
https://github.com/Portkey-AI/gateway
- 100'den fazla LLM'ye tek bir hızlı ve tanıdık API aracılığıyla bağlantı sağlar.
- Küçük boyutlu bir kurulumla hızlı erişim sağlar.
**LLM İzleme Büyük Beklentiler** (Apache-2.0)
https://github.com/great-expectations/great_expectations
- Veri ekiplerinin, veri kalitesi testleri, dokümantasyon ve profil oluşturma yoluyla verilere ilişkin ortak bir anlayış oluşturmalarına yardımcı olur.
- CI/CD işlem hattıyla entegre edilerek, veri kalitesini gerektiği yere ekleme olanağı sağlar.
**LangFuse** (MIT)
https://github.com/langfuse/langfuse
- Açık kaynak kodlu LLM görünürlük, analiz, hızlı yönetim, değerlendirme, test, izleme, günlük kaydı ve izleme sağlar.
- Karmaşık günlükleri ve izleme bilgilerini görsel bir arayüzde inceleyip hata ayıklamayı mümkün kılar.
- Gelecekte kurumsal özellikler eklenecektir.
**Giskard** (Apache-2.0, Çift Lisans)
https://github.com/Giskard-AI/giskard
- Yanlılık, veri sızıntısı, yanlış korelasyon, halüsinasyon, toksisite, güvenlik sorunları gibi tablo biçimindeki modellerden LLM'lere kadar yapay zekâ modellerinin zayıf noktalarını otomatik olarak tespit edebilir.
- Yapay zekâ modellerinin zayıf noktalarını tarar ve ML modelleri ve LLM'lerin kalite güvencesi süreçlerini desteklemek üzere otomatik olarak test takımı oluşturur.
- Dağıtılmış LLM uygulamalarında yapay zekâ güvenliği risklerini algılayan bir SaaS platformu sunar. (Ücretli)
LLM Çerçevesi
LangChain (MIT)
https://github.com/langchain-ai/langchain
- Dil modeliyle çalışan uygulamalar geliştirmek için bir çerçevedir.
- Python ve Javascript'te sunulur ve çok sayıda kütüphaneyi entegre eden bir soyutlama katmanı sağlar.
- Oluşturulan LangChain'i API olarak da dağıtabilirsiniz.
**LlamaIndex** (MIT)
https://github.com/run-llama/llama_index
- LLM uygulamaları için veriye odaklanan bir çerçevedir.
- Mevcut veri kaynaklarını ve veri biçimlerini (API, PDF, belge, SQL vb.) toplamak için veri bağlayıcıları sağlar.
- Verileri LLM'de kolayca kullanılabilecek şekilde yapılandırmanın yollarını (indeks, grafik) sunar.
**Haystack** (Apache-2.0)
https://github.com/deepset-ai/haystack
- Arama Geliştirilmiş Üretim (RAG), belge araması, soru-cevap, cevap oluşturma gibi kolay kurulum için LLM çerçevesidir.
- İşlem hattı kavramına dayanarak oluşturulur.
**Flowise** (Apache-2.0)
https://github.com/FlowiseAI/Flowise
- Kullanıcı arayüzü üzerinden sürükle-bırak yöntemiyle özelleştirilmiş LLM akışı oluşturabilirsiniz.
**LangFlow** (MIT)
https://github.com/logspace-ai/langflow
- LangChain işlem hatlarını kolayca deneyip prototiplemenizi sağlar.
- CLI kullanarak çalıştırılır ve Google Cloud Platform (GCP)'ye Langflow dağıtımı da desteklenir.
**Spring AI** (Apache-2.0)
https://github.com/spring-projects/spring-ai
- Spring Framework'te sunulan yapay zekâ çerçevesi (henüz anlık görüntü aşamasında)
- OpenAI ve MS Azure tabanlı API entegrasyonunu destekler ve soyutlama katmanı sağlar.
- Yapay zekâ işlevlerini daha kolay ve ölçeklenebilir bir şekilde uygulamayı hedefleyen Yapay Zekâ Şablonları kullanır.
**Data Juicer** (Apache-2.0)
https://github.com/alibaba/data-juicer
- Alibaba tarafından yayınlanan açık kaynak kodlu bir yazılım olup, LLM'ler için tek elden veri işleme sistemidir.
- Yeniden kullanılabilir 20'den fazla yapılandırma tarifi, 50'den fazla temel işlem ve zengin özelliklere sahip özel bir araç seti içeren sistematik bir kütüphane sunar.
- Otomatikleştirilmiş rapor oluşturma özelliği sayesinde detaylı veri analizleri yapılarak veri kümeleri daha derinlemesine anlaşılır.
Yorumlar0