ด้วยโอเพ่นซอร์สที่เกี่ยวข้องกับ AI กำลังเพิ่มขึ้นอย่างรวดเร็ว ส่งผลให้ระบบนิเวศโอเพ่นซอร์สเผชิญกับยุคทองของโอเพ่นซอร์ส AI ความสำเร็จของ LangChain เป็นจุดเริ่มต้นของโอเพ่นซอร์สมากมายที่กำลังเติมเต็มระบบ AI ในอุตสาหกรรมอย่างรวดเร็ว

Open LLM

แกนหลักของ AI สร้างสรรค์ หรือ LLM (Large Language Model) แบ่งออกเป็นสองแบบหลัก คือ Closed LLM ที่นำโดย GPT และ Open LLM ของค่าย Llama โดยทีม Mistral ได้เปิดตัวแบบจำลองด้วยใบอนุญาตโอเพ่นซอร์ส และแสดงให้เห็นถึงประสิทธิภาพที่ยอดเยี่ยม ทำให้ได้รับความสนใจจากผู้คนมากมาย Open LLM ส่วนใหญ่ได้รับการดูแลและจัดเตรียมผ่าน Hugging Face

Mixtral-8x7B-Instruct-v0.1(Apache-2.0)

https://huggingface.co/mistralai/Mixtral-8x7B-Instruct-v0\.1

- ใช้แบบจำลองผสมแบบผู้เชี่ยวชาญ (SMoE)

- แสดงให้เห็นถึงประสิทธิภาพที่เหนือกว่า Llama 2 70B Model และ GPT-3.5 175B

- ติดอันดับ 3 ในการทดสอบแชทบอตแบบบอด คือ Chatbot Arena รองจาก GPT-4 และ Claude-2

Llama-2-7b-chat(Llama 2 Community)

https://huggingface.co/meta-llama/Llama-2-7b-chat

- เป็นใบอนุญาตที่อนุญาตให้ใช้ในเชิงพาณิชย์สำหรับบริการที่มีผู้ใช้งานรายเดือนไม่เกิน 700 ล้านคน

- มีแบบจำลองที่派生จาก Llama-2 ที่ได้รับการปรับแต่งให้ดีขึ้นมากมาย

phi-2(MIT)

https://huggingface.co/microsoft/phi-2

- เป็นแบบจำลองขนาดเล็กที่มีพารามิเตอร์ 2.7B ที่เปิดตัวโดย MS

- ผลการทดสอบแสดงให้เห็นว่าแบบจำลองนี้ทำผลงานได้ดีกว่าแบบจำลองขนาด 13B ในด้านความรู้ทั่วไป การทำความเข้าใจภาษา และการอนุมานเชิงตรรกะ

LLM Inference and Serving

เพื่อให้สามารถใช้ LLM ที่ได้รับการฝึกฝนมาอย่างดีได้อย่างมีประสิทธิภาพ จำเป็นต้องมีเครื่องมือที่รวดเร็วและสามารถจัดการทรัพยากรการคำนวณได้อย่างมีประสิทธิภาพ

Ollama(MIT)

https://github.com/jmorganca/ollama

- สามารถเรียกใช้ LLM ขนาด 7B ในสภาพแวดล้อมภายในเครื่อง เช่น Mac, Linux และ Windows ได้โดยตรง

- สามารถดาวน์โหลดและเรียกใช้แบบจำลองได้ด้วยคำสั่งง่าย ๆ

- สามารถจัดการแบบจำลองได้ด้วย CLI และแชทง่าย ๆ

- สามารถใช้งานได้หลากหลายผ่าน API ที่จัดเตรียมไว้

vLLM(Apache-2.0)

https://github.com/vllm-project/vllm

- เป็นไลบรารีที่รวดเร็วและใช้งานง่ายสำหรับการอนุมานและการให้บริการ LLM

- รองรับแบบจำลองที่จัดเตรียมโดย Hugging Face

- รองรับการประมวลผลแบบกระจาย การประมวลผลแบบขนาน การส่งออกแบบสตรีมมิ่ง และ API ที่เข้ากันได้กับ OpenAI

- รองรับ GPU ของ Nvidia และ AMD

KServe(Apache-2.0)

https://github.com/kserve/kserve- แพลตฟอร์มสำหรับการอนุมานแบบจำลอง ML ที่สามารถสร้างขึ้นในสภาพแวดล้อม Kubernetes - ให้บริการอินเทอร์เฟซนามธรรมสำหรับการปรับขนาด เครือข่าย และการตรวจสอบ

LLM Proxying

LiteLLM(MIT)

https://github.com/BerriAI/litellm

- รวม API LLM ต่าง ๆ และให้บริการพร็อกซี

- ปฏิบัติตามรูปแบบ API ของ OpenAI

- ให้บริการการจัดการการรับรองความถูกต้องของ API ตามผู้ใช้

One API(MIT)

https://github.com/songquanpeng/one-api

- ทำให้สามารถเข้าถึงแบบจำลองขนาดใหญ่ทั้งหมดได้ทันทีผ่านรูปแบบ OpenAI API มาตรฐาน

- รองรับ LLM ที่หลากหลายและให้บริการพร็อกซี

- สามารถปรับสมดุลโหลดและจัดการแบบกระจายได้ และให้บริการการจัดการผู้ใช้และฟังก์ชันแบบกลุ่ม

AI Gateway(MIT)

https://github.com/Portkey-AI/gateway

- ให้บริการการเชื่อมต่อกับ LLM มากกว่า 100 แบบด้วย API ที่รวดเร็วและคุ้นเคย

- การติดตั้งขนาดเล็กช่วยให้มั่นใจได้ว่าสามารถเข้าถึงได้อย่างรวดเร็ว

LLM Monitoring Great Expectations(Apache-2.0)

https://github.com/great-expectations/great_expectations

- ช่วยให้ทีมข้อมูลสร้างความเข้าใจร่วมกันเกี่ยวกับข้อมูลผ่านการทดสอบคุณภาพ การจัดทำเอกสาร และการสร้างโปรไฟล์

- สามารถรวมเข้ากับไปป์ไลน์ CI/CD เพื่อเพิ่มคุณภาพข้อมูลในตำแหน่งที่ถูกต้องได้อย่างแม่นยำ

LangFuse(MIT)

https://github.com/langfuse/langfuse

- ให้บริการความสามารถในการมองเห็น LLM แบบโอเพ่นซอร์ส การวิเคราะห์ การจัดการอย่างรวดเร็ว การประเมิน การทดสอบ การตรวจสอบ การบันทึก และการติดตาม

- สามารถสำรวจและดีบักล็อกและการติดตามที่ซับซ้อนได้จาก UI แบบภาพ

- มีกำหนดเพิ่มฟังก์ชันสำหรับองค์กรในอนาคต

Giskard(Apache-2.0, Dual License)

https://github.com/Giskard-AI/giskard

- สามารถตรวจจับช่องโหว่ของแบบจำลอง AI ได้อย่างอัตโนมัติ ตั้งแต่แบบจำลองตารางไปจนถึง LLM รวมถึงความลำเอียง การรั่วไหลของข้อมูล ความสัมพันธ์ที่ผิดพลาด การหลอน พิษ และปัญหาความปลอดภัย

- ช่วยเหลือกระบวนการรับประกันคุณภาพของแบบจำลอง ML และ LLM โดยการสแกนช่องโหว่ของแบบจำลอง AI และสร้างชุดทดสอบอัตโนมัติ

- ให้บริการแพลตฟอร์ม SaaS เพื่อตรวจจับความเสี่ยงด้านความปลอดภัยของ AI ในแอปพลิเคชัน LLM ที่ใช้งานอยู่ (พรีเมียม)

LLM Framework

LangChain (MIT)

https://github.com/langchain-ai/langchain

- เป็นเฟรมเวิร์กสำหรับการพัฒนาแอปพลิเคชันที่ขับเคลื่อนด้วยแบบจำลองภาษา

- มีให้บริการใน Python และ Javascript และให้บริการเลเยอร์นามธรรมที่รวมไลบรารีมากมาย

- สามารถเผยแพร่ LangChain ที่สร้างขึ้นเป็น API ได้

LlamaIndex(MIT)

https://github.com/run-llama/llama_index

- เป็นเฟรมเวิร์กเฉพาะข้อมูลสำหรับแอปพลิเคชัน LLM

- ให้บริการตัวเชื่อมต่อข้อมูลสำหรับการรวบรวมแหล่งข้อมูลและรูปแบบข้อมูลที่มีอยู่ (API, PDF, เอกสาร, SQL ฯลฯ)

- ให้บริการวิธีการจัดโครงสร้างข้อมูล (ดัชนี กราฟ) เพื่อให้ LLM สามารถใช้ข้อมูลได้ง่ายขึ้น

Haystack(Apache-2.0)

https://github.com/deepset-ai/haystack

- เป็นเฟรมเวิร์ก LLM สำหรับการสร้างระบบที่ง่ายขึ้น เช่น การสร้างแบบจำลองการเพิ่มประสิทธิภาพการค้นหา (RAG) การค้นหาเอกสาร การตอบคำถาม การสร้างคำตอบ

- สร้างขึ้นบนพื้นฐานของแนวคิดไปป์ไลน์

Flowise(Apache-2.0)

https://github.com/FlowiseAI/Flowise

- สามารถสร้างฟลูว์ LLM แบบกำหนดเองได้โดยการลากและวาง UI

LangFlow(MIT)

https://github.com/logspace-ai/langflow

- ช่วยให้สามารถทดลองและสร้างต้นแบบไปป์ไลน์ LangChain ได้อย่างง่ายดาย

- เรียกใช้โดยใช้ CLI และรองรับการปรับใช้ Langflow บน Google Cloud Platform (GCP)

Spring AI(Apache-2.0)

https://github.com/spring-projects/spring-ai

- เฟรมเวิร์ก AI ที่จัดเตรียมโดย Spring Framework (อยู่ในสถานะสแนปช็อต)

- รองรับการเชื่อมต่อ API ที่ใช้ OpenAI และ MS Azure และให้บริการเลเยอร์นามธรรม

- มีเป้าหมายเพื่อให้สามารถนำฟังก์ชัน AI ไปใช้ได้ง่ายขึ้นและมีขีดความสามารถในการขยายได้โดยใช้ AI Template

Data Juicer(Apache-2.0)

https://github.com/alibaba/data-juicer

- โอเพ่นซอร์สที่เปิดตัวโดย Alibaba เป็นระบบประมวลผลข้อมูลแบบครบวงจรสำหรับ LLM

- ให้บริการไลบรารีที่มีระบบอย่างเป็นระบบ ประกอบด้วยสูตรการกำหนดค่ามากกว่า 20 สูตรที่สามารถนำกลับมาใช้ใหม่ได้ OP หลักมากกว่า 50 รายการ และชุดเครื่องมือเฉพาะที่เต็มไปด้วยฟังก์ชัน

- สามารถทำการวิเคราะห์ข้อมูลอย่างละเอียดโดยใช้ฟังก์ชันการสร้างรายงานอัตโนมัติเพื่อทำความเข้าใจชุดข้อมูลได้ลึกซึ้งยิ่งขึ้น