ด้วยโอเพนซอร์สที่เกี่ยวข้องกับ AI จำนวนมากที่ทะลักเข้ามา ทำให้ระบบนิเวศโอเพนซอร์สได้ก้าวเข้าสู่ยุคฟื้นฟูศิลปวิทยาแห่งโอเพนซอร์ส AI อย่างแท้จริง เริ่มต้นจากความสำเร็จของ LangChain มีโอเพนซอร์สจำนวนมากเกิดขึ้น ส่งผลให้ระบบ AI ในอุตสาหกรรมได้รับการพัฒนาอย่างรวดเร็ว
Open LLM
LLM (Large Language Model) ซึ่งเป็นหัวใจสำคัญของ AI สร้างสรรค์ แบ่งออกเป็น 2 ฝ่ายหลัก ได้แก่ Closed LLM ที่นำโดย GPT และ Open LLM ที่นำโดย Llama โดยทีม Mistral ได้เปิดตัวแบบจำลองด้วยใบอนุญาตโอเพนซอร์ส และแสดงให้เห็นถึงประสิทธิภาพที่ยอดเยี่ยม จึงได้รับความสนใจจากผู้คนจำนวนมาก Open LLM ส่วนใหญ่จะได้รับการดูแลและจัดหาผ่าน Hugging Face
Mixtral-8x7B-Instruct-v0.1(Apache-2.0)
https://huggingface.co/mistralai/Mixtral-8x7B-Instruct-v0\.1
- ใช้แบบจำลองผสมผสานผู้เชี่ยวชาญ (SMoE)
- แสดงประสิทธิภาพที่เหนือกว่าแบบจำลอง Llama 2 70B และใกล้เคียงกับ GPT-3.5 175B
- ติดอันดับ 3 ในการทดสอบ Chatbot Arena ซึ่งเป็นการทดสอบ Chatbot แบบปิดบัง รองจาก GPT-4 และ Claude-2
Llama-2-7b-chat(Llama 2 Community)
https://huggingface.co/meta-llama/Llama-2-7b-chat
- ใบอนุญาตที่อนุญาตให้ใช้ในเชิงพาณิชย์สำหรับบริการที่มีผู้ใช้งานรายเดือนน้อยกว่า 700 ล้านคน
- มีแบบจำลองที่พัฒนาต่อยอดจาก Llama-2 ออกมามากมาย
phi-2(MIT)
https://huggingface.co/microsoft/phi-2
- แบบจำลองขนาดเล็กที่มีพารามิเตอร์ 2.7B ที่เปิดตัวโดย MS
- ผลการทดสอบความรู้ทั่วไป ความเข้าใจภาษา และการอนุมานเชิงตรรกะแสดงให้เห็นว่าประสิทธิภาพดีกว่าแบบจำลอง 13B
LLM 추론 및 서빙
เพื่อที่จะใช้ LLM ที่ผ่านการฝึกฝนมาอย่างดีได้อย่างมีประสิทธิภาพ จำเป็นต้องมีเครื่องมือที่รวดเร็วและสามารถจัดการทรัพยากรคอมพิวเตอร์ได้อย่างมีประสิทธิภาพ
Ollama(MIT)
https://github.com/jmorganca/ollama
- สามารถรัน LLM ระดับ 7B บนสภาพแวดล้อมในเครื่อง เช่น Mac, Linux และ Windows ได้โดยตรง
- ดาวน์โหลดและรันแบบจำลองได้ง่ายๆ ด้วยคำสั่งง่ายๆ
- จัดการแบบจำลองผ่าน CLI และสนทนาแบบง่ายๆ ได้
- สามารถใช้งานได้หลากหลายผ่าน API ที่ให้มา
vLLM(Apache-2.0)
https://github.com/vllm-project/vllm
- ไลบรารีที่รวดเร็วและใช้งานง่ายสำหรับการอนุมานและการให้บริการ LLM
- รองรับแบบจำลองที่ Hugging Face จัดหาให้
- มีการประมวลผลแบบกระจาย การประมวลผลแบบขนาน การส่งออกแบบสตรีมมิ่ง และ API ที่เข้ากันได้กับ OpenAI
- รองรับ Nvidia และ AMD GPU
KServe(Apache-2.0)
https://github.com/kserve/kserve- แพลตฟอร์มสำหรับการอนุมานแบบจำลอง ML ที่สามารถสร้างบน Kubernetes ได้ - มีอินเทอร์เฟซการแยกส่วนสำหรับการปรับขนาด การเชื่อมต่อเครือข่าย และการตรวจสอบ
LLM 프록싱
LiteLLM(MIT)
https://github.com/BerriAI/litellm
- รวม API ของ LLM ต่างๆ และให้บริการพร็อกซี
- ปฏิบัติตามรูปแบบ API ของ OpenAI
- ให้การจัดการการรับรองความถูกต้องของ API ตามผู้ใช้
One API(MIT)
https://github.com/songquanpeng/one-api
- ช่วยให้เข้าถึงแบบจำลองขนาดใหญ่ทั้งหมดได้ทันทีผ่านรูปแบบ OpenAI API มาตรฐาน
- รองรับ LLM ต่างๆ และให้บริการพร็อกซี
- สามารถปรับสมดุลโหลดและกระจายแบบหลายๆ ที่ พร้อมทั้งให้ฟังก์ชันการจัดการผู้ใช้และกลุ่ม
AI Gateway(MIT)
https://github.com/Portkey-AI/gateway
- ให้การเชื่อมต่อกับ LLM มากกว่า 100 แบบผ่าน API เดียวที่รวดเร็วและคุ้นเคย
- รับประกันการเข้าถึงที่รวดเร็วด้วยการติดตั้งขนาดเล็ก
LLM Monitoring Great Expectations(Apache-2.0)
https://github.com/great-expectations/great_expectations
- ช่วยให้ทีมข้อมูลสร้างความเข้าใจร่วมกันเกี่ยวกับข้อมูลผ่านการทดสอบคุณภาพ การสร้างเอกสาร และการสร้างโปรไฟล์
- สามารถรวมเข้ากับไปป์ไลน์ CI/CD เพื่อเพิ่มคุณภาพข้อมูลได้อย่างแม่นยำในตำแหน่งที่ต้องการ
LangFuse(MIT)
https://github.com/langfuse/langfuse
- ให้การมองเห็น การวิเคราะห์ การจัดการ การประเมิน การทดสอบ การตรวจสอบ การบันทึก และการติดตาม LLM แบบโอเพนซอร์ส
- สามารถเรียกดูและแก้ไขปัญหาบันทึกและการติดตามที่ซับซ้อนได้จาก UI ที่มองเห็นได้
- มีแผนที่จะเพิ่มฟังก์ชันสำหรับองค์กรในอนาคต
Giskard(Apache-2.0, Dual License)
https://github.com/Giskard-AI/giskard
- สามารถตรวจจับจุดอ่อนของแบบจำลอง AI ได้โดยอัตโนมัติ ตั้งแต่แบบจำลองในรูปแบบตารางไปจนถึง LLM เช่น อคติ การรั่วไหลของข้อมูล ความสัมพันธ์ที่ผิดพลาด ภาพหลอน ความเป็นพิษ และปัญหาความปลอดภัย
- สแกนและสร้างชุดทดสอบจุดอ่อนของแบบจำลอง AI โดยอัตโนมัติ เพื่อสนับสนุนกระบวนการรับประกันคุณภาพของแบบจำลอง ML และ LLM
- ให้บริการแพลตฟอร์ม SaaS สำหรับตรวจจับความเสี่ยงด้านความปลอดภัยของ AI ในแอปพลิเคชัน LLM ที่ใช้งานอยู่ (แบบพรีเมียม)
LLM Framework
LangChain (MIT)
https://github.com/langchain-ai/langchain
- เป็นเฟรมเวิร์กสำหรับการพัฒนาแอปพลิเคชันที่ขับเคลื่อนด้วยแบบจำลองภาษา
- มีให้บริการใน Python และ Javascript และให้เลเยอร์การแยกส่วนที่รวมไลบรารีต่างๆ เข้าด้วยกัน
- สามารถปรับใช้ LangChain ที่สร้างขึ้นเป็น API ได้
LlamaIndex(MIT)
https://github.com/run-llama/llama_index
- เป็นเฟรมเวิร์กที่เน้นข้อมูลสำหรับแอปพลิเคชัน LLM
- ให้ตัวเชื่อมต่อข้อมูลสำหรับรวบรวมแหล่งข้อมูลและรูปแบบข้อมูลที่มีอยู่ (API, PDF, เอกสาร, SQL ฯลฯ)
- ให้วิธีการจัดโครงสร้างข้อมูล (ดัชนี กราฟ) เพื่อให้ LLM สามารถใช้ข้อมูลได้ง่ายขึ้น
Haystack(Apache-2.0)
https://github.com/deepset-ai/haystack
- เป็นเฟรมเวิร์ก LLM สำหรับการสร้าง RAG (Retrieval Augmented Generation) การค้นหาเอกสาร การตอบคำถาม และการสร้างคำตอบได้อย่างง่ายดาย
- สร้างขึ้นบนพื้นฐานของแนวคิดไปป์ไลน์
Flowise(Apache-2.0)
https://github.com/FlowiseAI/Flowise
- สามารถสร้าง LLM Flow ที่กำหนดเองได้โดยการลากและวาง UI
LangFlow(MIT)
https://github.com/logspace-ai/langflow
- ช่วยให้สามารถทดลองและสร้างต้นแบบไปป์ไลน์ LangChain ได้อย่างง่ายดาย
- รันผ่าน CLI และรองรับการปรับใช้ Langflow บน Google Cloud Platform (GCP)
Spring AI(Apache-2.0)
https://github.com/spring-projects/spring-ai
- เฟรมเวิร์ก AI ที่ให้บริการโดย Spring Framwork (ยังอยู่ในสถานะสแนปช็อต)
- รองรับการเชื่อมโยง API ที่ใช้ OpenAI และ MS Azure และให้เลเยอร์การแยกส่วน
- มีเป้าหมายที่จะใช้ AI Template เพื่อให้สามารถใช้งานและขยายฟังก์ชัน AI ได้ง่ายขึ้น
Data Juicer(Apache-2.0)
https://github.com/alibaba/data-juicer
- โอเพนซอร์สที่ Alibaba เปิดตัว เป็นระบบประมวลผลข้อมูลแบบครบวงจรสำหรับ LLM
- ให้ไลบรารีที่มีโครงสร้างเป็นระบบ ประกอบด้วยสูตรสำเร็จมากกว่า 20 แบบ OP หลักมากกว่า 50 แบบ และชุดเครื่องมือที่ครบครัน
- มีฟังก์ชันการสร้างรายงานอัตโนมัติ เพื่อดำเนินการวิเคราะห์ข้อมูลโดยละเอียดและทำความเข้าใจชุดข้อมูลได้ลึกยิ่งขึ้น
ความคิดเห็น0