เลือกใช้ AI รุ่นไหนให้คุ้มค่า ! เปลี่ยนจาก o1-preview มาใช้ o1-mini ดีกว่ายังไง ?

การมาของ OpenAI o1-mini โมเดล AI ที่มีจุดเด่นด้านความคุ้มค่า (Cost-efficient) การใช้เหตุผลที่เฉียบคม และเป็นผู้ช่วยที่เชี่ยวชาญในงานด้าน STEM ซึ่งผ่านการพิสูจน์มาแล้วว่าสามารถเขียนโค้ด และแก้โจทย์คณิตศาสตร์ได้เป็นอย่างดี โดยผ่านการประเมินเกณฑ์มาตรฐาน AIME และ Codeforces ว่ามีประสิทธิภาพใกล้เคียงโมเดลรุ่นพี่อย่าง OpenAI o1

o1-mini , AI สำหรับงานด้านการวิเคราะห์เชิงหลักการ

การเลือกใช้โมเดล AI เปรียบเสมือนการเลือกเครื่องมือให้เหมาะสมกับประเภทของงาน โมเดลขนาดเล็กของโมเดลรุ่นนี้คือตัวเลือกที่น่าสนใจสำหรับผู้ที่ต้องการประสิทธิภาพสูงในต้นทุนที่ประหยัด และยังทำงานได้อย่างรวดเร็ว เหมาะสำหรับการใช้งานที่ต้องอาศัยความเร็วในการประมวลผล มาพร้อมกับไซต์ขนาดเล็ก —.-’ (แต่ความสามารถไม่เล็กตาม)

ความคุ้มค่า และประสิทธิภาพที่เกินต้าน !

AIME vs Inference Cost (%) - o1-mini
AIME vs Inference Cost (%) - o1-mini

เมื่อวัดประสิทธิภาพของโมเดลในการใช้ตรรกะทางคณิตศาสตร์เปรียบเทียบกับต้นทุนการใช้งาน พบว่าโมเดลขนาดเล็กใช้ทรัพยากรที่ต่ำกว่ารุ่นพี่ใหญ่ แต่เมื่อนำมาเปรียบเทียบในด้านประสิทธิภาพแล้ว พบว่าแทบจะไม่มีความแตกต่างกันเลย อาจจะน้อยกว่านิดหน่อย แต่ก็อยู่ในจุดที่สามารถรับได้เมื่อพิจารณาถึงความคุ้มค่า

จุดเด่นในงานด้าน Mathematics และ Coding

  • Mathematics : การทดสอบ AIME แสดงให้เห็นว่าโมเดลขนาดเล็กทำผลงานได้ดีมาก โดยได้คะแนนเฉลี่ยสูงถึง 70% ซึ่งใกล้เคียงกับ o1 (74.4%) ที่เป็นโมเดลรุ่นใหญ่ แถมยังทำได้ดีกว่า o1-preview (44.6%) อย่างเห็นได้ชัด
  • Coding : บนเว็บไซต์การแข่งขันทางด้านเขียนโปรแกรมอย่าง Codeforces ได้ให้คะแนนโมเดลขนาดเล็กสูงถึง 1650 ซึ่งใกล้เคียงกับ o1 1673 และสูงกว่า o1-preview 1258 อยู่มาก นั่นหมายความว่าโมเดลขนาดเล็กรุ่นนี้เก่งพอๆ กับโปรแกรมเมอร์มืออาชีพถึง 86% นอกจากนี้ยังทำคะแนนทดสอบเขียนโค้ด และผ่านการทดสอบด้านความปลอดภัยทำคะแนนได้ออกมาได้อย่างดีเยี่ยม !

วัดประสิทธิภาพในการเขียนโค้ดด้วย Codeforces

การประเมินความชอบโดยมนุษย์

Human Preference Evaluation
Human Preference Evaluation

เมื่อลองนำโมเดลขนาดจิ๋วไปเปรียบเทียบกับ GPT-4o โดยให้ผู้ใช้ทดลองใช้กับคำถามยากๆ ซับซ้อน หลากหลายรูปแบบ ผลปรากฏว่าผู้คนชอบวิธีการคิด และให้เหตุผลของโมเดลรุ่นเล็กมากกว่า แต่ถ้าเป็น งานที่ต้องใช้ภาษาที่สวยงาม หรือความคิดสร้างสรรค์ GPT-4o ยังทำได้ดีกว่า

ทำไมถึงต้องตัดสินใจใช้รุ่น mini ?

  • ประหยัดค่าใช้จ่าย : เหมาะกับการใช้งานในอุปกรณ์ที่มีทรัพยากรจำกัด
  • ทำงานได้เร็ว : ให้ผลลัพธ์ที่ต้องการได้อย่างรวดเร็ว
  • เน้นเฉพาะทาง : เก่งเฉพาะด้านที่ถูกออกแบบมา ทำงานได้แม่นยำกว่าในด้านที่โมเดลถนัด

บทสรุป

โมเดลขนาดเล็กเหมือนมีสมองที่เล็กกว่า แต่ฉลาดเฉพาะทางมากกว่า จึงเหมาะกับงานที่ต้องการความแม่นยำในการคิดคำนวณ หรือวิเคราะห์ข้อมูล เช่น การแก้สมการ การเขียนโค้ด หรือการทำนายผลทางวิทยาศาสตร์ มาพร้อมการทำงานที่รวดเร็วกว่าจึงเป็นตัวช่วยที่ตอบโจทย์ด้านการใช้เหตุผลได้เป็นอย่างดี – แต่อย่างไรก็ตาม ข้อจำกัดของโมเดลขนาดเล็ก (Small LLMs) ที่ทางผู้พัฒนาทิ้งท้ายไว้ ก็ยังคงเป็นเรื่องที่นอกเหนือจากงานด้าน STEM ที่โมเดลอาจไม่ได้เก่งมากนัก ซึ่งผู้พัฒนาได้เห็นถึงข้อจำกัดเหล่านี้ และพยายามที่จะพัฒนาต่อไปในอนาคต

ที่มา : OpenAI

AI เปลี่ยนโลก (Admin.earth)
AI เปลี่ยนโลก (Admin.earth)

Blogger technology in programmers' stains.

Articles: 118

Copyright © 2024 - เขียนโค้ดดอทคอม


Verified by MonsterInsights