เกิดอะไรขึ้น
เมื่อโมเดลภาษาถูกขยายขนาดขึ้น ความต้องการข้อมูลสำหรับฝึกก็เพิ่มขึ้นตามไปด้วย แต่แหล่งข้อมูลที่มีคุณค่าบางประเภท เช่น ภาษาที่มีทรัพยากรจำกัด หรือโดเมนเฉพาะทาง กลับมีอยู่ในปริมาณจำกัดเท่านั้น
นักวิจัยจาก Apple Machine Learning ได้ศึกษาวิธีแก้ปัญหาที่ใช้กันทั่วไป นั่นคือการผสมข้อมูลเป้าหมายที่หายากแต่มีคุณค่าสูงเข้ากับข้อมูลทั่วไปที่มีอยู่มากมาย
การศึกษานี้ใช้การรันฝึกโมเดลภาษามากกว่า 2,000 ครั้ง เพื่อวิเคราะห์จุดสมดุลระหว่างการให้โมเดลเห็นข้อมูลในโดเมนเป้าหมายน้อยเกินไป กับการนำตัวอย่างข้อมูลเป้าหมายชุดเดิมมาใช้ซ้ำบ่อยเกินไป
ผลการศึกษาแสดงให้เห็นว่าข้อมูลเป้าหมายที่น้อยเกินไปจะทำให้ประสิทธิภาพในโดเมนเป้าหมายอ่อนแอลง ในขณะที่การใช้มากเกินไปจะนำไปสู่ผลตอบแทนที่ลดน้อยถอยลงและท้ายที่สุดก็เกิดการโอเวอร์ฟิต
ทำไมเรื่องนี้จึงสำคัญ
งานวิจัยนี้ชี้ให้เห็นความตึงเครียดสำคัญในขั้นตอนการพรีเทรน นั่นคือปัญหาข้อมูลขาดแคลนไม่สามารถแก้ไขได้ด้วยการเพิ่มข้อมูลเข้าไปเสมอไป การออกแบบสัดส่วนการผสมข้อมูลจึงกลายเป็นตัวควบคุมที่สำคัญ
สำหรับผู้พัฒนาโมเดลที่มุ่งเป้าไปยังโดเมนเฉพาะทางหรือโดเมนที่ยังขาดการดูแล การเข้าใจข้อแลกเปลี่ยนนี้เป็นสิ่งจำเป็นในการตัดสินใจว่าจะให้น้ำหนักกับข้อมูลเป้าหมายที่มีจำกัดมากเพียงใด โดยไม่สูญเสียความสามารถในการทำงานทั่วไป
กฎการขยายขนาด (scaling laws) ที่คำนึงถึงแหล่งข้อมูลที่ถูกจำกัดอาจนำไปสู่การตัดสินใจที่มีหลักการมากขึ้นเกี่ยวกับองค์ประกอบของชุดข้อมูล เมื่อขนาดของโมเดลเพิ่มขึ้นเรื่อยๆ
ข้อเท็จจริงสำคัญ
การขยายขนาดของโมเดลภาษาทำให้ความต้องการข้อมูลเพิ่มขึ้น แต่แหล่งข้อมูลเป้าหมายบางประเภทกลับมีขนาดจำกัดโดยธรรมชาติ
กลยุทธ์ที่ใช้กันทั่วไปคือการผสมข้อมูลเป้าหมายที่หายากเข้ากับข้อมูลทั่วไปที่มีอยู่มากมาย
การศึกษานี้ตรวจสอบข้อแลกเปลี่ยนดังกล่าวผ่านการรันฝึกโมเดลภาษามากกว่า 2,000 ครั้ง
สิ่งที่ต้องจับตาดูต่อไป
งานวิจัยในอนาคตอาจนำผลการค้นพบเหล่านี้ไปแปลงเป็นแนวทางปฏิบัติสำหรับอัตราส่วนการผสมข้อมูลที่เหมาะสมที่สุดสำหรับโดเมนที่มีข้อจำกัดด้านข้อมูล
คาดว่างานวิจัยด้าน scaling law ในอนาคตจะนำผลของการใช้ข้อมูลซ้ำและการโอเวอร์ฟิตมาพิจารณาอย่างชัดเจนในการคาดการณ์ประสิทธิภาพของโมเดล