FrontierMath v2: ٤٢٪ من المسائل الرياضية كان بها أخطاء

في ١٢ يونيو ٢٠٢٦، أطلقت Epoch AI إصدار FrontierMath v2 — وهو تحديث عالج أخطاء في ٤٢٪ من مسائل المعيار المرجعي، حيث قام بتصحيح ١٣٥ مسألة وحذف ١٢ أخرى. يعد FrontierMath أحد أصعب اختبارات الرياضيات في الذكاء الاصطناعي، ومنذ ظهوره لأول مرة في عام ٢٠٢٤، كانت نتائجه ركيزة لادعاءات "أحدث ما توصل إليه العلم" (state-of-the-art) في الاستنتاج. ويعد الإصدار v2 تذكيرًا بأنه حتى المعايير المرجعية الرائدة يمكن أن تكون مخطئة في حصة كبيرة من أسئلتها الخاصة.

ملخص

• ماذا حدث: أصدرت Epoch AI نسخة FrontierMath v2 في ١٢ يونيو ٢٠٢٦، بعد عملية تدقيق كشفت عن أخطاء أثرت على ٤٢٪ من المسائل.^١
• الأرقام: قام الإصدار v2 بتصحيح ١٢٣ مسألة في المستويات (Tiers) من ١ إلى ٣ و١٢ مسألة في المستوى ٤، وحذف ٥ مسائل من المستويات ١-٣ و٧ مسائل من المستوى ٤. تضم مجموعة البيانات الآن ٣٣٨ مسألة — مجموعة أساسية مكونة من ٢٩٥ مسألة (المستويات ١-٣) بالإضافة إلى توسعة للمستوى ٤ تضم ٤٣ مسألة.^١
• ما الذي تعطل: كانت معظم الأخطاء عبارة عن زلات حسابية بسيطة ارتكبها المؤلف أثناء استخراج الإجابة النهائية (أخطاء بزيادة أو نقصان واحد، أو عكس الإشارات). كانت هناك حفنة من صياغات المسائل غامضة بشكل قاتل.^٢
• كيف تم اكتشاف ذلك: بدأ التدقيق في أبريل ٢٠٢٦ بعد أن أشارت OpenAI إلى وجود أخطاء أكثر من المتوقع في مراجعة داخلية. استخدمت Epoch نماذج GPT-5.5 و Claude Opus 4.7 للكشف عن المسائل المشبوهة، ثم استعانت بعلماء رياضيات لتأكيدها.^٢
• التأثير: ارتفعت النتائج بضع نقاط في المجمل، لكن ترتيب النماذج ظل كما هو بشكل عام.^٢
• لماذا يهم هذا: كل ادعاء بـ "الأفضل في FrontierMath" تم تقديمه قبل ١٢ يونيو تم تقييمه بناءً على اختبار كان مخطئًا في مسألتين من كل خمس مسائل من أسئلته الخاصة.

ما ستتعلمه

• ما هو FrontierMath ولماذا أصبح معيارًا مرجعيًا
• ما الذي تغير بالضبط في تحديث v2
• أنواع الأخطاء التي أفلتت من مراجعة الخبراء
• كيف وجدها التدقيق — ودور نماذج الذكاء الاصطناعي في ذلك
• كيف تحركت لوحة المتصدرين بعد الإصلاح
• ماذا تعني هذه الواقعة لأي شخص يختار النماذج بناءً على أرقام المعايير المرجعية

ما هو FrontierMath؟

FrontierMath هو معيار مرجعي يضم مئات المسائل الرياضية الأصلية التي صاغها خبراء، وبنته Epoch AI لقياس الاستنتاج الرياضي المتقدم. تم إطلاقه في ٨ نوفمبر ٢٠٢٤، وتم تطويره بالتعاون مع أكثر من ٦٠ عالم رياضيات، بما في ذلك أساتذة، وكتاب أسئلة أولمبياد الرياضيات الدولي، وحائزون على ميدالية فيلدز.^٣ تغطي المسائل نظرية الأعداد الحسابية، والتحليل الحقيقي، والهندسة الجبرية، ونظرية الفئات، وتستغرق المسألة النموذجية من باحث متخصص ساعات — وأحيانًا أيامًا — لحلها.^٣

هناك خياران في التصميم جعلاه موثوقًا. أولاً، المسائل جديدة وغير منشورة، لذا لا يمكن للنموذج أن يكون قد حفظ الإجابة من بيانات التدريب. ثانيًا، كل إجابة هي رقم كبير أو كائن رياضي معقد يتم التحقق منه تلقائيًا عن طريق تشغيل دالة Python answer()، مع تصميم "مقاوم للتخمين" عن عمد: فرصة أقل من ١٪ للتخمين بشكل صحيح دون إجراء الحسابات الرياضية.^٣

عند إطلاقه، كان FrontierMath قاسيًا. النماذج الرائدة في ذلك الوقت — Claude 3.5 Sonnet، و OpenAI o1-preview، و GPT-4o، و Gemini 1.5 Pro — حلت كل منها أقل من ٢٪ من المسائل، مقابل نتائج تزيد عن ٩٠٪ في الاختبارات الأقدم مثل GSM-8K و MATH.^٣ هذه الفجوة هي بالضبط ما جعل المعيار المرجعي مفيدًا: فقد كان لديه مساحة للتطور لا يوفرها أي اختبار رياضيات آخر.

ما الذي تغير في FrontierMath v2

قام تحديث v2، الذي نُشر في مركز المعايير المرجعية الخاص بـ Epoch في ١٢ يونيو ٢٠٢٦، بإعادة صياغة حصة كبيرة من مجموعة البيانات.^١ إليك الحساب الدقيق من سجل التغييرات الخاص بـ Epoch:

التغيير	المستويات ١-٣	المستوى ٤	الإجمالي
مسائل تم تصحيحها	١٢٣	١٢	١٣٥
مسائل تم حذفها	٥	٧	١٢

بعد التنظيف، أصبحت مجموعة البيانات الكاملة ٣٣٨ مسألة: مجموعة أساسية مكونة من ٢٩٥ مسألة تسميها Epoch المستويات ١-٣، بالإضافة إلى توسعة مكونة من ٤٣ مسألة صعبة للغاية تسمى المستوى ٤.^١ هناك اثنتا عشرة مسألة عامة (عشر من المستويات ١-٣ واثنتان من المستوى ٤)؛ والباقي يظل خاصًا للحد من التلوث.^١ وبحساب التصحيحات والحذف معًا، مس التحديث ١٤٧ مسألة من أصل ٣٥٠ مسألة في النسخة السابقة (v1) — وهو رقم ٤٢٪ الذي تستشهد به Epoch.^١

ليست هذه هي المرة الأولى التي تقر فيها Epoch بالمخاطر. عند الإطلاق في عام ٢٠٢٤، قدرت مراجعة ثانية لعينة عشوائية أن حوالي ١ من كل ٢٠ مسألة (~٥٪) تحتوي على أخطاء، وهو ما أشارت Epoch إلى أنه مماثل لمعدلات الخطأ في معايير مرجعية مثل ImageNet.^٣ إن انتهاء تدقيق v2 بلمس ٤٢٪ يظهر مدى البعد الذي يمكن أن يصل إليه تقدير خطأ صغير يبدو معقولاً عن نتيجة مراجعة عميقة ومخصصة.

ما نوع الأخطاء التي تم العثور عليها

لم تكن الأخطاء غريبة. وفقًا لتقرير Epoch، كانت الغالبية العظمى عبارة عن أخطاء حسابية بسيطة تسللت عندما كان مؤلف المسألة يستخرج الإجابة النهائية — فئة الزلات المتمثلة في زيادة أو نقصان واحد وعكس الإشارة التي يدركها أي عالم رياضيات ممارس.^٢ نظرًا لأن FrontierMath يعتمد في تقييمه على المطابقة التامة بين الكائن الذي يقدمه النموذج وإجابة واحدة مخزنة، فإن رقمًا واحدًا خاطئًا في تلك الإجابة المخزنة يضع علامة خطأ بصمت على كل نموذج صحيح.

كانت هناك مجموعة أصغر من المسائل تحتوي على صياغات غامضة بشكل قاتل — تمت صياغتها بطريقة تسمح بأكثر من إجابة يمكن الدفاع عنها، مما يجعل التقييم التلقائي بلا معنى.^٢ كانت تلك هي المسائل الأكثر عرضة للحذف بدلاً من التصحيح.

الخلاصة دقيقة ولكنها مهمة: الرياضيات وراء المسائل كانت سليمة. ما فشل هو مسك الدفاتر المتعلق بمفتاح الإجابة، وهذا هو بالضبط المستوى الذي يكون فيه التقييم التلقائي القائم على المطابقة التامة أقل قدرة على اكتشافه بمفرده.

كيف تم اكتشاف الأخطاء

بدأ التدقيق في أبريل ٢٠٢٦، بعد أن أخبرت OpenAI شركة Epoch أنها وجدت أخطاء أكثر من المتوقع خلال مراجعة داخلية للمعيار المرجعي.^٢ قامت OpenAI بتمويل إنشاء FrontierMath ولديها وصول حصري إلى مجموعة فرعية منه، لذا فهي تمتلك رؤية عملية وثيقة للأسئلة.^١

اعتمدت عملية Epoch على نفس النماذج التي من المفترض أن يقيمها الاختبار المعياري. قام الفريق بتشغيل GPT-5.5 و Claude Opus 4.7 على مجموعة البيانات لتحديد المشكلات التي تبدو مشبوهة، ثم سلموا تلك الملاحظات إلى علماء رياضيات بشريين لمراجعتها.^٢ وتبين أن جميع العناصر المحددة تقريبًا كانت أخطاء حقيقية وجسيمة — من النوع الذي يجعل حل المشكلة مستحيلاً كما هي مكتوبة.^٢ بمعنى آخر، كانت النماذج الرائدة جيدة بما يكفي للمساعدة في العثور على الثغرات في اختبار صُمم لكشف حدودها.

كيف تحركت لوحة الصدارة

أدى تنظيف مفتاح الإجابة إلى رفع الدرجات، لأن المشكلات المصححة التي حلتها النماذج بالفعل أصبحت تُحتسب الآن لصالحها. أفادت Epoch أن الدرجات ارتفعت بشكل عام بينما ظلت التصنيفات ثابتة إلى حد كبير.^٢

قمة الجدول الحالية متقاربة للغاية. وفقًا لمجمع LM Council — وهو متتبع ثانوي، وليس تصنيف Epoch الرسمي — فإن كل من GPT-5.5 Pro و Claude Fable 5 يحققان حوالي ٨٧٪ في المستويات ١-٣، وهي فجوة تقع تمامًا ضمن هوامش الخطأ المتداخلة بينهما.^٤ تعامل مع أي رقم منفرد على أنه تقريبي: تبلغ المجمعات عن أرقام مختلفة نوعًا ما (يضع متتبع آخر درجة GPT-5.5 في المستويات ١-٣ أقرب إلى ٨٥٪)، ولا يعد أي منها تصنيف Epoch الرسمي. القصة القوية والمدعومة بالمصادر هي المسار — من أقل من ٢٪ عند الإطلاق في عام ٢٠٢٤ إلى أواخر الثمانينيات في المستويات ١-٣ في عام ٢٠٢٦.^٣٤

هذا المنحنى مذهل حقًا. وهو أيضًا السبب وراء أهمية دقة مفتاح الإجابة الأساسي: فعندما تتجمع النماذج في حدود نقطة أو نقطتين من بعضها البعض بالقرب من القمة، يمكن لحفنة من الإجابات المسجلة بشكل خاطئ أن تعيد ترتيب لوحة الصدارة.

ما يعنيه هذا للثقة في اختبارات الذكاء الاصطناعي المعيارية

تختار الفرق الهندسية النماذج، وتبرر الميزانيات، وتلتزم بالبنى التحتية جزئيًا بناءً على أرقام الاختبارات المعيارية. يعد FrontierMath v2 دراسة حالة واضحة لسبب استحقاق هذه الأرقام لنظرة ثانية.

هناك ثلاثة دروس بارزة. أولاً، معدل الخطأ المنشور هو الحد الأدنى، وليس السقف. تقدير Epoch الدقيق وقت الإطلاق بنسبة ~٥٪ كان أقل بكثير من ٤٢٪ التي وصل إليها تدقيق v2 — ليس لأن الفريق كان مهملًا، ولكن لأن العينة الفرعية الخفيفة والتدقيق العميق هما أداتان مختلفتان.^٢٣ ثانياً، التقييم بالمطابقة التامة يخفي أخطاء مفتاح الإجابة. عندما تحدد قيمة مخزنة واحدة الصواب من الخطأ، فإن أي خطأ مطبعي في تلك القيمة يعاقب كل نموذج صحيح بشكل غير مرئي. ثالثاً، الهوامش أهم من الترتيب. النموذج الذي "يتصدر" بنصف نقطة في اختبار به أخطاء معروفة في مفتاح الإجابة لم يثبت حقًا أنه يتصدر على الإطلاق.

لا شيء من هذا يجعل FrontierMath اختبارًا معياريًا سيئًا — بل العكس. لقد وجدت Epoch الأخطاء، ونشرت التصحيحات مسألة بمسألة، وأصدرت نسخًا من مجموعة البيانات، وأبقت v1 متاحًا للمقارنة.^١ هذه الشفافية هي النموذج الذي يجب على القائمين على الاختبارات المعيارية الآخرين نسخه. إذا كنت تستشهد بدرجات الاختبارات المعيارية في قرار ما، فإن الخطوة العملية هي ملاحظة إصدار الاختبار وتاريخه، والتعامل مع الفجوات التي تقل عن الهامش كتعادل، وتفضيل الاختبارات المعيارية التي تنشر سجل تغييرات على تلك التي تستبدل أرقامها بهدوء.

لمزيد من المعلومات حول كيفية انهيار نزاهة الاختبارات المعيارية بطرق أكثر دقة، راجع تحليلنا لـ اختبار DeepSWE المعياري ومخاوف التلوث. وللحصول على سياق حول النماذج التي تتصدر FrontierMath اليوم، راجع تغطيتنا لـ إطلاق Claude Opus 4.8 و Claude Fable 5.

الخلاصة

لم يكسر FrontierMath v2 الاختبار المعياري — بل أصلحه بشكل علني. لكن حجم الإصلاح هو القصة: اختبار رائد تم بناؤه بمساعدة الحائزين على ميدالية فيلدز والتحقق الآلي كان لا يزال بحاجة إلى معالجة أخطاء في ٤٢٪ من مسائله.^١ في المرة القادمة التي يعتمد فيها إطلاق نموذج على رقم اختبار معياري واحد، اسأل عن الإصدار الذي تم التقييم بناءً عليه، ومدى اتساع هوامش الخطأ، وما إذا كان القائم على الاختبار ينشر سجل تغييرات. في FrontierMath، أصبحت لهذه الأسئلة الآن إجابات واضحة.

---

المصادر