كشفت دراسة جديدة أجراها باحثون من جامعة كارنيجي ميلون و Berri AI أن نموذج جوجل الجديد Gemini Pro لا يفي بالتوقعات، وهو أضعف في بعض المهام من نموذج GPT-3.5 Turbo من شركة Open AI.
وتشمل الدراسة أربعة نماذج لغوية هي&nbsp;Gemini Pro و GPT-4 Turbo و GPT-3.5&nbsp;Turbo و Mistral 8x7B، وأظهرت النتائج أن Gemini Pro أدى بطريقة ثابتة وبشكل أقل من GPT-3.5&nbsp;Turbo في مهام متنوعة.
ووجه الباحثون أسئلة في مواضيع مختلفة مثل العلوم الإنسانية والاجتماعية وحصل Gemini Pro على درجات أقل من نماذج Open AI في اختبار الأسئلة المعتمد على المعرفة، وظهرت نقاط ضعفه في فئات الجنس البشري والمنطق، والرياضيات الابتدائية والطب.
كما كشفت الدراسة عن توجه النموذج لاختيار اختيار D في أسئلة الاختيار المتعدد.
وردت جوجل على هذه الدراسة وأكدت أن نموذجها يتفوق على GPT-3.5 وأن نموذج Gemini Ultra سيتفوق على GPT-4 في 2024.
وعلى الرغم من المكاسب الطفيفة التي حققها نموذج جوجل في فئات الأمان والاقتصاد المدرسي، فإن الدراسة توضح أن نماذج Open AI ما زالت تتفوق على نماذج جوجل في التفكير العام، والبرمجة، والوكالة على الويب.
كما لاحظ الباحثون أن Gemini Pro تفوق في ترجمة المحتوى، ولكن مع مخاوف بشأن نظام التحكم في المحتوى الفائض.
تعد الدراسة ضربة موجعة لشركة جوجل، وتثير الشكوك حول قدرة نموذجها على منافسة نماذج Open AI.
وتواجه جوجل تحديات في تحقيق مكانة رائدة في سباق الذكاء الاصطناعي، وتأمل جوجل من خلال إطلاق Gemini Ultra العام المقبل أن تستطيع تحقيق ذلك.
تشير نتائج الدراسة إلى أن نموذج&nbsp;Gemini Pro من جوجل لا يزال في مرحلة التطوير، وأنه بحاجة إلى تحسينات كبيرة قبل أن يتمكن من التنافس مع نماذج Open AI الرائدة.