ما بعد الدرجات المرتفعة: تقييم الذكاء الاصطناعي الطبي عبر سير العمل السريري والسلامة والتكلفة

الملخص: تصنيفات الذكاء الاصطناعي الطبي لدعم القرارات المبنية على الأدلة

غالبًا ما يتم ضغط القوائم في مجال الذكاء الاصطناعي الطبي في جدول مرتبة حسب النتيجة الإجمالية. ومع ذلك، في السيناريو الطبي، لا يعني مجرد تقدم النموذج في أسئلة الاختبار أنه يمكنه جمع التاريخ الطبي بشكل ثابت، وتحديد المعلومات المفقودة، واختيار الفحوصات بشكل معقول، واتباع الإرشادات، والتعبير عن عدم اليقين في التشخيص والعلاج الحقيقي، كما لا يعني أنه مناسب لوضعه في خدمات المرضى أو سير عمل الطبيب. إن القيمة الحقيقية للقائمة لا تتمثل في إنشاء بطل واحد، بل في جعل القدرات النموذجية وحدود المهام والمخاطر والتكاليف ومستويات الأدلة قابلة للملاحظة والمقارنة والمراجعة.

تظل معايير الأسئلة والأجوبة الطبية ذات صلة. تقوم MedQA بتحويل أسئلة امتحان الممارس الطبي الأمريكي إلى أسئلة وأجوبة طبية. يتطلب PubMedQA من النموذج أن يجمع ملخص الورقة لتحديد ما إذا كان استنتاج البحث يدعم المشكلة؛ أنها توفر نقطة بداية قابلة للتكرار لتغطية المعرفة الطبية والقدرة على قراءة الأبحاث [1–2]. لكن الممارسة السريرية لا تقفز مباشرة من السؤال إلى الإجابة. لا يقدم المرضى المعلومات بترتيب الكتب المدرسية، وليست جميع الاختبارات معروفة، وقد تكون التشخيصات المتعددة معقولة في وقت واحد، وتتأثر القرارات بالوقت والموارد وتفضيلات المريض وتحمل المخاطر.

تعمل أعمال التقييم في السنوات الأخيرة على توسيع المعايير الطبية لتشمل مهام أقرب إلى العمل الحقيقي: يستخدم HealthBench نماذج التقييم التي كتبها الأطباء لتقييم المحادثات الصحية المفتوحة والمتعددة الجولات؛ يقوم AgentClinic بوضع الاستشارات واستخدام الأدوات والمعلومات غير الكاملة في بيئات سريرية محاكاة؛ يسمح MedAgentBench للوكلاء بإكمال المهام من خلال بيئة السجلات الطبية الإلكترونية الافتراضية التي تتوافق مع FHIR؛ ينظم MedHELM معايير طبية متعددة بناءً على نظام تصنيف المهام [3–6]. أشارت مراجعة الذكاء الاصطناعي السريري لعام 2026 أيضًا إلى أن الأسئلة القياسية والحالات المحاكاة والتحقق بأثر رجعي والتقييم السريري المحتمل هي على مستويات مختلفة من الأدلة ولا يمكن أن تحل محل بعضها البعض [7].

تعتمد هذه المقالة على خطة بناء تصنيف نماذج الذكاء الاصطناعي الطبية، مع التركيز على تحليل الجولات المتعددة من الاستشارة، ومحاكاة ردود فعل الفحص، وترميز التصنيف الدولي للأمراض، والأساس التوجيهي، ومحاسبة التكاليف، وتقييم الخبراء مزدوج التعمية، والتصميم التعاوني بين الإنسان والآلة. الحل له قيمة هندسية واضحة، ولكن هناك أيضًا مشكلات علمية يجب تصحيحها أولاً: لا يمكن استخدام درجات النموذج الداخلي بشكل مباشر كتصنيفات عامة عندما يكون حجم العينة، والإصدار، والكلمات السريعة، وقواعد التسجيل، وفترات الثقة غير مكتملة؛ لا يمكن لنتائج الفحص المفقودة أن يتم وصفها بهدوء على أنها "سلبية" بواسطة جهاز المحاكاة؛ لا ينبغي استخدام قائمة السجلات الطبية الحقيقية كمعيار ذهبي للتشخيص والعلاج بشكل افتراضي.

تقترح هذه المقالة مسار بناء أكثر قوة: حدد أولاً الاستخدامات والمخاطر، ثم قم بتنظيم الحالات المصدرية والمصرح بها والتمثيلية؛ إنشاء سلم أدلة بين الأسئلة الثابتة، وعمليات المحاكاة التفاعلية، والتحقق الخارجي بأثر رجعي، والطيارين المحتملين؛ تقديم تقرير في نفس الوقت عن الصحة والسلامة والمعايرة واستخدام الموارد وسهولة الاستخدام وأداء التعاون بين الإنسان والآلة؛ وأخيرًا، احتفظ بالقائمة بالبيانات الصادرة، والدرجات القابلة للتدقيق، واختبار الفريق الأحمر المستمر. بالنسبة إلى LumeSage، يمكن لهذا الاتجاه ربط هندسة البيانات والتعليقات الطبية ومراجعة الخبراء وإدارة الجودة والتقييم الخاص في عملية خدمة يمكن التحقق منها، بدلاً من تعبئة "الحصول على البيانات" أو "الإدراج في القائمة" كنتائج سريرية.

1. لماذا لا تثبت درجات الامتحانات الكفاءة السريرية

1. أسئلة المعرفة الطبية تقيس شرائح القدرة يُعد معيار الأسئلة الطبية متعدد الاختيارات

مناسبًا لاختبار استخلاص المعرفة وتحليل المفاهيم وعمليات التفكير المحدودة في ظل أسئلة واضحة. وتتمثل ميزتها في أن تنسيقات الأسئلة والأجوبة مستقرة نسبيًا، وسهلة إعادة الإنتاج، وسهلة إنشاء خطوط الأساس، ومناسبة لمراقبة تغييرات النموذج مع تحديثات الإصدار. المشكلة هي أن بنية أسئلة الاختبار تكثف المهمة السريرية في "معلومات معينة - اختر إجابة". لا يتعين على النموذج أن يطرح أسئلة، أو يقرر ما إذا كان سيتم اختباره، أو الإشارة إلى المعلومات غير الكافية لدعم الاستنتاج.

للأسئلة والأجوبة القائمة على الأبحاث أيضًا حدود المهام الخاصة بها. ينظم PubMedQA الأسئلة والسياق المجرد والاستنتاجات في أحكام نعم/لا/ربما، وهو مناسب لاختبار قراءة الأدلة والاستقراء، ولكن لا يمكن استنتاج أن النموذج قادر على التعامل مع المعلومات المتضاربة في السجلات الطبية أو التواصل الفعلي بين الطبيب والمريض. إن الإشارة إلى درجات الاختبار مباشرة باسم "الكفاءة السريرية" يعني استقراء نتائج مهمة ضيقة واحدة لمهمة أنظمة معقدة أخرى.

2. إن اتخاذ القرار السريري هو عملية متسلسلة

يتضمن التشخيص والعلاج الحقيقي سلسلة من الاختيارات المتفاعلة: ما الذي يجب طرحه أولاً، ومتى يجب المتابعة، وما إذا كان سيتم الاختبار، وكيفية تفسير النتائج الجديدة، وما إذا كان يجب مراجعة التشخيص التفريقي، ومتى يجب التوقف عن الاختبار، ومتى يتم طلب المراجعة. حول بحث AgentClinic أسئلة MedQA الثابتة إلى جولات متعددة من التفاعلات ووجد أن صعوبة اتخاذ القرار المتسلسل ستزداد بشكل كبير؛ وضع MedAgentBench مجموعة من المهام في بيئة سجلات طبية إلكترونية افتراضية، مما يتطلب من النموذج قراءة أو تشغيل السجلات الطبية المنظمة من خلال استدعاءات الأداة [4–5]. تذكر هذه الأعمال أن قدرة النموذج على الإجابة على الأسئلة وقدرة النموذج على إكمال العملية هما نوعان مختلفان من القدرات.

3. تكلفة الأخطاء الطبية غير متماثلة

لا يمكن خصم علامة حرجة مفقودة، وتلفيق نتيجة فحص لم يتم إجراؤها، واقتراح إجراءات غير ضرورية عالية المخاطر وفقًا لنفس المعايير مثل الصياغة السيئة. يمكن للدقة الشاملة أن تخفي هفوات السلامة ذات التردد المنخفض ولكن ذات العواقب العالية. معايير السلامة مثل NOHARM تأخذ "تكرار وشدة الضرر المحتمل" كموضوع تقييم خاص؛ لا يزال ينبغي تفسير أبحاثها وفقًا للحالات ونطاق التعليقات التوضيحية للورقة نفسها، ولكنها توضح بوضوح أن السلامة ليست مرادفة لدرجات المعرفة الطبية [8].

4. سوف تتقادم المعايير الطبية وقد تصبح "مطبوخة"

عند استخدام بنك الأسئلة العام عدة مرات للتدريب والتحسين السريع للكلمات واختيار النموذج، قد تعكس درجة القائمة المزيد من إلمام النموذج بتوزيع الأسئلة بدلاً من قدرته على التعميم عند مواجهة حالات جديدة. يمكن أيضًا أن تفقد مجموعات الاختبار الثابتة تمييزها بسرعة بسبب تكرار النموذج بسرعة كبيرة جدًا. تُظهر أبحاث Dynamic Red Teaming 2025 ومجلتها لعام 2026 قيمة مطالبات الطفرات المستمرة، وسيناريوهات الخصومة، واختبار الضغط الأمني ​​بالإضافة إلى الاختبار الثابت [9]. إن الاختبار الديناميكي ليس حلاً شاملاً: فإذا لم تكن قواعد الهجوم لكل جولة شفافة أو قابلة للتكرار، فسيكون من الصعب مقارنة النتائج. ولذلك، فمن الحكمة استخدام مجموعات عامة ثابتة لخطوط الأساس القابلة للتكرار، والمجموعات المخفية الخاضعة للرقابة، والتحقق من الصحة خارج الوقت، والفريق الأحمر الديناميكي لفحوصات الجدة والمتانة، والكشف بوضوح عن الأسئلة التي تمت الإجابة عليها بواسطة كل درجة.

2. من الاختبارات المعيارية الثابتة إلى تقييم سير العمل السريري

1. من إجابات الأسئلة الفردية إلى المحادثات الحقيقية تُظهر معلومات المشروع الأصلية الخاصة بـ

HealthBench أن المعيار يتضمن 5000 حوار صحي، تم إنشاؤها بواسطة 262 طبيبًا مارسوا المهنة في 60 دولة، وتم تصميم نموذج تقييم لكل عنصر على حدة للاستجابات النموذجية؛ تنص المعلومات الرسمية بوضوح على أن الحوار يمكن أن يكون متعدد المنعطفات، ومتعدد اللغات، ويغطي أيضًا سيناريوهات بين المستخدمين العاديين والمهنيين الطبيين [3]. ولذلك، فإن وصف HealthBench بأنه "جميع المحادثات المنفردة" في مواد البرنامج يحتاج إلى تصحيح. المفتاح هنا ليس ما إذا كان معيارًا معينًا هو "الأكثر تقدمًا"، ولكن يجب أن تعود مقدمة المعيار إلى الورقة الأصلية وتتحقق من وصف البيانات الرسمية، ولا يمكن الاعتماد على جداول مستعملة.

يقوم الأطباء بكتابة قواعد تقييم لكل عنصر على حدة للمساعدة في تجنب تقييم الاستجابات الطبية المفتوحة باستخدام مطابقة الكلمات الرئيسية وحدها. ولكن لا تزال هناك حاجة إلى التحقق من تغطية قواعد التقييم والأوزان وحدود القرار وأدوات تصنيف التقديرات التلقائية. استخدم العمل الأصلي على HealthBench أيضًا نماذج الهدافين وطلب من الأطباء مراجعتها للتأكد من اتساقها مع الأحكام البشرية؛ هذه الأساليب مناسبة للتوسع، ولكن لا ينبغي تفسيرها على أنها "قضاة ماجستير في القانون موضوعيون بطبيعتهم".

2. من الحالات الثابتة إلى البيئة التفاعلية

AgentClinic بتحديد أدوار مثل الأطباء والمرضى وأدوات القياس في بيئة محاكاة لدعم المعلومات غير الكاملة وجولات متعددة من التفاعل واستخدام الأداة [4]. يوفر MedAgentBench أيضًا 300 مهمة سريرية و100 ملف مريض وبيئة السجلات الصحية الإلكترونية الافتراضية المتوافقة مع FHIR [5]. يقومون بتوسيع كائن التقييم من إجابة نصية إلى "ما إذا كان النموذج يمكنه إكمال الإجراء المحدد في بيئة معينة."

تكمن قيمة بيئة المحاكاة في إمكانية التحكم فيها، وقابلية التكرار، وإمكانية التسجيل؛ حدودها هي الفجوة بين جهاز محاكاة المريض، وجهاز محاكاة الفحص، وبنية بيانات السجل الطبي، والنظام الطبي الحقيقي. كما ذكرت ورقة MedAgentBench بوضوح أن البيئة الافتراضية لا يمكن استخدامها مباشرة كنظام إنتاج، وأشارت إلى أن هناك حدودًا في مصادر البيانات وتغطية المهام. بالنسبة للمعايير المبنية ذاتيًا، يجب ألا تسأل بيئة الوكيل فقط "ما إذا كانت المهمة قد اكتملت"، ولكن أيضًا تسجيل استدعاءات الأداة وتغييرات الحالة والعمليات غير المصرح بها والطلبات غير الصالحة والفحوصات المتكررة ونقاط الإنهاء.

3. من "قائمة واحدة كبيرة" إلى أصل المهمة

ينظم MedHELM تقييمات كبيرة للنماذج الطبية في 5 فئات رئيسية و22 فئة فرعية و121 مهمة، ويجمع بين العديد من المعايير الحالية والجديدة [6]. يوضح هذا الهيكل بشكل أفضل ما هو النموذج وما هو غير مناسب له بدلاً من سحق التشخيص وإنشاء السجلات الطبية والتواصل مع المرضى والأبحاث الطبية والعمليات الإدارية في درجة واحدة. الإلهام هو: المستوى الأول من القائمة يجب أن يكون تصنيف الاستخدامات، والمستوى الثاني يجب أن يكون مقارنة النماذج.

على سبيل المثال، تنتمي ملخصات السجلات السريرية وتثقيف المريض إلى سيناريوهات مخاطر مختلفة؛ يجب ألا يشترك استخراج تقرير الاختبار والتوصيات التشخيصية وجدولة الموارد الطبية في نفس مجموعة أوزان التقييم. بالنسبة للقائمة الموجهة لغرض محدد، يجب أولاً تحديد المستخدمين المستهدفين ومعلومات الإدخال والأدوات المسموح بها ومخرجات النظام ومسؤوليات المراجعة اليدوية وتكاليف الفشل، ومن ثم يجب تحديد أبعاد التسجيل.

4. من التصنيف لمرة واحدة إلى المراقبة المستمرة قد تعتمد أنظمة الذكاء الاصطناعي السريري

على واجهات برمجة التطبيقات النموذجية، والكلمات السريعة، ومكتبات البحث، وسلاسل الأدوات، واستراتيجيات التفاعل بين الإنسان والحاسوب. مجرد الإبلاغ عن "اسم النموذج + النتيجة" لا يكفي لإعادة إنتاج النظام. يذكر برنامج TRIPOD-LLM في عام 2025 الباحثين بالإبلاغ عن معلومات مثل سيناريوهات الاستخدام، والنماذج والإصدارات، والهندسة السريعة، ومعالجة البيانات، ومؤهلات المراجعة البشرية، ومراقبة الجودة؛ توفر TRIPOD+AI وDECIDE-AI وCONSORT-AI أطر إعداد التقارير المقابلة لإعداد تقارير النماذج التنبؤية وتقييم سيناريوهات الحياة الواقعية المبكرة والتجارب السريرية لتدخل الذكاء الاصطناعي على التوالي [10–13]. لا تمثل هذه الإرشادات موافقة سريرية أو شهادة جودة، ولكنها توضح أن التقارير الشفافة هي الأساس للمقارنة الأكاديمية وإمكانية التكرار.

3. تقييم المقترح: الجدوى والقيود والتحسينات المطلوبة

1. السجلات الطبية الحقيقية والمعلومات المعقدة: الاتجاه صحيح، ويجب أن يكون مصدر العينة وتمثيلها واضحًا يوصي مخطط

باستخدام السجلات الطبية الحقيقية والاختبارات ومعلومات الفحص لتحسين وفرة المعلومات السريرية، وهو اتجاه ضروري. تحتوي النصوص السريرية على اختصارات، وسهو، وأخطاء مطبعية، وفترات زمنية، وتناقضات في المستندات، مما يجعل من الصعب على الحالات الاصطناعية تغطية التعقيد الحقيقي الكامل. يجب أن يوضح استخدام البيانات الحقيقية أيضًا: مصادر البيانات ونطاق الترخيص، وإلغاء البيانات المكررة على مستوى المريض، وحماية الخصوصية، ومعايير التضمين والاستبعاد، وتوزيع المؤسسات والسكان، ونسب المرض وخطورته، والآليات المفقودة، وما إذا كانت هناك مشاكل مع نفس المريض عبر مجموعات التدريب/الاختبار.

"حقيقي" لا يعني "ممثل". لا يمكن استقراء البيانات الواردة من المستشفيات الكبيرة أو الأقسام الفردية بشكل طبيعي للمجتمعات والمناطق المختلفة والمجموعات اللغوية المختلفة. يجب أن تبلغ القياسات عن الأداء حسب الإعداد السريري، والمؤسسة، والفئة العمرية، والجنس، والنوع الفرعي للمرض، ومجموعة المخاطر الرئيسية؛ وعندما لا تتوفر عينات كافية، ينبغي توضيح عدم اليقين بدلاً من معاملة الدرجات الخاصة بمجموعات العينات المنخفضة كتصنيفات موثوقة.

2. محاكاة نتائج الفحص: يمكن إجراء الأبحاث، ولكن لا يمكن إخفاء الأشياء المجهولة على أنها سلبية تقترح خطة

أنه عندما لا توفر الحالة الأصلية الفحص المطلوب بواسطة النموذج، فإن "وكيل الفحص" سوف يتنبأ بالنتيجة. يمكن أن يساعد هذا في إنشاء مشاهد تفاعلية، ولكنه أيضًا الرابط الأكثر خطورة في التصميم الفني بأكمله. في بيانات العالم الحقيقي، يعني "عدم الفحص" أن النتيجة غير معروفة، وهذا لا يعني أن النتيجة طبيعية؛ إذا قام المحاكي بتوليد نتيجة تبدو معقولة وأعادها مباشرة إلى النموذج قيد الاختبار، فسيتغير الاختبار من "اتخاذ القرار في ظل معلومات غير كاملة" إلى "اتخاذ القرار في ظل معلومات مكتوبة يدويًا"، مما قد يؤدي إلى استنتاجات خاطئة ويجعل نتائج الاختبار تعتمد على انحراف جهاز المحاكاة نفسه. توصي

بتمييز حالة المعلومات بشكل صارم إلى: النتائج الملحوظة، ومن الواضح أنه لم يتم تنفيذها، والجيل الذي لا يمكن الحصول عليه، والمحاكاة. يتم إرجاع نتائج المحاكاة فقط ضمن مهمة دراسة محاكاة منفصلة، ​​ويتم الاحتفاظ بمصدر توليدها ومستوى الثقة وقابلية التطبيق والتحقق من التوزيع الحقيقي في الخلفية. يمكن إعداد القائمة الرئيسية بمسارين: أحدهما يسجل فقط معلومات الحالة الحتمية؛ ويستخدم الآخر جهاز محاكاة بيئيًا تم التحقق منه خارجيًا ببيانات حقيقية لتقييم تعامل النموذج مع النتائج غير المؤكدة. لا ينبغي استخدام أجهزة المحاكاة كمولدات غير مرئية للحقائق السريرية.

3. ICD-10 والتسجيل الموحد: إنه مفيد لتوحيد السجلات، لكنه لا يعني إنشاء معيار ذهبي للتشخيص.

يعد تعيين التشخيصات إلى رموز مثل ICD-10 مفيدًا للإحصائيات الهرمية وتجميع الفئات والمراجعة بين الفرق، ولكن مطابقة التعليمات البرمجية يمكن أن تجيب فقط على "أين يقوم النظام بتشفير الاستنتاج؟" ولا يستطيع الإجابة بشكل مستقل "ما إذا كان الحكم السريري صحيحًا". قد تكون مستويات الترميز خشنة للغاية، وقد تكون هناك استنتاجات متعددة مبررة، وقد يتغير التشخيص بمرور الوقت ومع إجراء اختبارات جديدة. النهج الصحيح هو استخدام الترميز كمجال مساعد قابل للحساب، مع الاحتفاظ بسجلات المفاهيم السريرية، والأدلة، والتشخيصات البديلة المقبولة، والتسلسل الهرمي التشخيصي، وأحكام الخبراء.

ينبغي وضع المعيار المرجعي من قبل الأطباء ذوي الخبرة المتخصصة المقابلة بناءً على بيانات الحالة والمبادئ التوجيهية المعمول بها؛ إذا لزم الأمر، يجب على شخصين وضع علامة عليها بشكل مستقل، والتحكيم من قبل طرف ثالث، وتسجيل الاختلافات. بالنسبة للحالات التي توجد فيها مسارات متعددة معقولة سريريًا، يجب أن يتعرف التسجيل على مجموعة محددة مسبقًا من الإجابات المقبولة بدلاً من التعامل مع رمز التفريغ الفردي باعتباره الإجابة الصحيحة الوحيدة.

4. اتساق المبادئ التوجيهية: مسار التقييم، ولكن قفل الإصدار والمجموعة القابلة للتطبيق

يتضمن المبادئ التوجيهية والمسارات السريرية وإجماع الخبراء لتوفير الأساس المنطقي لسبب اختيار هذا الاختبار أو العلاج. يجب أن يحدد بروتوكول التقييم اسم الدليل الإرشادي، والإصدار، وتاريخ الإصدار، والسكان المطبقين، وقوة التوصية؛ وبخلاف ذلك، قد يتم تسجيل النموذج بتوصية قديمة أو غير مناسبة للمريض. ولا يمكن للمبادئ التوجيهية أن تستنفد تفضيلات كل مريض، وموانع الاستعمال، وتوافر الموارد، والشكوك السريرية. يقترح

تقسيم اتساق المبادئ التوجيهية إلى ثلاثة أسئلة يمكن التحقق منها: ما إذا كان قد تم حذف الخطوات الأساسية الضرورية؛ ما إذا كانت الخطوات المنفذة لها مؤشرات المقابلة؛ ما إذا كان النموذج يعبر عن عدم اليقين ويقترح مسار ترقية معقول عندما تكون الأدلة غير كافية أو لا تغطيها المبادئ التوجيهية."ذكر الكلمات الرئيسية في الدليل الإرشادي" لا يمكن اعتباره "اتباعًا للدليل الإرشادي"، ولا ينبغي مساواة طلاقة عملية الاستدلال بشكل مباشر مع الصحة السريرية.

5. تقييم التكلفة: يعد إدراج العوامل الاقتصادية في القائمة بمثابة تقدم، ولكن لا يمكن لسعر واحد أن يحل محل القيمة السريرية.

حساب استهلاك الموارد بناءً على أسعار الفحص، ويمكنها تحديد الإستراتيجية غير المعقولة المتمثلة في "عمليات التفتيش غير المحدودة من أجل زيادة المعلومات". وهذا يتوافق مع اتجاه معيار التشخيص المتسلسل لوضع تكاليف التشخيص والفحص المتسلسل في نفس بيئة التقييم [14]. ومع ذلك، فإن سعر الخدمات الطبية يعتمد على المنطقة والمستشفى ونظام الدفع والتأمين على المرضى ومجموعات الفحص المحددة؛ يمكن أن تكون قائمة الأسعار تقريبية فقط في وقت وسيناريو معين، وليست قيمة تكلفة حقيقية عالمية.

سيكون نهج الإبلاغ الأكثر قوة هو تقديم الأداء التشخيصي في وقت واحد، وخطر فقدان التشخيص، والإفراط في الفحص، وعدد الفحوصات، ونطاق التكلفة، ووقت الانتظار، والعبء الطبي الإضافي، وعدم اليقين. ارسم حدود "المخاطرة والأثر والتكلفة" لنماذج مختلفة لتوضيح الاستخدامات والعتبات وبيئات الدفع التي يكون حل معين أكثر ملاءمة لها، بدلاً من الإعلان بشكل مباشر عن أن النموذج هو "الأكثر فعالية من حيث التكلفة". إذا لم يكن هناك أساس لترجيح المنفعة السريرية أو تحليل القرار، فلا ينبغي تحويل المؤشرات المتعددة قسراً إلى عائد استثمار واحد.

6. الاستقرار وpass@k: يجب تحديدهما بدقة، دون تكرار أخذ العينات لاستبدال الموثوقية الفردية

تواجه الأنظمة الطبية عادةً طلبًا حقيقيًا عند النشر، لذا يعكس pass@1 ما إذا كان تشغيل واحد يمكنه إكمال المهمة؛ عادةً ما يؤكد pass@k على احتمال نجاح واحد على الأقل بين محاولات متعددة، كما أن احتمال "k كل النجاحات" أو تباين الدرجات عبر عمليات التشغيل هو مؤشر استقرار آخر. يجب تحديد Pass@k وpass^k في المخطط بوضوح واحدًا تلو الآخر في البروتوكول الورقي، ويجب ملاحظة عدد التكرارات والبذور العشوائية ودرجة الحرارة واستراتيجية أخذ العينات والخوارزمية الموجزة لكل حالة.

إذا كان من الممكن إعادة تجربة النموذج في سيناريوهات حقيقية، فقد يعرض النظام أفضل إجابة للمستخدم، ولكن هذا الأسلوب سيغير التأخير والتكلفة والمخاطر ويجب تقييمه بشكل منفصل. لا يمكن استنتاج جودة ما بعد التدريب أو الاستقرار السريري مباشرة من الفرق بين pass@k وpass@1 وحدهما؛ تأخذ الاختلافات الإحصائية أيضًا في الاعتبار حجم العينة وفترات الثقة وتجميع الحالات وخطط التحليل المحددة مسبقًا. يجب أن تحدد جميع التصنيفات فترات عدم اليقين، وأن تتجنب تفسير تبادلات التصنيف في عينات صغيرة على أنها اختلافات بين الأجيال في القدرة.

7. ماجستير في القانون كقاضي: توسيع قدرات التعليقات التوضيحية، والاحتفاظ بمعايرة الخبراء والتدقيق

يعتبر حكم LLM مناسبًا للتحقق من التنسيق، والتحقق الجزئي من الحقائق، والفحص الأولي لنماذج التقييم، والتسجيل المساعد للعينات الكبيرة. ومع ذلك، قد يفضل الإجابات الأطول والأكثر ثقة والمصاغة بشكل أشبه بمخرجاته الخاصة، أو قد يتشارك نفس النقاط العمياء في المعرفة مع النموذج الذي يتم اختباره. أظهرت دراسات مثل HealthBench وMedHELM ممارسة قواعد التقييم ونموذج الهدافين، كما أوضحت الحاجة إلى مقارنة الاتساق بين الهدافين وأحكام الخبراء السريريين [3،6]. توصي

باستخدام التسجيل الهرمي: يتم استخدام القواعد الحتمية للعناصر القابلة للتحقق منها والقابلة للبرمجة؛ تتم مراجعة الحقائق الطبية ونقاط السلامة الرئيسية باستخدام المصادر والقواعد والخبراء السريريين المذكورين؛ تتم مراجعة تجربة الاتصال وملاءمة البرنامج باستخدام المراجعات السريرية العمياء المدربة. يتم اختيار نسبة معينة من كل دفعة من العينات للتسجيل المستقل من قبل شخصين، ويتم الإبلاغ عن مؤشر الاتساق ومعدل الخلاف وحالة التحكيم. يتم أيضًا تجميد وأرشفة اسم وإصدار نموذج الحكم، والكلمات السريعة، ودرجة حرارة التسجيل، وإصدار نموذج التقييم، وعينات المعايرة.

8. منصة الخبراء مزدوجة التعمية: الحاجة إلى منع التعمية وتأثيرات النظام وإرهاق التسجيل إن مقارنة الحالة، والنموذج المزدوج للأسئلة والأجوبة، ومنصات الاختبار العمياء العشوائية المصممة في خطة

قابلة للتشغيل. ولجعل النتائج جديرة بالثقة، لا يمكن التعمية الاعتماد فقط على إخفاء أسماء النماذج: يجب توحيد تنسيق الإخراج، وإزالة علامات نمط البائع والنموذج، وترتيب الإجابات بطريقة عشوائية؛ يجب ألا يعرف المراجعون مصدر الإجابات أو موقعهم في القائمة؛ يجب ألا تكشف استجابتان نموذجيتان لنفس الحالة عن أدلة مقترنة في الواجهة. ينبغي إعداد التدريب على المراجعة، والتحكم في التعب، واكتشاف الأسئلة المكررة، والحد الزمني للتسجيل، واستبيان التخمين الأعمى، ومراجعة الاعتراضات.

تقييمات الخبراء السريريين ليست "محايدة بشكل طبيعي" أيضًا. قد تختلف أحكام المخاطر المقبولة عبر التخصصات وسنوات الخبرة وإعدادات الممارسة. يجب أن تشير الدراسات إلى مؤهلات المراجعين، وتوزيع التخصصات، وطرق مطابقة مهام الحالة، والاتساق بين المراجعين وعمليات التحكيم، وإنشاء آليات مشاركة لاهتمامات المرضى والعامة. يؤكد DECIDE-AI على التطبيق العملي السريري والسلامة والعوامل البشرية والتحضير لمزيد من التجارب في التقييم السريري المبكر؛ إنه يذكرنا بأن التقييم السريري الحقيقي يجب أن يركز على المستخدمين وسير العمل وتكرار النظام، وليس فقط نتائج الإجابات النموذجية [12].

4. منهجية موثوقة لتقييم الذكاء الاصطناعي الطبي

1. قم بإعداد "بطاقة الغرض" أولاً، ثم اكتب الأسئلة

لكل عنصر فرعي من القائمة، قم أولاً بملء بطاقة الغرض: من هو المستخدم المستهدف؛ ما هو نوع المرضى والمشاكل السريرية التي يتم تقديمها لهم؛ ما هو الدور الذي يلعبه النموذج؟ ما هي البيانات المسموح بإدراجها في المدخلات؟ ما إذا كان الناتج يؤثر على القرارات الطبية الفعلية؛ ما إذا كان يُسمح باستدعاء الاسترجاع أو الأدوات أو السجلات الطبية الإلكترونية؛ ومن سيقوم بإجراء المراجعة النهائية؛ ما الضرر الذي سيحدث بسبب الفشل. تحدد بطاقات الأغراض المهام ومستويات المخاطر ومقاييس القياس وصياغة الكشف. في غياب تعريف الغرض، لا يمكن للقائمة أن تشرح ما تعنيه النتيجة بالنسبة للمشتريات أو النشر السريري.

2. إنشاء نسب الحالة وبطاقة البيانات

تسجل كل حالة على الأقل تحديد هوية المريض/الزيارة مجهول الهوية، ونوع المهمة، والمرض وشدته، ومصدر المعلومات، والنقطة الزمنية، والحقول المنظمة، والارتباط بين المستندات والفحوصات، وأساس وضع العلامات، وإصدار المبادئ التوجيهية المعمول به، والحالة المفقودة، وقواعد إدراج/استبعاد الحالة ومجموعة من الإجابات المقبولة. يجب أن يتجنب التقسيم على مستوى الحالة نفس المريض أو نفس الزيارة أو المستندات شبه المكررة التي تشمل التدريب وتعديل المعلمات ومجموعات الاختبار. يجب أن تحتفظ مجموعة الاختبار بالإصدار ونسب البيانات؛ يجب إجراء عمليات تدقيق منتظمة للتلوث على المجموعة العامة، ويجب تنفيذ سجلات التحكم في الوصول والتدقيق على المجموعة المخفية.

3. تصميم بطاقة المهام وحالة البيئة يصف

كل مهمة على النحو التالي: المعلومات الأولية، والأسئلة التي يمكن أن يطرحها النموذج، والأدوات المتاحة، وقواعد إرجاع البيئة، وشروط الإنهاء، والعمليات المسموح بها، والعمليات المحظورة، والمخاطر المحددة مسبقًا. يجب أن تحافظ المهام المتسلسلة على الحوار الكامل وتتبعات الأداة، مع التمييز بين النماذج التي لا تحتوي على استعلامات، والبيئات التي لا تحتوي على بيانات، وعمليات التحقق التي لم يتم إجراؤها، والنتائج غير المعروفة. إذا شارك مرضى محاكاة أو وكلاء فحص في الاختبار، فيجب الكشف عن عملية التحقق الخاصة بهم ووضع الفشل؛ لا يمكن لبيئة المحاكاة تسريب التسميات إلى النموذج قيد الاختبار، ولا يمكن إنشاء حقائق جديدة لا تتوافق مع قواعد انتقال الحالة لمجرد أن النموذج قيد الاختبار يُطلب منه بضع جولات أخرى.

4. استخدم لوحة معلومات المؤشر بدلاً من النتيجة الإجمالية الفردية يوصى بتقسيم

إلى ست مجموعات من المؤشرات على الأقل: أداء مهمة

1. أداء المهمة： التشخيص أو دقة القرار، وتغطية الخطوات الرئيسية، واكتمال الاستخراج المنظم، ومعدل إنجاز المهمة.2. سلامة المرضى خطأ جسيم، إغفال خطير، الإفراط في التعامل، الراحة الزائفة، إهمال المحرمات، الفحص الوهمي أو الاقتباس.3. جودة العملية كفاءة جمع المعلومات واختيار الفحص والعمليات المتكررة وصحة استدعاء الأداة وما إذا كان يجب التوقف في الوقت المناسب.4. عدم اليقين عدم اليقين： خطأ في المعايرة، وتقسيم المخاطر إلى طبقات، وملاءمة عمل الرفض/الترقية، والعلاقة بين التنبؤ الانتقائي والتغطية.5. استخدام الموارد استخدام الموارد： الفوائد السريرية في ظل التكلفة والتأخير وعدد الفحوصات ووقت المراجعة اليدوية وقيود الموارد.6. التعميم الأداء في ظل الوقت، وخارج المؤسسة، والمجموعات الفرعية، ونوعيات الإدخال المختلفة، ومتغيرات اللغة، واضطرابات الخصومة.

يجب أن يكون هناك حد أدنى لأداء السلامة؛ لا ينبغي "تعويض" النماذج التي تحتوي على عيوب خطيرة في السلامة من خلال النتيجة الإجمالية الإجمالية بسبب الدرجات العالية في المهام منخفضة المخاطر. يمكن أن توفر القائمة وجهة نظر مرجحة ذات صلة بالغرض، ولكن يجب الكشف عن الأوزان والعتبات وتحليل الحساسية، ويجب الاحتفاظ بكل مؤشر أصلي حتى يتمكن القراء من مراجعته.

5. الخطة الإحصائية للتسجيل المسبق وتقرير الإصدار

قبل تشغيل النموذج، قم أولاً بتدوين نقطة النهاية الأساسية ونقطة النهاية الثانوية وأساس حجم العينة وكائن المقارنة وفاصل الثقة ومعالجة البيانات المفقودة والتحليل الطبقي ومعالجة المقارنة المتعددة وقواعد الإيقاف. يمكن تجميع نتائج المهام وفقًا للحالات والمرضى والمؤسسات لحساب الفواصل الزمنية؛ يجب أن تستخدم مقارنات النماذج المتعددة لنفس الحالة التحليل المزدوج المناسب لتجنب التعامل مع اختبار كل نموذج على أنه مستقل عن بعضها البعض. يجب الاحتفاظ بإصدارات الكلمات النموذجية والموجهة، ودرجة الحرارة، وأذونات الأداة، ومصادر البحث، وتواريخ واجهة برمجة التطبيقات (API)، وتكوينات البرامج والأجهزة، ومصادر الأسعار في الملف. بعد تحديث مورد النموذج، لا تستخدم التصنيف القديم مباشرةً. يجب عليك وضع علامة على اللقطة وإعادة التقييم.

6. يعتمد المعيار العام الهيكل الموازي لـ "المجموعة الديناميكية لمجموعة التحقق من صحة المجموعة المخفية" يتم استخدام مجموعة التطوير

لتصحيح أخطاء المجتمع، وتدعم مجموعة التحقق معايرة المعلمات وقواعد التسجيل، وتقلل المجموعة المخفية من التجاوز في هدف الاختبار، وتختبر مجموعة الفريق الأحمر الديناميكي الهجمات الجديدة وتغييرات التوزيع. لكل من الأنواع الأربعة من البيانات استخداماتها الخاصة ولا ينبغي دمجها في "مجموعة اختبار إجمالية" غامضة. إذا تم نشر عينات الحالات للعامة، فيجب تقييم خطر إدراجها في محركات البحث ومجموعات التدريب اللاحقة؛ لا يلزم نشر العلامات الرئيسية أو نماذج التقييم الكاملة أو الحالات المخفية، ولكن يجب نشر بروتوكولات التقييم أو الملخصات الإحصائية أو الرموز أو الواجهات القابلة للتدقيق، ويجب وضع إجراءات وصول الباحثين.

5. أربع مراحل من النموذج الأولي إلى الأدلة السريرية

المرحلة 0: تحديد الحدود والحوكمة، حوالي 4-6 أسابيع

اختر أولاً مهمة إدخال محددة وقابلة للتحقق ومنخفضة المخاطر، مثل "التحقق من سلامة معلومات المستندات السريرية" أو "استخراج حقل تقرير التصوير المحدد"، بدلاً من البدء من "تقييم الذكاء الاصطناعي الطبي بالكامل". إنشاء فريق يتمتع بالخبرة السريرية والخوارزمية والإحصاءات وحماية البيانات والمشاركة في المنتج؛ تشكيل بطاقة الغرض، وتحليل المخاطر، وقائمة ترخيص البيانات، ومواصفات تصنيف الحالات، ودليل التسجيل، والخطة الإحصائية للتسجيل المسبق. عتبات المرحلة هي: أن يكون مصدر الحالة واضحاً، والاستخدامات المسموح بها واضحة، ويمكن استخدام معايير التقييم فعلياً من قبل خبيرين مستقلين.

المرحلة 1: خط الأساس الثابت والتعليقات التوضيحية العمياء، حوالي 6-10 أسابيع

إنشاء مجموعة من مجموعات التطوير ومجموعات التحقق المستقلة للتكرار؛ تحديد لقطات النماذج العامة وواجهات النماذج الخاصة، وتجميد الكلمات والتكوينات السريعة. نقوم أولاً بتقييم أداء المهام وأنواع الأخطاء والأداء الهرمي والاتساق بين الحكام التلقائيين ونتائج الخبراء، ولا نسعى إلى إصدار "التصنيف الوطني" لمرة واحدة. عتبات المرحلة هي: يمكن تكرار المؤشرات الرئيسية، وهناك عملية تحكيم لتسجيل المنازعات، ويمكن إرجاع أخطاء السلامة الجسيمة إلى الحالات والأدلة.

المرحلة 2: البيئة التفاعلية والتحقق الخارجي، حوالي 8-14 أسبوعًا

ضع الاستشارة أو اتخاذ قرار الفحص أو مهام تشغيل السجل الطبي في بيئة محاكاة معزولة. يتم حفظ حالة المريض، ونتائج الفحص، وواجهات الأدوات، والجداول الزمنية، وتكاليف الموارد؛ يتم فصل البيانات المحاكاة بشكل صارم عن بيانات المراقبة الحقيقية. كحد أدنى، يتم تكرار التحقق من الصحة في الحالات المخصصة من مصادر أو فترات زمنية مختلفة، وتتم مراجعة الإعداد ووضع العلامات من قبل فريق سريري مستقل. عتبات المرحلة هي: يحتوي جهاز المحاكاة على تقارير التحقق من الصحة، ويتم قياس فجوات الأداء عبر المصادر، ولا يتم خلط أي معلومات تركيبية غير مسماة في الحقائق السريرية.

المرحلة 3: تجربة سير العمل الواقعية على نطاق صغير والمراقبة المستمرة

إذا كانت المهمة ستؤثر على القرارات الطبية الفعلية، فيجب أن تدخل في تقييم تطلعي على نطاق صغير مدعوم بالأخلاق والخصوصية والحوكمة المؤسسية، ويتم وضعها على أنها "مساعدة" بدلاً من "التنفيذ الآلي". سجل ما إذا كان الأطباء قد شاهدوا التوصيات وتصرفوا بناءً عليها، ومدة الاستخدام، وسلوك التعديل، وتكرار التصعيد اليدوي، والأحداث السلبية المحتملة، وعبء العمل، والأداء في مجموعات فرعية مختلفة. قم بالإبلاغ بشفافية وفقًا للإرشادات المعمول بها مثل DECIDE-AI، وحدد المواصفات المناسبة بناءً على نوع الدراسة المحدد. تتم مناقشة الدراسات السريرية واسعة النطاق أو مسارات الإنتاج فقط بعد استيفاء عتبات السلامة والفعالية المحددة مسبقًا. تقدم مسودة دورة حياة برامج الأجهزة الطبية ذات الذكاء الاصطناعي التي أصدرتها إدارة الغذاء والدواء في عام 2025 اقتراحات لإدارة المخاطر وحفظ المواد للمنتجات ذات الصلة، ولكن تم وضع علامة على الوثيقة كمسودة وغير ملزمة، ولا ينبغي وصفها بأنها موافقة كاملة أو استنتاج تنظيمي قابل للتطبيق بشكل عام [15].

الفترة الزمنية للمراحل من 0 إلى 3 هي مجرد فترة زمنية لتخطيط المشروع وليست التزامًا مضمونًا بالتسليم؛ تعتمد الفترة الفعلية على التعاون المؤسسي، والمراجعة الأخلاقية، وتخويل البيانات، وحجم الحالة، وموارد المراجعة، والاستخدامات المحددة. يجب تقسيم الميزانية إلى إدارة البيانات، والخبراء السريريين، والهندسة، والإحصاءات، والمنصة، وعمليات التدقيق الأمني، والصيانة المستمرة، بدلاً من مجرد التقدير حسب حجم استدعاء النموذج.

6. إسهام الاختبارات المعيارية في تحسين الرعاية الصحية

1. السماح للمؤسسات الطبية باختيار النماذج بناءً على ذلك

يمكن لمؤسسات الرعاية الصحية عرض هوامش أمان النموذج والتكاليف وأنواع الأخطاء حسب مهام محددة بدلاً من الرهان على التصنيف العام. بالنسبة للمشتريات، يمكن أن تحول القائمة "أداء العرض التوضيحي النموذجي جيد" إلى شروط قبول يمكن التحقق منها: العينة ونطاق المهمة، وعتبة الخطأ الجسيم، والحد الزمني للاستجابة، وسجلات التدقيق، واختبار الانحدار بعد تحديث الإصدار، وآلية الترقية عندما لا يمكن معالجتها.

2. ساعد الفريق النموذجي في تحديد الاتجاه الحقيقي للتحسين

قد تنشأ دقة غير كافية من المعرفة أو جمع المعلومات أو قراءة الصور أو استدعاء الأداة أو التكامل السياقي أو المعايرة أو العرض التقديمي. يمكن لتصنيف الأخطاء وتتبعات العمليات ربط إثراء البيانات وما بعد التدريب وتحسين الاسترجاع وتصميم الأدوات وسياسات الأمان. بالنسبة لخدمات البيانات، يساعد هذا على التحول من "عدد العينات التي سيتم تسليمها" إلى "أي العينات يمكن أن تسد فجوة القدرات الملحوظة".

3. تقليل المخاطر غير المرئية التي يتحملها المرضى والفرق السريرية إذا كانت قائمة

تسجل حالات الإغفال، والتضليل، والمبالغة في الفحص، والعمليات المصرح بها للغاية، والسلوكيات غير المؤكدة، فيمكن أن تساعد المؤسسات في تعيين نقاط المراجعة اليدوية قبل النشر. فهو لا يضمن انعدام المخاطر، ولكنه يمكن أن يجعل تحديد المخاطر المعروفة والتواصل معها وإدارتها أسهل.

4. إنشاء أساس مقارنة قابل للتكرار للبحث

يمكن للمهام القياسية والتكوينات المجمدة والتقارير العامة وعمليات تدقيق الإصدارات تقليل عدم المقارنة الناتج عن "كل اختبار خاص به" بين المؤسسات المختلفة. يمكن للباحثين أيضًا ملاحظة انحراف أداء النموذج في مختلف المهام واللغات والمؤسسات والإصدارات، مما يوفر نقطة انطلاق يمكن تتبعها للتحقق الخارجي والبحث المستقبلي.

5. دع خدمات البيانات والتقييم السريري تشكل حلقة مغلقة

عندما يتم تعيين مواصفات البيانات وتقييم النموذج، يمكن للفريق تتبع "سمات الحالة - الأدلة المسماة - فشل النموذج - العينات التكميلية - نتائج إعادة الاختبار."تساعد هذه الحلقة المغلقة على التمييز بين جودة البيانات وجودة التعليقات التوضيحية وقدرات النموذج: فشل النموذج لا يعني بالضرورة نقص البيانات، كما أن وفرة البيانات لا تنتج قيمة سريرية تلقائيًا. وينبغي أن تعود نتيجة التقييم إلى مهام وبطاقات بيانات محددة، بدلا من مجرد تشكيل قائمة إشهارية.

7. LumeSage: بناء عمليات تقييم قابلة للتحقق

يتطلب إنشاء تصنيف نماذج الذكاء الاصطناعي الطبي أكثر من مجرد القدرة الهندسية لاستدعاء النموذج. كما يحتاج أيضًا إلى ترجمة الأهداف السريرية إلى مواصفات المهام، وتضمين مصادر الحالات، والترخيص، وإزالة التحسس، وإدارة الإصدارات في عمليات البيانات؛ إنشاء ارتباطات يمكن تتبعها للصور والمستندات والاختبارات والعينات متعددة الوسائط؛ تعجيل الشرح التخصصي، والمراجعة، وتحكيم الخلاف، وتسجيل نقاط التقييم في سجلات قابلة للتدقيق؛ ثم استخدم النظام الأساسي الهندسي لإكمال التنفيذ الآلي وتشغيل السجل ومحاسبة التكاليف وإنشاء التقارير. يمكن لـ

LumeSage تنظيم الخدمات حول هذه الروابط: فرز المتطلبات والاستخدام، وتصميم مجموعة الاختبار، ومواصفات العينة وبطاقات البيانات، والتعليقات الطبية وفحص الجودة، والتقييم الأعمى للخبراء، وبيئة التقييم الخاصة، وتقرير الأداء وانحدار الإصدار. يجب تفسير قيمة خدمات التقييم الخاصة مثل Medical Gate من خلال حدود المهام الفعلية، وتفويض البيانات، ومشاركة الخبراء، وبروتوكولات التسجيل وأدلة التكرار؛ يجب أن تكون البيانات التي تتضمن سلامة المرضى أو التأثيرات السريرية مدعومة بالأبحاث المقابلة وأدلة السيناريو القابلة للتطبيق.

تعد المحاكاة متعددة الوكلاء وتحليل التكلفة ومنصة الخبراء والتسجيل الموجه للتشخيص المقدمة في هذا الحل مناسبة للاستخدام كمسار للبحث والتطوير والتحقق الداخلي من الفرضيات. قبل نشر نتائج النموذج علنًا، يجب إكمال عدد الحالات ومصدرها، وتقسيم البيانات، ولقطات النموذج، والكلمات السريعة، ودرجة الحرارة، والأدوات، وعدد التكرارات لكل حالة، وقواعد التقييم، وتكوين الخبراء، واتساق الحكام، وفاصل الثقة، ومنطقة التكلفة وطريقة الحساب، بالإضافة إلى معلومات التسجيل المسبق أو تكرار الكود. وفي غياب هذه المواد، ليس من المناسب أن نطلق على المخطط الداخلي تصنيفًا عامًا تم التحقق منه بشكل مستقل؛ لا يكشف هذا المستند التقني عن تصنيفات النماذج المحددة وتكاليف الحالة الفردية في الخطة.

أما بالنسبة إلى "هل يمكن للقائمة الطبية أن تثبت أن النموذج يمكنه التشخيص والعلاج بشكل مستقل"، فيجب أن تكون الإجابة واضحة: لا. توفر المقارنة المعيارية أدلة غير متصلة بالإنترنت لمهام محددة؛ تعتمد قابلية الاستخدام السريري الحقيقي أيضًا على التحقق الخارجي، وسير العمل السريري، والعوامل البشرية، والحدود التنظيمية، ودراسات السلامة والفعالية المستقبلية. يجب تحديد مصداقية العلامة التجارية للذكاء الاصطناعي الطبي من خلال حدود واضحة وأساليب قابلة للمراجعة والقدرة على التشكيك في النتائج. استنتاج

الخلاصة: خريطة للأدلة تتجاوز التصنيف الواحد

لا ينبغي أن يكون مستقبل الذكاء الاصطناعي الطبي ميدالية تظل دون تغيير مدى الحياة، بل يجب أن يكون خريطة موسعة حسب الغرض وعدد المرضى ونوع البيانات والمخاطر والتكلفة ومستوى الأدلة. فهو لا يسمح للنماذج بإظهار التقدم في المهام الواضحة فحسب، بل يعرض أيضًا المشكلات التي لم يتم حلها؛ فهو لا يشجع تكرار الخوارزمية فحسب، بل يحتفظ أيضًا بمساحة للحكم من قبل الخبراء السريريين والمرضى والمؤسسات.

بالنسبة للمؤسسات الطبية، يجب أن تخدم القائمة الاختيارات المحدودة؛ بالنسبة لفرق الخوارزمية، يجب أن تخدم التحسينات القابلة للتحديد؛ وبالنسبة لمقدمي خدمات البيانات، ينبغي أن يخدم حلقة مغلقة من المهام والأدلة والجودة؛ بالنسبة للمرضى، يجب أن يقلل من خطر الخلط بين الإجابات بطلاقة واستنتاجات آمنة. لا ينبغي أن تقتصر المنافسة في مجال الذكاء الاصطناعي الطبي على من يحصل على درجات أعلى في بنك الأسئلة، بل يجب أن تدور حول من يستطيع تقديم مساعدة مستقرة وشفافة وخاضعة للمساءلة لغرض واضح، ومعرفة متى يتوقف عندما لا تكون هناك أدلة كافية.

*هذه المقالة عبارة عن مناقشة لتقييم الذكاء الاصطناعي الطبي وطرق البحث. ولا يشكل توصيات تشخيصية وعلاجية سريرية، أو استنتاجات بشأن تسجيل الأجهزة الطبية، أو شهادة الفعالية السريرية لأي نموذج.*

الأسئلة الشائعة

المراجع

[1] جين د، بان إي، أوفاتول ن، وآخرون. ما هو المرض الذي يعاني منه هذا المريض؟ سؤال مجال مفتوح واسع النطاق يجيب على مجموعة البيانات من الفحوصات الطبية. *العلوم التطبيقية*. 2021;11(14):6421. DOI: 10.3390/app11146421

[2] Jin Q, Dhingra B, Liu Z, Cohen WW, Lu X. PubMedQA: مجموعة بيانات للإجابة على أسئلة الأبحاث الطبية الحيوية. *EMNLP-IJCNLP*. 2019:2567–2577. مختارات الرباط الصليبي الأمامي

[3] أرورا آر كيه، وي جيه، هيكس آر إس، وآخرون. HealthBench: تقييم نماذج اللغات الكبيرة من أجل تحسين صحة الإنسان. 2025. وصف وبيانات المشروع الورقة البحثية · نبذة عن المشروع والبيانات

[4] شميدجال إس، زياي آر، هاريس سي، وآخرون. AgentClinic: معيار وكيل متعدد الوسائط لتقييم الذكاء الاصطناعي في البيئات السريرية المحاكاة. 2024. أرخايف:2405.07960

[5] جيانغ واي، بلاك كيه سي، جينج جي، وآخرون. MedAgentBench: بيئة السجلات الصحية الإلكترونية الافتراضية لقياس وكلاء LLM الطبيين. *نجم آي*. 2025;2(9). DOI: 10.1056/AIdbp2500144

[6] بيدي إس، ليو واي، أور-إيوينج إل، وآخرون. MedHELM: التقييم الشامل لنماذج اللغة الكبيرة للمهام الطبية. 2025. أرخايف:2505.23802 · لوحة صدارة ستانفورد هيلم

[7] وورث جي إي، بيريز أ، وو دجه، وآخرون. حالة الذكاء الاصطناعي السريري في عام 2026. *BMJ للصحة الرقمية والذكاء الاصطناعي*. 2026;2(1):e000113. مجلة النص الكامل

[8] وو د، ناتيغي هاريداشت إف، كومار مهراج إس، وآخرون. أولاً، قم بعمل NOHARM: نحو نماذج لغة كبيرة آمنة سريريًا. 2025. arXiv:2512.01241، نسخة أولية

[9] بان جي، جيان بي، هاجر بي، وآخرون. معالجة فجوات المقارنة المعيارية في نماذج اللغات الكبيرة للصحة والطب من خلال الفريق الأحمر الديناميكي. *صحة الطبيعة*. 2026. DOI: 10.1038/s44360-026-00152-8

[10] جاليفانت جي، أفشار إم، أمين إس، وآخرون. إرشادات إعداد التقارير TRIPOD-LLM للدراسات التي تستخدم نماذج لغوية كبيرة. *طب الطبيعة*. 2025;31:60–69. DOI: 10.1038/s41591-024-03425-5

[11] كولينز جي إس، مونز كي جي إم، ديمان بي، وآخرون. بيان TRIPOD+AI: إرشادات محدثة للإبلاغ عن نماذج التنبؤ السريرية التي تستخدم أساليب الانحدار أو التعلم الآلي. *بي إم جيه*. 2024;385:e078378. DOI: 10.1136/bmj-2023-078378

[12] فاسي بي، ناجيندران إم، كامبل بي، وآخرون. المبادئ التوجيهية لإعداد التقارير للتقييم السريري المبكر لأنظمة دعم القرار المدفوعة بالذكاء الاصطناعي: DECIDE-AI. *بي إم جيه*. 2022;377:e070904. DOI: 10.1136/bmj-2022-070904

[13] ليو إكس، كروز ريفيرا إس، موهير د، وآخرون. المبادئ التوجيهية لإعداد تقارير التجارب السريرية للتدخلات التي تنطوي على الذكاء الاصطناعي: ملحق CONSORT-AI. *بي إم جيه*. 2020;370:م3164. DOI: 10.1136/bmj.m3164

[14] نوري إتش، داسواني إم، كيلي سي، وآخرون. التشخيص المتسلسل مع نماذج اللغة. 2025. arXiv:2506.22405، نسخة أولية

[15] إدارة الغذاء والدواء الأمريكية. وظائف برامج الأجهزة التي تدعم الذكاء الاصطناعي: توصيات تقديم إدارة دورة الحياة والتسويق. مسودة التوجيهات، يناير 2025. الصفحة الرسمية لإدارة الغذاء والدواء