الملخص: قم أولاً بتحويل "حزمة الحالة" إلى بروتوكول تقييم يمكن التحقق منه
إن صعوبة الذكاء الاصطناعي بالنسبة لمضاعفات مرض السكري لا تكمن في السماح للنموذج بتسمية المرض من السجل الطبي، ولكن في السماح له بإكمال المهام المحددة بشكل ثابت في المصادر الحقيقية والمتقاطعة والمعقدة للأدلة السريرية: قراءة نتائج الاختبار الصحيحة، والاحتفاظ بالوحدة والوقت، والتمييز بين أساس التشخيص والتكهنات، وتحديد الإشارات عالية المخاطر، والتوقف بوضوح عندما تكون الأدلة غير كافية.ويجب أن يقيس المعيار المرجعي هذه القدرات بشكل منفصل ولا يمكن أن يحل محل الفعالية السريرية "بمعدل دقة" عام.
تحتوي هذه الحزمة المضغوطة المرفقة على 12 حالة بعد الجرد الهيكلي، تغطي أربع فئات: اعتلال الأعصاب المحيطية السكري، واعتلال الكلية السكري، واعتلال الشبكية السكري، والقدم السكري، بواقع 3 حالات في كل فئة؛ يوجد 78 ملف PDF و251 ملف CSV، ويبلغ إجمالي ملف CSV حوالي 3413 سجل بيانات.يصف عدد الملفات وصفوف الجدول بنية التسليم ولا يعادل عدد المرضى الفريدين أو حجم العينة المتاح للاستدلال الإحصائي.يعتبر المرفق مناسبًا كقاموس بيانات ودليل توضيحي وواجهة تقييم وعملية تحكيم وتجربة جدوى لتصنيف الأخطاء؛ لا يكفي في هذه المرحلة تقديم تصنيفات نموذجية أو انتشار المرض أو الحساسية أو استنتاجات الفوائد السريرية.
اقترح LumeSage تسمية المشروع "LumeSage DiaComp-Bench" كإطار عمل تجريبي مقترح. لا يشير الاسم إلى قائمة رسمية موجودة أو التحقق السريري المكتمل.توفر هذه المقالة تعليمات التقييم القابلة للتدقيق والمهام المرشحة ومسارات البناء؛سيتم إصدار القائمة الرسمية بعد مراجعة الحوكمة وحجم العينة والمعايير المرجعية والتحقق عبر الوكالات وقواعد التشغيل.
1. ما يخبرنا به المرفق وما لم يخبرنا به بعد
1.1 الأنواع الأربعة للأمراض ليست أربع تسميات لمهمة واحدة
تشير الأنواع الأربعة من الحالات إلى سلاسل أدلة سريرية مختلفة. يتطلب الحكم على اعتلال الكلية السكري مؤشرات مخبرية، والمدة، والأمراض المصاحبة، والأسباب الأخرى المحتملة؛يعتمد تصنيف اعتلال الشبكية على جودة صورة قاع العين، والآفات الموحدة وقواعد التصنيف؛ يتضمن الاعتلال العصبي المحيطي أدلة مختلفة مثل الأعراض والفحص الحسي والإحساس الوقائي والفيزيولوجيا الكهربية العصبية؛ قد تشمل القدم السكرية موقع القرحة، وعمقها، والعدوى، ونقص التروية، والاعتلال العصبي، ونتائج الشفاء.يمكنهم مشاركة البنية التحتية لإدارة البيانات والقياس، ولكن لا يمكن دمج قيم الحقيقة المرجعية والمجموعات السكانية المستهدفة وتكاليف الخطأ وآثار التصرف السريري ببساطة. تحتوي بيانات وصف PDF وCSV الموجودة في المرفق
على وصف المستند والحقول المنظمة.قد تتضمن رموز عناصر الفحص الشائعة والأسماء وقيم النتائج والوحدات والنطاقات المرجعية والعلامات غير الطبيعية في ملف CSV أيضًا الأوامر الطبية أو الأدوية أو استنتاجات التقارير أو نتائج الفحص.يمكن أن يوفر PDF معلومات سياقية وسردية وتنسيقية.لكن "يوجد حقل معين في الملف" لا يعني تلقائيًا أن تعريف الحقل متسق، أو أن الوحدة موحدة، أو أن المصدر مكتمل، أو أن التسمية صحيحة.يجب تسجيل الملف المصدر ورقم الصفحة/العمود والقيمة الأصلية والقيمة الموحدة والوحدة ودلالات الوقت وقاعدة التحويل والسبب المفقود وحالة المراجعة لكل حقل أثناء الإنشاء.
لا يحتوي المرفق حاليًا على كتالوج للصور التي تم تسليمها كملفات JPEG أو PNG أو DICOM أو ملفات قاع/OCT مستقلة.ولذلك، فإن ما يمكن مناقشته في هذه المرحلة هو استخراج الأدلة من التقارير والنماذج الموجودة، وفهم الوثائق، ومهام النص المحدودة عندما تكون أدلة التصوير موجودة في التقرير؛ لا يمكن الادعاء بأن لديها الشروط اللازمة لتصنيف صور قاع العين، أو تفسير OCT، أو التعرف على صور جرح القدم، أو تقييم دمج الصور عبر الوسائط.عند استلام الصور في المستقبل، يجب أيضًا التحقق من المعدات وبروتوكول التصوير وجودة الصورة والإحداثيات المشروحة ومؤسسة الاقتناء ونطاق الترخيص.
1.2 يجب ذكر "وحدة العينة" في العينة الصغيرة بوضوح
وحدة التحليل المستقلة هي الحالة/المريض، وليس ملف PDF أو CSV أو رقم الصفحة أو عنصر الاختبار أو صف السجل. الحالة المنقسمة إلى عشرات الملفات لا تزال تساهم فقط في مريض واحد مستقل؛ترتبط أيضًا اختبارات متعددة على نفس الشخص ببعضها البعض.إن تقسيم خطوط الملفات بشكل عشوائي إلى مجموعات تدريب واختبار من شأنه أن يسمح للمعلومات حول نفس المريض بعبور الحدود وإحداث تسرب خطير. إذا تم تنفيذ التدريب أو التطوير في المستقبل، فيجب تجميع المرضى ككل؛في الإعدادات متعددة المراكز، يجب تصميم التحقق الخارجي حسب المؤسسة أو الوقت.
عندما يكون هناك 3 حالات فقط لكل فئة مرض، فإن الحالة الواحدة تمثل ثلث المجموعة لفئة المرض تلك.وحتى لو كانت جميع الحالات الـ12 صحيحة، فلا يمكن استنتاج أن الحساسية السريرية تصل إلى 100%.في هذه المرحلة، ما يمكن التحقق منه هو ما إذا كانت العملية جارية، وما إذا كانت الحقول لها مصادر، وما إذا كان من الممكن التحكيم في خلافات الخبراء، وما إذا كانت الأخطاء يمكن عزوها؛لا ينبغي نشر AUC، أو مخاطر المرض، أو التعميم بين السكان، أو قوائم إيجابيات وسلبيات النموذج.
2. قسّم الأنواع الأربعة من المضاعفات إلى مهام تقييم قابلة للتكرار
يجب أن تجيب القائمة أولاً على "ما تم قياسه"، ثم "من حصل على درجات أعلى".يوصى بإنشاء كتالوج المهام على مستويين: مهام فهم البيانات العامة والمهام الخاصة بالأمراض.يشكل كل عنصر بطاقة مهمة ذات نوع إدخال ثابت، والسكان المطبقين، والمخرجات المستهدفة، ومصدر الأدلة، والمعيار المرجعي، وشروط الاستبعاد، ووظيفة التسجيل، ومستوى المخاطر السريرية، والإصدار والاستخدامات المحظورة.يجب أن تكون الإجابة قابلة للإرجاع إلى الدليل الأصلي؛النموذج الذي يعطي نتيجة فقط وليس سلسلة من الأدلة لا ينبغي أن يحصل على نفس النتيجة التي يحصل عليها النظام القابل للتتبع.
المسار أ｜الاستخراج المنظم للسجلات الطبية وبيانات الفحص
يستخرج عناصر الاختبار والنتائج والوحدات والفواصل المرجعية والعلامات غير الطبيعية والأدوية والتشخيصات من PDF/CSV ويربط كل قيمة بالحالة وحدث الاختبار والوقت.لا تتحقق المؤشرات من تطابق الحقول فحسب، بل تحتاج أيضًا إلى التحقق من القيمة والوحدة والعلامة وحدود الفاصل الزمني وتحليل التاريخ وتحديد موضع المصدر على التوالي.لا يمكن دمج "لم تتم رؤيته" و"لم يتم التحقق منه" و"سلبي" في التقرير في نفس القيمة الخالية؛ يجب تسجيل الصيغة ودقة التقريب لتحويل الوحدة.يوصى بالإبلاغ عن المطابقة الدقيقة، والدقة على مستوى المجال/الاسترجاع/F1، والدقة العددية ودقة الوحدة المجمعة، ودقة تحليل الوقت، ودقة موقع الدليل، ودقة الرفض/المعالجة المفقودة.
المسار ب |اعتلال الكلية السكري: حالة المخاطر الطولية واتساق الأدلة
إذا كان من الممكن إرجاع البيانات إلى الاختبارات المتكررة، فيمكن لنموذج القياس أن يحدد بشكل صحيح القيم والوحدات والاتجاهات والفواصل الزمنية حول معدل الترشيح الكبيبي (eGFR)، ونسبة الألبومين البولي / الكرياتينين (UACR)، والكرياتينين في الدم، ومدة مرض السكري، وضغط الدم، ومعلومات الدواء.توصي "معايير 2026 لتشخيص وعلاج مرض السكري" الصادرة عن ADA بمراقبة eGFR وUACR للمرضى الذين يعانون من مرض السكري، وتحديد تكرار إعادة الفحص على أساس التقسيم الطبقي لمخاطر مرض الكلى المزمن؛ يوضح هذا أن "النافذة الزمنية" والتغييرات المستمرة هي في حد ذاتها جزء من تعريف المهمة، وليست حقولًا إضافية[1].لا يمكن للاستدلال التشخيصي المبني على قيمة غير طبيعية واحدة أن يحل محل التشخيص السريري الموحد والحكم المستمر.إذا كنت تقوم بمهمة تنبؤ، فيجب تحديد نقطة بداية التنبؤ وفترة التنبؤ والنتيجة والمخاطر الأساسية ومعالجة تغيير العلاج والمخاطر المتنافسة مسبقًا، ولا يحتوي هذا الملحق على حجم العينة المطلوب لتشكيل تحقق موثوق من نموذج المخاطر.
المسار C｜اعتلال الشبكية السكري: فهم التقرير واختبار صورة قاع العين بشكل منفصل
من الممكن حاليًا تقييم استخلاص "توصيات تصنيف النتائج" من التقارير الموجودة، وما إذا كانت المجالات المختلفة غير متسقة مع بعضها البعض، وما إذا كانت توصيات الإحالة تعتمد على النص الأصلي؛ ومع ذلك، بدون صور قاع العين/OCT المستقلة، لا يمكن تقييم اكتشاف الآفة على مستوى الصورة، أو الدرجات، أو توطين الآفة، أو التعميم عبر الكاميرا.يجب أن يحدد معيار تصوير قاع العين مجال التصوير والعينين اليسرى واليمنى وجودة الصورة ومعالجة الصور غير المؤهلة ونظام الدرجات وتحكيم القارئ.على سبيل المثال، تحتوي بيانات أبحاث شبكية العين متعددة الوسائط التي نشرتها "البيانات العلمية" في عام 2026 على 24460 صورة، والتي تم تنقيحها إلى خمسة مستويات من الشدة، وسبعة أنواع من الآفات، وتصنيف الوذمة البقعية OCT، مما يعكس متطلبات تقييم الصور للملصقات الدقيقة الحبيبات، وإقران الطريقة، ومراقبة الجودة.[2].لاحظت دراسة نموذجية كبيرة متعددة الوسائط وجود اختلافات في الأداء بين النماذج المختلفة وانخفاض حساسية الكشف عن الخطورة في 309 عيون لـ 188 مريضًا، مما يذكر القائمة بأن القائمة لا يمكنها الإبلاغ عن الدقة الإجمالية فحسب، بل تحتاج أيضًا إلى إظهار التشخيصات الفائتة وأخطاء التصنيف.[3]。
Track D｜الاعتلال العصبي المحيطي والقدم السكري: تصنيف الأدلة وشدتها وسلامتها
تتحقق المهمة الكتابية للاعتلال العصبي المحيطي مما إذا كانت الأعراض وأنماط الفحص والنتائج الحسية الوقائية وارتباطها الزمني قد تم تسجيلها بشكل صحيح، وتكتشف ما إذا كان النموذج يكتب عن طريق الخطأ "لم يتم تسجيله" على أنه "فحص عادي".تؤكد فصول الاعتلال العصبي والعناية بالقدم في "معايير 2026 لتشخيص وعلاج مرض السكري" الصادرة عن ADA على فحص الاعتلال العصبي وتقييم مخاطر القدم والفحص البدني الموحد؛ لذلك، يجب أن توضح بطاقة المهمة طريقة الفحص وتكرار الفحص وعتبة الإحالة لتجنب التعامل مع السجلات المفقودة على أنها سلبية[7].يمكن أن تبدأ المهام القابلة للقياس للقدم السكري من استخراج الموقع، وحجم الجرح، وعلامات العدوى، وأدلة نقص التروية، والتصنيف والنتيجة من السجلات الطبية؛يجب أن يكون لمهام الصور المستقبلية ظروف تصوير قياسية ومرجع للقياس ووضع علامات على الآفة ونتائج سريرية.في حالة عدم وجود صور، لا يمكن استخدام أداء مهمة السجل الطبي المكتوب للإشارة إلى القدرة البصرية للجرح.إن إغفال تنبيه عالي الخطورة، أو خفض تصنيف نصيحة الطوارئ إلى تنبيه منخفض الخطورة، أو اختلاق درجة قرحة من لا شيء، يجب أن يتم تسجيلها جميعًا كأخطاء جسيمة والإبلاغ عنها بشكل منفصل بدلاً من تعويضها بإجابات صحيحة في عدد كبير من المجالات البسيطة. يجب أن يتطابق مؤشر
لتجنب إخفاء الدرجات للاختلافات السريرية، لا ينبغي دمج الفئات الأربع للمسارات في تصنيف عام واحد. إذا كان لا بد من تقديم درجات موجزة في المستقبل، فيجب الكشف في الوقت نفسه عن المؤشرات الأصلية وتكوين الحالة وفترات الثقة وقواعد الترجيح ونطاق تطبيق كل مسار؛يجب أن يتم عرض الطرائق والمهام المفقودة على أنها "لم يتم تقييمها" ولا يمكن اعتبارها نقاط صفر أو تمريرها افتراضيًا.
3. المعايير المرجعية وشروح الخبراء وسلامة المرضى
3.1 المعيار المرجعي هو نظام أدلة يمكن تتبعه، وليس تصويتًا
الحقيقة السريرية لا يمكنها ببساطة نسخ آخر حقل تشخيصي يظهر في السجل الطبي.من الضروري أولاً تحديد مستوى الأدلة المرجعية لكل مهمة: على سبيل المثال، تستخدم الاختبارات المعملية التقارير المخبرية المؤهلة ومعلومات الوحدة/الطريقة؛ يتم إنشاء نتائج الكلى وفقًا للتعريفات التوجيهية والنوافذ الزمنية المحددة؛ يعتمد تصنيف قاع العين على المقاييس المسجلة مسبقًا والصور المؤهلة وقراءات الخبراء؛ تحدد نتائج القدم بوضوح أساس ووقت الإصابة أو نقص التروية أو الشفاء أو البتر.عندما لا تستوفي الحالة الشروط، يجب وضع علامة عليها على أنها "غير قادر على التحديد/أدلة غير كافية"، ولا يمكن إنشاء التصنيفات بالقوة.عندما تتعارض أدلة مختلفة، يجب الاحتفاظ بسبب التعارض والحكم النهائي بدلاً من الكتابة فوق البيانات الأصلية. توصي
بإنشاء فريق خبراء لكل مرض: قسم الغدد الصماء مسؤول عن السياق السريري العام لمرض السكري، ويكون خبراء أمراض الكلى وطب العيون والأعصاب وخبراء الجروح/الأوعية الدموية مسؤولين على التوالي عن تعريف الأمراض المتخصصة؛ يشارك مهندسو البيانات والإحصائيون ومديرو سلامة المرضى في مراجعة المهام وقواعد التسجيل.تطوير الأدلة والأمثلة الإيجابية والسلبية وحالات الحدود والرموز المفقودة وأرقام الإصدارات قبل وضع العلامات؛ يجب تدريب واضعي العلامات واجتياز مجموعة المعايرة قبل الدخول في وضع العلامات الرسمية.يقدم خبيران مؤهلان على الأقل تعليقات توضيحية مستقلة؛ حساب مؤشرات الاتساق المناسبة وإعطاء فئات الخلاف؛ وثالث خبير كبير محكم.يجب تحديد Cohen/Fleiss κ أو الموزون κ أو الارتباط داخل الفئة أو معدل الاتفاق وفقًا لنوع المتغير، ولا يمكن تطبيق إحصائية اتساق واحدة ميكانيكيًا على جميع التسميات.
3.2 تعامل مع "يمكن رفض الإجابة" باعتبارها قدرة موثوقة
لا ينبغي أن تحصل أنظمة الرعاية الصحية على علامات عالية لمجرد أنها تتمتع بمعدلات استجابة عالية.تحتاج المهمة إلى إعداد مواقف مثل عدم القدرة على الحكم، وعدم كفاية جودة الصورة، والاختبارات الرئيسية المفقودة، وتعارضات التسمية، وما وراء السكان المعنيين، وتقييم ما إذا كان النموذج مناسبًا لطلب معلومات تكميلية أو نقلها إلى الموظفين السريريين.يجب أن تشير النتائج إلى معدلات التغطية والخطأ بشكل مشترك: قد يؤدي تقليل التغطية إلى تحسين الدقة، ولكن إذا كان النظام يجيب فقط على الحالات السهلة، فيجب تقديمه من خلال منحنى تغطية المخاطر أو عتبة تغطية محددة مسبقًا؛ يجب إدراج الأخطاء الخطيرة والتطمينات الكاذبة والتشخيصات التي لا أساس لها بشكل منفصل في أحداث السلامة.
3.3 يجب أن يسبق الترخيص والأخلاقيات وإخفاء الهوية قياس النموذج
يشير اسم الملف المرفق إلى "غير حساس"، وهو مجرد بيان مصدر ولا يشكل دليلاً مستقلاً على إخفاء الهوية أو الاستخدام القانوني.فشل الفحص التلقائي للنص لهذه الدفعة من المواد في اكتشاف أنماط معلومات الهوية الشائعة، لكنه لا يمكن أن يحل محل فحص المستندات الأصلية صفحة تلو الأخرى، وفحص الصور/التعرف الضوئي على الحروف، وفحص البيانات الوصفية، وتقييم مخاطر إعادة تحديد المجموعة النادرة، والتحقق من مستندات التفويض، والحكم الأخلاقي.تحتاج البيانات على مستوى المريض إلى إنشاء مصادر قانونية، وأغراض الاستخدام، ونطاق الترخيص، وموظفي الوصول، وفترات الاحتفاظ، وقواعد الحذف والتدقيق؛لا يزال إلغاء الهوية لا يعني بالضرورة إخفاء الهوية.سيتم إصدار إحصائيات إجمالية كافية فقط للعرض الخارجي، ولن يتم إصدار أي نص أو لقطات شاشة أو مجموعات نادرة يمكن إرجاعها إلى الحالات. تقوم مجموعة التدريب ومجموعة الاختبار الخاصة بتنفيذ الوصول اللامركزي، كما يترك تقديم النموذج والوصول إلى البيانات آثارًا.
4. بطاقة الأداء: من الإجابات الصحيحة إلى إجابات موثوقة وقوية وقابلة للاستخدام
ما يلي هو إطار تقييم مقترح، وليس درجة محسوبة للحالة المرفقة أو أي نموذج.يعد الوصول إلى الحوكمة بمثابة عتبة حق النقض ذات الصوت الواحد: أولئك الذين يفشلون في الأخلاقيات/الترخيص، وإزالة التحسس، وأساس وضع العلامات، والتحقق من التسرب ومعلومات الإصدار لن يشاركوا في مقارنة القائمة. بعد اجتياز القبول، يتم تحديد الدرجات وفقًا للمهام المستهدفة للمسار المحدد؛ يمكن تعيين وحدات مثل صحة المهام السريرية، وتتبع الأدلة، وجودة البيانات المنظمة، والسلامة والرفض، والمتانة/الأداء عبر المجالات على مقياس مكون من 100 نقطة.ومع ذلك، يجب تسجيل الأوزان المحددة مسبقًا بشكل مشترك من قبل الخبراء والمستخدمين السريريين وفرق الإحصاء قبل تجميد مجموعة الاختبار، والتحقق منها من خلال تحليل الحساسية. لا ينبغي تعديل الأوزان بعد ذلك لمتابعة تقدم نموذج معين.
| البُعد | الملاحظات المقترحة أمثلة على المؤشرات القابلة للتطبيق | أمثلة على المقاييس المناسبة | المخاطر الرئيسية |
|---|---|---|---|
| صحة المهمة السريرية | الاستخراج أو التصنيف أو الاتجاه أو التصنيف أو عتبة المعالجة المحددة مسبقًا | الدقة/الاسترجاع، المتوسط الكلي F1، MAE، الموزون κ | تغطي المؤشرات الإجمالية عددًا صغيرًا من التشخيصات الفائتة عالية الخطورة |
| أدلة يمكن تتبعها | الاستنتاج: هل يمكن تحديد موقع الصفحة الأصلية والحقول ووقت التحقق والقواعد؟ | دقة موقع الدليل ومعدل مطابقة القيمة/الوحدة المشتركة | الإجابة صحيحة ولكن الأساس خاطئ أو لا يمكن تدقيقه |
| الأمن وعدم اليقين | رفض الإجابة والترقية والتعرف على إشارة التحذير والهلوسة والإغفالات الرئيسية | معدل الأخطاء الجسيمة، منحنى تغطية المخاطر، خطأ المعايرة تم تخفيف اقتراح الخطأ | بالتساوي |
| قوية وعادلة | مفقود، جودة المسح الضوئي، المعدات/المؤسسة، العمر والطبقات الأخرى | الاختلافات الطبقية، فترات الثقة، مؤشرات الانجراف | نتائج العينة غير الكافية تؤدي إلى استنتاجات خاطئة للمجموعة الفرعية يمكن إعادة إنتاج عملية |
| إصدار نموذج | وكلمة المطالبة ومعلمات الاستدلال والتاريخ وتجزئة البيانات | الفرق في عمليات إعادة التشغيل ومعدل اكتمال السجلات البيئية لا يمكن مراجعة نتائج القائمة | يجب أن يتطابق مؤشر |
مع المهمة. تقارير الاستخراج الميداني تتطابق تمامًا مع الدقة/الاستدعاء/F1 على مستوى الحقل؛ القيم المستمرة تبلغ عن الأخطاء وصحة الوحدة؛ تستخدم الخطورة الترتيبية مصفوفة ارتباك مرجحة أو مرتبة؛مهام التنبؤ تعطي في نفس الوقت التمييز والمعايرة والفائدة الصافية عند العتبات السريرية وفترات الثقة؛تستخدم الاستجابات المفتوحة قوائم الحقائق الذرية التي طورها الخبراء، ودعم الأدلة، والإغفالات الحاسمة ومقاييس الخطورة، والتحقق اليدوي من الاتساق للمراجعين الآليين. لا يمكن استبدال المعايرة بـ "نموذج الثقة المبلغ عنه ذاتيًا". يجب أن تتبع الدراسات التنبؤية توصيات إعداد التقارير الشفافة مثل TRIPOD+AI؛ويجب أيضًا أن تشير بيانات المؤسسات/المجموعات المتعددة إلى عدم التجانس المؤسسي والتحليل المقابل[4]。
هذه المرة n=12 ليست كافية لتقدير هذه المؤشرات الإجمالية بشكل ثابت.المخرجات التجريبية المناسبة هي قوائم الأخطاء على مستوى الحالة (فقط داخل البيئات المعتمدة)، والفجوات في تعريف المهمة، وخلافات التعليقات التوضيحية، وفشل التنسيق المنهجي، وأوقات المراجعة اليدوية، ونقاط توقف العملية، ونتائج اختبار البرنامج النصي.لا يتم إصدار تصنيفات النماذج الحقيقية للعالم الخارجي.قبل الدخول في مرحلة التحقق الرسمية، ينبغي أن يستند عرض حجم العينة إلى معدل الانتشار المتوقع، وأهداف الحساسية/النوعية، وعرض فترة الثقة المسموح بها، والتجمعات المؤسسية، ونسبة المتابعة المفقودة والفحوصات غير الصالحة؛ للمرضى بدلاً من توثيق الوحدات الإحصائية للسلوك، يفضل أن يستخدم تقدير الفواصل الطرق التي يمكن أن تعكس بنية التجميع.
5. كيفية تجنب التسرب والتحيز والدقة الزائفة في القوائم
5.1 يجب أن تكون مجموعات الاختبار المخفية قادرة على منع "سحب التصنيفات"
إذا تم الكشف عن جميع حالات الاختبار، فقد يتذكر النموذج الإجابات الموجودة في مجموعة التدريب، أو الكلمات السريعة، أو القواعد المصطنعة. يجب أن تستخدم القائمة مجموعة تطوير عامة ومجموعة مخفية خاضعة للرقابة بالتوازي: تعريفات المهام العامة، والمواصفات الميدانية، وإجراءات التسجيل وعينات التطوير التمثيلية؛ الاحتفاظ بمجموعة اختبار خاصة معتمدة، والحد من تكرار الإرسال، والاحتفاظ بسجلات مكالمات واجهة برمجة التطبيقات/الحاوية، وملخصات الإدخال والإخراج، وإصدارات النماذج، وتجزئة البيانات.يحتاج الفريق النموذجي إلى إعلان ما إذا كان سيتم استخدام بيانات الاختبار للتدريب أو الضبط أو المراجعة اليدوية. يجب التحكم في تكيف مجموعة الاختبار الناتج عن عمليات الإرسال المتكررة من خلال مجموعة جديدة يتم تخصيصها جانبًا، ومجموعات الانحراف الزمني، والأسئلة المخفية الدوارة. يجب إجراء تجزئة
بواسطة المريض على الأقل؛ وبعد توفر بيانات كافية، يمكن إضافة الاختبارات الخارجية بواسطة المستشفى والمعدات والوقت. تحقق من زيارات المرضى نفسها عبر الزيارات، ونسخ التقارير، والقوالب المتماثلة، وملفات PDF شبه المكررة، والنص المنسوخ، وتكرارات الصور.بدلاً من "أخذ بعض العينات العشوائية من المزيد من المراكز"، يحتفظ التحقق عبر المراكز بالمؤسسة الكاملة كمجال مستقل ويبلغ عن تكوين العينة والفواصل الزمنية للمؤشرات وأنماط الفشل لكل مركز.تحتاج المهام متعددة الوسائط إلى التأكد من موثوقية المفاتيح المطابقة للصور والتقارير والاختبارات ونتائج الحالة دون تسريب هوية المريض.
5.2 يجب أن يركز التقييم على عواقب الاستخدام السريري بدلاً من أداء النموذج تعمل إجابة حالة
على التحقق فقط من الإمكانات غير المتصلة بالإنترنت؛وتعتمد قيمة النشر أيضًا على ما إذا كان النموذج يمكنه تقليل الإدخالات المتكررة، وتحسين اكتمال البيانات، وتقصير وقت مراجعة الخبراء، وعدم زيادة الإحالات الخاطئة، أو التقارير الفائتة، أو عبء العمل.قبل الدخول في سير العمل الحقيقي، يجب توضيح ما إذا كان الأطباء يستطيعون رؤية مخرجات النموذج، ومتى يمكن الكتابة فوقها، وكيف يتم تصعيد الاستثناءات، ومن يقوم بمراجعة الأخطاء، من خلال التشغيل الصامت، والإصدارات التجريبية اليدوية، وتقييمات قابلية الاستخدام المحتملة، والأبحاث السريرية الضرورية.يجب أن يشمل تصنيف المخاطر عمليات الفرز المساعدة منخفضة المخاطر وتوصيات الفرز/التشخيص عالية المخاطر، ولا يمكن استخدام نتائج العينات الصغيرة غير المتصلة بالإنترنت لتحل محل الأدلة التنظيمية أو الأخلاقية أو السريرية.
تظهر الأبحاث الحديثة أن أداء الذكاء الاصطناعي للتصوير الطبي وقابليته للنقل يرتبطان ارتباطًا وثيقًا بحجم المجموعة والمعايير المرجعية وسيناريوهات التصوير والبيانات الخارجية.استخدم DeepDKD مجموعة تطوير واسعة النطاق وتم التحقق من صحتها على 10 مجموعات بيانات متعددة الأعراق في دراسة اعتلال الكلية السكري لاستدلال صورة شبكية العين، مما يوفر مثالًا منهجيًا لـ "الانتقال من الأداء أحادي المركز إلى التحقق الخارجي" بدلاً من الاستنتاجات النموذجية التي يمكن زرعها مباشرة في هذه الحالات الـ 12.[5].أشارت مراجعة منهجية للذكاء الاصطناعي في القدم السكرية أيضًا إلى أن نقص الإبلاغ عن المقاييس مثل المعايرة يقوض تفسير المخاطر الفردية وموثوقية اتخاذ القرار[6]. لذلك، يجب أن تكمن نقاط الابتكار في هذا المشروع في تصميم التقييم، وإجماع الخبراء، وسلسلة الأدلة وقدرات التحقق عبر المجالات، ولا ينبغي تجميعها كمنتج سريري تم التحقق منه.
6. من تجربة العملية المكونة من 12 حالة إلى منصة التقييم متعددة المراكز
- المرحلة 0｜الوصول والمخزونتأكيد ترخيص موفر البيانات، والمسار الأخلاقي، واستخدام البيانات، وفترة الاحتفاظ، وطريقة إلغاء البيانات المكررة على مستوى المريض، ونطاق توفر الصور/المستندات؛ بطاقة بيانات النموذج والتقرير المفقود والقاموس الميداني ونسب الملف وقائمة مخاطر الخصوصية.لا يتم تحميل الحالات إلى خدمات النماذج الخارجية حتى تكتمل.
- المرحلة 1｜12 تجريبية لمنهجية الحالة1-2 المهام القابلة للفصل فيها والمراجعة والتي تم اختيارها من قبل الخبراء السريريين لكل مرض؛ الشرح والتحكيم من شخصين؛ منضدة عمل التعليقات التوضيحية للتحقق، واستشهاد الأدلة، ونص التسجيل، وعملية الاختبار الأعمى، وتسمية خطورة الخطأ.يتم تسليم تقارير العمليات فقط، ولا يتم نشر أي تصنيفات أو تقديرات للأداء.
- المرحلة 2｜تصميم السكان المستهدفين وحجم العينةتفاوض مع مستشفيات متعددة للمجموعات المحتملة أو بأثر رجعي لتوضيح معايير الاشتمال وطيف المرض والمعدات والنافذة الزمنية ومتابعة النتائج وترخيص البيانات.سيقوم الفريق الإحصائي بحساب حجم العينة بناءً على فاصل الدقة/الثقة لنقطة النهاية الأولية ومتطلبات المجموعة الفرعية؛ لن يتم استخدام "تجميع مجموعة من الملفات" كمعيار لبناء قاعدة البيانات.تنفيذ رسم خرائط متغيرة بين المراكز وتوحيد الوحدة ومحاذاة المصطلحات.
- المرحلة 3 | القائمة الرسمية والتحقق المخفي: تصدرإصدار البروتوكول وقواعد تقديم النموذج ومؤشرات التسجيل المسبق ووقت تحديث القائمة وتضارب المصالح وآلية الاستئناف؛ يقوم بإعداد مجموعات التطوير العامة والمجموعات المخفية الخاضعة للرقابة، وتقارير المركز الفرعي ونتائج المهام الفرعية، والمعايرة، وعدم اليقين، والأحداث الأمنية والمجموعات القابلة للتطبيق.يحظر استبدال نماذج الصور غير المقيَّمة بدرجات المهام النصية.
- المرحلة 4｜الفعالية السريرية والمراقبة المستمرةتقييم الوقت والجودة والسلامة والعوامل البشرية في سير العمل الفعلي؛ مراقبة انجراف المعدات/السكان، وتغييرات جودة المدخلات، وتصعيد الأخطاء بعد بدء التشغيل.في كل مرة يتم فيها تغيير البيانات أو الإرشادات أو واجهات النماذج أو البرامج النصية للتسجيل، يتم إنشاء إصدار جديد، ويتم الاحتفاظ بسجلات التراجع والقوائم التاريخية، ولا تتم الكتابة فوق النتائج القديمة بصمت.
من المستحسن أن يتبع وصف البيانات فكرة بطاقة البيانات القابلة لإعادة الاستخدام ويذكر وقت التجميع، وفئة المؤسسة المصدر، وعيار عد المرضى والحالات، وشروط التضمين، وتعريف تسمية كل مهمة، والمعايير المرجعية، وأدوار الخبراء، وأوجه القصور والتحيزات، والأذونات وطرق الوصول، والسيناريوهات المحظورة، واختلافات الإصدار والقيود المعروفة.بالنسبة للبيانات السريرية المشتركة بين المؤسسات، يمكن استخدام المعايير المشتركة دوليًا مثل OMOP CDM وLOINC وSNOMED CT وICD كمراجع لرسم الخرائط، ولكن يجب تسجيل الرموز الأصلية وإصدارات جدول التعيين والعناصر غير القابلة للتعيين، ولا يمكن فقدان الدلالات السريرية الأصلية من أجل "التوحيد القياسي".
7. اقتراح البناء والحلقة المغلقة للأعمال في LumeSage
بالنسبة للمستشفيات، لا تعد حزمة الحالات الخاصة بالمرض قائمة جاهزة للذكاء الاصطناعي، ولكنها المادة الخام لبدء إنتاج البيانات ومشاريع التقييم.بالنسبة لفريق الذكاء الاصطناعي الطبي، القدرة على الإجابة على "أي مجموعة من الأشخاص، وأي مهمة، وأي مجموعة من التسميات، وأي إصدار تتوافق معه هذه النتيجة، وما الخطأ الذي تتوافق معه هذه النتيجة؟" يمكن أن تدعم قرارات البحث والتطوير بشكل أفضل من مجموع النقاط المنفصلة عن حدود التطبيق.يمكن بناء اقتراح لانغوي المتمايز على ثلاثة خطوط تسليم يمكن التحقق منها: أولاً، يحدد الخبراء المهام والمعايير المرجعية السريرية؛ثانيًا، يقوم الفريق الهندسي بجمع المستندات غير المنظمة والاختبارات المنظمة والوقت والمصادر في بيانات يمكن تتبعها؛ ثالثًا، يشكل فريق التقييم حلقة مغلقة من التكرارات المستمرة من خلال الاختبار الأعمى، وتقسيم الخطورة إلى طبقات، والتحقق الخارجي، وإدارة الإصدارات.
تتجاوز قيمة سلسلة الأعمال هذه نماذج التدريب: يمكن للمستشفيات استخدام الملصقات الموحدة وقواعد الجودة لإجراء البحث العلمي وإدارة البيانات والتعاون متعدد المراكز؛يمكن للشركات النموذجية اكتشاف تحليل المستندات، وأخطاء الوحدة، وتدهور أداء المجموعة الفرعية، والنقص الخطير في الإبلاغ قبل الاتصال بالإنترنت؛ يمكن للفرق البحثية الحصول على بروتوكولات تجريبية يمكن مراجعتها؛يستفيد المرضى من سلسلة أدلة أكثر وضوحًا، وتعبيرًا أكثر ملاءمة عن عدم اليقين، وتعاونًا أكثر أمانًا بين الإنسان والآلة. يجب التحقق من جميع القيم من خلال مؤشرات محددة للمشروع ولا يمكن استنتاجها فقط بناءً على كمية البيانات أو الترتيب في القائمة.
لذلك، يوصى ببدء هذا المشروع باعتباره "مشروعًا بحثيًا تجريبيًا لـ DiaComp-Bench": قم أولاً بإنشاء بطاقة بيانات وأربعة كتالوجات لمهام الأمراض، مما يحد من 12 حالة فقط لعملية شرح الخبراء والتحقق من أداة التقييم؛ بناء مجموعة متعددة المراكز بعد الانتهاء من مراجعة الامتثال؛ يقوم الخبراء السريريون والإحصائيون ومهندسو الخوارزميات والعاملون في مجال سلامة المرضى بتجميد المعايير المرجعية والمؤشرات والمجموعات المخفية بشكل مشترك؛ بعد التحقق الخارجي والتقييم الحقيقي لسير العمل، قرر ما إذا كان سيتم الكشف عن التصنيفات وحدودها المطبقة. وهذا لا يحترم أدلة الارتباط الحالية فحسب، بل يترك أيضًا طريقًا واضحًا للتشكيل اللاحق لنظام تقييم الذكاء الاصطناعي عالي الجودة وقابل للتكرار وذو قيمة سريرية لمضاعفات مرض السكري.
المراجع
- [1] لجنة الممارسة المهنية للجمعية الأمريكية لمرض السكري. 11. مرض الكلى المزمن وإدارة المخاطر: معايير الرعاية لمرضى السكري – 2026. رعاية مرضى السكري. 2026;49 (ملحق 1):S246-S260. معرف الهوية الرقمي 10.2337/dc26-S011.
- [2] تانغ زي، وانغ إل، قوه زي، وآخرون. مجموعة بيانات صور شبكية العين متعددة الوسائط للكشف عن اعتلال الشبكية السكري باستخدام نماذج الأساس. البيانات العلمية. 2026;13:639. معرف الهوية الرقمي 10.1038/s41597-026-07005-9.
- [3] هل يمكن للنماذج اللغوية الكبيرة متعددة الوسائط تشخيص اعتلال الشبكية السكري من خلال صور قاع العين؟ التقييم الكمي. علوم طب العيون. 2026;6(1):100911. معرف الهوية الرقمي 10.1016/j.xops.2025.100911.
- [4] كولينز جي إس، مونز كي جي إم، ديمان بي، وآخرون. بيان TRIPOD+AI: إرشادات محدثة للإبلاغ عن نماذج التنبؤ السريرية التي تستخدم أساليب الانحدار أو التعلم الآلي. BMJ. 2024;385:e078378. معرف الهوية الرقمي 10.1136/بمج-2023-078378.
- [5] منغ وآخرون. تشخيص الخزعة غير الغازية لمرض الكلى السكري من خلال التعلم العميق المطبق على صور الشبكية: دراسة قائمة على السكان. لانسيت للصحة الرقمية. 2025. معرف الهوية الرقمية 10.1016/j.landig.2025.02.008.
- [6] نماذج تصنيف قرحة القدم السكرية باستخدام تقنيات الذكاء الاصطناعي والتعلم الآلي: مراجعة منهجية. مجلة أبحاث الإنترنت الطبية. 2025;27:e69408. معرف الهوية الرقمي: وصف المنهجية 10.2196/69408.
- [7] لجنة الممارسة المهنية للجمعية الأمريكية لمرض السكري. 12. اعتلال الشبكية والاعتلال العصبي والعناية بالقدم: معايير الرعاية لمرضى السكري – 2026. رعاية مرضى السكري. 2026;49 (ملحق 1):S261-S276. معرف الهوية الرقمي 10.2337/dc26-S012.
ملاحظة منهجية:يقتصر وصف المرفقات في هذه المقالة على مخزون بنيوي على مستوى الملف؛ لا يتم عرض محتوى السجل الطبي على مستوى المريض أو إعادة إنتاجه. لا يشكل فحص إزالة التحسس الآلي شهادة امتثال للخصوصية، ولا تشكل البيانات المرفقة مجموعة تدريب عامة أو تصنيفات نموذجية تم التحقق من صحتها سريريًا. يجب الحكم على التعريفات والاستخدامات السريرية من قبل أخصائي طبي مؤهل جنبًا إلى جنب مع الإرشادات المعمول بها والتاريخ الطبي الكامل واللوائح المحلية.
