सारांश: मेडिकल AI बेंचमार्क से साक्ष्य-आधारित निर्णय तक
चिकित्सा कृत्रिम बुद्धिमत्ता के क्षेत्र में सूचियाँ अक्सर कुल स्कोर के आधार पर क्रमबद्ध तालिका में संपीड़ित होती हैं। हालाँकि, एक चिकित्सा परिदृश्य में, सिर्फ इसलिए कि एक मॉडल परीक्षा के प्रश्नों में आगे है, इसका मतलब यह नहीं है कि यह मेडिकल इतिहास को एकत्र कर सकता है, लापता जानकारी की पहचान कर सकता है, उचित रूप से परीक्षाओं का चयन कर सकता है, दिशानिर्देशों का पालन कर सकता है और वास्तविक निदान और उपचार में अनिश्चितता व्यक्त कर सकता है, न ही इसका मतलब यह है कि यह रोगी सेवाओं या डॉक्टर वर्कफ़्लो में लगाए जाने के लिए उपयुक्त है। सूची का वास्तविक मूल्य एक एकल चैंपियन बनाना नहीं है, बल्कि मॉडल क्षमताओं, कार्य सीमाओं, जोखिमों, लागतों और साक्ष्य स्तरों को अवलोकनीय, तुलनीय और समीक्षा योग्य बनाना है।
मेडिकल प्रश्नोत्तर बेंचमार्क प्रासंगिक बने हुए हैं। मेडक्यूए अमेरिकी मेडिकल प्रैक्टिशनर परीक्षा प्रश्नों को मेडिकल प्रश्न और उत्तर कार्यों में परिवर्तित करता है। PubMedQA को यह निर्धारित करने के लिए मॉडल को पेपर के सार को संयोजित करने की आवश्यकता है कि क्या शोध निष्कर्ष समस्या का समर्थन करता है; वे चिकित्सा ज्ञान कवरेज और शोध पढ़ने की क्षमता के लिए एक दोहराने योग्य प्रारंभिक बिंदु प्रदान करते हैं [1–2]। लेकिन चिकित्सीय अभ्यास सीधे प्रश्न से उत्तर की ओर नहीं जाता है। मरीज पाठ्यपुस्तक के क्रम में जानकारी प्रस्तुत नहीं करते हैं, सभी परीक्षण ज्ञात नहीं होते हैं, एक साथ कई निदान उचित हो सकते हैं, और निर्णय समय, संसाधनों, रोगी की प्राथमिकताओं और जोखिम सहनशीलता से प्रभावित होते हैं।
हाल के वर्षों में मूल्यांकन कार्य वास्तविक कार्य के करीब कार्यों के लिए चिकित्सा बेंचमार्क का विस्तार कर रहा है: हेल्थबेंच ओपन-एंड, बहु-गोल स्वास्थ्य वार्तालापों का मूल्यांकन करने के लिए डॉक्टरों द्वारा लिखे गए रूब्रिक्स का उपयोग करता है; एजेंटक्लिनिक परामर्श, उपकरण उपयोग और अधूरी जानकारी को अनुरूपित नैदानिक वातावरण में डालता है; मेडएजेंटबेंच एजेंटों को एक आभासी इलेक्ट्रॉनिक मेडिकल रिकॉर्ड वातावरण के माध्यम से कार्य पूरा करने की अनुमति देता है जो एफएचआईआर का अनुपालन करता है; मेडहेल्म कार्य वर्गीकरण प्रणाली [3–6] के आधार पर कई मेडिकल बेंचमार्क आयोजित करता है।2026 क्लिनिकल एआई समीक्षा ने आगे बताया कि मानक प्रश्न, सिम्युलेटेड मामले, पूर्वव्यापी सत्यापन और संभावित नैदानिक मूल्यांकन साक्ष्य के विभिन्न स्तरों पर हैं और एक दूसरे की जगह नहीं ले सकते हैं [7]।
यह लेख एक मेडिकल एआई बेंचमार्क का विकास योजना पर आधारित है, जो परामर्श के कई दौरों, परीक्षा फीडबैक सिमुलेशन, आईसीडी कोडिंग, दिशानिर्देश आधार, लागत लेखांकन, डबल-ब्लाइंड विशेषज्ञ मूल्यांकन और मानव-मशीन सहयोगी डिजाइन का विश्लेषण करने पर केंद्रित है। समाधान में स्पष्ट इंजीनियरिंग मूल्य है, लेकिन ऐसे वैज्ञानिक मुद्दे भी हैं जिन्हें पहले ठीक किया जाना चाहिए: नमूना आकार, संस्करण, शीघ्र शब्द, स्कोरिंग नियम और आत्मविश्वास अंतराल अपूर्ण होने पर आंतरिक मॉडल स्कोर को सीधे सार्वजनिक रैंकिंग के रूप में उपयोग नहीं किया जा सकता है; लापता परीक्षा परिणाम को सिम्युलेटर द्वारा चुपचाप "नकारात्मक" के रूप में नहीं भरा जा सकता है; वास्तविक मेडिकल रिकॉर्ड सूची को डिफ़ॉल्ट रूप से निदान और उपचार के लिए स्वर्ण मानक के रूप में उपयोग नहीं किया जाना चाहिए।
यह लेख एक अधिक मजबूत निर्माण पथ का प्रस्ताव करता है: पहले उपयोग और जोखिमों को परिभाषित करें, और फिर स्रोत, अधिकृत और प्रतिनिधि मामलों को व्यवस्थित करें; स्थैतिक प्रश्नों, इंटरैक्टिव सिमुलेशन, पूर्वव्यापी बाहरी सत्यापन और संभावित पायलटों के बीच एक साक्ष्य सीढ़ी स्थापित करें; शुद्धता, सुरक्षा, अंशांकन, संसाधन उपयोग, प्रयोज्यता और मानव-मशीन सहयोग प्रदर्शन पर एक ही समय में रिपोर्ट करें; और अंत में संस्करणित डेटा, श्रव्य स्कोरिंग और निरंतर रेड टीम परीक्षण के साथ सूची को बनाए रखें। LumeSage के लिए, यह दिशा डेटा इंजीनियरिंग, मेडिकल एनोटेशन, विशेषज्ञ समीक्षा, गुणवत्ता प्रबंधन और निजी मूल्यांकन को नैदानिक परिणामों के रूप में "डेटा होने" या "सूची में होने" की पैकेजिंग के बजाय एक सत्यापन योग्य सेवा प्रक्रिया में जोड़ सकती है।
1. परीक्षा के अंक नैदानिक क्षमता सिद्ध क्यों नहीं करते
1. चिकित्सा ज्ञान प्रश्न क्षमता स्लाइस को मापते हैं
मेडिकल बहुविकल्पीय प्रश्न बेंचमार्क स्पष्ट प्रश्नों के तहत ज्ञान निष्कर्षण, अवधारणा विश्लेषण और सीमित तर्क प्रक्रियाओं के परीक्षण के लिए उपयुक्त है। उनका लाभ यह है कि प्रश्न और उत्तर प्रारूप अपेक्षाकृत स्थिर, पुन: पेश करने में आसान, आधार रेखा स्थापित करने में आसान और संस्करण अपडेट के साथ मॉडल परिवर्तनों को देखने के लिए उपयुक्त हैं। समस्या यह है कि परीक्षण प्रश्नों की संरचना नैदानिक कार्य को "दी गई जानकारी - एक उत्तर चुनें" में संक्षिप्त कर देती है। मॉडल को प्रश्न पूछने, परीक्षण करने या न करने का निर्णय लेने या यह इंगित करने की आवश्यकता नहीं है कि किसी निष्कर्ष का समर्थन करने के लिए कौन सी जानकारी अपर्याप्त है।
अनुसंधान-आधारित Q&A की अपनी कार्य सीमाएँ भी हैं। PubMedQA प्रश्नों, अमूर्त संदर्भ और निष्कर्षों को हां/नहीं/शायद निर्णयों में व्यवस्थित करता है, जो साक्ष्य पढ़ने और प्रेरण के परीक्षण के लिए उपयुक्त है, लेकिन यह अनुमान नहीं लगाया जा सकता है कि मॉडल मेडिकल रिकॉर्ड या वास्तविक डॉक्टर-रोगी संचार में विरोधाभासी जानकारी को संभालने में सक्षम है। परीक्षण स्कोर को सीधे "नैदानिक क्षमता" के रूप में संदर्भित करना एक संकीर्ण कार्य के परिणामों को दूसरे जटिल सिस्टम कार्य में विस्तारित करना है।
2. नैदानिक निर्णय लेना एक अनुक्रमिक प्रक्रिया है
वास्तविक निदान और उपचार में पारस्परिक विकल्पों की एक श्रृंखला शामिल होती है: पहले क्या पूछना है, कब अनुवर्ती कार्रवाई करनी है, क्या परीक्षण करना है, नए परिणामों की व्याख्या कैसे करना है, क्या विभेदक निदान को संशोधित करना है, कब परीक्षण बंद करना है और कब समीक्षा के लिए पूछना है। एजेंटक्लिनिक के शोध ने स्थिर मेडक्यूए प्रश्नों को कई दौर की बातचीत में बदल दिया और पाया कि क्रमिक निर्णय लेने की कठिनाई काफी बढ़ जाएगी; MedAgentBench ने वर्चुअल इलेक्ट्रॉनिक मेडिकल रिकॉर्ड वातावरण में कार्यों का एक सेट रखा, जिसके लिए मॉडल को टूल कॉल के माध्यम से संरचित मेडिकल रिकॉर्ड को पढ़ने या संचालित करने की आवश्यकता होती है [4–5]। ये कार्य याद दिलाते हैं कि एक मॉडल की प्रश्नों का उत्तर देने की क्षमता और एक प्रक्रिया को पूरा करने की मॉडल की क्षमता दो अलग-अलग प्रकार की क्षमताएं हैं।
3. चिकित्सा त्रुटियों की लागत असममित है
एक महत्वपूर्ण संकेत गायब होना, एक निरीक्षण परिणाम गढ़ना जो कि नहीं किया गया है, और अनावश्यक उच्च जोखिम वाले उपायों का प्रस्ताव करना खराब शब्दों के समान मानकों के अनुसार कटौती नहीं की जा सकती है। समग्र सटीकता कम-आवृत्ति लेकिन उच्च-परिणाम वाली सुरक्षा चूक को छुपा सकती है। NOHARM जैसे सुरक्षा बेंचमार्क "संभावित नुकसान की आवृत्ति और गंभीरता" को एक विशेष मूल्यांकन वस्तु के रूप में लेते हैं; इसके शोध की व्याख्या अभी भी पेपर के मामलों और एनोटेशन रेंज के अनुसार की जानी चाहिए, लेकिन यह स्पष्ट रूप से दर्शाता है कि सुरक्षा चिकित्सा ज्ञान स्कोर का पर्याय नहीं है [8]।
4. चिकित्सा मानक पुराने हो जाएंगे और "पके हुए" हो सकते हैं
जब सार्वजनिक प्रश्न बैंक का उपयोग प्रशिक्षण, शीघ्र शब्द अनुकूलन और मॉडल चयन के लिए कई बार किया जाता है, तो सूची स्कोर नए मामलों का सामना करते समय इसकी सामान्यीकरण क्षमता के बजाय प्रश्न वितरण के साथ मॉडल की अधिक परिचितता को प्रतिबिंबित कर सकता है। मॉडल पुनरावृत्ति के कारण स्थैतिक परीक्षण सेट भी जल्दी से अंतर खो सकते हैं। डायनेमिक रेड टीमिंग रिसर्च 2025 और इसका 2026 जर्नल कार्य स्थैतिक परीक्षण [9] के अलावा निरंतर उत्परिवर्तन संकेतों, प्रतिकूल परिदृश्यों और सुरक्षा तनाव परीक्षण के मूल्य को प्रदर्शित करता है। गतिशील परीक्षण एक सार्वभौमिक समाधान नहीं है: यदि प्रत्येक दौर के लिए हमले के नियम पारदर्शी या प्रतिलिपि प्रस्तुत करने योग्य नहीं हैं, तो स्कोर की तुलना करना मुश्किल होगा। इसलिए, प्रतिलिपि प्रस्तुत करने योग्य बेसलाइन, नियंत्रित छिपे हुए सेट, समय-समय पर सत्यापन और नवीनता और मजबूती जांच के लिए गतिशील लाल टीमिंग के लिए निश्चित सार्वजनिक सेट का उपयोग करना और प्रत्येक स्कोर द्वारा उत्तर दिए गए प्रश्नों का स्पष्ट रूप से खुलासा करना समझदारी है।
2. स्थिर बेंचमार्क से नैदानिक कार्यप्रवाह के मूल्यांकन तक
1. एकल प्रश्न के उत्तर से लेकर वास्तविक बातचीत तक
हेल्थबेंच की मूल परियोजना जानकारी से पता चलता है कि बेंचमार्क में 5,000 स्वास्थ्य संवाद शामिल हैं, जिनका निर्माण 60 देशों में अभ्यास करने वाले 262 डॉक्टरों द्वारा किया गया था, और मॉडल प्रतिक्रियाओं के लिए एक आइटम-दर-आइटम स्कोरिंग रूब्रिक डिज़ाइन किया गया है; आधिकारिक जानकारी स्पष्ट रूप से बताती है कि संवाद बहु-मोड़, बहुभाषी हो सकता है, और सामान्य उपयोगकर्ताओं और चिकित्सा पेशेवरों के बीच के परिदृश्यों को भी कवर करता है [3]। इसलिए, कार्यक्रम सामग्री में हेल्थबेंच के "सभी एकल-मोड़ वार्तालाप" के विवरण को ठीक करने की आवश्यकता है। यहां मुख्य बात यह नहीं है कि कोई निश्चित बेंचमार्क "सबसे उन्नत" है या नहीं, बल्कि यह है कि बेंचमार्क परिचय को मूल पेपर पर वापस जाना चाहिए और आधिकारिक डेटा विवरण को सत्यापित करना चाहिए, और सेकेंड-हैंड तालिकाओं पर भरोसा नहीं करना चाहिए।
चिकित्सक अकेले कीवर्ड मिलान के साथ ओपन-एंडेड चिकित्सा प्रतिक्रियाओं का मूल्यांकन करने से बचने में मदद के लिए आइटम-दर-आइटम रूब्रिक लिखते हैं। लेकिन रूब्रिक कवरेज, वज़न, निर्णय सीमाएँ और स्वचालित ग्रेडर को अभी भी सत्यापित करने की आवश्यकता है। हेल्थबेंच पर मूल काम में मॉडल स्कोरर का भी उपयोग किया गया था और डॉक्टरों ने मानवीय निर्णयों के साथ स्थिरता के लिए उनकी समीक्षा की थी; ऐसे तरीके आगे बढ़ने के लिए उपयुक्त हैं, लेकिन इसकी व्याख्या इस तरह नहीं की जानी चाहिए कि "एलएलएम न्यायाधीश स्वाभाविक रूप से वस्तुनिष्ठ होते हैं"।
2. स्थिर मामलों से इंटरैक्टिव वातावरण तक
एजेंटक्लिनिक अनुसंधान अधूरी जानकारी, बातचीत के कई दौर और उपकरण के उपयोग का समर्थन करने के लिए एक अनुरूपित वातावरण में डॉक्टरों, रोगियों और माप उपकरण जैसी भूमिकाएँ स्थापित करता है [4]। MedAgentBench आगे 300 नैदानिक कार्य, 100 रोगी फ़ाइलें और एक FHIR-अनुपालक वर्चुअल EHR वातावरण प्रदान करता है [5]। वे मूल्यांकन वस्तु को एक पाठ उत्तर से "क्या मॉडल एक निश्चित वातावरण में निर्दिष्ट कार्रवाई को पूरा कर सकता है" तक विस्तारित करते हैं।
सिमुलेशन वातावरण का मूल्य इसकी नियंत्रणीयता, दोहराने योग्यता और रिकॉर्ड करने की क्षमता में निहित है; इसकी सीमा रोगी सिम्युलेटर, परीक्षा सिम्युलेटर, मेडिकल रिकॉर्ड डेटा संरचना और वास्तविक चिकित्सा प्रणाली के बीच का अंतर है। मेडएजेंटबेंच पेपर में यह भी स्पष्ट रूप से उल्लेख किया गया है कि आभासी वातावरण को सीधे उत्पादन प्रणाली के रूप में उपयोग नहीं किया जा सकता है, और बताया कि डेटा स्रोतों और कार्य कवरेज में सीमाएं हैं। स्व-निर्मित बेंचमार्क के लिए, एजेंट वातावरण को न केवल यह पूछना चाहिए कि "क्या कार्य पूरा हो गया है", बल्कि टूल कॉल, स्थिति परिवर्तन, अनधिकृत संचालन, अमान्य अनुरोध, बार-बार जांच और समाप्ति बिंदु भी रिकॉर्ड करना चाहिए।
3. "एक बड़ी सूची" से कार्य वंशावली तक
MedHELM 5 प्रमुख श्रेणियों, 22 उपश्रेणियों और 121 कार्यों में बड़े मेडिकल मॉडल मूल्यांकन का आयोजन करता है, और कई मौजूदा और नए बेंचमार्क को एक साथ लाता है [6]। निदान, मेडिकल रिकॉर्ड निर्माण, रोगी संचार, चिकित्सा अनुसंधान और प्रशासनिक प्रक्रियाओं को एक ही अंक में कुचलने की तुलना में यह संरचना बेहतर ढंग से दर्शाती है कि मॉडल क्या है और किसके लिए उपयुक्त नहीं है। प्रेरणा यह है: सूची का पहला स्तर उपयोगों का वर्गीकरण होना चाहिए, और दूसरा स्तर मॉडल तुलना होना चाहिए।
उदाहरण के लिए, नैदानिक रिकॉर्ड सारांश और रोगी शिक्षा विभिन्न जोखिम परिदृश्यों से संबंधित हैं; परीक्षण रिपोर्ट निष्कर्षण, नैदानिक सिफ़ारिशें और चिकित्सा संसाधन शेड्यूलिंग को मूल्यांकन भार का समान सेट साझा नहीं करना चाहिए। किसी विशिष्ट उद्देश्य से उन्मुख सूची के लिए, पहले लक्षित उपयोगकर्ता, इनपुट जानकारी, अनुमत उपकरण, सिस्टम आउटपुट, मैन्युअल समीक्षा जिम्मेदारियां और विफलता लागत तय की जानी चाहिए, और फिर स्कोरिंग आयाम निर्धारित किए जाने चाहिए।
4. एक बार की रैंकिंग से लेकर निरंतर निगरानी तक
क्लिनिकल एआई सिस्टम मॉडल एपीआई, शीघ्र शब्द, खोज लाइब्रेरी, टूल चेन और मानव-कंप्यूटर इंटरैक्शन रणनीतियों पर भरोसा कर सकते हैं। केवल "मॉडल नाम + स्कोर" की रिपोर्ट करना किसी सिस्टम को पुन: पेश करने के लिए पर्याप्त नहीं है।2025 में ट्राइपॉड-एलएलएम शोधकर्ताओं को उपयोग परिदृश्यों, मॉडलों और संस्करणों, त्वरित इंजीनियरिंग, डेटा प्रोसेसिंग, मानव समीक्षा योग्यता और गुणवत्ता नियंत्रण जैसी जानकारी की रिपोर्ट करने की याद दिलाता है; ट्राइपॉड+एआई, डिसाइड-एआई और कंसोर्ट-एआई क्रमशः पूर्वानुमानित मॉडल रिपोर्टिंग, प्रारंभिक वास्तविक जीवन परिदृश्य मूल्यांकन और एआई हस्तक्षेप नैदानिक परीक्षणों के लिए संबंधित रिपोर्टिंग ढांचे प्रदान करते हैं [10–13]। ये दिशानिर्देश नैदानिक अनुमोदन या गुणवत्ता प्रमाणन नहीं हैं, लेकिन वे बताते हैं कि पारदर्शी रिपोर्टिंग अकादमिक तुलनीयता और प्रतिलिपि प्रस्तुत करने योग्यता का आधार है।
3. प्रस्ताव की समीक्षा: व्यवहार्यता, सीमाएँ और आवश्यक सुधार
1. वास्तविक मेडिकल रिकॉर्ड और जटिल जानकारी: दिशा सही है, और नमूने का स्रोत और प्रतिनिधित्व स्पष्ट होना चाहिए
योजना अनुशंसा करती है कि नैदानिक जानकारी की प्रचुरता में सुधार के लिए संरचित वास्तविक मेडिकल रिकॉर्ड, परीक्षण और परीक्षा जानकारी का उपयोग किया जाए, जो एक आवश्यक दिशा है। नैदानिक पाठों में संक्षिप्तीकरण, चूक, टाइपो, समय अवधि और क्रॉस-डॉक्यूमेंट विरोधाभास शामिल हैं, जिससे सिंथेटिक मामलों के लिए पूर्ण वास्तविक जटिलता को कवर करना मुश्किल हो जाता है। वास्तविक डेटा के उपयोग को यह भी स्पष्ट करना चाहिए: डेटा स्रोत और प्राधिकरण का दायरा, रोगी-स्तर का डुप्लिकेशन, गोपनीयता संरक्षण, समावेशन और बहिष्करण मानदंड, संस्थान और जनसंख्या वितरण, रोग और गंभीरता अनुपात, लापता तंत्र, और क्या प्रशिक्षण/परीक्षण सेट में एक ही रोगी के साथ समस्याएं हैं।
"वास्तविक" का अर्थ "प्रतिनिधि" नहीं है। बड़े अस्पतालों या एकल विभागों के डेटा को स्वाभाविक रूप से समुदायों, विभिन्न क्षेत्रों और विभिन्न भाषा समूहों में वितरित नहीं किया जा सकता है। माप को नैदानिक सेटिंग, संस्थान, आयु समूह, लिंग, रोग उपप्रकार और प्रमुख जोखिम समूह द्वारा प्रदर्शन की रिपोर्ट करनी चाहिए; जब अपर्याप्त नमूने उपलब्ध हों, तो कम नमूना समूहों के स्कोर को विश्वसनीय रैंकिंग मानने के बजाय अनिश्चितता को स्पष्ट किया जाना चाहिए।
2. परीक्षण परिणाम सिमुलेशन: अनुसंधान किया जा सकता है, लेकिन अज्ञात को नकारात्मक के रूप में छिपाया नहीं जा सकता
योजना का प्रस्ताव है कि जब मूल मामला मॉडल द्वारा अनुरोधित परीक्षा प्रदान नहीं करता है, तो "परीक्षा एजेंट" परिणाम की भविष्यवाणी करेगा। यह इंटरैक्टिव दृश्यों के निर्माण में मदद कर सकता है, लेकिन यह संपूर्ण तकनीकी डिज़ाइन में सबसे जोखिम भरा लिंक भी है। वास्तविक दुनिया के डेटा में, "कोई निरीक्षण नहीं" का मतलब है कि परिणाम अज्ञात है, जिसका मतलब यह नहीं है कि परिणाम सामान्य है; यदि सिम्युलेटर एक उचित परिणाम उत्पन्न करता है और इसे सीधे परीक्षण के तहत मॉडल पर लौटाता है, तो परीक्षण "अधूरी जानकारी के तहत निर्णय लेने" से "मैन्युअल रूप से लिखित जानकारी के तहत निर्णय लेने" में बदल जाएगा, जो गलत निष्कर्ष निकाल सकता है और परीक्षण के परिणाम सिम्युलेटर के विचलन पर निर्भर कर सकता है।
अनुशंसा करता है कि सूचना की स्थिति को कड़ाई से अलग किया जाए: देखे गए परिणाम, स्पष्ट रूप से नहीं किए गए, अप्राप्य, और सिमुलेशन पीढ़ी। सिमुलेशन परिणाम केवल एक अलग सिम्युलेटर अध्ययन कार्य के भीतर लौटाए जाते हैं, और उनके पीढ़ी स्रोत, आत्मविश्वास स्तर, प्रयोज्यता और वास्तविक वितरण सत्यापन पृष्ठभूमि में संरक्षित होते हैं। मुख्य सूची को दो ट्रैक के साथ स्थापित किया जा सकता है: एक केवल नियतात्मक मामले की जानकारी पर स्कोर करता है; दूसरा मॉडल के अनिश्चित परिणामों से निपटने के मूल्यांकन के लिए वास्तविक डेटा के साथ बाहरी रूप से सत्यापित पर्यावरण सिम्युलेटर का उपयोग करता है। सिमुलेटर का उपयोग अदृश्य नैदानिक तथ्य जनरेटर के रूप में नहीं किया जाना चाहिए।
3. ICD-10 और मानकीकृत स्कोरिंग: यह रिकॉर्ड को मानकीकृत करने में सहायक है, लेकिन इसका मतलब निदान के लिए स्वर्ण मानक स्थापित करना नहीं है।
मैपिंग ICD-10 जैसे कोड का निदान करती है जो पदानुक्रमित आंकड़ों, श्रेणी एकत्रीकरण और क्रॉस-टीम समीक्षा के लिए सहायक है, लेकिन कोड मिलान केवल यह उत्तर दे सकता है कि "सिस्टम निष्कर्ष को कहां कोड करता है?" और स्वतंत्र रूप से उत्तर नहीं दे सकता "क्या नैदानिक निर्णय सही है।"कोडिंग का स्तर बहुत अधिक कठोर हो सकता है, कई निष्कर्षों को उचित ठहराया जा सकता है, और समय के साथ और नए परीक्षणों के साथ निदान बदल सकता है। नैदानिक अवधारणाओं, साक्ष्य, स्वीकार्य वैकल्पिक निदान, नैदानिक पदानुक्रम और विशेषज्ञ निर्णय के रिकॉर्ड को बनाए रखते हुए, कोडिंग को एक गणना योग्य सहायक क्षेत्र के रूप में उपयोग करना सही दृष्टिकोण है।
संदर्भ मानक केस डेटा और लागू दिशानिर्देशों के आधार पर संबंधित विशेषज्ञ अनुभव वाले डॉक्टरों द्वारा स्थापित किया जाना चाहिए; यदि आवश्यक हो, तो दो लोगों को स्वतंत्र रूप से इसे चिह्नित करना चाहिए, किसी तीसरे पक्ष द्वारा इसकी मध्यस्थता करनी चाहिए और मतभेदों को दर्ज करना चाहिए। ऐसे मामलों के लिए जिनमें कई चिकित्सकीय रूप से उचित रास्ते मौजूद हैं, स्कोरिंग को एकल डिस्चार्ज कोड को एकमात्र सही उत्तर मानने के बजाय स्वीकार्य उत्तरों के पूर्वनिर्धारित सेट को पहचानना चाहिए।
4. दिशानिर्देश स्थिरता: मूल्यांकन पथ, लेकिन संस्करण और लागू समूह को लॉक करें
में इस परीक्षण या उपचार को क्यों चुना गया इसका औचित्य प्रदान करने के लिए दिशानिर्देश, नैदानिक मार्ग और विशेषज्ञ सर्वसम्मति शामिल है। मूल्यांकन प्रोटोकॉल को दिशानिर्देश का नाम, संस्करण, रिलीज की तारीख, लागू जनसंख्या और सिफारिश की ताकत तय करनी चाहिए; अन्यथा, मॉडल को ऐसी अनुशंसा के साथ स्कोर किया जा सकता है जो रोगी के लिए पुरानी या अनुपयुक्त है। न ही दिशानिर्देश प्रत्येक रोगी की प्राथमिकताओं, मतभेदों, संसाधन उपलब्धता और नैदानिक अनिश्चितताओं को समाप्त कर सकते हैं।
दिशानिर्देश संगतता को तीन जांच योग्य प्रश्नों में विभाजित करने की अनुशंसा करता है: क्या आवश्यक मुख्य चरण छोड़ दिए गए हैं; क्या निष्पादित चरणों में संगत संकेत हैं; क्या मॉडल अनिश्चितता व्यक्त करता है और सबूत अपर्याप्त होने या दिशानिर्देश द्वारा कवर नहीं होने पर उचित उन्नयन पथ का प्रस्ताव करता है।"दिशानिर्देश में मुख्य शब्दों का उल्लेख करना" को "दिशानिर्देश का पालन" नहीं माना जा सकता है, न ही तर्क प्रक्रिया के प्रवाह को सीधे नैदानिक शुद्धता के साथ जोड़ा जाना चाहिए।
5. लागत मूल्यांकन: सूची में अर्थशास्त्र को शामिल करना प्रगति है, लेकिन एक कीमत नैदानिक मूल्य की जगह नहीं ले सकती।
योजना निरीक्षण कीमतों के आधार पर संसाधन खपत की गणना करने का प्रस्ताव करती है, और "जानकारी बढ़ाने के लिए असीमित निरीक्षण खोलने" की अनुचित रणनीति की पहचान कर सकती है। यह अनुक्रमिक निदान बेंचमार्क की दिशा के अनुरूप है ताकि अनुक्रमिक निदान और परीक्षा लागत को समान मूल्यांकन वातावरण में रखा जा सके [14]। हालाँकि, चिकित्सा सेवाओं की कीमत क्षेत्र, अस्पताल, भुगतान प्रणाली, रोगी बीमा और विशिष्ट परीक्षा संयोजनों पर निर्भर करती है; मूल्य सूची केवल एक निश्चित समय और परिदृश्य पर एक अनुमान हो सकती है, सार्वभौमिक वास्तविक लागत मूल्य नहीं।
एक अधिक मजबूत रिपोर्टिंग दृष्टिकोण एक साथ नैदानिक प्रदर्शन, छूटे हुए निदान के जोखिम, अति-परीक्षा, परीक्षाओं की संख्या, लागत सीमा, प्रतीक्षा समय, अतिरिक्त चिकित्सा बोझ और अनिश्चितता को प्रस्तुत करना होगा। विभिन्न मॉडलों के लिए "जोखिम-प्रभाव-लागत" सीमा बनाएं, ताकि यह समझाया जा सके कि किन उपयोगों, सीमाओं और भुगतान परिवेशों के तहत एक निश्चित समाधान अधिक उपयुक्त है, न कि सीधे तौर पर घोषित किया जाए कि एक मॉडल "सबसे अधिक लागत प्रभावी" है। यदि नैदानिक उपयोगिता भार या निर्णय विश्लेषण के लिए कोई आधार नहीं है, तो कई संकेतकों को जबरन एक आरओआई में परिवर्तित नहीं किया जाना चाहिए।
6. स्थिरता और pass@k: एकल विश्वसनीयता को प्रतिस्थापित करने के लिए बार-बार नमूने के बिना, सटीक रूप से परिभाषित किया जाना चाहिए
मेडिकल सिस्टम तैनात होने पर आमतौर पर वास्तविक अनुरोध का सामना करते हैं, इसलिए pass@1 दर्शाता है कि क्या एक रन से कार्य पूरा हो सकता है; pass@k आमतौर पर कई प्रयासों के बीच कम से कम एक सफलता की संभावना पर जोर देता है, और "k सभी सफलताओं" की संभावना या रनों के बीच स्कोर का अंतर एक और स्थिरता संकेतक है। योजना में पास@के और पास^के को पेपर प्रोटोकॉल में एक-एक करके स्पष्ट रूप से परिभाषित करने की आवश्यकता है, और प्रत्येक मामले की पुनरावृत्ति, यादृच्छिक बीज, तापमान, नमूना रणनीति और सारांश एल्गोरिदम की संख्या को नोट किया जाना चाहिए।
यदि मॉडल को वास्तविक परिदृश्यों में पुनः प्रयास किया जा सकता है, तो सिस्टम उपयोगकर्ता को सर्वोत्तम उत्तर प्रदर्शित कर सकता है, लेकिन यह दृष्टिकोण देरी, लागत और जोखिम को बदल देगा और इसका मूल्यांकन अलग से किया जाना चाहिए। प्रशिक्षण के बाद की गुणवत्ता या नैदानिक स्थिरता का अकेले pass@k और pass@1 के बीच अंतर से सीधे अनुमान नहीं लगाया जा सकता है; सांख्यिकीय अंतर नमूना आकार, विश्वास अंतराल, केस क्लस्टरिंग और पूर्व निर्धारित विश्लेषण योजनाओं को भी ध्यान में रखते हैं। सभी रैंकिंग को अनिश्चितता के अंतराल देने चाहिए, और क्षमता में पीढ़ीगत अंतर के रूप में छोटे नमूनों में रैंकिंग एक्सचेंजों की व्याख्या करने से बचना चाहिए।
7. एलएलएम-ए-जज: एनोटेशन क्षमताओं का विस्तार करें, विशेषज्ञ अंशांकन और ऑडिटिंग को बनाए रखें
एलएलएम रेफरी प्रारूप जांच, आंशिक तथ्य जांच, रूब्रिक्स की प्रारंभिक स्क्रीनिंग और बड़े नमूनों की सहायक स्कोरिंग के लिए उपयुक्त है, लेकिन यह उन उत्तरों को प्राथमिकता दे सकता है जो लंबे, अधिक आत्मविश्वास वाले और अपने स्वयं के आउटपुट की तरह शब्दों में कहें, या यह परीक्षण किए जा रहे मॉडल के साथ समान ज्ञान ब्लाइंड स्पॉट साझा कर सकता है। हेल्थबेंच और मेडहेल्म जैसे अध्ययनों ने रूब्रिक और मॉडल स्कोरर के अभ्यास का प्रदर्शन किया है, और स्कोरर और नैदानिक विशेषज्ञ निर्णयों के बीच स्थिरता की तुलना करने की आवश्यकता को भी दर्शाया है [3,6]।
पदानुक्रमित स्कोरिंग के उपयोग की अनुशंसा करता है: नियतात्मक नियमों का उपयोग प्रोग्रामयोग्य सत्यापन योग्य वस्तुओं के लिए किया जाता है; उद्धृत स्रोतों, नियमों और नैदानिक विशेषज्ञों का उपयोग करके चिकित्सा तथ्यों और प्रमुख सुरक्षा बिंदुओं की समीक्षा की जाती है; प्रशिक्षित नेत्रहीन नैदानिक समीक्षाओं का उपयोग करके संचार अनुभव और कार्यक्रम उपयुक्तता की समीक्षा की जाती है। नमूनों के प्रत्येक बैच का एक निश्चित अनुपात दो लोगों द्वारा स्वतंत्र स्कोरिंग के लिए चुना जाता है, और स्थिरता सूचकांक, असहमति दर और मध्यस्थता स्थिति की रिपोर्ट की जाती है। रेफरी मॉडल का नाम और संस्करण, शीघ्र शब्द, स्कोरिंग तापमान, रूब्रिक संस्करण और अंशांकन नमूने भी जमे हुए और संग्रहीत हैं।
8. डबल-ब्लाइंड विशेषज्ञ मंच: ब्लाइंडिंग, ऑर्डर प्रभाव और स्कोरिंग थकान को रोकने की आवश्यकता है
योजना में डिज़ाइन किए गए केस तुलना, दोहरे मॉडल प्रश्न और उत्तर और यादृच्छिक ब्लाइंड परीक्षण प्लेटफ़ॉर्म संचालन योग्य हैं। परिणामों को भरोसेमंद बनाने के लिए, ब्लाइंडिंग केवल मॉडल नामों को छिपाने पर भरोसा नहीं कर सकती: आउटपुट प्रारूप को एकीकृत करने की आवश्यकता है, विक्रेता और मॉडल शैली टैग हटा दिए गए हैं, और उत्तरों के क्रम को यादृच्छिक किया गया है; समीक्षकों को उत्तरों का स्रोत या सूची में उनकी स्थिति नहीं पता होनी चाहिए; एक ही मामले के लिए दो मॉडल प्रतिक्रियाओं से इंटरफ़ेस में युग्मित सुराग प्रकट नहीं होने चाहिए। समीक्षा प्रशिक्षण, थकान नियंत्रण, डुप्लिकेट प्रश्न का पता लगाना, स्कोरिंग समय सीमा, अंधा अनुमान लगाने वाली प्रश्नावली और आपत्ति समीक्षा स्थापित की जानी चाहिए।
नैदानिक विशेषज्ञ रेटिंग भी "स्वाभाविक रूप से निष्पक्ष" नहीं हैं। स्वीकार्य जोखिमों के निर्णय विशिष्टताओं, वर्षों के अनुभव और अभ्यास सेटिंग्स के अनुसार भिन्न हो सकते हैं। अध्ययनों में समीक्षक योग्यता, विशेष वितरण, केस कार्य मिलान विधियों, अंतर-समीक्षक स्थिरता और मध्यस्थता प्रक्रियाओं की रिपोर्ट होनी चाहिए, और रोगी और सार्वजनिक चिंताओं के लिए भागीदारी तंत्र स्थापित करना चाहिए। DECIDE-AI प्रारंभिक नैदानिक मूल्यांकन में नैदानिक व्यावहारिकता, सुरक्षा, मानवीय कारकों और आगे के परीक्षणों की तैयारी पर जोर देता है; यह हमें याद दिलाता है कि वास्तविक नैदानिक मूल्यांकन को उपयोगकर्ताओं, वर्कफ़्लो और सिस्टम पुनरावृत्ति पर ध्यान केंद्रित करना चाहिए, न कि केवल मॉडल उत्तर स्कोर [12] पर।
4. विश्वसनीय मेडिकल AI बेंचमार्क की पद्धति
1. पहले "उद्देश्य कार्ड" बनाएं, और फिर प्रश्न लिखें
सूची के प्रत्येक उप-आइटम के लिए, पहले उद्देश्य कार्ड भरें: लक्षित उपयोगकर्ता कौन है; किस प्रकार के रोगियों और नैदानिक समस्याओं की सेवा की जाती है; मॉडल क्या भूमिका निभाता है; इनपुट में किस डेटा को शामिल करने की अनुमति है; क्या आउटपुट वास्तविक चिकित्सा निर्णयों को प्रभावित करता है; क्या पुनर्प्राप्ति, उपकरण या इलेक्ट्रॉनिक मेडिकल रिकॉर्ड को मंगाने की अनुमति है; अंतिम समीक्षा कौन करेगा; असफलता से क्या हानि होगी? उद्देश्य कार्ड कार्य, जोखिम स्तर, माप मेट्रिक्स और प्रकटीकरण शब्द निर्धारित करते हैं। उद्देश्य परिभाषा के अभाव में, सूची यह नहीं समझा सकती कि खरीद या नैदानिक तैनाती के लिए स्कोर का क्या अर्थ है।
2. केस वंशावली और डेटा कार्ड स्थापित करें
प्रत्येक मामले में कम से कम अज्ञात रोगी/विज़िट की पहचान, कार्य प्रकार, बीमारी और गंभीरता, सूचना स्रोत, समय बिंदु, संरचित फ़ील्ड, दस्तावेजों और परीक्षाओं के बीच संबंध, लेबलिंग आधार, लागू दिशानिर्देश संस्करण, लापता स्थिति, मामले को शामिल करने/बहिष्करण नियम और स्वीकार्य उत्तरों का सेट रिकॉर्ड किया जाता है। केस-स्तरीय विभाजन को एक ही रोगी, एक ही यात्रा, या प्रशिक्षण, पैरामीटर समायोजन और परीक्षण सेट से संबंधित लगभग डुप्लिकेट दस्तावेज़ों से बचना चाहिए। परीक्षण सेट को संस्करण और डेटा वंश को बनाए रखना चाहिए; सार्वजनिक सेट पर नियमित प्रदूषण ऑडिट आयोजित किया जाना चाहिए, और छिपे हुए सेट पर पहुंच नियंत्रण और ऑडिट लॉग लागू किया जाना चाहिए।
3. डिज़ाइन कार्य कार्ड और पर्यावरण स्थिति
प्रत्येक कार्य का वर्णन इस प्रकार करता है: प्रारंभिक जानकारी, प्रश्न जो मॉडल पूछ सकता है, उपलब्ध उपकरण, पर्यावरण वापसी नियम, समाप्ति की शर्तें, अनुमत संचालन, निषिद्ध संचालन और पूर्व निर्धारित जोखिम। अनुक्रमिक कार्यों को पूर्ण संवाद और टूल ट्रेस को संरक्षित करना चाहिए, बिना किसी प्रश्न वाले मॉडल, बिना डेटा वाले वातावरण, नहीं किए गए चेक और अज्ञात परिणाम के बीच अंतर करना चाहिए। यदि नकली मरीज़ या निरीक्षण एजेंट परीक्षण में भाग लेते हैं, तो उनकी सत्यापन प्रक्रिया और विफलता मोड का खुलासा करने की आवश्यकता है; सिमुलेशन वातावरण परीक्षण के तहत मॉडल में लेबल लीक नहीं कर सकता है, न ही नए तथ्य जो राज्य संक्रमण नियमों का अनुपालन नहीं करते हैं, केवल इसलिए उत्पन्न किए जा सकते हैं क्योंकि परीक्षण के तहत मॉडल को कुछ और राउंड के लिए कहा जाता है।
4. एकल कुल स्कोर के बजाय संकेतक डैशबोर्ड का उपयोग करें
संकेतकों को कम से कम छह समूहों में विभाजित करने की अनुशंसा की जाती है
1. कार्य प्रदर्शन निदान या निर्णय सटीकता, मुख्य चरण कवरेज, संरचित निष्कर्षण पूर्णता, कार्य पूर्णता दर। 2. रोगी सुरक्षा गंभीर त्रुटि, खतरनाक चूक, ओवरहैंडलिंग, झूठी तसल्ली, वर्जित उपेक्षा, काल्पनिक परीक्षा या उद्धरण।3. प्रक्रिया गुणवत्ता सूचना संग्रह दक्षता, जांच चयन, बार-बार संचालन, टूल कॉलिंग की शुद्धता, और क्या उचित समय पर रुकना है।4. अनिश्चितता अंशांकन त्रुटि, जोखिम स्तरीकरण, अस्वीकृति/उन्नयन श्रम की उपयुक्तता, चयनात्मक भविष्यवाणी और कवरेज के बीच संबंध।5. संसाधन उपयोग लागत, विलंब, परीक्षाओं की संख्या, मैन्युअल समीक्षा समय और संसाधन बाधाओं के तहत नैदानिक लाभ। 6. सामान्यीकरण समय के तहत प्रदर्शन, संस्थान के बाहर, उपसमूह, विभिन्न इनपुट गुण, भाषा संस्करण और प्रतिकूल गड़बड़ी।
सुरक्षा प्रदर्शन के लिए न्यूनतम सीमा होनी चाहिए; कम जोखिम वाले कार्यों पर उच्च स्कोर के कारण गंभीर सुरक्षा खामियों वाले मॉडल को समग्र समग्र स्कोर से "ऑफसेट" नहीं किया जाना चाहिए। सूची उद्देश्य के लिए प्रासंगिक एक भारित दृश्य प्रदान कर सकती है, लेकिन वजन, सीमा और संवेदनशीलता विश्लेषण का खुलासा किया जाना चाहिए, और पाठकों की समीक्षा के लिए प्रत्येक मूल संकेतक को बरकरार रखा जाना चाहिए।
5. पूर्व-पंजीकरण सांख्यिकीय योजना और संस्करण रिपोर्ट
मॉडल चलाने से पहले, पहले प्राथमिक समापन बिंदु, द्वितीयक समापन बिंदु, नमूना आकार के आधार, तुलना वस्तु, आत्मविश्वास अंतराल, लापता डेटा प्रोसेसिंग, स्तरीकृत विश्लेषण, एकाधिक तुलना प्रसंस्करण और रोक नियम लिखें। अंतराल की गणना करने के लिए कार्य परिणामों को मामलों, रोगियों और संस्थानों के अनुसार क्लस्टर किया जा सकता है; एक ही मामले के लिए बहु-मॉडल तुलनाओं में प्रत्येक मॉडल के परीक्षण को एक-दूसरे से स्वतंत्र मानने से बचने के लिए उचित युग्मित विश्लेषण का उपयोग करना चाहिए। मॉडल और शीघ्र शब्द संस्करण, तापमान, उपकरण अनुमतियाँ, खोज स्रोत, एपीआई तिथियाँ, सॉफ़्टवेयर और हार्डवेयर कॉन्फ़िगरेशन और मूल्य स्रोत फ़ाइल में रखे जाने चाहिए। मॉडल सप्लायर अपडेट होने के बाद सीधे पुरानी रैंकिंग का उपयोग न करें। आपको स्नैपशॉट को चिह्नित करना चाहिए और पुनर्मूल्यांकन करना चाहिए।
6. सार्वजनिक बेंचमार्क "विकास सेट-सत्यापन सेट-छिपे हुए सेट-डायनामिक सेट" की समानांतर संरचना को अपनाता है
डेवलपमेंट सेट का उपयोग सामुदायिक डिबगिंग के लिए किया जाता है, सत्यापन सेट पैरामीटर और स्कोरिंग नियम अंशांकन का समर्थन करता है, छिपा हुआ सेट परीक्षण लक्ष्य पर ओवरफिटिंग को कम करता है, और गतिशील लाल टीम सेट नए हमलों और वितरण परिवर्तनों का परीक्षण करता है। चार प्रकार के डेटा में से प्रत्येक का अपना उपयोग होता है और इसे एक रहस्यमय "कुल परीक्षण सेट" में संयोजित नहीं किया जाना चाहिए। यदि मामले के नमूने सार्वजनिक किए जाते हैं, तो उन्हें खोज इंजन और बाद के प्रशिक्षण कोष में शामिल किए जाने के जोखिम का आकलन किया जाना चाहिए; मुख्य लेबल, पूर्ण रुब्रिक्स, या छिपे हुए मामलों को सार्वजनिक नहीं किया जाना चाहिए, लेकिन मूल्यांकन प्रोटोकॉल, सांख्यिकीय सारांश, कोड, या ऑडिटेबल इंटरफेस को सार्वजनिक किया जाना चाहिए, और शोधकर्ता पहुंच प्रक्रियाएं स्थापित की जानी चाहिए।
5. ऑफलाइन प्रोटोटाइप से नैदानिक साक्ष्य तक चार चरण
चरण 0: सीमाओं और शासन को परिभाषित करना, ~4-6 सप्ताह
सबसे पहले "सभी मेडिकल एआई का मूल्यांकन करें" से शुरू करने के बजाय एक विशिष्ट, सत्यापन योग्य, कम जोखिम वाला प्रवेश कार्य चुनें, जैसे "नैदानिक दस्तावेज़ सूचना अखंडता जांच" या "विशिष्ट इमेजिंग रिपोर्ट फ़ील्ड निष्कर्षण"। क्लिनिकल, एल्गोरिदम, सांख्यिकी, डेटा सुरक्षा और उत्पाद भागीदारी के साथ एक टीम स्थापित करें; एक उद्देश्य कार्ड, जोखिम विश्लेषण, डेटा प्राधिकरण सूची, केस लेबलिंग विनिर्देश, स्कोरिंग मैनुअल और पूर्व-पंजीकरण सांख्यिकीय योजना बनाएं। चरण की सीमाएं इस प्रकार हैं: मामले का स्रोत स्पष्ट है, अनुमत उपयोग स्पष्ट हैं, और मूल्यांकन मानकों का उपयोग वास्तव में दो स्वतंत्र विशेषज्ञों द्वारा किया जा सकता है।
चरण 1: स्टेटिक बेसलाइन और ब्लाइंड एनोटेशन, लगभग 6-10 सप्ताह
पुनरावृत्ति के लिए विकास सेट और स्वतंत्र सत्यापन सेट का एक सेट बनाएं; सार्वजनिक मॉडल स्नैपशॉट और निजी मॉडल इंटरफ़ेस का चयन करें, और त्वरित शब्दों और कॉन्फ़िगरेशन को फ़्रीज़ करें। हम पहले कार्य प्रदर्शन, त्रुटि प्रकार, पदानुक्रमित प्रदर्शन और स्वचालित रेफरी और विशेषज्ञ स्कोर के बीच स्थिरता का मूल्यांकन करते हैं, और "राष्ट्रीय रैंकिंग" को एक बार जारी करने का प्रयास नहीं करते हैं। चरण की सीमाएं हैं: मुख्य संकेतकों को दोहराया जा सकता है, विवादों को सुलझाने के लिए एक मध्यस्थता प्रक्रिया है, और गंभीर सुरक्षा त्रुटियों का पता मामलों और सबूतों से लगाया जा सकता है।
चरण 2: इंटरएक्टिव वातावरण और बाहरी सत्यापन, ~8-14 सप्ताह
परामर्श, परीक्षा निर्णय लेने या मेडिकल रिकॉर्ड संचालन कार्यों को एक अलग सिमुलेशन वातावरण में रखें। रोगी की स्थिति, परीक्षा परिणाम, टूल इंटरफ़ेस, समयसीमा और संसाधन लागत सभी सहेजे जाते हैं; सिम्युलेटेड डेटा को वास्तविक अवलोकन डेटा से सख्ती से अलग किया जाता है। कम से कम, अलग-अलग स्रोतों या समयावधियों से अलग किए गए मामलों पर सत्यापन दोहराया जाता है, और सेटिंग और लेबलिंग की समीक्षा एक स्वतंत्र नैदानिक टीम द्वारा की जाती है। स्टेज थ्रेसहोल्ड हैं: सिम्युलेटर में सत्यापन रिपोर्ट हैं, क्रॉस-सोर्स प्रदर्शन अंतराल को मात्राबद्ध किया गया है, और कोई भी गैर-लेबल सिंथेटिक जानकारी नैदानिक तथ्यों में मिश्रित नहीं की गई है।
चरण 3: छोटे पैमाने पर वास्तविक जीवन वर्कफ़्लो पायलट और निरंतर निगरानी
यदि कार्य वास्तविक चिकित्सा निर्णय लेने को प्रभावित करेगा, तो इसे नैतिकता, गोपनीयता और संस्थागत शासन द्वारा समर्थित दूरंदेशी छोटे पैमाने के मूल्यांकन में प्रवेश करना चाहिए, और पहले "स्वचालित निष्पादन" के बजाय "सहायता प्राप्त" के रूप में तैनात किया जाना चाहिए। रिकॉर्ड करें कि क्या चिकित्सकों ने सिफारिशों, उपयोग की अवधि, संशोधन व्यवहार, मैन्युअल वृद्धि की आवृत्ति, संभावित प्रतिकूल घटनाओं, कार्यभार और विभिन्न उपसमूहों में प्रदर्शन को देखा और उन पर कार्रवाई की। DECIDE-AI जैसे लागू मार्गदर्शन के अनुसार पारदर्शी रूप से रिपोर्ट करें, और विशिष्ट अध्ययन प्रकार के आधार पर उचित विशिष्टताओं का चयन करें। पूर्व निर्धारित सुरक्षा और प्रभावकारिता सीमाएँ पूरी होने के बाद ही बड़े पैमाने पर नैदानिक अध्ययन या उत्पादीकरण मार्गों पर चर्चा की जाती है।2025 में एफडीए द्वारा जारी ड्राफ्ट एआई मेडिकल डिवाइस सॉफ्टवेयर जीवन चक्र संबंधित उत्पादों के लिए जोखिम प्रबंधन और फाइलिंग सामग्री के लिए सुझाव प्रदान करता है, लेकिन दस्तावेज़ को ड्राफ्ट और गैर-बाध्यकारी के रूप में चिह्नित किया गया है, और इसे पूर्ण अनुमोदन या आम तौर पर लागू नियामक निष्कर्ष के रूप में वर्णित नहीं किया जाना चाहिए [15]।
चरण 0-3 के लिए समय अवधि केवल एक परियोजना नियोजन अंतराल है और गारंटीकृत वितरण प्रतिबद्धता नहीं है; वास्तविक अवधि संस्थागत सहयोग, नैतिक समीक्षा, डेटा प्राधिकरण, मामले की मात्रा, समीक्षा संसाधनों और विशिष्ट उपयोगों पर निर्भर करती है। बजट को केवल मॉडल कॉल वॉल्यूम के आधार पर अनुमान लगाने के बजाय डेटा गवर्नेंस, क्लिनिकल विशेषज्ञों, इंजीनियरिंग, सांख्यिकी, प्लेटफ़ॉर्म, सुरक्षा ऑडिट और चल रहे रखरखाव में विभाजित किया जाना चाहिए।
6. स्वास्थ्य सेवा में बेंचमार्क का योगदान
1. चिकित्सा संस्थानों को अधिक के आधार पर मॉडल चुनने की अनुमति दें
हेल्थकेयर संगठन समग्र रैंकिंग पर दांव लगाने के बजाय विशिष्ट कार्यों द्वारा मॉडल के सुरक्षा मार्जिन, लागत और त्रुटि प्रकारों को देख सकते हैं। खरीद के लिए, सूची "मॉडल प्रदर्शन प्रदर्शन अच्छा है" को सत्यापन योग्य स्वीकृति शर्तों में बदल सकती है: नमूना और कार्य दायरा, गंभीर त्रुटि सीमा, प्रतिक्रिया समय सीमा, ऑडिट रिकॉर्ड, संस्करण अद्यतन के बाद प्रतिगमन परीक्षण, और जब इसे संसाधित नहीं किया जा सकता है तो अपग्रेड तंत्र।
2. मॉडल टीम को सुधार की वास्तविक दिशा का पता लगाने में मदद करें
अपर्याप्त सटीकता ज्ञान, सूचना संग्रह, छवि पढ़ने, उपकरण आह्वान, प्रासंगिक एकीकरण, अंशांकन या प्रस्तुति के परिणामस्वरूप हो सकती है। त्रुटि वर्गीकरण और प्रक्रिया के निशान डेटा संवर्धन, प्रशिक्षण के बाद, पुनर्प्राप्ति वृद्धि, उपकरण डिजाइन और सुरक्षा नीतियों को जोड़ सकते हैं। डेटा सेवाओं के लिए, यह "कितने नमूने वितरित करें" से "कौन से नमूने किस अवलोकन योग्य क्षमता अंतर को भर सकते हैं" में स्थानांतरित करने में मदद करता है।
3. रोगियों और नैदानिक टीमों द्वारा वहन किए जाने वाले अदृश्य जोखिमों को कम करें यदि
सूची चूक, भ्रामक, अति-जाँच, अति-अधिकृत संचालन और अनिश्चित व्यवहार को रिकॉर्ड करती है, तो यह संगठनों को तैनाती से पहले मैन्युअल समीक्षा बिंदु निर्धारित करने में मदद कर सकती है। यह शून्य जोखिम की गारंटी नहीं देता है, लेकिन यह ज्ञात जोखिमों को पहचानना, संचार करना और प्रबंधन करना आसान बना सकता है।
4. अनुसंधान के लिए एक प्रतिलिपि प्रस्तुत करने योग्य तुलना आधार स्थापित करें
मानक कार्य, जमे हुए कॉन्फ़िगरेशन, सार्वजनिक रिपोर्ट और संस्करण ऑडिट विभिन्न संगठनों के बीच "प्रत्येक अपने स्वयं के परीक्षण" के कारण होने वाली अतुलनीयता को कम कर सकते हैं। शोधकर्ता विभिन्न कार्यों, भाषाओं, संस्थानों और संस्करणों में मॉडल के प्रदर्शन बहाव का भी निरीक्षण कर सकते हैं, जो बाहरी सत्यापन और संभावित अनुसंधान के लिए एक पता लगाने योग्य प्रारंभिक बिंदु प्रदान करता है।
5. डेटा सेवाओं और नैदानिक मूल्यांकन को एक बंद लूप बनाने दें
जब डेटा विनिर्देश और मॉडल मूल्यांकन को मैप किया जाता है, तो टीम "केस विशेषताओं-लेबल साक्ष्य-मॉडल विफलता-पूरक नमूने-पुनः परीक्षण परिणाम" को ट्रैक कर सकती है। यह बंद लूप डेटा गुणवत्ता, एनोटेशन गुणवत्ता और मॉडल क्षमताओं के बीच अंतर करने में मदद करता है: मॉडल विफलता आवश्यक रूप से डेटा की कमी नहीं है, और डेटा प्रचुरता स्वचालित रूप से नैदानिक मूल्य उत्पन्न नहीं करती है। मूल्यांकन निष्कर्ष को केवल प्रचार सूची बनाने के बजाय विशिष्ट कार्यों और डेटा कार्ड पर वापस जाना चाहिए।
7. LumeSage: सत्यापन योग्य मूल्यांकन प्रक्रियाओं का विकास
मेडिकल AI बेंचमार्क के निर्माण के लिए मॉडल को कॉल करने की इंजीनियरिंग क्षमता से कहीं अधिक की आवश्यकता होती है। इसे नैदानिक लक्ष्यों को कार्य विनिर्देशों, एंबेड केस स्रोतों, प्राधिकरण, डिसेन्सिटाइजेशन और संस्करण प्रबंधन को डेटा प्रक्रियाओं में अनुवाद करने की भी आवश्यकता है; छवियों, दस्तावेज़ों, परीक्षणों और मल्टी-मोडल नमूनों के लिए पता लगाने योग्य एसोसिएशन स्थापित करना; श्रव्य अभिलेखों में विशेष एनोटेशन, समीक्षा, असहमति मध्यस्थता और रूब्रिक स्कोरिंग को अवक्षेपित करना; और फिर स्वचालित निष्पादन, लॉग प्लेबैक, लागत लेखांकन और रिपोर्ट निर्माण को पूरा करने के लिए इंजीनियरिंग प्लेटफ़ॉर्म का उपयोग करें।
LumeSage इन लिंक के आसपास सेवाओं को व्यवस्थित कर सकता है: आवश्यकताएं और उपयोग छंटाई, परीक्षण सेट डिजाइन, नमूना विनिर्देश और डेटा कार्ड, चिकित्सा एनोटेशन और गुणवत्ता निरीक्षण, विशेषज्ञ अंधा मूल्यांकन, निजी मूल्यांकन वातावरण, बेंचमार्क रिपोर्ट और संस्करण प्रतिगमन। मेडिकल गेट जैसी निजी मूल्यांकन सेवाओं के मूल्य को इसकी वास्तविक कार्य सीमाओं, डेटा प्राधिकरण, विशेषज्ञ भागीदारी, स्कोरिंग प्रोटोकॉल और प्रतिकृति साक्ष्य द्वारा समझाया जाना चाहिए; रोगी की सुरक्षा या नैदानिक प्रभावों से जुड़े बयानों को संबंधित अनुसंधान और लागू परिदृश्य साक्ष्य द्वारा समर्थित किया जाना चाहिए।
इस समाधान में प्रस्तुत मल्टी-एजेंट सिमुलेशन, लागत विश्लेषण, विशेषज्ञ मंच और निदान-उन्मुख स्कोरिंग अनुसंधान और विकास मार्ग और परिकल्पनाओं के आंतरिक सत्यापन के रूप में उपयोग के लिए उपयुक्त हैं। मॉडल परिणामों को सार्वजनिक रूप से जारी करने से पहले, मामलों की संख्या और स्रोत, डेटा विभाजन, मॉडल स्नैपशॉट, शीघ्र शब्द, तापमान, उपकरण, प्रति मामले में दोहराव की संख्या, स्कोरिंग रूब्रिक, विशेषज्ञ संरचना, रेफरी स्थिरता, आत्मविश्वास अंतराल, लागत क्षेत्र और गणना विधि, साथ ही पूर्व-पंजीकरण या कोड पुनरावृत्ति जानकारी पूरी की जानी चाहिए। इन सामग्रियों के अभाव में, आंतरिक चार्ट को स्वतंत्र रूप से सत्यापित सार्वजनिक रैंकिंग कहना उचित नहीं है; यह श्वेत पत्र योजना में विशिष्ट मॉडल रैंकिंग और एकल मामले की लागत का खुलासा नहीं करता है।
जहां तक "क्या मेडिकल सूची साबित कर सकती है कि मॉडल स्वतंत्र रूप से निदान और उपचार कर सकता है" के लिए, उत्तर स्पष्ट होना चाहिए: नहीं। बेंचमार्किंग विशिष्ट कार्यों के लिए ऑफ़लाइन साक्ष्य प्रदान करता है; सच्ची नैदानिक उपयोगिता बाहरी सत्यापन, नैदानिक कार्यप्रवाह, मानवीय कारकों, नियामक सीमाओं और संभावित सुरक्षा और प्रभावकारिता अध्ययनों पर भी निर्भर करती है। मेडिकल एआई की ब्रांड विश्वसनीयता स्पष्ट सीमाओं, समीक्षा योग्य तरीकों और परिणामों पर सवाल उठाने की क्षमता द्वारा स्थापित की जानी चाहिए।
निष्कर्ष: एकल रैंकिंग से आगे, साक्ष्यों का मानचित्र
हेल्थकेयर का भविष्य एआई बेंचमार्क एक आजीवन पदक नहीं होना चाहिए, बल्कि उद्देश्य, रोगी आबादी, डेटा प्रकार, जोखिम, लागत और साक्ष्य स्तर द्वारा विस्तारित मानचित्र होना चाहिए। यह न केवल मॉडलों को स्पष्ट कार्यों में प्रगति प्रदर्शित करने की अनुमति देता है, बल्कि अनसुलझी समस्याओं को भी प्रस्तुत करता है; यह न केवल एल्गोरिदम पुनरावृत्ति को प्रोत्साहित करता है, बल्कि नैदानिक विशेषज्ञों, रोगियों और संस्थानों द्वारा निर्णय के लिए जगह भी बनाए रखता है।
चिकित्सा संस्थानों के लिए, सूची को सीमित विकल्प प्रदान करने चाहिए; एल्गोरिदम टीमों के लिए, इसे स्थानीय सुधार प्रदान करना चाहिए; डेटा सेवा प्रदाताओं के लिए, इसे कार्यों, साक्ष्यों और गुणवत्ता का एक बंद लूप पूरा करना चाहिए; रोगियों के लिए, इससे धाराप्रवाह उत्तरों को सुरक्षित निष्कर्ष समझने की भूल का जोखिम कम होना चाहिए। मेडिकल एआई में प्रतिस्पर्धा केवल इस बारे में नहीं होनी चाहिए कि प्रश्न बैंक में कौन अधिक अंक प्राप्त करता है, बल्कि इस बारे में भी होना चाहिए कि कौन स्पष्ट उद्देश्य के लिए स्थिर, पारदर्शी और जवाबदेह सहायता प्रदान कर सकता है, और यह जानता है कि अपर्याप्त सबूत होने पर कब रुकना है।
*यह लेख चिकित्सा एआई मूल्यांकन और अनुसंधान विधियों की चर्चा है। यह नैदानिक निदान और उपचार सिफ़ारिशों, चिकित्सा उपकरण पंजीकरण निष्कर्षों, या किसी मॉडल की नैदानिक प्रभावशीलता के प्रमाणीकरण का गठन नहीं करता है।*
अक्सर पूछे जाने वाले प्रश्न
संदर्भ
[1] जिन डी, पैन ई, औफैटोल एन, एट अल। इस मरीज को कौन सी बीमारी है? मेडिकल परीक्षाओं से बड़े पैमाने पर खुला डोमेन प्रश्न उत्तर डेटासेट। *अनुप्रयुक्त विज्ञान*. 2021;11(14):6421। DOI: 10.3390/app11146421
[2] जिन क्यू, ढींगरा बी, लियू जेड, कोहेन डब्ल्यूडब्ल्यू, लू एक्स। पबमेडक्यूए: बायोमेडिकल रिसर्च प्रश्न उत्तर के लिए एक डेटासेट। *ईएमएनएलपी-आईजेसीएनएलपी*। 2019:2567-2577। ACL एंथोलॉजी
[3] अरोड़ा आरके, वेई जे, हिक्स आरएस, एट अल। हेल्थबेंच: बेहतर मानव स्वास्थ्य की दिशा में बड़े भाषा मॉडल का मूल्यांकन। 2025. शोधपत्र · परियोजना विवरण और डेटा
[4] श्मिडगैल एस, ज़ियाई आर, हैरिस सी, एट अल। एजेंटक्लिनिक: सिम्युलेटेड क्लिनिकल वातावरण में एआई का मूल्यांकन करने के लिए एक मल्टीमॉडल एजेंट बेंचमार्क। 2024. arXiv:2405.07960
[5] जियांग वाई, ब्लैक केसी, गेंग जी, एट अल। मेडएजेंटबेंच: मेडिकल एलएलएम एजेंटों को बेंचमार्क करने के लिए एक वर्चुअल ईएचआर वातावरण। *एनईजेएम एआई*। 2025;2(9). DOI: 10.1056/AIdbp2500144
[6] बेदी एस, लियू वाई, ऑर-इविंग एल, एट अल। मेडहेल्म: चिकित्सा कार्यों के लिए बड़े भाषा मॉडल का समग्र मूल्यांकन। 2025. arXiv:2505.23802 · स्टैनफोर्ड हेल्म लीडरबोर्ड
[7] वर्थ जेई, पेरेज़ ए, वू डीजेएच, एट अल। 2026 में क्लिनिकल एआई की स्थिति। *बीएमजे डिजिटल हेल्थ और एआई*। 2026;2(1):ई000113। जर्नल पूर्ण पाठ
[8] वू डी, नतेघी हरेदश्त एफ, कुमार महाराज एस, एट अल। सबसे पहले, NOHARM करें: चिकित्सकीय रूप से सुरक्षित बड़े भाषा मॉडल की ओर। 2025. arXiv:2512.01241, प्रीप्रिंट
[9] पैन जे, जियान बी, हैगर पी, एट अल। गतिशील रेड-टीमिंग के साथ स्वास्थ्य और चिकित्सा के लिए बड़े भाषा मॉडल में बेंचमार्किंग अंतराल को संबोधित करना। *प्रकृति स्वास्थ्य*. 2026. DOI: 10.1038/s44360-026-00152-8
[10] गैलीफैंट जे, अफसर एम, अमीन एस, एट अल। बड़े भाषा मॉडल का उपयोग करके अध्ययन के लिए ट्राइपॉड-एलएलएम रिपोर्टिंग दिशानिर्देश। *प्राकृतिक चिकित्सा*. 2025;31:60-69। DOI: 10.1038/s41591-024-03425-5
[11] कोलिन्स जीएस, मून्स केजीएम, धीमान पी, एट अल। ट्राइपॉड+एआई वक्तव्य: प्रतिगमन या मशीन लर्निंग विधियों का उपयोग करने वाले नैदानिक भविष्यवाणी मॉडल की रिपोर्टिंग के लिए अद्यतन मार्गदर्शन। *बीएमजे*. 2024;385:e078378. DOI: 10.1136/bmj-2023-078378
[12] वासी बी, नागेंद्रन एम, कैंपबेल बी, एट अल। आर्टिफिशियल इंटेलिजेंस द्वारा संचालित निर्णय समर्थन प्रणालियों के प्रारंभिक चरण के नैदानिक मूल्यांकन के लिए रिपोर्टिंग दिशानिर्देश: DECIDE-AI। *बीएमजे*. 2022;377:e070904. DOI: 10.1136/bmj-2022-070904
[13] लियू एक्स, क्रूज़ रिवेरा एस, मोहर डी, एट अल। आर्टिफिशियल इंटेलिजेंस से जुड़े हस्तक्षेपों के लिए क्लिनिकल परीक्षण रिपोर्ट के लिए रिपोर्टिंग दिशानिर्देश: कंसोर्ट-एआई एक्सटेंशन। *बीएमजे*. 2020;370:एम3164। DOI: 10.1136/bmj.m3164
[14] नोरी एच, दासवानी एम, केली सी, एट अल। भाषा मॉडल के साथ अनुक्रमिक निदान। 2025. arXiv:2506.22405, प्रीप्रिंट
[15] अमेरिकी खाद्य एवं औषधि प्रशासन। आर्टिफिशियल इंटेलिजेंस-सक्षम डिवाइस सॉफ़्टवेयर फ़ंक्शंस: जीवनचक्र प्रबंधन और मार्केटिंग सबमिशन अनुशंसाएँ। ड्राफ्ट मार्गदर्शन, जनवरी 2025। FDA आधिकारिक पृष्ठ
