सार: "कठिनाई" को सत्यापन योग्य माप में बदलना
मेडिकल आर्टिफिशियल इंटेलिजेंस ज्ञान प्रश्न और उत्तर से पेपर समझ, क्रॉस-मोडल साक्ष्य एकीकरण, नैदानिक पाठ प्रसंस्करण और एजेंट वर्कफ़्लो की ओर बढ़ रहा है। किसी कठिन समस्या के लिए मॉडल का सही उत्तर स्मृति, पुनर्प्राप्ति, उपकरण आह्वान, आकस्मिक अनुमान या सच्चे बहु-चरणीय तर्क से आ सकता है; यदि सूची इन तंत्रों को अलग नहीं कर सकती है, तो उन सवालों का जवाब देना मुश्किल होगा जिनके बारे में खरीदार और आर एंड डी टीमें सबसे अधिक चिंतित हैं: मॉडल किस प्रकार के कार्यों पर विश्वसनीय है, त्रुटियां कहां हुईं, और क्या परिणाम पुन: प्रस्तुत किए जा सकते हैं?
HLE (मानवता की अंतिम परीक्षा) एक महत्वपूर्ण पद्धतिगत संदर्भ प्रदान करता है: बंद, सत्यापन योग्य कार्यों पर मॉडल की क्षमता का मूल्यांकन करने के लिए विशेषज्ञों द्वारा उठाए गए कठिन शैक्षणिक प्रश्नों का उपयोग करना। अपने नेचर पेपर में पेश किए गए एचएलई बेंचमार्क में 2,500 अंतःविषय प्रश्न शामिल हैं, जिसमें इस बात पर जोर दिया गया है कि प्रश्न मूल हैं, शर्तें स्पष्ट हैं, उत्तर सत्यापन योग्य हैं, और निजी प्रश्न सार्वजनिक सेट ओवरफिटिंग का निरीक्षण करने के लिए आरक्षित हैं। यह एक सामान्य शैक्षणिक योग्यता बेंचमार्क है, न कि मेडिकल क्लिनिकल सत्यापन उपकरण, और इसे क्लिनिकल प्रमाणन समझने की भूल नहीं की जानी चाहिए।[1]
उपयोगकर्ताओं द्वारा प्रदान की गई मसौदा आवश्यकताओं में जीव विज्ञान/चिकित्सा, अन्य/सामान्य ज्ञान और इंजीनियरिंग के लिए प्रत्येक में 500 प्रश्न, कुल 1,500 प्रश्न हैं। चिकित्सा और जीवन विज्ञान में आणविक और कोशिका जीव विज्ञान, जीनोमिक्स, प्रतिरक्षा, तंत्रिका विज्ञान, जैव सूचना विज्ञान, अनुवाद चिकित्सा, नैदानिक निदान और विकृति विज्ञान शामिल हैं। यह पैमाना और वर्गीकरण मसौदा परियोजना की आवश्यकता है और एचएलई आधिकारिक डेटासेट संरचना या आधिकारिक विस्तार योजना का हिस्सा नहीं है। इसे पेशेवर डिलीवरी में बदलने के लिए, आपको पहले मूल्यांकन के उद्देश्य को परिभाषित करना होगा, और फिर प्रश्न की गुणवत्ता, चिकित्सा स्रोत, कठिनाई स्क्रीनिंग और सांख्यिकीय अनिश्चितता को नियंत्रित करना होगा।
यह आलेख स्वतंत्र "मेडिकल एचएलई-शैली वैज्ञानिक अनुसंधान तर्क मूल्यांकन" समाधानों का एक सेट प्रस्तावित करता है। यह पता लगाने योग्य स्रोतों और निश्चित उत्तरों के साथ विशेषज्ञ-स्तरीय चिकित्सा अनुसंधान प्रश्नों को संभालने की मॉडल की क्षमता का मूल्यांकन करता है; यह रोगी के निदान और उपचार के परिणामों के लिए परीक्षण प्रदर्शन का विस्तार नहीं करता है। LumeSage चिकित्सा डेटा प्रशासन, प्रश्न डिजाइन सहयोग, चिकित्सा विशेषज्ञ एनोटेशन, गुणवत्ता नियंत्रण, मॉडल संचालन और मूल्यांकन रिपोर्ट के आसपास परियोजना-आधारित सहायता प्रदान कर सकता है, लेकिन परियोजना शुरू होने से पहले अनुबंध, प्राधिकरण और विशेषज्ञ संसाधनों के आधार पर विशिष्ट कर्मियों, संसाधनों, प्रश्न मात्रा, चक्र और क्षमता सीमाओं की पुष्टि की जानी चाहिए।
1. चिकित्सा क्षेत्र को एचएलई-शैली उच्च-कठिनाई मूल्यांकन की आवश्यकता क्यों है?
1. नियमित परीक्षा के अंक अब अनुसंधान एवं विकास प्रश्नों का उत्तर देने के लिए पर्याप्त नहीं हैं
बहुविकल्पीय परीक्षण में कम लागत, तेज़ स्वचालित स्कोरिंग और सहज परिणाम के फायदे हैं, लेकिन यह आसानी से ज्ञान परिचितता और विकल्प पहचान क्षमता का परीक्षण कर सकता है। चिकित्सा अनुसंधान प्रश्नों में अक्सर प्रयोगात्मक डिजाइनों को समझने, भ्रमित करने वाले कारकों की पहचान करने, लागू आबादी की व्याख्या करने, साक्ष्य के स्तर पर नज़र रखने या कई स्रोतों से स्थितियों के संयोजन की आवश्यकता होती है। सिर्फ इसलिए कि एक मॉडल एक ज्ञान बिंदु का सही उत्तर देता है इसका मतलब यह नहीं है कि यह समझा सकता है कि निष्कर्ष कहां से आता है और कौन सी स्थितियां अपरिहार्य हैं, न ही इसका मतलब यह है कि यह विभिन्न संस्थानों और डेटा वितरण के तहत स्थिर प्रदर्शन करता है।
HLE-शैली के प्रश्न मूल्यांकन को विशेषज्ञ-स्तर के सीमित-उत्तर कार्यों पर केंद्रित कर सकते हैं: जैसे कि दिए गए शोध स्थितियों के आधार पर एक मानक शब्द, विविधता श्रेणी, प्रयोगात्मक स्पष्टीकरण, या स्पष्ट संख्यात्मक मान प्राप्त करना, मॉडल को एक लंबा निबंध लिखने के लिए कहने के बजाय जिसे स्थिर रूप से स्कोर नहीं किया जा सकता है। चिकित्सा प्रश्नों को अभी भी प्रश्नों को अकादमिक अनुसंधान या स्पष्ट काल्पनिक स्थितियों तक ही सीमित रखना चाहिए, और वास्तविक व्यक्तियों के लिए निदान, उपचार या दवा के सुझाव प्रदान नहीं करना चाहिए। यह गैर-विकल्पीय प्रश्नों, अद्वितीय अंतिम उत्तरों, सशर्त पूर्णता और बहु-चरणीय तर्क के लिए परिशिष्ट की आवश्यकताओं के अनुरूप है।
2. कठिनाई तर्क संरचना से आनी चाहिए, असामान्य शब्दों के ढेर से नहीं
"डॉक्टरेट स्तर" को केवल अलोकप्रिय बीमारियों के नाम, जटिल संक्षिप्तीकरण या एक पेपर में विवरण से परिभाषित नहीं किया जा सकता है। उच्च-गुणवत्ता वाले प्रश्नों में स्पष्ट तर्क भार होना चाहिए: कम से कम दो या अधिक प्रासंगिक ज्ञान लिंक का संयोजन, मॉडल को प्रश्न की स्थितियों की पहचान करने, अनुसंधान विधियों या पेशेवर अवधारणाओं को लागू करने और एक सत्यापन योग्य अंतिम उत्तर प्राप्त करने की आवश्यकता होती है। यदि प्रश्न में लेखक के इरादे का अनुमान लगाने की आवश्यकता है, अप्रयुक्त आरेखों पर निर्भर है, कई उचित उत्तर हैं, या यदि गाइड अपडेट होने पर मुख्य तथ्य बदल जाते हैं लेकिन संस्करण नहीं बताया गया है, तो यह क्षमता के बजाय अस्पष्टता को माप सकता है।
इसलिए, प्रश्न ब्लूप्रिंट को पहले यह निर्दिष्ट करना चाहिए कि प्रत्येक प्रकार का कार्य क्या मापने की उम्मीद करता है: ज्ञान एकीकरण, अनुसंधान डिजाइन विश्लेषण, तंत्र अनुमान, परिणाम व्याख्या, सांख्यिकीय और पद्धतिगत निर्णय, आणविक या नैदानिक शब्दावली सामान्यीकरण, आदि; फिर प्रश्न की कठिनाई और स्कोरिंग नियमों को जांचने के लिए प्रतिनिधि नमूना प्रश्नों का उपयोग करें। प्रत्येक प्रश्न में "प्रश्न की सतह - तर्क का आधार - अंतिम उत्तर - स्रोत" की एक ट्रेस करने योग्य श्रृंखला होनी चाहिए, और यदि आवश्यक हो, तो स्वीकार्य उत्तर, इकाइयां, समानार्थक शब्द और स्कोरिंग सीमाएं होनी चाहिए।
3. मेडिकल रैंकिंग की महत्वपूर्ण संपत्ति विश्वसनीयता है, चैंपियनशिप रैंकिंग नहीं
HLE की अनुसंधान टीम ने डिज़ाइन में बंद और सत्यापन योग्य प्रश्नों पर जोर दिया, और बहु-स्तरीय समीक्षा के माध्यम से प्रश्नों की गुणवत्ता में सुधार किया; पेपर में इस वास्तविकता पर भी चर्चा की गई कि विशेषज्ञ कुछ सवालों पर असहमत हैं। यह चिकित्सा मूल्यांकन टीम को याद दिलाता है: क्षेत्र में विशेषज्ञों की भागीदारी का स्वचालित रूप से यह मतलब नहीं है कि उत्तर प्राकृतिक और निर्विवाद हैं। प्रश्नों और संदर्भ उत्तरों के लिए अभी भी गुणवत्ता नियंत्रण और मध्यस्थता की आवश्यकता है।[1] बाद के एचएलई-सत्यापित प्रीप्रिंट ने मूल प्रश्न के व्यवस्थित सत्यापन, संशोधन और अनिश्चितता लेबलिंग की सूचना दी, और संशोधन के बाद मॉडल सटीकता में बदलाव देखा; यह एक प्रीप्रिंट शोध परिणाम है, और यह सीधे तौर पर अनुमान नहीं लगाया जा सकता है कि मेडिकल प्रश्न बैंक भी समान परिमाण के परिवर्तन उत्पन्न करेगा, लेकिन यह महत्वपूर्ण जोखिम को उजागर करता है कि "बेंचमार्क स्वयं शोर हो सकता है"।[2]
2. ड्राफ्ट आवश्यकताओं को मेडिकल मूल्यांकन ब्लूप्रिंट में परिवर्तित करें
1. 500 चिकित्सा प्रश्नों की नियोजित राशि आरक्षित करें और पहले एक पदानुक्रमित कोटा डिज़ाइन करें
चिकित्सा और जीवन विज्ञान प्रश्न बैंक की परियोजना योजना राशि के रूप में 500 प्रश्नों का उपयोग करने की अनुशंसा की जाती है, न कि उन्हें शुरू से ही आठ माध्यमिक विषयों के बीच यंत्रवत् समान रूप से विभाजित किया जाता है। प्रोजेक्ट पार्टी, चिकित्सा विशेषज्ञों और एल्गोरिदम टीम ने संयुक्त रूप से प्रत्येक दिशा में प्रस्तावित परीक्षण कार्यों, नमूना आकार के आधार, प्रश्न प्रकार प्रतिबंध, स्रोत स्तर, आवश्यक पेशेवर समीक्षकों और क्या इसमें समय-संवेदनशील मार्गदर्शिका सामग्री शामिल है, को स्पष्ट करने के लिए एक खाका तैयार किया। परिशिष्ट में सूचीबद्ध आठ स्थिर दिशाएँ एक प्रारंभिक बिंदु के रूप में काम कर सकती हैं: आणविक और सेलुलर जीवविज्ञान/जैव रसायन, जेनेटिक्स और जीनोमिक्स, माइक्रोबायोलॉजी और इम्यूनोलॉजी, तंत्रिका विज्ञान और बायोफिज़िक्स, पारिस्थितिक विकास और समुद्री जीवविज्ञान, कम्प्यूटेशनल जीवविज्ञान और जैव सूचना विज्ञान, बुनियादी और अनुवाद चिकित्सा, और नैदानिक चिकित्सा/निदान/पैथोलॉजी।
प्रश्न मात्रा का आवंटन योजना के कवरेज को प्रतिबिंबित करना चाहिए और इसका अर्थ यह नहीं होना चाहिए कि प्रत्येक उपखंड दिशा में पहले से ही प्रश्न स्रोतों या समकक्ष विशेषज्ञ संसाधनों की समान संख्या है। पदानुक्रमित रिपोर्ट में "डिज़ाइन कोटा, उपलब्ध प्रश्नों की वास्तविक संख्या, गुणवत्ता के मुद्दों के कारण निष्कासन की संख्या और कवर नहीं किए गए क्षेत्रों" को भी प्रदर्शित किया जाना चाहिए। बहुत कम नमूनों वाले उपखंड निर्देशों के लिए, केवल खोजपूर्ण परिणाम रिपोर्ट किए जाते हैं और प्रतीत होता है कि सटीक स्वतंत्र रैंकिंग नहीं दी जाती है। परियोजना शुरू करने से पहले, लक्ष्य उपयोगकर्ताओं को भी स्पष्ट रूप से परिभाषित किया जाना चाहिए: वैज्ञानिक अनुसंधान मॉडल टीम, मेडिकल डेटा खरीदार, मेडिकल एआई उत्पाद टीम, या आंतरिक एल्गोरिदम अनुसंधान और विकास। विभिन्न उपयोगकर्ताओं के लिए आवश्यक मूल्यांकन प्रश्न प्रकार और रिपोर्ट विवरण भिन्न-भिन्न हैं।
2. प्रश्न मौलिक होना चाहिए, तथ्य उद्धृत किए जा सकते हैं, प्रश्न मूल और तर्क श्रृंखला की नकल नहीं की जा सकती।
आप विश्वसनीय कागजात, गाइड, आधिकारिक डेटाबेस या मानकों से तथ्यों को आधार के रूप में उद्धृत कर सकते हैं, लेकिन प्रश्न मूल के शब्द, स्थिति संयोजन और तर्क पथ मूल होने चाहिए और सीधे सार्वजनिक प्रश्न बैंकों, निबंध अभ्यास, पाठ्यपुस्तक अभ्यास या ऑनलाइन सामग्री की नकल नहीं कर सकते। सार्वजनिक स्रोतों में निष्कर्ष के लिए डीओआई, संस्करण, प्रकाशन तिथि, पहुंच तिथि और विशिष्ट सहायक तर्क पंजीकृत होने चाहिए; यदि स्रोत में इरेटा, वापसी या दिशानिर्देश अद्यतन है, तो अद्यतन के लिए इसकी समीक्षा की जानी चाहिए।
स्रोत प्रबंधन को और अधिक परिष्कृत किया जाना चाहिए: किसी प्रश्न के लिए मुख्य स्रोत और स्वतंत्र क्रॉस-चेक स्रोत को इंगित करना सबसे अच्छा है; उत्तर का समर्थन करने वाले अनुच्छेदों, तालिकाओं या अध्यायों को रिकॉर्ड करें; डेटाबेस में प्रश्न की पहली प्रविष्टि, नवीनतम समीक्षा, वर्तमान स्थिति और संस्करण संख्या को बनाए रखें। यदि प्रश्न में पेपर के परिणामों का अनुमान लगाने की आवश्यकता है, तो प्रश्न में आवश्यक शर्तें प्रदान की जानी चाहिए या प्रशिक्षण ज्ञान के केवल एक निश्चित संस्करण के आधार पर मॉडल को "गलती से उत्तर देने" से रोकने के लिए प्रश्न स्टेम में उद्धृत सामग्री शामिल होनी चाहिए। बायोमेडिकल डोमेन डेटाबेस संस्करण, सांख्यिकीय परिभाषाएँ, संदर्भ जीनोम संस्करण, दवा नामकरण, और रोग वर्गीकरण सभी उत्तर को प्रभावित कर सकते हैं और शर्तों के अनुसार जमे हुए या स्पष्ट रूप से लिखे जाने चाहिए।
3. प्रश्न बैंक को अनुसंधान मुद्दों और चिकित्सा सुरक्षा सीमाओं दोनों को ध्यान में रखना चाहिए।
कार्यों की चार श्रेणियों के प्राथमिकता विकास की सिफारिश करता है: पहला, स्पष्ट सामग्रियों के आधार पर अनुसंधान पद्धतिगत विश्लेषण, जैसे कि यह पहचानना कि अनुसंधान डिजाइन द्वारा किन निष्कर्षों का समर्थन किया जा सकता है; दूसरा, जैविक तंत्र और क्रॉस-स्तरीय तर्क, जैसे आणविक परिवर्तनों को प्रयोगात्मक टिप्पणियों से जोड़ना; तीसरा, आनुवंशिकी, जैव सूचना विज्ञान और विकृति विज्ञान में संरचित स्पष्टीकरण, लेकिन संस्करणों, सीमाओं और आउटपुट शर्तों के स्पष्ट संदर्भ के साथ; चौथा, नैदानिक अनुसंधान या निदान में अकादमिक स्थितिजन्य तर्क, पूर्ण परिकल्पना की स्थिति प्रदान करना और एक सीमित पेशेवर प्रश्न के उत्तर की आवश्यकता होती है।
सभी मामले सिंथेटिक परिदृश्य, सार्वजनिक रूप से उपलब्ध अनुसंधान डेटा के मूल अनुकूलन, या डेटा जो अनुपालन प्राधिकरण, डी-आइडेंटिफिकेशन और उपयोग अनुमोदन के अधीन हैं, होने चाहिए। सार्वजनिक रूप से प्रश्न और मॉडल प्रतिक्रियाएँ जारी करने से पहले गोपनीयता, कॉपीराइट, संवेदनशील जानकारी और पुन: पहचान जोखिमों की समीक्षा की जानी चाहिए। किसी भी व्यक्तिगत स्वास्थ्य विवरण को वास्तविक परामर्श के रूप में पैक नहीं किया जाना चाहिए; रोग की गंभीरता और उपचार निर्णय लेने के विषय पर, इसके शैक्षिक या अनुसंधान उद्देश्य को स्पष्ट किया जाना चाहिए, और सीधे लागू की जा सकने वाली व्यक्तिगत उपचार योजनाओं से बचा जाना चाहिए।
3. प्रश्न गुणवत्ता और मॉडल स्कोर को अलग से प्रबंधित करें
1. 98% गुणवत्ता लक्ष्य है, मॉडल पास दर नहीं
आवश्यकता ड्राफ्ट में कहा गया है कि प्रत्येक प्रथम-स्तरीय क्षेत्र की समग्र सॉल्वेबिलिटी दर और उत्तर सटीकता दर 98% से कम नहीं होगी। इसे प्रश्न गुणवत्ता सीमा में परिवर्तित किया जाना चाहिए: नमूनाकरण या पूर्ण समीक्षा के लिए, कम से कम 98% प्रश्नों को पर्याप्त शर्तों को पूरा करना चाहिए, संदर्भ उत्तर की समीक्षा की जा सकती है, तर्क श्रृंखला उत्तर के अनुरूप है, स्रोत मान्य है, और स्कोरिंग नियम स्पष्ट हैं। परियोजना को एक ही समय में अंश, हर, नमूनाकरण विधि और आत्मविश्वास अंतराल की रिपोर्ट करनी चाहिए, और केवल प्रतिशत की रिपोर्ट नहीं करनी चाहिए; यदि 500 प्रश्नों में से अयोग्य प्रश्न हैं, तो उन्हें पूर्व-निर्धारित नियमों के अनुसार मुख्य मूल्यांकन सेट से मरम्मत, प्रतिस्थापित या हटाने की आवश्यकता है।
मॉडल पास दर ≤62.5% फ़िल्टर करने में कठिनाई की स्थिति है। उत्तर है "एक निर्दिष्ट मॉडल को कुछ सेटिंग्स के तहत कितने सही उत्तर मिल सकते हैं?" और क्या प्रश्न स्वयं सही है, दो अलग-अलग बातें हैं। "मॉडल के गलत उत्तर" को इस बात का प्रमाण न मानें कि प्रश्न की गुणवत्ता मानक के अनुरूप है, न ही आपको अधिक वैज्ञानिक प्रश्नों के लिए उच्च कठिनाई की गलती करनी चाहिए। वैधता के लिए उत्तरों की समीक्षा करने के बाद पहेली की स्क्रीनिंग की जानी चाहिए; अन्यथा, अस्पष्टताएं, छूटी हुई स्थितियाँ, पुराना ज्ञान, या ग्रेडर द्वारा चूके गए निर्णयों को पुरस्कृत किया जाएगा।
2. सबसे पहले 8 और 24 रनों के बीच फ़ील्ड विवादों को हल करें
अनुलग्नक फ़ील्ड एक आवश्यकता मॉडल_प्रतिक्रिया_गिनती 24 मॉडल प्रतिक्रियाओं का सारांश प्रस्तुत करता है, एक और आवश्यकता मॉडल_प्रतिक्रियाएँ में ठीक 8 आइटम हैं, जो यह भी दर्शाता है कि तीनों मॉडलों में से प्रत्येक को 8 बार चलाया गया है। ये तीनों एक साथ सत्य नहीं हो सकते। इसे निम्नानुसार एकीकृत करने की अनुशंसा की जाती है: प्रत्येक प्रश्न के लिए 3 मॉडल संस्करणों को प्री-फ़्रीज़ करें, और प्रत्येक मॉडल को 8 बार स्वतंत्र रूप से चलाएं, इसलिए मूल प्रतिक्रिया सरणी में बिल्कुल 24 आइटम होने चाहिए; एक ही समय में, वृद्धि मॉडल_आईडी、मॉडल_संस्करण、run_id、प्रयास、प्रॉम्प्ट_हैश、टूल_पॉलिसी、डिकोडिंग_कॉन्फिग、टाइमस्टैम्प、raw_response、सामान्यीकृत_उत्तर、_सही है、ग्रेडर_संस्करण और अन्य क्षेत्र। मॉडल के अनुसार क्रमशः सही, गलत, अस्वीकृत और अमान्य आउटपुट की गणना करें। सभी उप-आइटम गणनाओं का योग 8 के बराबर होना चाहिए; कुल प्रश्नों का योग 24 के बराबर होना चाहिए। यदि खरीद के लिए वास्तव में एक मॉडल के लिए केवल 8 बार की आवश्यकता होती है, तो तीन मॉडलों में से प्रत्येक के लिए 8 बार की आवश्यकताएं और "24 बार सारांश" हटा दिया जाना चाहिए और डिलीवरी के दौरान अस्थायी रूप से समझाया नहीं जा सकता है।
प्रत्येक रन को JSONL की एक पंक्ति के रूप में रिकॉर्ड करने और स्थिर का उपयोग करने की अनुशंसा की जाती है प्रश्न_आईडी प्रश्नों, संदर्भ उत्तरों और स्रोतों को एकत्र करता है, या एक प्रश्न ऑब्जेक्ट में 24 प्रतिक्रियाओं को घोंसला बनाता है और इसे स्कीमा में लिखता है minItems=maxItems=24. एक निष्पादन योग्य संरचना में शामिल हैं: प्रश्न वस्तु भंडारण प्रश्न_आईडी/डोमेन/उप_डोमेन/प्रश्न/तर्क_चरण/उत्तर/संदर्भ_स्रोत/रूब्रिक/संस्करणरनिंग ऑब्जेक्ट मॉडल को सहेजता है और पैरामीटर, प्रतिक्रिया, सामान्यीकृत उत्तर और स्कोर को कॉल करता है। स्पष्ट होना चाहिए तर्क_चरण समीक्षकों के लिए एक संदर्भ समाधान श्रृंखला है, न कि सोच की एक छिपी हुई श्रृंखला जिसे मॉडल द्वारा उजागर किया जाना चाहिए; मॉडल के भीतर असत्यापित तर्क पाठ पर भरोसा करने से बचने के लिए मूल्यांकन अंतिम उत्तरों और अवलोकन योग्य स्पष्टीकरण साक्ष्य के आधार पर किया जाना चाहिए।
3. आठ पुनरावृत्तियों का उपयोग केवल प्रारंभिक स्क्रीनिंग के लिए किया जा सकता है और अच्छी रैंकिंग का दावा नहीं किया जा सकता है।
जब प्रत्येक मॉडल में प्रति प्रश्न केवल 8 रन होते हैं, तो एकल प्रश्न पास दर केवल 0, 12.5%, 25%, आदि जैसे अलग मान ले सकती है। यदि सीमा 0 से अधिक है और 0.625 से अधिक नहीं है, तो वास्तविक अवधारण सीमा 1 से 5 गुना सही है। इस सेटिंग का उपयोग प्री-स्क्रीनिंग नियम के रूप में किया जा सकता है, लेकिन आसन्न मॉडलों के बीच विश्वसनीय रूप से अंतर नहीं किया जा सकता है या समग्र क्षमताओं का सटीक अनुमान नहीं लगाया जा सकता है। प्रत्येक मॉडल के अंश/हर और द्विपद अनुपात विश्वास अंतराल की रिपोर्ट करने और विषय, क्षेत्र और कार्य प्रकार के आधार पर स्तरीकरण और सारांश करने की अनुशंसा की जाती है; समग्र रैंकिंग क्रम उत्पन्न करने के लिए औपचारिक तुलना पर्याप्त संख्या में विषयों और एक पूर्व निर्धारित सांख्यिकीय योजना पर आधारित होनी चाहिए, न कि थोड़ी संख्या में दोहराए गए नमूने पर आधारित होनी चाहिए।
को चलने से पहले मॉडल नाम और सटीक संस्करण, एक्सेस तिथि, सिस्टम प्रॉम्प्ट शब्द, उपयोगकर्ता प्रॉम्प्ट वर्ड टेम्पलेट, संदर्भ और खोज सामग्री, टूल अनुमतियां, तापमान और नमूना पैरामीटर, अधिकतम टोकन, टाइमआउट और पुनः प्रयास नियमों को फ्रीज करने की आवश्यकता है। पुनर्प्राप्ति/उपकरण वाले मॉडल और पूरी तरह से बंद-पुस्तक मॉडल के लिए अलग-अलग ट्रैक स्थापित किए जाने चाहिए क्योंकि वे विभिन्न सूचना सीमाओं का उपयोग करते हैं। मूल अनुरोध और प्रतिक्रिया, विफलता की स्थिति, लागत और संचालन लॉग को रिकॉर्ड करें, और पुनरावृत्ति की सुविधा के लिए सार्वजनिक रिपोर्ट में मूल्यांकन शर्तों का खुलासा करें।
4. स्कोरिंग और रिपोर्टिंग: केवल सटीकता दर देना नहीं
एकल मानक उत्तर प्रश्नों के लिए, नियतात्मक स्कोरिंग को प्राथमिकता दी जाती है: मानकीकृत पूंजीकरण, रिक्त स्थान, इकाइयाँ, पर्यायवाची शब्द और सहमत प्रारूप, लेकिन सभी स्वीकार्य विविधताओं को मूल्यांकन से पहले सूचीबद्ध किया जाना चाहिए और पेशेवर समीक्षकों द्वारा सत्यापित किया जाना चाहिए। संख्यात्मक प्रश्न सहनशीलता और महत्वपूर्ण अंक निर्दिष्ट करते हैं; जीन, प्रोटीन, दवाओं और बीमारियों के नाम डेटाबेस या मानक संस्करणों का नामकरण निर्दिष्ट करते हैं। चिकित्सीय शुद्धता को केवल एक अनकैलिब्रेटेड जेनेरिक एलएलएम जज पर नहीं छोड़ा जा सकता है। यदि ओपन-एंडेड या जटिल स्पष्टीकरण प्रश्नों के लिए आवश्यक हो, तो स्रोत साक्ष्य के आधार पर एक बढ़िया रूब्रिक विकसित किया जाना चाहिए, कम से कम दो डोमेन समीक्षकों द्वारा आँख बंद करके और स्वतंत्र रूप से स्कोर किया जाना चाहिए, असहमति की मध्यस्थता करनी चाहिए, और समझौते और मध्यस्थता अनुपात की रिपोर्टिंग करनी चाहिए।
यह अनुशंसा की जाती है कि रिपोर्ट में कम से कम शामिल हों: समग्र सटीकता और आत्मविश्वास अंतराल, प्रत्येक डोमेन/कार्य स्तर पर स्कोर, प्रश्न कठिनाई वितरण, अस्वीकृति और प्रारूपण त्रुटि दर, उत्तर अंशांकन और चयनात्मक प्रतिक्रिया प्रदर्शन, स्रोत साक्ष्य शुद्धता, आउट-ऑफ-टाइम या निजी सेट प्रदर्शन, बार-बार चलने वाले उतार-चढ़ाव, त्रुटि प्रकार और गंभीरता, साथ ही अनुमान विलंबता, टूल कॉल और लागत। विशेष रूप से, चिकित्सा अनुसंधान कार्यों को विभिन्न विफलता मोड के बीच अंतर करना चाहिए जैसे "निष्कर्ष सही है लेकिन आधार गलत है", "उत्तर सही है लेकिन आधार पूरा नहीं हुआ", "सही पहचान के लिए अपर्याप्त जानकारी", और "गलत उत्तर देने में अति आत्मविश्वास"।
सूची का सार्वजनिक पृष्ठ व्यापक स्कोर का उपयोग कर सकता है, लेकिन इसमें पारदर्शी वजन, आवेदन का दायरा, लापता आइटम प्रसंस्करण विधियां और आत्मविश्वास अंतराल प्रदान करना होगा; सुरक्षा, प्रतिलिपि प्रस्तुत करने योग्यता या विशिष्ट उप-विशेषता कमियों को कवर करने से एकल कुल स्कोर से बचने के लिए बहु-आयामी क्षमता चित्र प्रदान करना अधिक विश्वसनीय है। तरीकों, नमूना प्रश्नों और सांख्यिकीय कोडों को सार्वजनिक किया जा सकता है, लेकिन प्रदूषण को कम करने और लक्षित अनुकूलन के लिए नियंत्रित निजी प्रश्नों, समय से बाहर के प्रश्नों या रोलिंग अद्यतन प्रश्नों को बरकरार रखा जाना चाहिए। सार्वजनिक और छिपे हुए प्रश्न बैंकों के लिए स्पष्ट डेटा प्रबंधन नियम होने चाहिए, और "सूची धोखाधड़ी को रोकने" के लिए वैज्ञानिक अनुसंधान पारदर्शिता का त्याग नहीं किया जाना चाहिए।
5. वैज्ञानिक सीमाएँ: HLE-प्रकार का मूल्यांकन नैदानिक मूल्यांकन का स्थान नहीं ले सकता
HLE-शैली के मूल्यांकन एक सीमित प्रश्न का उत्तर देने के लिए सबसे उपयुक्त हैं: क्या मॉडल दी गई शर्तों के तहत एक कठिन, बंद और सत्यापन योग्य शैक्षणिक कार्य को हल कर सकता है? यह अकेले किसी मॉडल की नैदानिक सटीकता, नैदानिक लाभ, चिकित्सक वर्कफ़्लो फिट, चिकित्सा उपकरण अनुपालन, या वास्तविक रोगियों में दीर्घकालिक सुरक्षा को प्रदर्शित नहीं कर सकता है।
मेडिकल एआई के सत्यापन को उपयोग और जोखिमों के साथ चरण दर चरण विस्तारित करने की आवश्यकता है।2026 में एनपीजे डिजिटल मेडिसिन में प्रकाशित पांच चरण की रूपरेखा, तकनीकी सत्यापन, परिचालन मजबूती, नियंत्रित इंटरैक्शन, वास्तविक दुनिया एकीकरण के लिए नैदानिक साक्ष्य से चरणबद्ध मूल्यांकन का प्रस्ताव करती है, इस बात पर जोर देती है कि मॉडल प्रदर्शन और वास्तविक नैदानिक मूल्य के बीच सत्यापन की कई परतों की अभी भी आवश्यकता है।[3] CLEVER जैसे मेडिकल बड़े मॉडल मूल्यांकन अध्ययन अभ्यास डॉक्टरों द्वारा नव निर्मित मामलों और प्रतिक्रियाओं के अंधे, संरचित विशेषज्ञ मूल्यांकन के लिए मार्ग प्रदर्शित करते हैं, जिसका उपयोग एकमात्र मानक के बजाय खुले नैदानिक पाठ मूल्यांकन के लिए एक संदर्भ के रूप में किया जा सकता है।[4]
इसलिए, मेडिकल एचएलई-शैली प्रश्न बैंक को वैज्ञानिक तर्क क्षमता के लिए एक विशेष मूल्यांकन परत के रूप में तैनात किया जाना चाहिए, जो चिकित्सा ज्ञान प्रश्नोत्तर, खुले सुरक्षा मूल्यांकन, सिमुलेशन वर्कफ़्लो, बाहरी डेटा सत्यापन और संभावित अनुसंधान को पूरक कर सकता है। यदि रोगी-स्तरीय डेटा, वास्तविक चिकित्सा रिकॉर्ड या नैदानिक सिफारिश कार्यों का उपयोग किया जाता है, तो अतिरिक्त नैतिक समीक्षा, प्राधिकरण, गोपनीयता सुरक्षा, सांख्यिकीय विश्लेषण योजना और संबंधित नैदानिक मूल्यांकन को पूरा करने की आवश्यकता है। सूची में प्रत्येक संकेतक के पास स्पष्ट स्तर का साक्ष्य होना चाहिए, और प्रयोगशाला स्कोर को नैदानिक परिणामों की गारंटी के रूप में विपणन नहीं किया जा सकता है।
6. लैंगहुई का कार्यान्वयन योग्य समाधान: डेटा गुणवत्ता से मूल्यांकन संचालन तक
अनुलग्नक में प्रस्तावित मल्टी-फील्ड प्रश्न बैंक और रनिंग रिकॉर्ड आवश्यकताओं के जवाब में, लैंगहुई चरण-दर-चरण प्रोजेक्ट-आधारित वर्कफ़्लो व्यवस्थित कर सकता है
1. मांग और जोखिम ब्लूप्रिंट एक हस्ताक्षर योग्य प्रश्न खाका और डेटा शब्दकोश बनाने के लिए ग्राहकों और डोमेन विशेषज्ञों के साथ उद्देश्य, परीक्षण किए गए मॉडल, विषय सीमाएँ, मामले के स्रोत, चिकित्सा सुरक्षा सीमाएँ, नमूना कोटा और स्वीकृति मानदंड स्पष्ट करें।2. मूल प्रश्न और साक्ष्य पैकेज प्रश्न, संदर्भ समाधान आधार, अंतिम उत्तर, स्रोत लिंक/डीओआई, संस्करण तिथि, स्वीकार्य उत्तर, स्कोरिंग नियम और कॉपीराइट स्थिति को संरचित रिकॉर्ड में व्यवस्थित करता है। जिन तथ्यों की पुष्टि नहीं की जा सकती, उन्हें पहले लंबित के रूप में चिह्नित किया जाता है और औपचारिक संग्रह में प्रवेश नहीं किया जाएगा।3. विशेषज्ञ समीक्षा और असहमति मध्यस्थता उपयुक्त पेशेवर अभिविन्यास वाले चिकित्सा या जीवन विज्ञान विशेषज्ञ क्रमशः प्रश्न के अर्थ, उत्तर और स्रोतों की समीक्षा करेंगे, असहमति के कारणों को रिकॉर्ड करेंगे, और नामित मध्यस्थ अंतिम समीक्षा पूरी करेगा। विभिन्न योग्यताओं और विशेषज्ञता कवरेज का सच्चाई से खुलासा किया जाना चाहिए, और सामान्य "विशेषज्ञ समीक्षा" का उपयोग स्टाफिंग और समीक्षा रिकॉर्ड को बदलने के लिए नहीं किया जाना चाहिए।4. डेटा और प्रश्न बैंक गुणवत्ता नियंत्रण फ़ील्ड सत्यापन, अद्वितीय आईडी, संस्करण फ्रीजिंग, डुप्लिकेट और लगभग-डुप्लिकेट स्क्रीनिंग, स्रोत पहुंच जांच, प्रश्न रिसाव जांच, प्राधिकरण और डी-पहचान सत्यापन करता है, और एक समस्या सूची और संशोधन रिकॉर्ड आउटपुट करता है।5. नियंत्रित मॉडल ऑपरेशन जमे हुए कॉन्फ़िगरेशन, बचत अनुरोध, आउटपुट, मॉडल मेटा-जानकारी, उपकरण प्रक्षेपवक्र, समय और लागत के अनुसार मॉडल चलाता है; क्लोज्ड-बुक और टूल-असिस्टेड कार्यों को ट्रैक में विभाजित किया जाता है, और प्रश्न नियमों के अनुसार नियतात्मक रूप से स्कोर किया जाता है, और अपवादों की समीक्षा मैन्युअल रूप से अंधी तरीके से की जाती है।6. मूल्यांकन रिपोर्ट और पुनः परीक्षण योजना समीक्षा योग्य स्तरीकरण संकेतक, अंतराल अनुमान, मॉडल त्रुटि मामले, कार्य कवरेज सीमाएं और सुझाए गए पूरक प्रश्न प्रकार आउटपुट करता है; छिपे हुए सेट प्रबंधन, आवधिक पुन: परीक्षण, संस्करण परिवर्तन और प्रदूषण निगरानी तंत्र स्थापित करें।
यह समाधान चिकित्सा डेटा संग्रह, डेटा मानकीकरण, चिकित्सा एनोटेशन, गुणवत्ता नियंत्रण और मूल्यांकन सेवाओं की दिशा में लैंगहुई की खुली व्यावसायिक स्थिति से जुड़ा है। वास्तव में वितरण योग्य क्षमता न केवल "कितने प्रश्न हैं" में परिलक्षित होनी चाहिए, बल्कि यह भी कि क्या स्रोत, प्राधिकरण, निर्णय क्षमता, विशेषज्ञ प्रक्रिया, मॉडल संचालन और स्वीकृति साक्ष्य को एक श्रृंखला में जोड़ा जा सकता है। अपने स्वयं के डेटा गवर्नेंस, एनोटेशन प्रक्रिया और मूल्यांकन इंजीनियरिंग क्षमताओं के आधार पर, लैंगहुई ग्राहकों को कार्यान्वयन योग्य कार्य पैकेजों में अमूर्त प्रश्न बैंक आवश्यकताओं को तोड़ने में मदद कर सकता है; प्रत्येक परियोजना अभी भी वास्तविक विशेषज्ञ संसाधनों, डेटा प्राधिकरण, वितरण शर्तों और लिखित दायरे पर आधारित होनी चाहिए। समझे LumeSage मेडिकल डेटा सेवा 与 डेटासेट सेवा。
7. अनुशंसित परियोजना मील के पत्थर और स्वीकृति मानदंड
एक बार में 500 प्रश्नों को हल करने के बजाय पहले एक छोटे पैमाने पर, अंतःविषय व्यवहार्यता नमूना बनाने की अनुशंसा की जाती है। पहला चरण प्रश्न ब्लूप्रिंट, फ़ील्ड विनिर्देशों और नमूना प्रश्न सत्यापन की एक छोटी संख्या को पूरा करना है ताकि यह जांचा जा सके कि क्या विभिन्न विशेषज्ञ समान नियमों के अनुसार उत्तर दे सकते हैं और निर्णय ले सकते हैं; दूसरा चरण उन्मूलन और विशेषज्ञ स्थिरता के कारणों का निरीक्षण करने के लिए क्षेत्र द्वारा रोलिंग उत्पादन और अंधी समीक्षा है; तीसरा चरण डेटा सेट, मॉडल ऑपरेशन कॉन्फ़िगरेशन और सांख्यिकीय योजना को फ्रीज करना और औपचारिक मूल्यांकन पूरा करना है; चौथा चरण विधि विवरण और संस्करण अद्यतन नियमों के साथ एक रिपोर्ट जारी करना है। प्रत्येक चरण निरंतरता, पुनर्कार्य या निलंबन के लिए शर्तें निर्धारित करता है।
स्वीकृति सुझावों को छह श्रेणियों में विभाजित किया गया है: फ़ील्ड और प्रारूप पूर्णता, प्रश्न समाधान और उत्तर स्रोत वैधता, विशेषज्ञ समीक्षा और मध्यस्थता रिकॉर्ड पूर्णता, मॉडल ऑपरेशन रिकॉर्ड ट्रैसेबिलिटी, स्कोरिंग स्क्रिप्ट और स्पॉट चेक स्थिरता, पदानुक्रमित रिपोर्ट और सांख्यिकीय स्पष्टीकरण पूर्णता।98% का उपयोग प्रश्न बैंक गुणवत्ता सीमा के लिए परियोजना लक्ष्य के रूप में किया जा सकता है, लेकिन पहले इस पर सहमति होनी चाहिए कि क्या नमूनाकरण या पूर्ण समीक्षा, त्रुटि परिभाषा, स्वीकार्य मरम्मत की संख्या, विभाजक क्षमता, और उन प्रश्नों के लिए उपचार के तरीके जिन्हें कवर नहीं किया जा सकता है। मॉडल कठिनाई सीमा को प्रश्न चयन के लिए स्क्रीनिंग शर्त के रूप में अलग से सूचीबद्ध किया गया है और इसे कुल स्कोर बनाने के लिए प्रश्न बैंक गुणवत्ता स्वीकृति के साथ मिश्रित नहीं किया जा सकता है।
व्यावसायिक निष्पादन के संदर्भ में, कार्य पैकेज में प्रश्न डिजाइन और स्रोत सत्यापन, विशेषज्ञ समीक्षा, संरचित डेटा सॉर्टिंग, ऑपरेटिंग प्लेटफॉर्म/स्क्रिप्ट, सांख्यिकीय विश्लेषण, रिपोर्टिंग और निरंतर रखरखाव शामिल हो सकता है। क्रेता को अनुबंध में प्रश्नों की संख्या, क्षेत्र अनुपात, विशेषज्ञ योग्यता और निवेश के तरीके, वितरण प्रारूप, बौद्धिक संपदा स्वामित्व, डेटा उपयोग का दायरा, गोपनीयता और सुरक्षा जिम्मेदारियां, स्वीकृति नमूने और प्रत्येक पैकेज के परिवर्तन प्रबंधन को निर्दिष्ट करना चाहिए। इस प्रकार का विभाजन कार्यभार और गुणवत्ता जिम्मेदारियों को पारदर्शी बनाता है, और परियोजनाओं को छोटे पैमाने के पायलटों के साथ शुरू करना और सत्यापन परिणामों के आधार पर बाद के निवेश का निर्धारण करना भी आसान बनाता है।
निष्कर्ष: समीक्षा योग्य समस्याओं के साथ मेडिकल एआई के जिम्मेदार पुनरावृत्ति को बढ़ावा देना
चिकित्सा क्षेत्र को अधिक कठिन मूल्यांकन प्रश्नों की आवश्यकता है, लेकिन इसमें ऐसे प्रश्नों की भी आवश्यकता है जो प्रश्नों, स्पष्ट स्कोरिंग, प्रतिलिपि प्रस्तुत करने योग्य संचालन वातावरण और परिणामों की संयमित व्याख्या का सामना कर सकें। एचएलई की प्रेरणा केवल प्रश्नों को कठिन बनाना नहीं है, बल्कि विशेषज्ञ ज्ञान को सीमाओं, उत्तरों और ऑडिट रिकॉर्ड के साथ माप उपकरणों में बदलना है। चिकित्सा परिदृश्यों के लिए, स्रोत वैधता, चिकित्सा सुरक्षा, गोपनीयता और नैदानिक साक्ष्य स्तरीकरण भी जोड़ा जाना चाहिए।
लैंग हुई द्वारा प्रस्तावित एचएलई-शैली चिकित्सा वैज्ञानिक अनुसंधान तर्क मूल्यांकन एक निर्माण पथ है जिस पर साक्ष्य के आधार पर चर्चा, संचालन और धीरे-धीरे विस्तार किया जा सकता है। अगला कदम एक मांग खाका और अंतःविषय नमूना प्रश्नों की एक छोटी संख्या के साथ शुरू करना चाहिए, दोहरी विशेषज्ञ समीक्षा और फ्रीज रनिंग सत्यापन विधियों का उपयोग करना चाहिए, और फिर प्रश्न बैंक के आकार, प्रकटीकरण रणनीति और सूची संचालन विधि पर निर्णय लेना चाहिए। सूची की व्यावसायिकता अंततः इस तथ्य में परिलक्षित होती है कि प्रत्येक स्कोर स्पष्ट रूप से बताता है: क्या मापा जाता है, इसका आधार क्या है, त्रुटि कहां से आ सकती है, और क्या अनुमान नहीं लगाया जा सकता है। क्या
अक्सर पूछे जाने वाले प्रश्न
संदर्भ
[1] एचएलई योगदानकर्ता कंसोर्टियम। एआई क्षमताओं का आकलन करने के लिए विशेषज्ञ-स्तरीय शैक्षणिक प्रश्नों का एक बेंचमार्क। *प्रकृति*। 2026;649:1139-1146। doi:10.1038/s41586-025-09962-4；HLE आधिकारिक परियोजना पृष्ठ。
[2] झाई डब्ल्यू, एट अल। एचएलई-सत्यापित: मानवता की अंतिम परीक्षा का एक व्यवस्थित सत्यापन और संरचित संशोधन। arXiv:2602.13964, 2026। प्रीप्रिंट की व्याख्या प्रीप्रिंट साक्ष्य स्तर के अनुसार की जानी चाहिए।论文。
[3] नैदानिक और भविष्य कहनेवाला चिकित्सा कृत्रिम बुद्धि के लिए पांच चरण का मूल्यांकन ढांचा। *एनपीजे डिजिटल मेडिसिन*। 2026; 3 सितंबर को प्रकाशित. doi:10.1038/s41746-026-03155-7。
[4] विशेषज्ञ समीक्षा द्वारा क्लिनिकल लार्ज लैंग्वेज मॉडल मूल्यांकन (चतुराई): फ्रेमवर्क विकास और सत्यापन। *जेएमआईआर एआई*। 2025;4: ई72153. doi:10.2196/72153。
[5] एआई सुरक्षा केंद्र, स्केल एआई। एचएलई-डायमंड का परिचय। 2026-09-22. आधिकारिक परियोजना विवरण. इस परियोजना की घोषणा एचएलई का एक परिष्कृत उपसमुच्चय है, जो इस लेख में उल्लिखित चिकित्सा बेंचमार्क नहीं है, न ही इसका मतलब इस योजना का आधिकारिक समर्थन है।
