সারসংক্ষেপ: প্রমাণভিত্তিক সিদ্ধান্ত গ্রহণে মেডিকেল AI বেঞ্চমার্ক
চিকিৎসা কৃত্রিম বুদ্ধিমত্তার ক্ষেত্রে তালিকাগুলি প্রায়শই মোট স্কোর দ্বারা সাজানো একটি টেবিলে সংকুচিত হয়। যাইহোক, একটি মেডিকেল পরিস্থিতিতে, পরীক্ষার প্রশ্নে একটি মডেল এগিয়ে থাকার মানে এই নয় যে এটি স্থিরভাবে চিকিৎসা ইতিহাস সংগ্রহ করতে পারে, অনুপস্থিত তথ্য শনাক্ত করতে পারে, যুক্তিসঙ্গতভাবে পরীক্ষা নির্বাচন করতে পারে, নির্দেশিকা অনুসরণ করতে পারে এবং প্রকৃত রোগ নির্ণয় ও চিকিৎসার ক্ষেত্রে অনিশ্চয়তা প্রকাশ করতে পারে, বা এর অর্থ এই নয় যে এটি রোগীর পরিষেবা বা ডাক্তারের কর্মপ্রবাহের জন্য উপযুক্ত। তালিকার প্রকৃত মূল্য একটি একক চ্যাম্পিয়ন তৈরি করা নয়, কিন্তু মডেল ক্ষমতা, টাস্ক বাউন্ডারি, ঝুঁকি, খরচ এবং প্রমাণের মাত্রা পর্যবেক্ষণযোগ্য, তুলনীয় এবং পর্যালোচনাযোগ্য করে তোলা।
মেডিকেল প্রশ্নোত্তর বেঞ্চমার্ক প্রাসঙ্গিক থাকে। MedQA আমেরিকান মেডিকেল প্র্যাকটিশনার পরীক্ষার প্রশ্নগুলিকে মেডিকেল প্রশ্ন এবং উত্তরের কাজগুলিতে রূপান্তর করে। গবেষণার উপসংহার সমস্যাটিকে সমর্থন করে কিনা তা নির্ধারণ করতে PubMedQA-এর জন্য কাগজের বিমূর্তটি একত্রিত করতে মডেলটির প্রয়োজন হয়; তারা চিকিৎসা জ্ঞান কভারেজ এবং গবেষণা পড়ার ক্ষমতার জন্য একটি পুনরাবৃত্তিযোগ্য প্রারম্ভিক বিন্দু প্রদান করে [1–2]। কিন্তু ক্লিনিকাল অনুশীলন প্রশ্ন থেকে উত্তরে সরাসরি লাফ দেয় না। রোগীরা পাঠ্যপুস্তকের ক্রমানুসারে তথ্য উপস্থাপন করেন না, সমস্ত পরীক্ষা জানা যায় না, একাধিক রোগ নির্ণয় একই সাথে যুক্তিসঙ্গত হতে পারে এবং সিদ্ধান্তগুলি সময়, সংস্থান, রোগীর পছন্দ এবং ঝুঁকি সহনশীলতার দ্বারা প্রভাবিত হয়।
সাম্প্রতিক বছরগুলিতে মূল্যায়নের কাজ বাস্তব কাজের কাছাকাছি কাজগুলিতে চিকিৎসা মানদণ্ডকে প্রসারিত করছে: হেলথবেঞ্চ ওপেন-এন্ডেড, বহু-বৃত্তাকার স্বাস্থ্য কথোপকথন মূল্যায়ন করতে ডাক্তারদের দ্বারা লিখিত রুব্রিক ব্যবহার করে; AgentClinic পরামর্শ, টুল ব্যবহার, এবং অসম্পূর্ণ তথ্য সিমুলেটেড ক্লিনিকাল পরিবেশে রাখে; MedAgentBench এজেন্টদের একটি ভার্চুয়াল ইলেকট্রনিক মেডিকেল রেকর্ড পরিবেশের মাধ্যমে কাজগুলি সম্পূর্ণ করার অনুমতি দেয় যা FHIR মেনে চলে; MedHELM একটি টাস্ক ক্লাসিফিকেশন সিস্টেমের উপর ভিত্তি করে একাধিক মেডিকেল বেঞ্চমার্ক সংগঠিত করে [3–6]।2026 ক্লিনিকাল এআই পর্যালোচনা আরও উল্লেখ করেছে যে স্ট্যান্ডার্ড প্রশ্ন, সিমুলেটেড কেস, পূর্ববর্তী বৈধতা এবং সম্ভাব্য ক্লিনিকাল মূল্যায়ন প্রমাণের বিভিন্ন স্তরে রয়েছে এবং একে অপরকে প্রতিস্থাপন করতে পারে না [7]।
এই নিবন্ধটি একটি মেডিকেল এআই বেঞ্চমার্ক উন্নয়ন পরিকল্পনার উপর ভিত্তি করে তৈরি করা হয়েছে, যা একাধিক রাউন্ডের পরামর্শ বিশ্লেষণ, পরীক্ষার প্রতিক্রিয়া সিমুলেশন, আইসিডি কোডিং, নির্দেশিকা ভিত্তি, খরচ অ্যাকাউন্টিং, ডাবল-ব্লাইন্ড বিশেষজ্ঞ মূল্যায়ন এবং মানব-মেশিন সহযোগিতামূলক নকশার উপর দৃষ্টি নিবদ্ধ করে। সমাধানটির স্পষ্ট প্রকৌশল মান রয়েছে, তবে বৈজ্ঞানিক সমস্যাগুলিও রয়েছে যা প্রথমে সংশোধন করা উচিত: অভ্যন্তরীণ মডেল স্কোরগুলি সরাসরি পাবলিক র্যাঙ্কিং হিসাবে ব্যবহার করা যাবে না যখন নমুনার আকার, সংস্করণ, প্রম্পট শব্দ, স্কোরিং নিয়ম এবং আত্মবিশ্বাসের ব্যবধানগুলি অসম্পূর্ণ থাকে; অনুপস্থিত পরীক্ষার ফলাফল সিমুলেটর দ্বারা শান্তভাবে "নেতিবাচক" হিসাবে পূরণ করা যাবে না; প্রকৃত মেডিকেল রেকর্ড তালিকা ডিফল্টরূপে রোগ নির্ণয় এবং চিকিত্সার জন্য সোনার মান হিসাবে ব্যবহার করা উচিত নয়।
এই নিবন্ধটি আরও মজবুত নির্মাণ পথের প্রস্তাব করে: প্রথমে ব্যবহার এবং ঝুঁকি সংজ্ঞায়িত করুন এবং তারপরে উৎস, অনুমোদিত, এবং প্রতিনিধিত্বমূলক কেসগুলি সংগঠিত করুন; স্ট্যাটিক প্রশ্ন, ইন্টারেক্টিভ সিমুলেশন, রেট্রোস্পেক্টিভ এক্সটার্নাল ভেরিফিকেশন, এবং সম্ভাব্য পাইলটদের মধ্যে একটি প্রমাণ মই স্থাপন করুন; একই সময়ে সঠিকতা, নিরাপত্তা, ক্রমাঙ্কন, সম্পদের ব্যবহার, ব্যবহারযোগ্যতা এবং মানব-মেশিনের সহযোগিতা কর্মক্ষমতা সম্পর্কে রিপোর্ট করুন; এবং অবশেষে সংস্করণযুক্ত ডেটা, অডিটযোগ্য স্কোরিং এবং ক্রমাগত রেড টিম টেস্টিং সহ তালিকাটি বজায় রাখুন। LumeSage-এর জন্য, এই দিকনির্দেশটি ক্লিনিকাল ফলাফল হিসাবে "ডেটা থাকা" বা "তালিকায় থাকা" প্যাকেজ করার পরিবর্তে ডেটা ইঞ্জিনিয়ারিং, মেডিকেল টীকা, বিশেষজ্ঞ পর্যালোচনা, গুণমান ব্যবস্থাপনা এবং ব্যক্তিগত মূল্যায়নকে একটি যাচাইযোগ্য পরিষেবা প্রক্রিয়ার সাথে সংযুক্ত করতে পারে।
1. পরীক্ষার নম্বর কেন ক্লিনিক্যাল সক্ষমতার প্রমাণ নয়
1. চিকিৎসা জ্ঞানের প্রশ্নগুলি ক্ষমতার স্লাইস পরিমাপ করে
মেডিকেল মাল্টিপল-চয়েস প্রশ্ন বেঞ্চমার্ক জ্ঞান আহরণ, ধারণা বিশ্লেষণ এবং স্পষ্ট প্রশ্নের অধীনে সীমিত যুক্তি প্রক্রিয়া পরীক্ষা করার জন্য উপযুক্ত। তাদের সুবিধা হল যে প্রশ্ন ও উত্তরের বিন্যাস তুলনামূলকভাবে স্থিতিশীল, পুনরুত্পাদন করা সহজ, বেসলাইন স্থাপন করা সহজ এবং সংস্করণ আপডেটের সাথে মডেল পরিবর্তনগুলি পর্যবেক্ষণের জন্য উপযুক্ত। সমস্যা হল যে পরীক্ষার প্রশ্নগুলির গঠন ক্লিনিকাল টাস্ককে "প্রদত্ত তথ্য - একটি উত্তর চয়ন করুন"-এ ঘনীভূত করে৷মডেলটিকে প্রশ্ন জিজ্ঞাসা করতে হবে না, সিদ্ধান্ত নিতে হবে কিনা পরীক্ষা করতে হবে, বা কোন উপসংহার সমর্থন করার জন্য কোন তথ্য অপর্যাপ্ত তা নির্দেশ করতে হবে।
গবেষণা-ভিত্তিক প্রশ্নোত্তর-এরও নিজস্ব টাস্ক সীমানা রয়েছে। PubMedQA প্রশ্ন, বিমূর্ত প্রসঙ্গ, এবং সিদ্ধান্তগুলিকে হ্যাঁ/না/হয়তো রায়ে সংগঠিত করে, যা প্রমাণ পড়া এবং অন্তর্ভুক্তি পরীক্ষা করার জন্য উপযুক্ত, কিন্তু এটি অনুমান করা যায় না যে মডেলটি মেডিকেল রেকর্ড বা প্রকৃত ডাক্তার-রোগীর যোগাযোগে বিরোধপূর্ণ তথ্য পরিচালনা করতে সক্ষম। পরীক্ষার স্কোরগুলিকে সরাসরি "ক্লিনিকাল দক্ষতা" হিসাবে উল্লেখ করা হল একটি সংকীর্ণ কাজের ফলাফলকে অন্য জটিল সিস্টেমের টাস্কে এক্সট্রাপোলেট করা।
2. ক্লিনিকাল সিদ্ধান্ত গ্রহণ একটি অনুক্রমিক প্রক্রিয়া
বাস্তব রোগ নির্ণয় এবং চিকিত্সার মধ্যে ইন্টারঅ্যাকটিং পছন্দগুলির একটি সিরিজ জড়িত: প্রথমে কী জিজ্ঞাসা করতে হবে, কখন অনুসরণ করতে হবে, পরীক্ষা করতে হবে কিনা, নতুন ফলাফলগুলি কীভাবে ব্যাখ্যা করতে হবে, ডিফারেনশিয়াল ডায়াগনসিসটি সংশোধন করতে হবে কিনা, কখন পরীক্ষা বন্ধ করতে হবে এবং কখন পর্যালোচনার জন্য জিজ্ঞাসা করতে হবে। AgentClinic-এর গবেষণা স্ট্যাটিক MedQA প্রশ্নগুলিকে একাধিক রাউন্ডের মিথস্ক্রিয়ায় পরিণত করেছে এবং দেখা গেছে যে ক্রমিক সিদ্ধান্ত গ্রহণের অসুবিধা উল্লেখযোগ্যভাবে বৃদ্ধি পাবে; MedAgentBench একটি ভার্চুয়াল ইলেকট্রনিক মেডিকেল রেকর্ড পরিবেশে কাজের একটি সেট রাখে, মডেলটিকে টুল কলের মাধ্যমে কাঠামোগত মেডিকেল রেকর্ড পড়তে বা পরিচালনা করতে হয় [4–5]। এই কাজগুলি মনে করিয়ে দেয় যে একটি মডেলের প্রশ্নের উত্তর দেওয়ার ক্ষমতা এবং একটি প্রক্রিয়া সম্পূর্ণ করার জন্য একটি মডেলের ক্ষমতা দুটি ভিন্ন ধরণের ক্ষমতা।
3. চিকিৎসা ত্রুটির খরচ অসমমিত
একটি সমালোচনামূলক চিহ্ন অনুপস্থিত, একটি পরিদর্শন ফলাফল তৈরি করা যা করা হয়নি, এবং অপ্রয়োজনীয় উচ্চ-ঝুঁকির ব্যবস্থা প্রস্তাব করা দুর্বল শব্দের মতো একই মান অনুযায়ী কাটা যাবে না। সামগ্রিক নির্ভুলতা কম-ফ্রিকোয়েন্সি কিন্তু উচ্চ-পরিণাম নিরাপত্তা ত্রুটিগুলিকে মুখোশ করতে পারে। নিরাপত্তা বেঞ্চমার্ক যেমন NOHARM একটি বিশেষ মূল্যায়ন বস্তু হিসাবে "সম্ভাব্য ক্ষতির ফ্রিকোয়েন্সি এবং তীব্রতা" গ্রহণ করে; এর গবেষণা এখনও কাগজের কেস এবং টীকা পরিসীমা অনুযায়ী ব্যাখ্যা করা উচিত, তবে এটি স্পষ্টভাবে ব্যাখ্যা করে যে নিরাপত্তা চিকিৎসা জ্ঞান স্কোরের সমার্থক নয় [8]।
4. মেডিকেল স্ট্যান্ডার্ডের বয়স হবে এবং "রান্না করা" হতে পারে
যখন পাবলিক প্রশ্ন ব্যাঙ্ক অনেকবার প্রশিক্ষণ, প্রম্পট শব্দ অপ্টিমাইজেশান এবং মডেল নির্বাচনের জন্য ব্যবহার করা হয়, তখন তালিকার স্কোরটি নতুন মামলার মুখোমুখি হওয়ার সময় তার সাধারণীকরণ ক্ষমতার পরিবর্তে প্রশ্ন বিতরণের সাথে মডেলের পরিচিতি বেশি প্রতিফলিত করতে পারে। স্ট্যাটিক টেস্ট সেটগুলি খুব দ্রুত মডেল পুনরাবৃত্তির কারণে দ্রুত পার্থক্য হারাতে পারে। ডায়নামিক রেড টিমিং রিসার্চ 2025 এবং এর 2026 জার্নাল কাজ স্ট্যাটিক টেস্টিং [9] ছাড়াও ক্রমাগত মিউটেশন প্রম্পট, প্রতিকূল পরিস্থিতি এবং নিরাপত্তা চাপ পরীক্ষার মূল্য প্রদর্শন করে। গতিশীল পরীক্ষা একটি সর্বজনীন সমাধান নয়: যদি প্রতিটি রাউন্ডের আক্রমণের নিয়মগুলি স্বচ্ছ বা পুনরুত্পাদনযোগ্য না হয়, তাহলে স্কোর তুলনা করা কঠিন হবে। অতএব, পুনরুত্পাদনযোগ্য বেসলাইন, নিয়ন্ত্রিত লুকানো সেট, সময়ের বাইরের বৈধতা, এবং নতুনত্ব এবং দৃঢ়তা যাচাইয়ের জন্য গতিশীল লাল দল গঠনের জন্য নির্দিষ্ট পাবলিক সেটগুলি ব্যবহার করা এবং প্রতিটি স্কোর দ্বারা উত্তর দেওয়া প্রশ্নগুলি স্পষ্টভাবে প্রকাশ করা বুদ্ধিমানের কাজ।
2. স্থির বেঞ্চমার্ক থেকে ক্লিনিক্যাল কর্মপ্রবাহের মূল্যায়ন
1. একক-প্রশ্নের উত্তর থেকে বাস্তব কথোপকথন
HealthBench-এর মূল প্রকল্পের তথ্য দেখায় যে বেঞ্চমার্কে 5,000টি স্বাস্থ্য সংলাপ অন্তর্ভুক্ত রয়েছে, যা 60টি দেশে অনুশীলন করেছেন এমন 262 জন ডাক্তার দ্বারা তৈরি করা হয়েছে এবং মডেল প্রতিক্রিয়াগুলির জন্য একটি আইটেম-বাই-আইটেম স্কোরিং রুব্রিক ডিজাইন করা হয়েছে; অফিসিয়াল তথ্য স্পষ্টভাবে বলে যে কথোপকথনটি বহু-মুখী, বহু-ভাষিক হতে পারে এবং সাধারণ ব্যবহারকারী এবং চিকিৎসা পেশাদারদের মধ্যে পরিস্থিতিও কভার করে [3]। তাই, প্রোগ্রামের উপকরণে HealthBench-এর বর্ণনাকে "সমস্ত একক-পালা কথোপকথন" হিসেবে সংশোধন করা দরকার। এখানে মূল বিষয় হল একটি নির্দিষ্ট বেঞ্চমার্ক "সবচেয়ে উন্নত" কিনা তা নয়, তবে বেঞ্চমার্কের ভূমিকাকে অবশ্যই আসল কাগজে ফিরে যেতে হবে এবং অফিসিয়াল ডেটা বিবরণ যাচাই করতে হবে এবং সেকেন্ড-হ্যান্ড টেবিলের উপর নির্ভর করতে পারবে না।
চিকিত্সকরা শুধুমাত্র কীওয়ার্ড মিলের সাথে ওপেন-এন্ডেড মেডিকেল প্রতিক্রিয়াগুলি মূল্যায়ন এড়াতে সাহায্য করার জন্য আইটেম-বাই-আইটেম রুব্রিক লেখেন। কিন্তু রুব্রিক কভারেজ, ওজন, সিদ্ধান্তের সীমানা এবং স্বয়ংক্রিয় গ্রেডারদের এখনও যাচাই করা দরকার। হেলথবেঞ্চের মূল কাজটিও মডেল স্কোরার ব্যবহার করেছিল এবং মানুষের বিচারের সাথে সামঞ্জস্যের জন্য ডাক্তারদের তাদের পর্যালোচনা করেছিল; এই ধরনের পদ্ধতিগুলি স্কেল করার জন্য উপযুক্ত, কিন্তু "LLM বিচারকরা স্বাভাবিকভাবেই উদ্দেশ্যমূলক" বলে ব্যাখ্যা করা উচিত নয়।
2. স্ট্যাটিক কেস থেকে ইন্টারেক্টিভ পরিবেশ পর্যন্ত
AgentClinic গবেষণা অসম্পূর্ণ তথ্য, একাধিক রাউন্ড ইন্টারঅ্যাকশন, এবং টুল ব্যবহার [4] সমর্থন করার জন্য একটি সিমুলেটেড পরিবেশে ডাক্তার, রোগী এবং পরিমাপের সরঞ্জামগুলির মতো ভূমিকা সেট আপ করে। MedAgentBench আরও 300টি ক্লিনিকাল কাজ, 100টি রোগীর ফাইল এবং একটি FHIR-সম্মত ভার্চুয়াল EHR পরিবেশ [5] প্রদান করে। তারা একটি পাঠ্য উত্তর থেকে মূল্যায়ন অবজেক্টটি প্রসারিত করে "মডেলটি একটি নির্দিষ্ট পরিবেশে নির্দিষ্ট ক্রিয়াটি সম্পূর্ণ করতে পারে কিনা।"
সিমুলেশন পরিবেশের মান এর নিয়ন্ত্রণযোগ্যতা, পুনরাবৃত্তিযোগ্যতা এবং রেকর্ডযোগ্যতার মধ্যে রয়েছে; এর সীমাবদ্ধতা হল রোগীর সিমুলেটর, পরীক্ষার সিমুলেটর, মেডিকেল রেকর্ড ডেটা স্ট্রাকচার এবং প্রকৃত চিকিৎসা ব্যবস্থার মধ্যে ফাঁক। MedAgentBench পেপারটি স্পষ্টভাবে উল্লেখ করেছে যে ভার্চুয়াল পরিবেশ সরাসরি উত্পাদন সিস্টেম হিসাবে ব্যবহার করা যাবে না, এবং উল্লেখ করেছে যে ডেটা উত্স এবং টাস্ক কভারেজের সীমানা রয়েছে। স্ব-নির্মিত মানদণ্ডের জন্য, এজেন্ট পরিবেশকে অবশ্যই "কাজটি সম্পন্ন হয়েছে কিনা" জিজ্ঞাসা করতে হবে না, তবে টুল কল, স্থিতি পরিবর্তন, অননুমোদিত অপারেশন, অবৈধ অনুরোধ, বারবার চেক এবং সমাপ্তির পয়েন্টগুলিও রেকর্ড করতে হবে।
3. "একটি বড় তালিকা" থেকে টাস্ক পেডিগ্রি পর্যন্ত
MedHELM 5টি প্রধান বিভাগ, 22টি উপশ্রেণি এবং 121টি কার্যে বৃহৎ চিকিৎসা মডেল মূল্যায়ন সংগঠিত করে এবং একাধিক বিদ্যমান এবং নতুন মানদণ্ডকে একত্রিত করে [6]। নির্ণয়, চিকিৎসা রেকর্ড তৈরি, রোগীর যোগাযোগ, চিকিৎসা গবেষণা, এবং প্রশাসনিক প্রক্রিয়াগুলিকে একক স্কোরে পরিণত করার চেয়ে এই কাঠামোটি মডেলটি কী এবং এর জন্য উপযুক্ত নয় তা আরও ভালভাবে ব্যাখ্যা করে। অনুপ্রেরণা হল: তালিকার প্রথম স্তরটি ব্যবহারের শ্রেণীবিভাগ হওয়া উচিত এবং দ্বিতীয় স্তরটি মডেল তুলনা হওয়া উচিত।
উদাহরণস্বরূপ, ক্লিনিকাল রেকর্ড সারাংশ এবং রোগীর শিক্ষা বিভিন্ন ঝুঁকির পরিস্থিতির অন্তর্গত; পরীক্ষার রিপোর্ট নিষ্কাশন, ডায়াগনস্টিক সুপারিশ এবং চিকিৎসা সম্পদ সময়সূচী মূল্যায়ন ওজনের একই সেট ভাগ করা উচিত নয়। একটি নির্দিষ্ট উদ্দেশ্যে ভিত্তিক একটি তালিকার জন্য, লক্ষ্য ব্যবহারকারী, ইনপুট তথ্য, অনুমোদিত সরঞ্জাম, সিস্টেম আউটপুট, ম্যানুয়াল পর্যালোচনা দায়িত্ব এবং ব্যর্থতার খরচ প্রথমে স্থির করা উচিত, এবং তারপর স্কোরিং মাত্রা নির্ধারণ করা উচিত।
4. এককালীন র্যাঙ্কিং থেকে ক্রমাগত পর্যবেক্ষণ পর্যন্ত
ক্লিনিকাল এআই সিস্টেমগুলি মডেল API, প্রম্পট শব্দ, অনুসন্ধান লাইব্রেরি, টুল চেইন এবং মানব-কম্পিউটার ইন্টারঅ্যাকশন কৌশলগুলির উপর নির্ভর করতে পারে। শুধুমাত্র "মডেল নাম + স্কোর" রিপোর্ট করা একটি সিস্টেম পুনরুত্পাদন করার জন্য যথেষ্ট নয়।2025 সালে TRIPOD-LLM গবেষকদের মনে করিয়ে দেয় যে ব্যবহারের পরিস্থিতি, মডেল এবং সংস্করণ, প্রম্পট ইঞ্জিনিয়ারিং, ডেটা প্রসেসিং, মানুষের পর্যালোচনার যোগ্যতা এবং মান নিয়ন্ত্রণের মতো তথ্য রিপোর্ট করতে; TRIPOD+AI, DECIDE-AI, এবং CONSORT-AI যথাক্রমে ভবিষ্যদ্বাণীমূলক মডেল রিপোর্টিং, প্রারম্ভিক বাস্তব-জীবনের দৃশ্যকল্প মূল্যায়ন এবং এআই হস্তক্ষেপ ক্লিনিকাল ট্রায়ালগুলির জন্য সংশ্লিষ্ট রিপোর্টিং কাঠামো প্রদান করে [10–13]। এই নির্দেশিকাগুলি ক্লিনিকাল অনুমোদন বা গুণমানের শংসাপত্র নয়, তবে তারা ব্যাখ্যা করে যে স্বচ্ছ রিপোর্টিং একাডেমিক তুলনাযোগ্যতা এবং পুনরুত্পাদনযোগ্যতার ভিত্তি।
3. প্রস্তাব পর্যালোচনা: বাস্তবায়নযোগ্যতা, সীমাবদ্ধতা ও প্রয়োজনীয় সংশোধন
1. প্রকৃত মেডিকেল রেকর্ড এবং জটিল তথ্য: দিক সঠিক, এবং নমুনার উত্স এবং প্রতিনিধিত্ব পরিষ্কার হওয়া দরকার
স্কিম সুপারিশ করে যে কাঠামোগত বাস্তব মেডিকেল রেকর্ড, পরীক্ষা এবং পরীক্ষার তথ্য ক্লিনিকাল তথ্যের প্রাচুর্য উন্নত করতে ব্যবহার করা হবে, যা একটি প্রয়োজনীয় দিক। ক্লিনিকাল টেক্সটগুলিতে সংক্ষিপ্ত রূপ, বাদ দেওয়া, টাইপোস, টাইম স্প্যান এবং ক্রস-ডকুমেন্টের দ্বন্দ্ব থাকে, যা কৃত্রিম কেসগুলির জন্য সম্পূর্ণ সত্য জটিলতা কভার করা কঠিন করে তোলে। প্রকৃত ডেটার ব্যবহার অবশ্যই ব্যাখ্যা করতে হবে: ডেটা উত্স এবং অনুমোদনের সুযোগ, রোগী-স্তরের অনুলিপি, গোপনীয়তা সুরক্ষা, অন্তর্ভুক্তি এবং বর্জনের মানদণ্ড, প্রতিষ্ঠান এবং জনসংখ্যা বন্টন, রোগ এবং তীব্রতা অনুপাত, অনুপস্থিত প্রক্রিয়া, এবং প্রশিক্ষণ/পরীক্ষা সেট জুড়ে একই রোগীর সাথে সমস্যা আছে কিনা।
"বাস্তব" মানে "প্রতিনিধি" নয়৷বড় হাসপাতাল বা একক বিভাগ থেকে ডেটা স্বাভাবিকভাবেই সম্প্রদায়, বিভিন্ন অঞ্চল এবং বিভিন্ন ভাষা গোষ্ঠীতে এক্সট্রাপোলেট করা যায় না। পরিমাপ ক্লিনিকাল সেটিং, প্রতিষ্ঠান, বয়স গোষ্ঠী, লিঙ্গ, রোগের উপপ্রকার, এবং মূল ঝুঁকি গ্রুপ দ্বারা কর্মক্ষমতা রিপোর্ট করা উচিত; যখন অপর্যাপ্ত নমুনা পাওয়া যায়, তখন কম নমুনা গোষ্ঠীর স্কোরকে নির্ভরযোগ্য র্যাঙ্কিং হিসাবে বিবেচনা করার পরিবর্তে অনিশ্চয়তা স্পষ্ট করা উচিত।
2. পরিদর্শন ফলাফল সিমুলেশন: গবেষণা করা যেতে পারে, কিন্তু অজানাকে নেতিবাচক হিসাবে ছদ্মবেশী করা যাবে না
পরিকল্পনা প্রস্তাব করে যে যখন আসল কেসটি মডেল দ্বারা অনুরোধ করা পরীক্ষা প্রদান করে না, তখন "পরীক্ষা এজেন্ট" ফলাফলের পূর্বাভাস দেবে। এটি ইন্টারেক্টিভ দৃশ্য তৈরি করতে সাহায্য করতে পারে, তবে এটি সম্পূর্ণ প্রযুক্তিগত নকশার সবচেয়ে ঝুঁকিপূর্ণ লিঙ্ক। বাস্তব-বিশ্বের তথ্যে, "কোন পরিদর্শন নয়" মানে ফলাফলটি অজানা, যার মানে এই নয় যে ফলাফল স্বাভাবিক; যদি সিমুলেটর একটি আপাতদৃষ্টিতে যুক্তিসঙ্গত ফলাফল তৈরি করে এবং সরাসরি পরীক্ষার অধীনে মডেলে ফেরত দেয়, তাহলে পরীক্ষাটি "অসম্পূর্ণ তথ্যের অধীনে সিদ্ধান্ত গ্রহণ" থেকে "ম্যানুয়ালি লিখিত তথ্যের অধীনে সিদ্ধান্ত গ্রহণ" এ পরিবর্তিত হবে, যা ভুল সিদ্ধান্তে প্ররোচিত করতে পারে এবং পরীক্ষার ফলাফলগুলি সিমুলেটরের বিচ্যুতির উপর নির্ভর করতে পারে।
সুপারিশ করে যে তথ্যের স্থিতিকে কঠোরভাবে আলাদা করতে হবে: পর্যবেক্ষণ করা ফলাফল, স্পষ্টভাবে করা হয়নি, অপ্রাপ্তি এবং সিমুলেটেড জেনারেশন। সিমুলেশন ফলাফল শুধুমাত্র একটি পৃথক সিমুলেটর স্টাডি টাস্কের মধ্যে ফেরত দেওয়া হয়, এবং তাদের প্রজন্মের উত্স, আত্মবিশ্বাসের স্তর, প্রযোজ্যতা এবং সত্য বিতরণ যাচাইকরণ পটভূমিতে সংরক্ষিত হয়। প্রধান তালিকা দুটি ট্র্যাক সহ সেট আপ করা যেতে পারে: একটি শুধুমাত্র নির্ধারক কেস তথ্যের উপর স্কোর করে; অন্যটি একটি পরিবেশগত সিমুলেটর ব্যবহার করে যা মডেলের অনিশ্চিত ফলাফলের পরিচালনার মূল্যায়নের জন্য বাস্তব ডেটা সহ বাহ্যিকভাবে যাচাই করা হয়। সিমুলেটরগুলিকে অদৃশ্য ক্লিনিকাল ফ্যাক্ট জেনারেটর হিসাবে ব্যবহার করা উচিত নয়।
3. ICD-10 এবং প্রমিত স্কোরিং: এটি রেকর্ডের মানককরণের জন্য সহায়ক, কিন্তু এর অর্থ এই নয় যে রোগ নির্ণয়ের জন্য একটি সোনার মান প্রতিষ্ঠা করা।
ম্যাপিং ICD-10-এর মতো কোডগুলির নির্ণয় শ্রেণীবদ্ধ পরিসংখ্যান, বিভাগ একত্রীকরণ এবং ক্রস-টিম পর্যালোচনার জন্য সহায়ক, কিন্তু কোড ম্যাচিং শুধুমাত্র উত্তর দিতে পারে "কোথায় সিস্টেম কোড উপসংহারে?" এবং স্বাধীনভাবে উত্তর দিতে পারে না "ক্লিনিকাল রায় সঠিক কিনা।"কোডিং মাত্রা খুব মোটা হতে পারে, একাধিক উপসংহার ন্যায্য হতে পারে, এবং রোগ নির্ণয় সময়ের সাথে এবং নতুন পরীক্ষার সাথে পরিবর্তিত হতে পারে। ক্লিনিকাল ধারণা, প্রমাণ, গ্রহণযোগ্য বিকল্প নির্ণয়, ডায়গনিস্টিক শ্রেণিবিন্যাস এবং বিশেষজ্ঞের রায়ের রেকর্ড ধরে রাখার সময় সঠিক পদ্ধতি হল কোডিংকে একটি গণনাযোগ্য সহায়ক ক্ষেত্র হিসাবে ব্যবহার করা।
কেস ডেটা এবং প্রযোজ্য নির্দেশিকাগুলির উপর ভিত্তি করে সংশ্লিষ্ট বিশেষজ্ঞ অভিজ্ঞতার সাথে ডাক্তারদের দ্বারা রেফারেন্স মান প্রতিষ্ঠিত করা উচিত; যদি প্রয়োজন হয়, দুই ব্যক্তিকে স্বাধীনভাবে এটি চিহ্নিত করা উচিত, তৃতীয় পক্ষের দ্বারা সালিশ করা উচিত এবং পার্থক্য রেকর্ড করা উচিত। যে ক্ষেত্রে একাধিক ক্লিনিক্যালি যুক্তিসঙ্গত পথ বিদ্যমান, স্কোরিং একটি একক ডিসচার্জ কোডকে একমাত্র সঠিক উত্তর হিসাবে বিবেচনা করার পরিবর্তে গ্রহণযোগ্য উত্তরগুলির একটি পূর্বনির্ধারিত সেট চিনতে হবে।
4. নির্দেশিকা ধারাবাহিকতা: মূল্যায়ন পথ, কিন্তু সংস্করণ এবং প্রযোজ্য গ্রুপ লক করুন
নির্দেশিকা, ক্লিনিকাল পথ, এবং এই পরীক্ষা বা চিকিত্সা কেন বেছে নেওয়া হয়েছে তার যুক্তি প্রদানের জন্য বিশেষজ্ঞের সম্মতি অন্তর্ভুক্ত করে। মূল্যায়ন প্রোটোকল অবশ্যই নির্দেশিকা নাম, সংস্করণ, প্রকাশের তারিখ, প্রযোজ্য জনসংখ্যা এবং সুপারিশের শক্তি ঠিক করতে হবে; অন্যথায়, মডেলটি একটি সুপারিশ সহ স্কোর করা হতে পারে যা রোগীর জন্য পুরানো বা অনুপযুক্ত। বা নির্দেশিকা প্রতিটি রোগীর পছন্দ, contraindications, সম্পদ প্রাপ্যতা, এবং ক্লিনিকাল অনিশ্চয়তা নিঃশেষ করতে পারে না।
নির্দেশিকা ধারাবাহিকতাকে তিনটি পরীক্ষাযোগ্য প্রশ্নে বিভক্ত করার পরামর্শ দেয়: প্রয়োজনীয় মূল পদক্ষেপগুলি বাদ দেওয়া হয়েছে কিনা; সম্পাদিত পদক্ষেপে সংশ্লিষ্ট ইঙ্গিত আছে কিনা; মডেল অনিশ্চয়তা প্রকাশ করে এবং একটি যুক্তিসঙ্গত আপগ্রেড পথ প্রস্তাব করে যখন প্রমাণ অপর্যাপ্ত হয় বা নির্দেশিকা দ্বারা আচ্ছাদিত না হয়।"নির্দেশিকাতে মূল শব্দগুলি উল্লেখ করা"কে "নির্দেশিকা অনুসরণ করা" হিসাবে গণ্য করা যায় না, বা যুক্তি প্রক্রিয়ার সাবলীলতাকে সরাসরি ক্লিনিকাল শুদ্ধতার সাথে সমান করা উচিত নয়।
5. খরচ মূল্যায়ন: তালিকায় অর্থনীতি অন্তর্ভুক্ত করা অগ্রগতি, কিন্তু একটি একক মূল্য ক্লিনিকাল মান প্রতিস্থাপন করতে পারে না।
পরিকল্পনা পরিদর্শন মূল্যের উপর ভিত্তি করে সম্পদ খরচ গণনা করার প্রস্তাব করে, এবং "তথ্য বৃদ্ধি করার জন্য সীমাহীন পরিদর্শন" এর অযৌক্তিক কৌশল সনাক্ত করতে পারে। এটি একই মূল্যায়ন পরিবেশে অনুক্রমিক রোগ নির্ণয় এবং পরীক্ষার খরচ রাখার জন্য অনুক্রমিক ডায়াগনসিস বেঞ্চমার্কের দিকনির্দেশের সাথে সামঞ্জস্যপূর্ণ [14]। যাইহোক, চিকিৎসা সেবার মূল্য নির্ভর করে অঞ্চল, হাসপাতাল, পেমেন্ট সিস্টেম, রোগীর বীমা এবং নির্দিষ্ট পরীক্ষার সমন্বয়ের উপর; মূল্য তালিকা শুধুমাত্র একটি নির্দিষ্ট সময় এবং পরিস্থিতিতে একটি আনুমানিক হতে পারে, একটি সর্বজনীন সত্য মূল্য মান নয়।
একটি আরও শক্তিশালী রিপোর্টিং পদ্ধতি হবে একই সাথে ডায়গনিস্টিক পারফরম্যান্স, মিস ডায়গনোসিসের ঝুঁকি, অতিরিক্ত পরীক্ষা, পরীক্ষার সংখ্যা, খরচ পরিসীমা, অপেক্ষার সময়, অতিরিক্ত চিকিৎসা বোঝা এবং অনিশ্চয়তা। বিভিন্ন মডেলের জন্য "ঝুঁকি-প্রভাব-খরচ" সীমানা আঁকুন যা ব্যবহার, থ্রেশহোল্ড এবং অর্থপ্রদানের পরিবেশের অধীনে একটি নির্দিষ্ট সমাধান আরও উপযুক্ত, সরাসরি ঘোষণা করার পরিবর্তে যে একটি মডেল "সবচেয়ে সাশ্রয়ী"। যদি ক্লিনিকাল ইউটিলিটি ওয়েটিং বা সিদ্ধান্ত বিশ্লেষণের কোন ভিত্তি না থাকে, তবে একাধিক সূচককে জোর করে একক ROI তে রূপান্তর করা উচিত নয়।
6. স্থিতিশীলতা এবং pass@k: একক নির্ভরযোগ্যতা প্রতিস্থাপনের জন্য বারবার স্যাম্পলিং ছাড়াই সঠিকভাবে সংজ্ঞায়িত করা আবশ্যক
মেডিকেল সিস্টেমগুলি মোতায়েন করার সময় সাধারণত একটি বাস্তব অনুরোধের সম্মুখীন হয়, তাই pass@1 প্রতিফলিত করে যে একটি একক রান কাজটি সম্পূর্ণ করতে পারে কিনা; pass@k সাধারণত একাধিক প্রচেষ্টার মধ্যে অন্তত একটি সাফল্যের সম্ভাবনার উপর জোর দেয় এবং "k সব সাফল্য" এর সম্ভাবনা বা রান জুড়ে স্কোরের ভিন্নতা হল আরেকটি স্থিতিশীলতার সূচক। স্কিমটিতে Pass@k এবং pass^k কাগজের প্রোটোকলে একে একে স্পষ্টভাবে সংজ্ঞায়িত করতে হবে এবং পুনরাবৃত্তির সংখ্যা, এলোমেলো বীজ, তাপমাত্রা, স্যাম্পলিং কৌশল এবং প্রতিটি ক্ষেত্রের সারাংশ অ্যালগরিদম অবশ্যই উল্লেখ করতে হবে।
মডেলটি বাস্তব পরিস্থিতিতে পুনরায় চেষ্টা করা যেতে পারে, সিস্টেম ব্যবহারকারীর কাছে সর্বোত্তম উত্তর প্রদর্শন করতে পারে, কিন্তু এই পদ্ধতিটি বিলম্ব, খরচ এবং ঝুঁকি পরিবর্তন করবে এবং আলাদাভাবে মূল্যায়ন করা আবশ্যক। শুধুমাত্র pass@k এবং pass@1-এর মধ্যে পার্থক্য থেকে প্রশিক্ষণ-পরবর্তী গুণমান বা ক্লিনিকাল স্থিতিশীলতা সরাসরি অনুমান করা যায় না; পরিসংখ্যানগত পার্থক্যগুলি নমুনার আকার, আত্মবিশ্বাসের ব্যবধান, কেস ক্লাস্টারিং এবং পূর্বনির্ধারিত বিশ্লেষণ পরিকল্পনাগুলিকেও বিবেচনা করে। সমস্ত র্যাঙ্কিংয়ে অনিশ্চয়তার ব্যবধান দেওয়া উচিত এবং ছোট নমুনায় র্যাঙ্কিং এক্সচেঞ্জকে ক্ষমতার প্রজন্মগত পার্থক্য হিসাবে ব্যাখ্যা করা এড়ানো উচিত।
7. LLM-এ-জজ: টীকা ক্ষমতা প্রসারিত করুন, বিশেষজ্ঞ ক্রমাঙ্কন এবং অডিটিং বজায় রাখুন
LLM রেফারি ফরম্যাট চেকিং, আংশিক ফ্যাক্ট চেকিং, রুব্রিক্সের প্রাথমিক স্ক্রীনিং এবং বড় নমুনার সহায়ক স্কোরিংয়ের জন্য উপযুক্ত। যাইহোক, এটি তার নিজস্ব আউটপুটের মতো দীর্ঘ, আরও আত্মবিশ্বাসী এবং শব্দযুক্ত উত্তরগুলি পছন্দ করতে পারে, অথবা এটি পরীক্ষা করা মডেলের সাথে একই জ্ঞানের অন্ধ দাগগুলি ভাগ করতে পারে৷HealthBench এবং MedHELM-এর মতো অধ্যয়নগুলি রুব্রিক এবং মডেল স্কোরারদের অনুশীলন প্রদর্শন করেছে এবং স্কোরার এবং ক্লিনিকাল বিশেষজ্ঞের রায়গুলির মধ্যে সামঞ্জস্যের তুলনা করার প্রয়োজনীয়তাকেও চিত্রিত করেছে [3,6]।
অনুক্রমিক স্কোরিং ব্যবহারের সুপারিশ করে: প্রোগ্রামেবল যাচাইযোগ্য আইটেমগুলির জন্য নির্ধারক নিয়ম ব্যবহার করা হয়; উদ্ধৃত উত্স, নিয়ম এবং ক্লিনিকাল বিশেষজ্ঞ ব্যবহার করে চিকিৎসা সংক্রান্ত তথ্য এবং মূল নিরাপত্তা পয়েন্টগুলি পর্যালোচনা করা হয়; যোগাযোগের অভিজ্ঞতা এবং প্রোগ্রামের উপযুক্ততা প্রশিক্ষিত অন্ধ ক্লিনিকাল পর্যালোচনা ব্যবহার করে পর্যালোচনা করা হয়। নমুনার প্রতিটি ব্যাচের একটি নির্দিষ্ট অনুপাত দুই ব্যক্তি দ্বারা স্বাধীন স্কোরিংয়ের জন্য নির্বাচন করা হয়, এবং সামঞ্জস্য সূচক, মতবিরোধের হার এবং সালিশের অবস্থা রিপোর্ট করা হয়। রেফারি মডেলের নাম এবং সংস্করণ, প্রম্পট শব্দ, স্কোরিং তাপমাত্রা, রুব্রিক সংস্করণ এবং ক্রমাঙ্কন নমুনাগুলিও হিমায়িত এবং সংরক্ষণাগারভুক্ত।
8. ডাবল-ব্লাইন্ড বিশেষজ্ঞ প্ল্যাটফর্ম: অন্ধ হওয়া, অর্ডার প্রভাব এবং স্কোরিং ক্লান্তি প্রতিরোধ করতে হবে
প্ল্যানে ডিজাইন করা কেস তুলনা, ডুয়াল-মডেল প্রশ্ন ও উত্তর এবং র্যান্ডম ব্লাইন্ড টেস্টিং প্ল্যাটফর্মগুলি কার্যকর। ফলাফলগুলিকে বিশ্বস্ত করার জন্য, ব্লাইন্ডিং শুধুমাত্র মডেলের নাম লুকানোর উপর নির্ভর করতে পারে না: আউটপুট ফরম্যাটকে একীভূত করতে হবে, বিক্রেতা এবং মডেল শৈলীর ট্যাগগুলি সরাতে হবে, এবং উত্তরের ক্রম এলোমেলো করা হবে; পর্যালোচকদের উত্তরের উৎস বা তালিকায় তাদের অবস্থান জানা উচিত নয়; একই ক্ষেত্রে দুটি মডেলের প্রতিক্রিয়া ইন্টারফেসে জোড়াযুক্ত সূত্র প্রকাশ করা উচিত নয়। পর্যালোচনা প্রশিক্ষণ, ক্লান্তি নিয়ন্ত্রণ, ডুপ্লিকেট প্রশ্ন সনাক্তকরণ, স্কোরিং সময়সীমা, অন্ধ অনুমান প্রশ্নাবলী এবং আপত্তি পর্যালোচনা সেট আপ করা উচিত।
ক্লিনিকাল বিশেষজ্ঞ রেটিং "স্বাভাবিকভাবে নিরপেক্ষ" নয়। গ্রহণযোগ্য ঝুঁকির বিচার বিশেষত্ব, বছরের অভিজ্ঞতা এবং অনুশীলনের সেটিংস জুড়ে ভিন্ন হতে পারে। গবেষণায় পর্যালোচকের যোগ্যতা, বিশেষত্ব বন্টন, কেস টাস্ক ম্যাচিং পদ্ধতি, আন্তঃ-পর্যালোচকের ধারাবাহিকতা এবং সালিশি প্রক্রিয়ার রিপোর্ট করা উচিত এবং রোগী এবং জনসাধারণের উদ্বেগের জন্য অংশগ্রহণের ব্যবস্থা সেট আপ করা উচিত। DECIDE-AI প্রাথমিক ক্লিনিকাল মূল্যায়নে ক্লিনিকাল ব্যবহারিকতা, নিরাপত্তা, মানবিক কারণ এবং আরও পরীক্ষার জন্য প্রস্তুতির উপর জোর দেয়; এটি আমাদের মনে করিয়ে দেয় যে প্রকৃত ক্লিনিকাল মূল্যায়ন ব্যবহারকারী, কর্মপ্রবাহ এবং সিস্টেম পুনরাবৃত্তির উপর ফোকাস করা উচিত, শুধুমাত্র মডেল উত্তর স্কোর নয় [12]।
4. নির্ভরযোগ্য মেডিকেল AI বেঞ্চমার্কের পদ্ধতি
1. প্রথমে "উদ্দেশ্য কার্ড" তৈরি করুন এবং তারপর প্রশ্নগুলি লিখুন
তালিকার প্রতিটি উপ-আইটেমের জন্য, প্রথমে উদ্দেশ্য কার্ডটি পূরণ করুন: টার্গেট ব্যবহারকারী কে; কি ধরনের রোগী এবং ক্লিনিকাল সমস্যা পরিবেশিত হয়; মডেল কি ভূমিকা পালন করে; কি তথ্য ইনপুট অন্তর্ভুক্ত করার অনুমতি দেওয়া হয়; আউটপুট প্রকৃত চিকিৎসা সিদ্ধান্ত প্রভাবিত করে কিনা; পুনরুদ্ধার, সরঞ্জাম বা ইলেকট্রনিক মেডিকেল রেকর্ড কল করার অনুমতি আছে কিনা; যারা চূড়ান্ত পর্যালোচনা পরিচালনা করবে; ব্যর্থতার কারণে কি ক্ষতি হবে। উদ্দেশ্য কার্ডগুলি কাজ, ঝুঁকির মাত্রা, পরিমাপ মেট্রিক্স এবং প্রকাশের শব্দ নির্ধারণ করে। একটি উদ্দেশ্য সংজ্ঞার অনুপস্থিতিতে, তালিকাটি ব্যাখ্যা করতে পারে না যে সংগ্রহ বা ক্লিনিকাল স্থাপনার জন্য স্কোরের অর্থ কী।
2. কেস পেডিগ্রি এবং ডেটা কার্ড স্থাপন করুন
প্রতিটি ক্ষেত্রে কমপক্ষে বেনামী রোগী/ভিজিট শনাক্তকরণ, কাজের ধরন, রোগ এবং তীব্রতা, তথ্যের উৎস, সময় বিন্দু, কাঠামোগত ক্ষেত্র, নথি এবং পরীক্ষার মধ্যে সম্পর্ক, লেবেল ভিত্তি, প্রযোজ্য নির্দেশিকা সংস্করণ, অনুপস্থিত অবস্থা, কেস অন্তর্ভুক্তি/বর্জনের নিয়ম এবং গ্রহণযোগ্য উত্তরগুলির সেট রেকর্ড করে। কেস-লেভেল স্প্লিটিং একই রোগী, একই পরিদর্শন, বা প্রশিক্ষণ, পরামিতি সমন্বয় এবং পরীক্ষার সেটের কাছাকাছি-সদৃশ নথিগুলি এড়াতে হবে। পরীক্ষার সেটটি অবশ্যই সংস্করণ এবং ডেটা বংশ বজায় রাখতে হবে; পাবলিক সেটে নিয়মিত দূষণের অডিট করা আবশ্যক এবং লুকানো সেটে অ্যাক্সেস কন্ট্রোল এবং অডিট লগগুলি অবশ্যই প্রয়োগ করা উচিত।
3. ডিজাইন টাস্ক কার্ড এবং পরিবেশের অবস্থা
প্রতিটি কাজকে এভাবে বর্ণনা করে: প্রাথমিক তথ্য, মডেল যে প্রশ্নগুলি জিজ্ঞাসা করতে পারে, উপলব্ধ সরঞ্জাম, পরিবেশ ফেরত নিয়ম, সমাপ্তির শর্ত, অনুমোদিত ক্রিয়াকলাপ, নিষিদ্ধ ক্রিয়াকলাপ এবং পূর্বনির্ধারিত ঝুঁকি৷অনুক্রমিক কাজগুলিকে অবশ্যই সম্পূর্ণ ডায়ালগ এবং টুল ট্রেস সংরক্ষণ করতে হবে, কোন প্রশ্ন ছাড়াই মডেলের মধ্যে পার্থক্য করতে হবে, কোন ডেটা নেই এমন পরিবেশ, পরীক্ষা করা হয়নি এবং ফলাফল অজানা। যদি সিমুলেটেড রোগী বা পরিদর্শন এজেন্ট পরীক্ষায় অংশগ্রহণ করে, তাদের যাচাইকরণ প্রক্রিয়া এবং ব্যর্থতার মোড প্রকাশ করা প্রয়োজন; সিমুলেশন এনভায়রনমেন্ট পরীক্ষার অধীনে মডেলের লেবেল ফাঁস করতে পারে না, বা নতুন তথ্য তৈরি করা যায় না যা রাষ্ট্রীয় রূপান্তর নিয়ম মেনে চলে না শুধুমাত্র কারণ পরীক্ষার অধীনে মডেলটিকে আরও কয়েক রাউন্ড জিজ্ঞাসা করা হয়।
4. একক মোট স্কোরের পরিবর্তে সূচক ড্যাশবোর্ড ব্যবহার করুন
সূচকের কমপক্ষে ছয়টি গ্রুপে বিভক্ত হওয়ার সুপারিশ করা হয়
1. টাস্ক পারফরম্যান্স রোগ নির্ণয় বা সিদ্ধান্তের নির্ভুলতা, মূল ধাপের কভারেজ, কাঠামোগত নিষ্কাশন সম্পূর্ণতা, কাজ সমাপ্তির হার।2. রোগীর নিরাপত্তা গুরুতর ত্রুটি, বিপজ্জনক বাদ, ওভারহ্যান্ডলিং, মিথ্যা আরাম, নিষিদ্ধ অবহেলা, কাল্পনিক পরীক্ষা বা উদ্ধৃতি।3. প্রক্রিয়া গুণমান তথ্য সংগ্রহের দক্ষতা, পরিদর্শন নির্বাচন, বারবার অপারেশন, টুল কলিংয়ের সঠিকতা এবং উপযুক্ত সময়ে থামতে হবে কিনা।4. অনিশ্চয়তা ক্রমাঙ্কন ত্রুটি, ঝুঁকি স্তরবিন্যাস, প্রত্যাখ্যান/আপগ্রেড শ্রমের উপযুক্ততা, নির্বাচনী পূর্বাভাস এবং কভারেজের মধ্যে সম্পর্ক।5. সম্পদ ব্যবহার খরচ, বিলম্ব, পরীক্ষার সংখ্যা, ম্যানুয়াল পর্যালোচনার সময় এবং সম্পদের সীমাবদ্ধতার অধীনে ক্লিনিকাল সুবিধা।6. সাধারণীকরণযোগ্যতা সময়ের অধীনে কর্মক্ষমতা, প্রতিষ্ঠানের বাইরে, উপগোষ্ঠী, বিভিন্ন ইনপুট গুণাবলী, ভাষার বৈচিত্র এবং প্রতিকূল বিপর্যয়।
নিরাপত্তা কর্মক্ষমতা জন্য একটি ন্যূনতম থ্রেশহোল্ড থাকা উচিত; গুরুতর নিরাপত্তা ত্রুটিযুক্ত মডেলগুলিকে কম ঝুঁকিপূর্ণ কাজে উচ্চ স্কোরের কারণে সামগ্রিক সামগ্রিক স্কোর দ্বারা "অফসেট" করা উচিত নয়। তালিকাটি উদ্দেশ্যের সাথে প্রাসঙ্গিক একটি ওজনযুক্ত দৃষ্টিভঙ্গি প্রদান করতে পারে, তবে ওজন, থ্রেশহোল্ড এবং সংবেদনশীলতা বিশ্লেষণ অবশ্যই প্রকাশ করতে হবে এবং পাঠকদের পর্যালোচনা করার জন্য প্রতিটি মূল সূচকটি অবশ্যই ধরে রাখতে হবে।
5. প্রাক-নিবন্ধন পরিসংখ্যান পরিকল্পনা এবং সংস্করণ প্রতিবেদন
মডেলটি চালানোর আগে, প্রথমে প্রাথমিক এন্ডপয়েন্ট, সেকেন্ডারি এন্ডপয়েন্ট, স্যাম্পল সাইজ বেসিস, তুলনা অবজেক্ট, কনফিডেন্স ইন্টারভাল, মিসিং ডাটা প্রসেসিং, স্ট্র্যাটিফাইড অ্যানালাইসিস, একাধিক তুলনা প্রসেসিং এবং স্টপিং রুলস লিখুন। টাস্কের ফলাফলগুলি কেস, রোগী এবং প্রতিষ্ঠান অনুসারে ব্যবধান গণনা করার জন্য ক্লাস্টার করা যেতে পারে; একই ক্ষেত্রে মাল্টি-মডেল তুলনার জন্য উপযুক্ত জোড়া বিশ্লেষণ ব্যবহার করা উচিত যাতে প্রতিটি মডেলের পরীক্ষাকে একে অপরের থেকে স্বাধীন হিসাবে বিবেচনা করা না হয়। মডেল এবং প্রম্পট শব্দ সংস্করণ, তাপমাত্রা, টুল অনুমতি, অনুসন্ধান উত্স, API তারিখ, সফ্টওয়্যার এবং হার্ডওয়্যার কনফিগারেশন, এবং মূল্য উত্স ফাইলে রাখা উচিত। মডেল সরবরাহকারী আপডেট হওয়ার পরে, সরাসরি পুরানো র্যাঙ্কিং ব্যবহার করবেন না। আপনার স্ন্যাপশট চিহ্নিত করা উচিত এবং পুনরায় মূল্যায়ন করা উচিত।
6. পাবলিক বেঞ্চমার্ক "ডেভেলপমেন্ট সেট-ভ্যালিডেশন সেট-লুকানো সেট-ডাইনামিক সেট" এর সমান্তরাল কাঠামো গ্রহণ করে
ডেভেলপমেন্ট সেটটি কমিউনিটি ডিবাগিংয়ের জন্য ব্যবহার করা হয়, যাচাইকরণ সেটটি প্যারামিটার এবং স্কোরিং নিয়ম ক্রমাঙ্কন সমর্থন করে, লুকানো সেট পরীক্ষার লক্ষ্যে ওভারফিটিং কমিয়ে দেয় এবং ডায়নামিক রেড টিম সেট নতুন আক্রমণ এবং বিতরণ পরিবর্তন পরীক্ষা করে। চার ধরনের ডেটার প্রত্যেকটির নিজস্ব ব্যবহার রয়েছে এবং একটি রহস্যময় "টোটাল টেস্ট সেট" এ একত্রিত করা উচিত নয়। যদি কেস নমুনাগুলি সর্বজনীন করা হয়, সেগুলি অনুসন্ধান ইঞ্জিন এবং পরবর্তী প্রশিক্ষণ সংস্থায় অন্তর্ভুক্ত হওয়ার ঝুঁকি মূল্যায়ন করা উচিত; মূল লেবেল, সম্পূর্ণ রুব্রিক্স, বা লুকানো কেসগুলিকে সর্বজনীন করতে হবে না, তবে মূল্যায়ন প্রোটোকল, পরিসংখ্যানগত সারাংশ, কোড বা নিরীক্ষাযোগ্য ইন্টারফেসগুলিকে সর্বজনীন করা উচিত এবং গবেষকের অ্যাক্সেসের পদ্ধতিগুলি স্থাপন করা উচিত।
5. অফলাইন প্রোটোটাইপ থেকে ক্লিনিক্যাল প্রমাণ: চারটি ধাপ
পর্যায় 0: সীমানা এবং শাসনের সংজ্ঞা, ~4-6 সপ্তাহ
প্রথমে একটি নির্দিষ্ট, যাচাইযোগ্য, কম-ঝুঁকিপূর্ণ এন্ট্রি টাস্ক বেছে নিন, যেমন "ক্লিনিক্যাল ডকুমেন্ট ইনফরমেশন ইন্টিগ্রিটি চেক" বা "নির্দিষ্ট ইমেজিং রিপোর্ট ফিল্ড এক্সট্রাকশন", "সমস্ত মেডিকেল এআই মূল্যায়ন" থেকে শুরু না করে। ক্লিনিকাল, অ্যালগরিদম, পরিসংখ্যান, ডেটা সুরক্ষা এবং পণ্যের অংশগ্রহণ সহ একটি দল গঠন করুন; একটি উদ্দেশ্য কার্ড, ঝুঁকি বিশ্লেষণ, ডেটা অনুমোদনের তালিকা, কেস লেবেলিং স্পেসিফিকেশন, স্কোরিং ম্যানুয়াল এবং প্রাক-নিবন্ধন পরিসংখ্যান পরিকল্পনা তৈরি করুন। পর্যায় থ্রেশহোল্ডগুলি হল: মামলার উত্স স্পষ্ট, অনুমোদিত ব্যবহারগুলি পরিষ্কার, এবং মূল্যায়নের মানগুলি প্রকৃতপক্ষে দুটি স্বাধীন বিশেষজ্ঞ দ্বারা ব্যবহার করা যেতে পারে।
ফেজ 1: স্ট্যাটিক বেসলাইন এবং অন্ধ টীকা, প্রায় 6-10 সপ্তাহ
উন্নয়ন সেটের একটি সেট এবং পুনরাবৃত্তির জন্য স্বাধীন যাচাইকরণ সেট তৈরি করুন; পাবলিক মডেল স্ন্যাপশট এবং ব্যক্তিগত মডেল ইন্টারফেস নির্বাচন করুন, এবং প্রম্পট শব্দ এবং কনফিগারেশন ফ্রিজ করুন। আমরা প্রথমে টাস্ক পারফরম্যান্স, ত্রুটির ধরন, শ্রেণিবদ্ধ কর্মক্ষমতা এবং স্বয়ংক্রিয় রেফারি এবং বিশেষজ্ঞ স্কোরের মধ্যে ধারাবাহিকতা মূল্যায়ন করি এবং "জাতীয় র্যাঙ্কিং" এর এককালীন প্রকাশের অনুসরণ করি না। পর্যায় থ্রেশহোল্ডগুলি হল: প্রধান সূচকগুলি পুনরাবৃত্তি করা যেতে পারে, বিবাদগুলি স্কোর করার জন্য একটি সালিসি প্রক্রিয়া রয়েছে এবং গুরুতর নিরাপত্তা ত্রুটিগুলি কেস এবং প্রমাণগুলিতে ফিরে পাওয়া যেতে পারে৷
পর্যায় 2: ইন্টারেক্টিভ পরিবেশ এবং বাহ্যিক বৈধতা, ~8-14 সপ্তাহ
একটি বিচ্ছিন্ন সিমুলেশন পরিবেশে পরামর্শ, পরীক্ষার সিদ্ধান্ত নেওয়া বা মেডিকেল রেকর্ড অপারেশন কাজগুলি রাখুন। রোগীর অবস্থা, পরীক্ষার ফলাফল, টুল ইন্টারফেস, টাইমলাইন, এবং সম্পদ খরচ সব সংরক্ষণ করা হয়; সিমুলেটেড ডেটা বাস্তব পর্যবেক্ষণ ডেটা থেকে কঠোরভাবে পৃথক করা হয়। সর্বনিম্নভাবে, বিভিন্ন উত্স বা সময়কাল থেকে সেট-সাইড কেসগুলিতে বৈধতা পুনরাবৃত্তি করা হয় এবং সেটিং এবং লেবেলিং একটি স্বাধীন ক্লিনিকাল দল দ্বারা পর্যালোচনা করা হয়। স্টেজ থ্রেশহোল্ডগুলি হল: সিমুলেটরটির বৈধতা প্রতিবেদন রয়েছে, ক্রস-সোর্স পারফরম্যান্সের ব্যবধানগুলি পরিমাপ করা হয় এবং কোনও লেবেলবিহীন সিন্থেটিক তথ্য ক্লিনিকাল তথ্যগুলিতে মিশ্রিত হয় না।
পর্যায় 3: ছোট আকারের বাস্তব-জীবনের কর্মপ্রবাহ পাইলট এবং ক্রমাগত পর্যবেক্ষণ
যদি টাস্কটি প্রকৃত চিকিৎসা সংক্রান্ত সিদ্ধান্তগুলিকে প্রভাবিত করে, তবে এটিকে নীতিশাস্ত্র, গোপনীয়তা এবং প্রাতিষ্ঠানিক শাসন দ্বারা সমর্থিত একটি দূরদর্শী ছোট-স্কেল মূল্যায়নে প্রবেশ করা উচিত এবং "স্বয়ংক্রিয় সম্পাদন" এর পরিবর্তে "সহায়তা" হিসাবে অবস্থান করা উচিত। চিকিত্সকরা সুপারিশ, ব্যবহারের সময়কাল, পরিবর্তন আচরণ, ম্যানুয়াল বৃদ্ধির ফ্রিকোয়েন্সি, সম্ভাব্য প্রতিকূল ঘটনা, কাজের চাপ এবং বিভিন্ন উপগোষ্ঠীতে কর্মক্ষমতা দেখেছেন এবং তার উপর কাজ করেছেন কিনা তা রেকর্ড করুন। DECIDE-AI-এর মতো প্রযোজ্য নির্দেশিকা অনুসারে স্বচ্ছভাবে রিপোর্ট করুন এবং নির্দিষ্ট অধ্যয়নের ধরনের উপর ভিত্তি করে উপযুক্ত স্পেসিফিকেশন নির্বাচন করুন। বৃহত্তর-স্কেল ক্লিনিকাল স্টাডিজ বা প্রোডাক্টাইজেশন পাথওয়েগুলি পূর্বনির্ধারিত নিরাপত্তা এবং কার্যকারিতা থ্রেশহোল্ড পূরণ করার পরেই আলোচনা করা হয়।2025 সালে এফডিএ দ্বারা প্রকাশিত খসড়া এআই মেডিকেল ডিভাইস সফ্টওয়্যার জীবনচক্র সম্পর্কিত পণ্যগুলির জন্য ঝুঁকি ব্যবস্থাপনা এবং ফাইলিং উপকরণগুলির জন্য পরামর্শ প্রদান করে, তবে নথিটি একটি খসড়া এবং অ-বাঁধাই হিসাবে চিহ্নিত করা হয়েছে এবং এটিকে সম্পূর্ণ অনুমোদন বা সাধারণভাবে প্রযোজ্য নিয়ন্ত্রক উপসংহার হিসাবে বর্ণনা করা উচিত নয় [15]।
পর্যায় 0-3 এর জন্য সময়কাল শুধুমাত্র একটি প্রকল্প পরিকল্পনা ব্যবধান এবং এটি একটি নিশ্চিত ডেলিভারি প্রতিশ্রুতি নয়; প্রকৃত সময়কাল প্রাতিষ্ঠানিক সহযোগিতা, নৈতিক পর্যালোচনা, ডেটা অনুমোদন, মামলার পরিমাণ, পর্যালোচনা সংস্থান এবং নির্দিষ্ট ব্যবহারের উপর নির্ভর করে। বাজেটকে শুধুমাত্র মডেল কল ভলিউম দ্বারা অনুমান করার পরিবর্তে ডেটা গভর্নেন্স, ক্লিনিকাল বিশেষজ্ঞ, প্রকৌশল, পরিসংখ্যান, প্ল্যাটফর্ম, নিরাপত্তা অডিট এবং চলমান রক্ষণাবেক্ষণের মধ্যে বিভক্ত করা উচিত।
6. স্বাস্থ্যসেবায় বেঞ্চমার্কের অবদান
1. চিকিৎসা প্রতিষ্ঠানগুলিকে এর উপর ভিত্তি করে আরও মডেল বেছে নেওয়ার অনুমতি দিন
স্বাস্থ্যসেবা সংস্থাগুলি সামগ্রিক র্যাঙ্কিংয়ের উপর বাজি ধরার পরিবর্তে নির্দিষ্ট কাজের দ্বারা মডেলের নিরাপত্তা মার্জিন, খরচ এবং ত্রুটির ধরন দেখতে পারে। সংগ্রহের জন্য, তালিকাটি "মডেল প্রদর্শনের কার্যকারিতা ভাল" যাচাইযোগ্য গ্রহণযোগ্যতা শর্তে পরিণত করতে পারে: নমুনা এবং টাস্ক স্কোপ, গুরুতর ত্রুটি থ্রেশহোল্ড, প্রতিক্রিয়া সময় সীমা, অডিট রেকর্ড, সংস্করণ আপডেটের পরে রিগ্রেশন টেস্টিং, এবং যখন এটি প্রক্রিয়া করা যায় না তখন আপগ্রেড প্রক্রিয়া।
2. মডেল টিমকে উন্নতির আসল দিক খুঁজে পেতে সাহায্য করুন
অপর্যাপ্ত নির্ভুলতা জ্ঞান, তথ্য সংগ্রহ, চিত্র পড়া, টুল আহ্বান, প্রাসঙ্গিক একীকরণ, ক্রমাঙ্কন, বা উপস্থাপনা থেকে উদ্ভূত হতে পারে। ত্রুটি শ্রেণীবিভাগ এবং প্রক্রিয়া ট্রেস ডেটা সমৃদ্ধকরণ, পোস্ট-প্রশিক্ষণ, পুনরুদ্ধার বর্ধিতকরণ, টুল ডিজাইন এবং নিরাপত্তা নীতিগুলিকে সংযুক্ত করতে পারে। ডেটা পরিষেবাগুলির জন্য, এটি "কতটি নমুনা সরবরাহ করতে হবে" থেকে "কোন নমুনাগুলি পর্যবেক্ষণযোগ্য ক্ষমতার শূন্যতা পূরণ করতে পারে" এ স্থানান্তর করতে সহায়তা করে।
3. রোগী এবং ক্লিনিকাল দল দ্বারা বহন করা অদৃশ্য ঝুঁকি হ্রাস করুন যদি
তালিকা বাদ দেওয়া, বিভ্রান্তিকর, ওভার-চেকিং, অতি-অনুমোদিত ক্রিয়াকলাপ এবং অনিশ্চিত আচরণগুলি রেকর্ড করে, এটি সংস্থাগুলিকে স্থাপনের আগে ম্যানুয়াল পর্যালোচনা পয়েন্ট সেট করতে সহায়তা করতে পারে। এটি শূন্য ঝুঁকির গ্যারান্টি দেয় না, তবে এটি পরিচিত ঝুঁকিগুলি সনাক্ত, যোগাযোগ এবং পরিচালনা করা সহজ করে তুলতে পারে।
4. গবেষণার জন্য একটি পুনরুত্পাদনযোগ্য তুলনা ভিত্তি স্থাপন করুন
স্ট্যান্ডার্ড কাজ, হিমায়িত কনফিগারেশন, পাবলিক রিপোর্ট এবং সংস্করণ অডিট বিভিন্ন প্রতিষ্ঠানের মধ্যে "প্রত্যেকটি তার নিজস্ব পরীক্ষা করার" কারণে সৃষ্ট অতুলনীয়তা কমাতে পারে। গবেষকরা বিভিন্ন কাজ, ভাষা, প্রতিষ্ঠান এবং সংস্করণে মডেলটির কর্মক্ষমতা প্রবাহ পর্যবেক্ষণ করতে পারেন, যা বাহ্যিক বৈধতা এবং সম্ভাব্য গবেষণার জন্য একটি সনাক্তযোগ্য সূচনা বিন্দু প্রদান করে।
5. ডেটা পরিষেবা এবং ক্লিনিকাল মূল্যায়ন একটি বন্ধ লুপ গঠন করতে দিন
যখন ডেটা স্পেসিফিকেশন এবং মডেল মূল্যায়ন ম্যাপ করা হয়, দলটি "কেস অ্যাট্রিবিউটস-লেবেলযুক্ত প্রমাণ-মডেল ব্যর্থতা-পরিপূরক নমুনাগুলি-পুনরায় পরীক্ষার ফলাফলগুলি" ট্র্যাক করতে পারে৷এই বন্ধ লুপ ডেটা গুণমান, টীকা গুণমান এবং মডেল ক্ষমতার মধ্যে পার্থক্য করতে সাহায্য করে: মডেল ব্যর্থতা অগত্যা ডেটার অভাব নয়, এবং ডেটা প্রাচুর্য স্বয়ংক্রিয়ভাবে ক্লিনিকাল মান তৈরি করে না। মূল্যায়ন উপসংহারটি শুধুমাত্র একটি প্রচার তালিকা তৈরি করার পরিবর্তে নির্দিষ্ট কাজ এবং ডেটা কার্ডগুলিতে ফিরে যাওয়া উচিত।
7. LumeSage: যাচাইযোগ্য মূল্যায়ন প্রক্রিয়া গড়ে তোলা
মেডিকেল AI বেঞ্চমার্ক তৈরির জন্য মডেলটিকে কল করার জন্য ইঞ্জিনিয়ারিং ক্ষমতার চেয়ে বেশি প্রয়োজন। এটিকে ক্লিনিকাল লক্ষ্যগুলিকে টাস্ক স্পেসিফিকেশন, এম্বেড কেস সোর্স, অনুমোদন, সংবেদনশীলতা এবং সংস্করণ পরিচালনা ডেটা প্রক্রিয়াগুলিতে অনুবাদ করতে হবে; ছবি, নথি, পরীক্ষা এবং মাল্টি-মডেল নমুনার জন্য ট্রেসযোগ্য সমিতি স্থাপন; নিরীক্ষাযোগ্য রেকর্ডে বিশেষত্ব টীকা, পর্যালোচনা, মতানৈক্য সালিস এবং রুব্রিক স্কোরিং; এবং তারপর স্বয়ংক্রিয় এক্সিকিউশন, লগ প্লেব্যাক, খরচ অ্যাকাউন্টিং এবং রিপোর্ট তৈরি সম্পূর্ণ করতে ইঞ্জিনিয়ারিং প্ল্যাটফর্ম ব্যবহার করুন।
LumeSage এই লিঙ্কগুলির চারপাশে পরিষেবাগুলি সংগঠিত করতে পারে: প্রয়োজনীয়তা এবং ব্যবহার বাছাই, পরীক্ষার সেট ডিজাইন, নমুনা স্পেসিফিকেশন এবং ডেটা কার্ড, চিকিৎসা টীকা এবং গুণমান পরিদর্শন, বিশেষজ্ঞ অন্ধ মূল্যায়ন, ব্যক্তিগত মূল্যায়ন পরিবেশ, বেঞ্চমার্ক রিপোর্ট এবং সংস্করণ রিগ্রেশন। মেডিকেল গেটের মতো ব্যক্তিগত মূল্যায়ন পরিষেবার মূল্য তার প্রকৃত কার্য সীমানা, ডেটা অনুমোদন, বিশেষজ্ঞের অংশগ্রহণ, স্কোরিং প্রোটোকল এবং প্রতিলিপি প্রমাণ দ্বারা ব্যাখ্যা করা উচিত; রোগীর নিরাপত্তা বা ক্লিনিকাল প্রভাব জড়িত বিবৃতি সংশ্লিষ্ট গবেষণা এবং প্রযোজ্য দৃশ্যকল্প প্রমাণ দ্বারা সমর্থিত হতে হবে।
এই সলিউশনে উপস্থাপিত মাল্টি-এজেন্ট সিমুলেশন, খরচ বিশ্লেষণ, বিশেষজ্ঞ প্ল্যাটফর্ম এবং ডায়াগনস্টিক-ভিত্তিক স্কোরিং গবেষণা ও উন্নয়নের রুট এবং অনুমানের অভ্যন্তরীণ যাচাইকরণ হিসাবে ব্যবহারের জন্য উপযুক্ত। মডেল ফলাফল সর্বজনীনভাবে প্রকাশ করার আগে, মামলার সংখ্যা এবং উত্স, ডেটা বিভাজন, মডেল স্ন্যাপশট, প্রম্পট শব্দ, তাপমাত্রা, সরঞ্জাম, প্রতি ক্ষেত্রে পুনরাবৃত্তির সংখ্যা, স্কোরিং রুব্রিক, বিশেষজ্ঞ রচনা, রেফারি ধারাবাহিকতা, আত্মবিশ্বাসের ব্যবধান, খরচ এলাকা এবং গণনা পদ্ধতি, সেইসাথে প্রাক-নিবন্ধন বা কোড পুনরাবৃত্তির তথ্য সম্পূর্ণ করা উচিত। এই উপাদানগুলির অনুপস্থিতিতে, অভ্যন্তরীণ চার্টকে একটি স্বাধীনভাবে যাচাইকৃত পাবলিক র্যাঙ্কিং বলা উপযুক্ত নয়; এই শ্বেতপত্রে নির্দিষ্ট মডেল র্যাঙ্কিং এবং পরিকল্পনায় একক কেস খরচ প্রকাশ করা হয় না।
"চিকিৎসা তালিকা কি প্রমাণ করতে পারে যে মডেলটি স্বাধীনভাবে রোগ নির্ণয় এবং চিকিত্সা করতে পারে", উত্তরটি পরিষ্কার হওয়া উচিত: না। বেঞ্চমার্কিং নির্দিষ্ট কাজের জন্য অফলাইন প্রমাণ প্রদান করে; প্রকৃত ক্লিনিকাল ব্যবহারযোগ্যতা বাহ্যিক বৈধতা, ক্লিনিকাল কর্মপ্রবাহ, মানবিক কারণ, নিয়ন্ত্রক সীমানা এবং সম্ভাব্য নিরাপত্তা এবং কার্যকারিতা অধ্যয়নের উপর নির্ভর করে। মেডিকেল এআই-এর ব্র্যান্ডের বিশ্বাসযোগ্যতা স্পষ্ট সীমানা, পর্যালোচনাযোগ্য পদ্ধতি এবং ফলাফলের প্রশ্ন করার ক্ষমতা দ্বারা প্রতিষ্ঠিত হওয়া উচিত।
উপসংহার: একক র্যাঙ্কিংয়ের বাইরে প্রমাণের মানচিত্র
মেডিকেল AI বেঞ্চমার্কের ভবিষ্যত এমন কোনও পদক হওয়া উচিত নয় যা জীবনের জন্য অপরিবর্তিত থাকে, তবে উদ্দেশ্য, রোগীর জনসংখ্যা, ডেটার ধরন, ঝুঁকি, খরচ এবং প্রমাণের স্তর দ্বারা প্রসারিত একটি মানচিত্র। এটি শুধুমাত্র মডেলগুলিকে স্পষ্ট কাজগুলিতে অগ্রগতি প্রদর্শনের অনুমতি দেয় না, তবে অমীমাংসিত সমস্যাগুলিও উপস্থাপন করে; এটি শুধুমাত্র অ্যালগরিদম পুনরাবৃত্তিকে উৎসাহিত করে না, ক্লিনিকাল বিশেষজ্ঞ, রোগী এবং প্রতিষ্ঠানের বিচারের জন্য জায়গাও ধরে রাখে।
চিকিৎসা প্রতিষ্ঠানের জন্য, তালিকাটি আবদ্ধ পছন্দগুলি পরিবেশন করা উচিত; অ্যালগরিদম দলের জন্য, এটি লোকেবল উন্নতি পরিবেশন করা উচিত; ডেটা পরিষেবা প্রদানকারীদের জন্য, এটি কাজ, প্রমাণ এবং গুণমানের একটি বন্ধ লুপ পরিবেশন করা উচিত; রোগীদের জন্য, এটি নিরাপদ সিদ্ধান্তের জন্য সাবলীল উত্তর ভুল করার ঝুঁকি কমাতে হবে। মেডিকেল AI-তে প্রতিযোগিতা শুধুমাত্র প্রশ্নব্যাঙ্কে কে বেশি স্কোর করেছে তা নিয়েই হওয়া উচিত নয়, তবে কে একটি পরিষ্কার উদ্দেশ্যে স্থিতিশীল, স্বচ্ছ এবং জবাবদিহিমূলক সহায়তা প্রদান করতে পারে এবং অপর্যাপ্ত প্রমাণ না থাকলে কখন থামতে হবে তা জানা উচিত।
*এই নিবন্ধটি মেডিকেল এআই মূল্যায়ন এবং গবেষণা পদ্ধতির আলোচনা। এটি ক্লিনিকাল রোগ নির্ণয় এবং চিকিত্সার সুপারিশ, মেডিকেল ডিভাইস নিবন্ধন উপসংহার, বা কোনো মডেলের ক্লিনিকাল কার্যকারিতার শংসাপত্র গঠন করে না।*
সচরাচর জিজ্ঞাসিত প্রশ্ন
তথ্যসূত্র
[1] জিন ডি, প্যান ই, ওফাতোল এন, এট আল। এই রোগীর কি রোগ আছে? একটি বড় মাপের ওপেন ডোমেন প্রশ্নের উত্তর মেডিক্যাল পরীক্ষার ডেটাসেট। *ফলিত বিজ্ঞান*। 2021;11(14):6421। DOI: 10.3390/app11146421
[2] জিন কিউ, ধিংরা বি, লিউ জেড, কোহেন ডব্লিউডব্লিউ, লু এক্স। পাবমেডকিউএ: বায়োমেডিকাল গবেষণা প্রশ্নের উত্তর দেওয়ার জন্য একটি ডেটাসেট। *EMNLP-IJCNLP*। 2019:2567–2577। ACL Anthology
[3] Arora RK, Wei J, Hicks RS, et al. HealthBench: উন্নত মানব স্বাস্থ্যের দিকে বড় ভাষার মডেলের মূল্যায়ন। 2025। গবেষণা প্রবন্ধ · প্রকল্পের বর্ণনা এবং ডেটা
[৪] স্মিডগাল এস, জিয়াই আর, হ্যারিস সি, এট আল। এজেন্টক্লিনিক: সিমুলেটেড ক্লিনিকাল পরিবেশে এআই মূল্যায়ন করার জন্য একটি মাল্টিমডাল এজেন্ট বেঞ্চমার্ক। 2024। arXiv:2405.07960
[5] জিয়াং ওয়াই, ব্ল্যাক কেসি, গেং জি, এট আল। MedAgentBench: বেঞ্চমার্ক মেডিকেল এলএলএম এজেন্টদের জন্য একটি ভার্চুয়াল EHR পরিবেশ। *এনইজেএম এআই*। 2025;2(9)। DOI: 10.1056/AIdbp2500144
[6] বেদি এস, লিউ ওয়াই, অর-ইউইং এল, এট আল। MedHELM: মেডিকেল টাস্কের জন্য বৃহৎ ভাষার মডেলের সামগ্রিক মূল্যায়ন। 2025। arXiv:2505.23802 · স্ট্যানফোর্ড HELM লিডারবোর্ড
[7] ওয়ার্থ জেই, পেরেজ এ, উ ডিজেএইচ, এট আল। 2026 সালে ক্লিনিকাল AI এর অবস্থা। *BMJ ডিজিটাল স্বাস্থ্য এবং AI*। 2026;2(1):e000113। জার্নাল সম্পূর্ণ পাঠ্য
[8] Wu D, Nateghi Haredasht F, কুমার মহারাজ এস, et al. প্রথমত, নোহার্ম করুন: চিকিৎসাগতভাবে নিরাপদ বড় ভাষার মডেলের দিকে। 2025। arXiv:2512.01241, প্রিপ্রিন্ট
[9] প্যান জে, জিয়ান বি, হেগার পি, এট আল। ডায়নামিক রেড-টিমিং সহ স্বাস্থ্য এবং মেডিসিনের জন্য বৃহৎ ভাষার মডেলগুলিতে বেঞ্চমার্কিং ফাঁকগুলি সমাধান করা। *প্রকৃতি স্বাস্থ্য*। 2026। DOI: 10.1038/s44360-026-00152-8
[১০] গ্যালিফ্যান্ট জে, আফশার এম, আমীন এস, এট আল। বড় ভাষার মডেল ব্যবহার করে অধ্যয়নের জন্য TRIPOD-LLM রিপোর্টিং নির্দেশিকা। *প্রকৃতির ঔষধ*। 2025;31:60-69। DOI: 10.1038/s41591-024-03425-5
[১১] কলিন্স জিএস, মুনস কেজিএম, ধীমান পি, এট আল। TRIPOD+AI স্টেটমেন্ট: রিগ্রেশন বা মেশিন লার্নিং পদ্ধতি ব্যবহার করে এমন ক্লিনিকাল ভবিষ্যদ্বাণী মডেল রিপোর্ট করার জন্য আপডেট করা গাইডেন্স। *বিএমজে*। 2024;385:e078378। DOI: 10.1136/bmj-2023-078378
[12] ভ্যাসি বি, নগেন্দ্রান এম, ক্যাম্পবেল বি, এট আল। কৃত্রিম বুদ্ধিমত্তা দ্বারা চালিত সিদ্ধান্ত সমর্থন সিস্টেমের প্রাথমিক পর্যায়ে ক্লিনিকাল মূল্যায়নের জন্য রিপোর্টিং নির্দেশিকা: DECIDE-AI। *বিএমজে*। 2022;377:e070904। DOI: 10.1136/bmj-2022-070904
[13] লিউ এক্স, ক্রুজ রিভেরা এস, মোহের ডি, এট আল। কৃত্রিম বুদ্ধিমত্তা জড়িত হস্তক্ষেপের জন্য ক্লিনিকাল ট্রায়াল রিপোর্টের জন্য রিপোর্টিং নির্দেশিকা: CONSORT-AI এক্সটেনশন। *বিএমজে*। 2020;370:m3164। DOI: 10.1136/bmj.m3164
[14] Nori H, Daswani M, Kelly C, et al. ভাষা মডেলের সাথে ক্রমিক নির্ণয়। 2025। arXiv:2506.22405, প্রিপ্রিন্ট
[15] মার্কিন খাদ্য ও ওষুধ প্রশাসন। কৃত্রিম বুদ্ধিমত্তা-সক্ষম ডিভাইস সফ্টওয়্যার ফাংশন: লাইফসাইকেল ম্যানেজমেন্ট এবং মার্কেটিং জমা দেওয়ার সুপারিশ। খসড়া নির্দেশিকা, জানুয়ারী 2025। FDA অফিসিয়াল পেজ
