چه زمانی به یک مدل هوش مصنوعی اعتماد کنیم

چه زمانی به یک مدل هوش مصنوعی اعتماد کنیم

بهبود تخمین عدم قطعیت در مدل‌های یادگیری ماشینی

مدل‌های یادگیری ماشینی گاهی اوقات ممکن است پیش‌بینی‌های نادرست ارائه دهند. برای مقابله با این چالش، پژوهشگران اغلب این مدل‌ها را به قابلیت ارائه میزان اطمینان در تصمیم‌گیری مجهز می‌کنند. این قابلیت به کاربران اجازه می‌دهد بدانند تا چه حد می‌توانند به پیش‌بینی مدل اطمینان داشته باشند. این موضوع به‌ویژه در محیط‌های حساس، مانند تشخیص بیماری‌ها از طریق تصاویر پزشکی یا فیلتر کردن درخواست‌های شغلی اهمیت دارد.

با این حال، تخمین‌های عدم قطعیت مدل‌ها تنها در صورتی مفید است که دقیق باشند. اگر یک مدل بگوید با ۴۹ درصد اطمینان تصویر پزشکی حاوی “افیوژن پلورال” است، در واقع انتظار می‌رود که مدل در ۴۹ درصد مواقع درست پیش‌بینی کند. با این توصیف، دقت تخمین عدم قطعیت می‌تواند به تعیین قابل اعتماد بودن نتایج مدل کمک کند.

محققان MIT روشی جدید معرفی کرده‌اند که می‌تواند تخمین عدم قطعیت در مدل‌های یادگیری ماشینی را بهبود بخشد. این روش نه‌تنها تخمین‌های دقیق‌تری نسبت به سایر تکنیک‌ها تولید می‌کند، بلکه این کار را به شکل بهینه‌تری انجام می‌دهد. افزون بر این، از آنجا که این تکنیک مقیاس‌پذیر است، می‌توان آن را برای مدل‌های یادگیری عمیق عظیمی که به طور فزاینده‌ای در حوزه‌هایی مانند بهداشت و سایر زمینه‌های بحرانی ایمنی به کار گرفته می‌شوند، اعمال کرد.

این تکنیک می‌تواند به کاربران نهایی که بسیاری از آن‌ها تخصصی در یادگیری ماشینی ندارند، اطلاعات بهتری ارائه دهد تا تصمیم بگیرند آیا به پیش‌بینی‌های مدل اعتماد کنند یا خیر و اینکه آیا مدل باید برای یک وظیفه خاص به کار گرفته شود یا خیر.

اهمیت تخمین عدم قطعیت

ناشناخته‌ بودن عملکرد دقیق مدل‌های یادگیری ماشینی در سناریوهای خاص ممکن است منجر به اعتماد بیش از حد به پیش‌بینی‌های آن‌ها شود. همان‌طور که “ناتان نگ” (Nathan Ng)، نویسنده اصلی این پژوهش و دانشجوی تحصیلات تکمیلی دانشگاه تورنتو که در MIT مشغول به تحقیق است، بیان می‌کند: “مشاهده عملکرد بسیار خوب این مدل‌ها در شرایط خاص ممکن است این تصور را به وجود آورد که آن‌ها در سایر سناریوها نیز به همین اندازه خوب عمل خواهند کرد.” او معتقد است که بسیار مهم است کارهایی مانند این پژوهش که به بهبود کالیبراسیون و تخمین عدم قطعیت مدل‌ها می‌پردازند، برای اطمینان از هم‌راستا بودن این مدل‌ها با مفاهیم انسانی از عدم قطعیت انجام شوند.

نگ این مقاله را با همکاری “راجر گروس”، استادیار علوم کامپیوتر دانشگاه تورنتو و “مرزیه قاسمی”، استاد دانشکده مهندسی برق و علوم کامپیوتر MIT و عضو موسسه علوم مهندسی پزشکی و آزمایشگاه سیستم‌های اطلاعات و تصمیم‌گیری MIT نگاشته است. این تحقیق در کنفرانس بین‌المللی یادگیری ماشینی ارائه خواهد شد.

روش‌های جدید برای اندازه‌گیری عدم قطعیت

روش‌های متداول تخمین عدم قطعیت معمولاً به محاسبات پیچیده آماری نیاز دارند که به‌خوبی با مدل‌های یادگیری ماشینی بزرگ که میلیون‌ها پارامتر دارند، سازگار نیستند. این روش‌ها همچنین مستلزم آن هستند که کاربران فرضیات مشخصی درباره مدل و داده‌های مورد استفاده برای آموزش آن انجام دهند. این فرضیات می‌توانند دقت تخمین‌ها را کاهش دهند و در برخی موارد مشکلاتی به وجود آورند.

پژوهشگران MIT رویکرد متفاوتی اتخاذ کرده‌اند. آن‌ها از اصلی به نام “حداقل طول توضیح” (Minimum Description Length – MDL) استفاده کرده‌اند که برخلاف سایر روش‌ها، به فرضیاتی که دقت تخمین را کاهش می‌دهند، نیاز ندارد. این اصل برای تخمین و کالیبره‌کردن بهتر عدم قطعیت داده‌های آزمایشی که مدل وظیفه برچسب‌گذاری آن‌ها را بر عهده دارد، به کار گرفته می‌شود.

روش جدید محققان، با نام IF-COMP، از اصل MDL استفاده می‌کند و آن را به شکلی سریع و کارآمد به گونه‌ای پیاده‌سازی می‌کند که با مدل‌های یادگیری عمیق بزرگ سازگار باشد و بتواند در محیط‌های واقعی به کار گرفته شود.

در این رویکرد، MDL شامل بررسی همه برچسب‌های ممکن است که یک مدل می‌تواند به یک داده آزمایشی اختصاص دهد. اگر برچسب‌های جایگزین بسیاری برای آن نقطه وجود داشته باشد که به‌خوبی با داده‌های موجود هماهنگ باشند، میزان اطمینان مدل در برچسب اصلی کاهش می‌یابد.

مثالی از کاربرد MDL

برای درک بهتر این رویکرد، می‌توان یک مثال ساده مطرح کرد. فرض کنید مدلی وجود دارد که می‌گوید یک تصویر پزشکی نشان‌دهنده “افیوژن پلورال” است. حال اگر محققان به این مدل بگویند که این تصویر به‌جای آن، یک ادم (تجمع غیرعادی مایعات) را نشان می‌دهد و مدل در پاسخ به این داده جدید تمایل به تغییر نظر خود داشته باشد، باید نتیجه گرفت که مدل در تصمیم اولیه خود چندان مطمئن نبوده است.

اصل MDL این‌گونه عمل می‌کند که اگر مدل در برچسب‌گذاری یک نقطه داده کاملاً مطمئن باشد، باید برای توصیف آن نقطه از یک کد کوتاه استفاده کند. اما اگر مدل در مورد تصمیم خود دچار عدم قطعیت باشد، از یک کد طولانی‌تر استفاده می‌کند تا احتمال وجود برچسب‌های دیگر را نیز مدنظر قرار دهد.

این کد طولانی‌تر برای داده‌های دارای عدم قطعیت بیشتر، چیزی است که تحت عنوان “پیچیدگی داده‌های تصادفی” شناخته می‌شود. اگر پژوهشگران از مدل بپرسند که چقدر تمایل به تغییر نظر خود در مورد یک نقطه داده خاص با توجه به شواهد متناقض دارد، پیچیدگی داده‌های تصادفی باید کاهش یابد، به‌ویژه اگر مدل در ابتدا اعتماد زیادی به تصمیم خود داشته باشد.

اما بررسی همه داده‌ها با استفاده از MDL نیازمند محاسبات سنگینی است که می‌تواند زمان‌بر و پیچیده باشد. به همین دلیل محققان روش IF-COMP را معرفی کرده‌اند تا این محاسبات را تسریع کنند.

سرعت بخشیدن به فرآیند تخمین عدم قطعیت

با استفاده از IF-COMP، محققان تکنیکی تقریبی توسعه داده‌اند که می‌تواند پیچیدگی داده‌های تصادفی را با دقت بالا با استفاده از تابعی خاص به نام “تابع تأثیر” تخمین بزند. آن‌ها همچنین از تکنیک آماری “تنظیم دما” استفاده کرده‌اند که به بهبود کالیبراسیون خروجی مدل‌ها کمک می‌کند. این ترکیب از توابع تأثیر و تنظیم دما امکان تولید تخمین‌های دقیق و سریع از پیچیدگی داده‌های تصادفی را فراهم می‌آورد.

در نهایت، IF-COMP می‌تواند به شکلی کارآمد تخمین‌هایی از عدم قطعیت مدل تولید کند که با میزان واقعی اطمینان مدل هم‌خوانی دارند. این روش همچنین می‌تواند مشخص کند که آیا مدل داده‌های خاصی را اشتباه برچسب‌گذاری کرده است یا نقاط داده‌ای را که به‌عنوان موارد استثنا و غیرعادی تلقی می‌شوند، شناسایی کند.

محققان سیستم خود را در این سه وظیفه آزمایش کرده و دریافتند که سریع‌تر و دقیق‌تر از سایر روش‌ها عمل می‌کند.

اهمیت این پژوهش در آینده

مرزیه قاسمی، یکی از نویسندگان ارشد این تحقیق، می‌گوید: “اطمینان از اینکه یک مدل به‌خوبی کالیبره شده باشد، بسیار مهم است و نیاز به ابزارهای ارزیابی و نظارت در مسائل یادگیری ماشینی که از حجم زیادی از داده‌های بررسی‌نشده استفاده می‌کنند، روزافزون است. چنین مدل‌هایی قرار است برای حل مشکلاتی که مستقیماً با انسان در ارتباط هستند، به کار گرفته شوند.”

IF-COMP به صورت مدل-آگنوستیک طراحی شده است، به این معنی که می‌تواند تخمین‌های عدم قطعیت دقیقی برای بسیاری از انواع مدل‌های یادگیری ماشینی ارائه دهد. این ویژگی می‌تواند امکان استفاده از آن در طیف وسیع‌تری از کاربردهای دنیای واقعی را فراهم آورد و به تصمیم‌گیری‌های بهتر توسط متخصصان کمک کند.