فصل ۲: تفسیرپذیری
عنوان اصلی: Interpretability
منبع: https://christophm.github.io/interpretable-ml-book/interpretability.html
نویسنده: Christoph Molnar
مترجم: مریم محمودی
این فصل مفاهیم تفسیرپذیری را معرفی میکند. اگرچه تعریف ریاضی دقیقی برای تفسیرپذیری وجود ندارد، اما من تعریف بیران و کاتن (Biran and Cotton 2017) را که میلر (Miller 2019) نیز از آن استفاده کرده است، میپسندم:
«تفسیرپذیری میزانی است که یک انسان میتواند علت یک تصمیم را درک کند.»
تعریف خوب دیگری از کیم، خانا و کویجو (Kim, Khanna, and Koyejo 2016) است:
«یک روش تفسیرپذیر است اگر کاربر بتواند نتایج آن روش را بهطور صحیح و کارآمد پیشبینی کند.»
هرچه یک مدل یادگیری ماشین تفسیرپذیرتر باشد، درک اینکه چرا تصمیمها یا پیشبینیهای خاصی گرفته شدهاند برای انسان آسانتر است. یک مدل نسبت به مدل دیگر تفسیرپذیرتر است اگر تصمیمهای آن برای انسان قابلفهمتر از تصمیمهای مدل دیگر باشد.
گاهی اوقات اصطلاح «توضیحپذیری» (explainable) را نیز در این زمینه میبینید، مانند «هوش مصنوعی توضیحپذیر» (explainable AI). تفاوت بین توضیحپذیری و تفسیرپذیری چیست؟ بهطور کلی، پژوهشگران در این حوزه نمیتوانند بر سر تعریف هیچیک از این دو اصطلاح به توافق برسند (Flora et al. 2022). من با تعاریف روشر و همکاران (Roscher et al. 2020) موافقم:
تفسیرپذیری درباره نگاشت یک مفهوم انتزاعی از مدلها به شکلی قابلدرک است. توضیحپذیری اصطلاحی قویتر است که نیازمند تفسیرپذیری بهعلاوه زمینه اضافی است. علاوهبر این، اصطلاح «توضیح» (explanation) معمولاً برای روشهای محلی استفاده میشود که درباره «توضیح دادن» یک پیشبینی هستند. به هر حال، این اصطلاحات چنان مبهم هستند که رویکرد عملی این است که آنها را بهعنوان یک اصطلاح چتری ببینیم که «استخراج دانش مرتبط از یک مدل یادگیری ماشین در مورد روابط موجود در داده یا یادگرفتهشده توسط مدل» را در برمیگیرد (Murdoch et al. 2019).
اهمیت تفسیرپذیری
اگر یک مدل یادگیری ماشین عملکرد خوبی دارد، چرا صرفاً به مدل اعتماد نکنیم و نادیده بگیریم که چرا تصمیم خاصی گرفته است؟ «مشکل این است که یک معیار واحد، مانند دقت دستهبندی، توصیف ناقصی از اکثر وظایف دنیای واقعی است.» (Doshi-Velez and Kim 2017)
بیایید عمیقتر به دلایل اهمیت تفسیرپذیری بپردازیم. وقتی صحبت از مدلسازی پیشبینی بهمیان میآید، باید یک مصالحه انجام دهید: آیا فقط میخواهید بدانید چه چیزی پیشبینی شده است؟ مثلاً احتمال اینکه یک مشتری از خدمات شما دست بکشد یا داروی خاصی برای بیمار چقدر مؤثر خواهد بود. یا میخواهید بدانید چرا این پیشبینی انجام شده است و احتمالاً برای تفسیرپذیری با افت عملکرد پیشبینیکننده هزینه بپردازید؟ در برخی موارد، اهمیتی ندارد که چرا تصمیمی گرفته شده است، کافی است بدانیم که عملکرد پیشبینی روی مجموعه داده آزمایش خوب بوده است. اما در موارد دیگر، دانستن «چرا» میتواند به شما کمک کند تا درباره مسئله، داده و دلیل شکست احتمالی مدل بیشتر بیاموزید. برخی مدلها ممکن است نیازی به توضیح نداشته باشند چون در محیطی کمخطر استفاده میشوند، یعنی یک اشتباه عواقب جدی نخواهد داشت (مثلاً سیستم توصیه فیلم). همچنین ممکن است روش قبلاً بهطور گسترده مطالعه و ارزیابی شده باشد (مثلاً تشخیص نویسه نوری). نیاز به تفسیرپذیری از ناقص بودن فرمولبندی مسئله ناشی میشود (Doshi-Velez and Kim 2017)، که به این معناست برای برخی مسائل یا وظایف، داشتن پیشبینی (چیستی) کافی نیست. مدل باید توضیح دهد که چگونه به این پیشبینی رسیده است (چرایی)، زیرا یک پیشبینی صحیح تنها بخشی از مسئله اصلی شما را حل میکند. دلایل زیر تقاضا برای تفسیرپذیری و توضیحات را ایجاد میکنند (Doshi-Velez and Kim 2017 و Miller 2017).
کنجکاوی و یادگیری انسان: انسانها یک مدل ذهنی از محیط خود دارند که هنگام وقوع اتفاق غیرمنتظره بهروز میشود. این بهروزرسانی با یافتن توضیحی برای رویداد غیرمنتظره انجام میشود. برای مثال، یک انسان بهطور غیرمنتظره احساس بیماری میکند و میپرسد: «چرا اینقدر حالم بد است؟». او میآموزد که هر بار این توتهای قرمز را میخورد، بیمار میشود. او مدل ذهنی خود را بهروز میکند و نتیجه میگیرد که این توتها باعث بیماری شدهاند و بنابراین باید از آنها پرهیز کرد. وقتی مدلهای یادگیری ماشین مبهم در تحقیقات استفاده میشوند، یافتههای علمی کاملاً پنهان میمانند اگر مدل فقط پیشبینی بدون توضیح ارائه دهد. برای تسهیل یادگیری و ارضای کنجکاوی درباره اینکه چرا پیشبینیها یا رفتارهای خاصی توسط ماشینها ایجاد میشوند، تفسیرپذیری و توضیحات حیاتی هستند. البته انسانها برای هر اتفاقی که میافتد نیاز به توضیح ندارند. مثلاً اکثر افراد نیازی به درک نحوه کار رایانه ندارند. با این حال، رویدادهای غیرمنتظره ما را کنجکاو میکنند. برای مثال: چرا رایانهام بهطور غیرمنتظره خاموش میشود؟
ارتباط نزدیکی با یادگیری، میل انسان به یافتن معنا در جهان دارد. ما میخواهیم تناقضها یا ناسازگاریها بین عناصر ساختارهای دانش خود را هماهنگ کنیم. «چرا سگم مرا گاز گرفت حتی اگر هرگز قبلاً این کار را نکرده بود؟» یک انسان ممکن است بپرسد. تناقضی بین دانش درباره رفتار گذشته سگ و تجربه ناخوشایند تازه گاز گرفته شدن وجود دارد. توضیح دامپزشک این تناقض صاحب سگ را برطرف میکند: «سگ تحت استرس بود و به همین دلیل شما را گاز گرفت.» هرچه تصمیم یک ماشین بیشتر بر زندگی فرد تأثیر بگذارد، توضیح رفتار ماشین مهمتر است. اگر یک مدل یادگیری ماشین درخواست وام را رد کند، این ممکن است برای متقاضیان کاملاً غیرمنتظره باشد. آنها تنها با نوعی توضیح میتوانند این ناسازگاری بین انتظار و واقعیت را برطرف کنند. توضیحات لازم نیست واقعاً وضعیت را بهطور کامل توضیح دهند، بلکه باید به یک علت اصلی بپردازند. مثال دیگر، توصیه محصول الگوریتمی است. شخصاً همیشه فکر میکنم چرا محصولات یا فیلمهای خاصی الگوریتمی به من توصیه شدهاند. اغلب واضح است: تبلیغات مرا در اینترنت دنبال میکنند چون اخیراً یک ماشین لباسشویی خریدهام، و میدانم که برای چند روز آینده تبلیغات ماشین لباسشویی مرا دنبال خواهد کرد. بله، منطقی است که دستکش پیشنهاد شود اگر من قبلاً یک کلاه زمستانی در سبد خریدم دارم. الگوریتم این فیلم خاص را توصیه میکند چون کاربرانی که فیلمهای دیگری را که من دوست داشتم، دوست داشتند، از فیلم توصیهشده نیز لذت بردهاند. بهطور فزاینده، شرکتهای اینترنتی توضیحات را به توصیههای خود اضافه میکنند. یک مثال خوب، توصیه محصولات است که بر اساس ترکیبهای محصولاتی هستند که اغلب با هم خریداری میشوند، همانطور که در شکل ۲.۱ نشان داده شده است.
شکل ۲.۱: تصویری از محصولات توصیهشده که اغلب با هم خریداری میشوند.
در بسیاری از رشتههای علمی، تغییری از روشهای کیفی به روشهای کمی (مثلاً جامعهشناسی، روانشناسی) و همچنین به سمت یادگیری ماشین (زیستشناسی، ژنومیک) رخ میدهد. هدف علم کسب دانش است، اما بسیاری از مسائل با مجموعه دادههای بزرگ و مدلهای یادگیری ماشین جعبه سیاه حل میشوند. خود مدل بهجای داده، منبع دانش میشود. تفسیرپذیری امکان استخراج این دانش اضافی که توسط مدل ضبط شده است را فراهم میکند.
ایمنی: مدلهای یادگیری ماشین وظایف دنیای واقعی را بر عهده میگیرند که نیازمند اقدامات ایمنی و آزمایش هستند. یک خودروی خودران را تصور کنید که بهطور خودکار دوچرخهسواران را بر اساس یک سیستم یادگیری عمیق (Deep Learning) تشخیص میدهد. شما میخواهید ۱۰۰٪ مطمئن شوید که انتزاعی که سیستم یاد گرفته است بدون خطا است، زیرا زیر گرفتن دوچرخهسواران بسیار بد است. یک توضیح ممکن است نشان دهد که مهمترین ویژگی یادگرفتهشده، تشخیص دو چرخ دوچرخه است، و این توضیح به شما کمک میکند درباره موارد خاص مانند دوچرخههایی با کیفهای جانبی که بخشی از چرخها را میپوشانند، فکر کنید.
بایاسها و تبعیض: بهطور پیشفرض، مدلهای یادگیری ماشین بایاسها را از دادههای آموزشی میگیرند. این میتواند مدلهای یادگیری ماشین شما را نژادپرست کند و علیه گروههای کمتر نمایندگیشده تبعیض قائل شود. تفسیرپذیری ابزار رفعاشکال مفیدی برای تشخیص بایاس در مدلهای یادگیری ماشین است. ممکن است اتفاق بیفتد که مدل یادگیری ماشینی که برای تأیید یا رد خودکار درخواستهای اعتبار آموزش دادهاید، علیه اقلیتی که تاریخاً محروم شده است، تبعیض قائل شود. هدف اصلی شما این است که فقط به افرادی وام بدهید که در نهایت آن را بازپرداخت کنند. ناقص بودن فرمولبندی مسئله در این مورد در این واقعیت نهفته است که شما نه تنها میخواهید نکول وام را به حداقل برسانید، بلکه موظف هستید بر اساس برخی ویژگیهای جمعیتشناختی خاص تبعیض قائل نشوید. این یک محدودیت اضافی است که بخشی از فرمولبندی مسئله شماست (اعطای وام به روشی کمخطر و مطابق با مقررات) که توسط تابع زیان که مدل یادگیری ماشین برای آن بهینهسازی شده است، پوشش داده نمیشود.
پذیرش اجتماعی: فرآیند یکپارچهسازی ماشینها و الگوریتمها در زندگی روزمره ما نیازمند تفسیرپذیری برای افزایش پذیرش اجتماعی است. مردم باورها، خواستهها، نیتها و غیره را به اشیاء نسبت میدهند. در یک آزمایش معروف، هایدر و سیمل (Heider and Simmel 1944) به شرکتکنندگان ویدیوهایی از اشکال نشان دادند که در آن یک دایره یک «در» را باز میکرد تا وارد یک «اتاق» شود (که صرفاً یک مستطیل بود). شرکتکنندگان اعمال اشکال را همانطور که اعمال یک عامل انسانی را توصیف میکنند، توصیف کردند و حتی نیتها و احساسات و ویژگیهای شخصیتی را به اشکال نسبت دادند. رباتها یک مثال خوب هستند، مانند جاروبرقی ما که نامش را «دوج» گذاشتیم. اگر دوج گیر کند، فکر میکنم: «دوج میخواهد به نظافت ادامه دهد، اما از من کمک میخواهد چون گیر کرده است.» بعداً، وقتی دوج نظافت را تمام میکند و پایگاه خانگی را برای شارژ مجدد جستجو میکند، فکر میکنم: «دوج میل به شارژ شدن دارد و قصد دارد پایگاه خانگی را پیدا کند.» من همچنین ویژگیهای شخصیتی را نسبت میدهم: «دوج کمی احمق است، اما به شیوهای بامزه.» اینها افکار من هستند، بهویژه وقتی متوجه میشوم که دوج هنگام جاروبرقی کردن وظیفهشناسانه خانه، یک گلدان را واژگون کرده است. یک ماشین یا الگوریتم که پیشبینیهای خود را توضیح میدهد، پذیرش بیشتری خواهد یافت.
توضیحات برای مدیریت تعاملات اجتماعی: توضیحات برای مدیریت تعاملات اجتماعی استفاده میشوند. با ایجاد معنای مشترک از چیزی، توضیحدهنده بر اعمال، احساسات و باورهای دریافتکننده توضیح تأثیر میگذارد. برای اینکه یک ماشین با ما تعامل کند، ممکن است نیاز داشته باشد احساسات و باورهای ما را شکل دهد. ماشینها باید ما را «متقاعد» کنند تا بتوانند به هدف موردنظر خود برسند. من جاروبرقی روباتیک خود را بهطور کامل نمیپذیرفتم اگر تا حدی رفتار خود را توضیح نمیداد. جاروبرقی معنای مشترکی از، مثلاً، یک «حادثه» مانند گیر کردن روی فرش حمام... دوباره، با توضیح اینکه گیر کرده است بهجای اینکه صرفاً بدون اظهارنظر کار کردن را متوقف کند، ایجاد میکند. جالب است که ممکن است عدم تراز بین هدف ماشین توضیحدهنده (ایجاد اعتماد) و هدف دریافتکننده (درک پیشبینی یا رفتار) وجود داشته باشد. شاید توضیح کامل برای اینکه چرا دوج گیر کرد این باشد که باتری خیلی کم بود، یکی از چرخها درست کار نمیکند، و یک باگ وجود دارد که باعث میشود ربات بارها و بارها به یک نقطه برود حتی اگر مانعی در آنجا باشد. این دلایل (و چند مورد دیگر) باعث شد ربات گیر کند، اما او فقط توضیح داد که چیزی سر راه بوده است، و این برای من کافی بود تا به رفتار او اعتماد کنم و معنای مشترکی از آن حادثه پیدا کنم. راستی، دوج دوباره در حمام گیر کرد. شواهد در شکل ۲.۲. ما مجبوریم هر بار قبل از اینکه به دوج اجازه جاروبرقی کردن بدهیم، فرشها را برداریم.
شکل ۲.۲: دوج، جاروبرقی ما، گیر کرد. بهعنوان توضیحی برای حادثه، دوج به ما گفت که نیاز دارد روی سطح صافی باشد.
رفع اشکال: مدلهای یادگیری ماشین تنها زمانی قابل رفعاشکال و حسابرسی هستند که قابل تفسیر باشند. حتی در محیطهای کمخطر، مانند توصیه فیلم، توانایی تفسیر در مراحل تحقیق و توسعه و همچنین پس از استقرار ارزشمند است. بعداً، وقتی یک مدل در یک محصول استفاده میشود، ممکن است اشتباهاتی رخ دهد. یک تفسیر برای یک پیشبینی خطا به درک علت خطا کمک میکند. این مسیری برای نحوه رفع سیستم ارائه میدهد. یک مثال از یک دستهبندیکننده هاسکی در مقابل گرگ را در نظر بگیرید که برخی هاسکیها را به اشتباه بهعنوان گرگ دستهبندی میکند. با استفاده از روشهای یادگیری ماشین تفسیرپذیر، متوجه میشوید که این طبقهبندی اشتباه به دلیل برف روی تصویر بوده است. دستهبندیکننده یاد گرفته است که از برف بهعنوان ویژگی برای طبقهبندی تصاویر بهعنوان «گرگ» استفاده کند، که ممکن است از نظر جداسازی گرگها از هاسکیها در مجموعه داده آموزشی منطقی باشد اما در استفاده دنیای واقعی نه.
اگر بتوانید اطمینان حاصل کنید که مدل یادگیری ماشین میتواند تصمیمات را توضیح دهد، همچنین میتوانید ویژگیهای زیر را راحتتر بررسی کنید (Doshi-Velez and Kim 2017):
انصاف: اطمینان از اینکه پیشبینیها بیطرفانه هستند و بهطور ضمنی یا صریح علیه گروههای کمتر نمایندگیشده تبعیض قائل نمیشوند. حریم خصوصی: اطمینان از اینکه اطلاعات حساس در داده محافظت میشوند. قابلیت اطمینان یا استحکام: اطمینان از اینکه تغییرات کوچک در ورودی منجر به تغییرات بزرگ در پیشبینی نمیشوند. علیت: اطمینان از اینکه فقط روابط علّی شناسایی میشوند. اعتماد: برای انسانها آسانتر است که به سیستمی که تصمیمات خود را توضیح میدهد، اعتماد کنند تا به یک جعبه سیاه.
گاهی اوقات ما به تفسیرپذیری نیاز نداریم.
وقتی تفسیرپذیری لازم نیست
سناریوهای زیر نشان میدهند چه زمانی به تفسیرپذیری مدلهای یادگیری ماشین نیاز نداریم یا حتی نمیخواهیم.
تفسیرپذیری لازم نیست اگر مدل تأثیر قابلتوجهی نداشته باشد. تصور کنید کسی به نام مایک روی یک پروژه جانبی یادگیری ماشین کار میکند تا پیشبینی کند دوستانش برای تعطیلات بعدی خود به کجا خواهند رفت، بر اساس دادههای فیسبوک. مایک فقط دوست دارد دوستانش را با حدسهای آگاهانه درباره اینکه برای تعطیلات کجا خواهند رفت، غافلگیر کند. اگر مدل اشتباه باشد، مشکل واقعی وجود ندارد (در بدترین حالت فقط کمی خجالت برای مایک)، و اگر مایک نتواند خروجی مدل خود را توضیح دهد نیز مشکلی نیست. در این مورد کاملاً خوب است که تفسیرپذیری نداشته باشیم. وضعیت تغییر میکند اگر مایک شروع به ساختن کسبوکاری حول این پیشبینیهای مقصد تعطیلات کند. اگر مدل اشتباه باشد، کسبوکار ممکن است ضرر کند، یا مدل ممکن است برای برخی افراد به دلیل بایاس نژادی یادگرفتهشده بدتر کار کند. بهمحض اینکه مدل تأثیر قابلتوجهی داشته باشد، چه مالی و چه اجتماعی، تفسیرپذیری مرتبط میشود.
تفسیرپذیری لازم نیست وقتی مسئله بهخوبی مطالعه شده است. برخی کاربردها بهاندازه کافی بهخوبی مطالعه شدهاند که تجربه عملی کافی با مدل وجود دارد، و مشکلات با مدل در طول زمان حل شده است. یک مثال خوب، یک مدل یادگیری ماشین برای تشخیص نویسه نوری است که تصاویر پاکتها را پردازش میکند و آدرسها را استخراج میکند. این سیستمها برای سالهای زیادی استفاده شدهاند، و واضح است که کار میکنند. علاوهبر این، ممکن است علاقهای به کسب بینش اضافی درباره وظیفه موردنظر نداشته باشیم.
تفسیرپذیری ممکن است افراد یا برنامهها را قادر کند که سیستم را دستکاری کنند. مشکلات با کاربرانی که سیستم را فریب میدهند از عدم تطابق بین اهداف سازنده و کاربر یک مدل ناشی میشود. امتیازدهی اعتباری چنین سیستمی است زیرا بانکها میخواهند اطمینان حاصل کنند که وامها فقط به متقاضیانی داده میشود که احتمالاً آن را بازمیگردانند، و متقاضیان هدفشان دریافت وام است حتی اگر بانک نخواهد به آنها وام بدهد. این عدم تطابق بین اهداف، انگیزههایی برای متقاضیان ایجاد میکند تا سیستم را دستکاری کنند و شانس دریافت وام را افزایش دهند. اگر متقاضی بداند که داشتن بیش از دو کارت اعتباری بر امتیاز او تأثیر منفی میگذارد، او بهسادگی کارت سوم خود را برمیگرداند تا امتیازش را بهبود بخشد و بعد از تأیید وام، کارت جدیدی تهیه میکند. در حالی که امتیاز او بهبود یافت، احتمال واقعی بازپرداخت وام بدون تغییر باقی ماند. سیستم تنها زمانی قابل دستکاری است که ورودیها جانشینهایی برای یک ویژگی علّی باشند اما در واقع باعث نتیجه نشوند. هر زمان که ممکن باشد، باید از ویژگیهای جانشین اجتناب کرد زیرا مدلها را قابل دستکاری میکنند. برای مثال، گوگل سیستمی به نام روندهای آنفولانزای گوگل (Google Flu Trends) برای پیشبینی شیوع آنفولانزا توسعه داد. این سیستم جستجوهای گوگل را با شیوع آنفولانزا مرتبط میکرد – و عملکرد ضعیفی داشت. توزیع پرسوجوهای جستجو تغییر کرد، و روندهای آنفولانزای گوگل شیوعهای زیادی از آنفولانزا را از دست داد. جستجوهای گوگل باعث آنفولانزا نمیشوند. وقتی مردم علائمی مانند «تب» را جستجو میکنند، این صرفاً یک همبستگی با شیوع واقعی آنفولانزا است. بهطور ایدهآل، مدلها فقط باید از ویژگیهای علّی استفاده کنند که قابل دستکاری نیستند.
توضیحات دوستانه برای انسان
بیایید عمیقتر شویم و کشف کنیم که ما انسانها چه چیزی را بهعنوان توضیحات «خوب» میبینیم و پیامدهای آن برای یادگیری ماشین تفسیرپذیر چیست. تحقیقات علوم انسانی میتوانند به ما کمک کنند تا بفهمیم. میلر (Miller 2017) بررسی بزرگی از انتشارات درباره توضیحات انجام داده است، و این فصل بر اساس خلاصه او ساخته شده است.
در این فصل، میخواهم شما را از موارد زیر متقاعد کنم: بهعنوان توضیحی برای یک رویداد، انسانها توضیحات کوتاه (فقط ۱ یا ۲ علت) را ترجیح میدهند که وضعیت فعلی را با وضعیتی که در آن رویداد رخ نمیداد، مقایسه میکنند. بهویژه علل غیرعادی، توضیحات خوبی ارائه میدهند. توضیحات تعاملات اجتماعی بین توضیحدهنده و توضیحگیرنده (دریافتکننده توضیح) هستند، و بنابراین زمینه اجتماعی تأثیر زیادی بر محتوای واقعی توضیح دارد.
توضیح خوب چیست؟
یک توضیح پاسخ به یک سؤال چرایی است (Miller 2017).
چرا درمان روی بیمار اثر نکرد؟ چرا درخواست وام من رد شد؟ چرا هنوز با حیات بیگانه تماس نگرفتهایم؟
دو سؤال اول را میتوان با یک توضیح «روزمره» پاسخ داد، در حالی که سؤال سوم از دسته «پدیدههای علمی کلیتر و سؤالات فلسفی» است. ما بر توضیحات نوع «روزمره» تمرکز میکنیم زیرا آنها مرتبط با یادگیری ماشین تفسیرپذیر هستند. در ادامه، اصطلاح «توضیح» به فرآیند اجتماعی و شناختی توضیح دادن اشاره دارد، اما همچنین به محصول این فرآیندها. توضیحدهنده میتواند انسان یا ماشین باشد. این بخش خلاصه میلر درباره توضیحات «خوب» را بیشتر فشرده میکند و پیامدهای مشخصی برای یادگیری ماشین تفسیرپذیر اضافه میکند.
توضیحات تقابلی هستند (Lipton 1990). انسانها معمولاً نمیپرسند چرا یک پیشبینی خاص انجام شد، بلکه میپرسند چرا این پیشبینی بهجای پیشبینی دیگری انجام شد. ما تمایل داریم به موارد خلاف واقع فکر کنیم، یعنی «اگر ورودی متفاوت بود، پیشبینی چگونه بود؟». برای پیشبینی قیمت خانه، صاحب خانه ممکن است علاقهمند باشد بداند چرا قیمت پیشبینیشده بالا بود در مقایسه با قیمت پایینتری که انتظار داشت. اگر درخواست وام من رد شود، اهمیتی نمیدهم که همه عواملی که بهطور کلی به نفع یا علیه رد صحبت میکنند را بشنوم. من به عواملی در درخواستم علاقهمندم که باید تغییر کنند تا وام را دریافت کنم. من میخواهم تقابل بین درخواست من و نسخهای از درخواستم که قبول میشد را بدانم. تشخیص اینکه توضیحات تقابلی اهمیت دارند، یک یافته مهم برای یادگیری ماشین توضیحپذیر است. شما میتوانید از اکثر مدلهای تفسیرپذیر توضیحی استخراج کنید که بهطور ضمنی پیشبینی یک نمونه را با پیشبینی یک نمونه داده مصنوعی یا میانگین نمونهها مقایسه میکند. پزشکان ممکن است بپرسند: «چرا دارو برای بیمار من اثر نکرد؟». و ممکن است بخواهند توضیحی که بیمارشان را با بیماری که دارو برایش اثر کرد و شبیه به بیمار پاسخندهنده است، مقایسه میکند. توضیحات تقابلی راحتتر از توضیحات کامل قابل درک هستند. یک توضیح کامل برای سؤال پزشک که چرا دارو اثر نمیکند ممکن است شامل باشد: بیمار ۱۰ سال است که این بیماری را دارد، ۱۱ ژن بیش از حد بیان میشوند، بدن بیمار خیلی سریع دارو را به مواد شیمیایی غیرمؤثر تبدیل میکند، ... یک توضیح تقابلی ممکن است بسیار سادهتر باشد: در مقایسه با بیمار پاسخدهنده، بیمار پاسخندهنده ترکیب خاصی از ژنها دارد که دارو را کمتر مؤثر میکند. بهترین توضیح کسی است که بیشترین تفاوت بین شیء موردنظر و شیء مرجع را برجسته کند. معنی این برای یادگیری ماشین تفسیرپذیر: انسانها توضیح کاملی برای یک پیشبینی نمیخواهند، بلکه میخواهند مقایسه کنند که تفاوتها با پیشبینی نمونه دیگر چه بود (میتواند مصنوعی باشد). ایجاد توضیحات تقابلی به کاربرد وابسته است زیرا نیازمند نقطه مرجعی برای مقایسه است. و این ممکن است به نقطه دادهای که باید توضیح داده شود وابسته باشد، اما همچنین به کاربری که توضیح را دریافت میکند. کاربر یک وبسایت پیشبینی قیمت خانه ممکن است بخواهد توضیحی از پیشبینی قیمت خانه تقابلی با خانه خودش یا شاید با خانه دیگری در وبسایت یا شاید با یک خانه میانگین در محله داشته باشد. راهحل برای ایجاد خودکار توضیحات تقابلی ممکن است شامل یافتن نمونههای اولیه یا کهنالگوها در داده نیز باشد.
توضیحات گزینشی هستند. مردم انتظار ندارند که توضیحات فهرست واقعی و کامل علل یک رویداد را پوشش دهند. ما عادت داریم یک یا دو علت را از تنوع علل ممکن بهعنوان توضیح انتخاب کنیم. بهعنوان شاهد، اخبار تلویزیون را روشن کنید: «کاهش قیمت سهام به واکنش روزافزون علیه محصول شرکت به دلیل مشکلات با آخرین بهروزرسانی نرمافزار نسبت داده میشود.» «سوباسا و تیمش مسابقه را به دلیل دفاع ضعیف باختند: آنها به حریفان خود فضای بیش از حد زیادی برای اجرای استراتژیشان دادند.» «افزایش بیاعتمادی به نهادهای مستقر و دولت ما عوامل اصلیای هستند که مشارکت رأیدهندگان را کاهش دادهاند.» برای مدلهای یادگیری ماشین، مفید است اگر یک پیشبینی خوب بتوان از ویژگیهای مختلف انجام داد. روشهای مجموعهای که چندین مدل با ویژگیهای متفاوت (توضیحات متفاوت) را ترکیب میکنند، معمولاً عملکرد خوبی دارند زیرا میانگینگیری روی آن «داستانها» پیشبینیها را قویتر و دقیقتر میکند. اما این همچنین به این معناست که بیش از یک توضیح گزینشی برای اینکه چرا یک پیشبینی خاص انجام شد، وجود دارد. معنی این برای یادگیری ماشین تفسیرپذیر: توضیح را کوتاه کنید، فقط ۱ تا ۳ دلیل بدهید، حتی اگر دنیا پیچیدهتر باشد.
توضیحات اجتماعی هستند. آنها بخشی از یک مکالمه یا تعامل بین توضیحدهنده و دریافتکننده توضیح هستند. زمینه اجتماعی محتوا و ماهیت توضیحات را تعیین میکند. اگر من میخواستم به یک فرد فنی توضیح دهم که چرا ارزهای دیجیتال ارزش زیادی دارند، چنین چیزهایی میگفتم: «دفتر کل غیرمتمرکز، توزیعشده و مبتنی بر بلاکچین، که نمیتواند توسط یک نهاد مرکزی کنترل شود، با افرادی که میخواهند ثروت خود را ایمن کنند، طنینانداز میشود، که تقاضا و قیمت بالا را توضیح میدهد.» اما به مادربزرگم میگفتم: «ببین، مادربزرگ: ارزهای دیجیتال کمی شبیه طلای رایانهای هستند. مردم طلا را دوست دارند و برای آن پول زیادی میپردازند، و جوانها طلای رایانهای را دوست دارند و برای آن پول زیادی میپردازند.» معنی این برای یادگیری ماشین تفسیرپذیر: به محیط اجتماعی کاربرد یادگیری ماشین و مخاطب هدف خود توجه کنید. درست کردن بخش اجتماعی مدل یادگیری ماشین کاملاً به کاربرد خاص شما بستگی دارد. متخصصانی از علوم انسانی (مثلاً روانشناسان و جامعهشناسان) پیدا کنید تا به شما کمک کنند.
توضیحات بر غیرعادی تمرکز میکنند. مردم بیشتر بر علل غیرعادی برای توضیح رویدادها تمرکز میکنند (Kahneman and Tversky 1982). اینها عللای هستند که احتمال کمی داشتند اما با این حال رخ دادند. حذف این علل غیرعادی بهشدت نتیجه را تغییر میداد (توضیح خلاف واقع). انسانها این نوع علل «غیرعادی» را بهعنوان توضیحات خوب در نظر میگیرند. یک مثال از اشترامبل و کونونکو (Štrumbelj and Kononenko 2011) این است: فرض کنید ما مجموعه دادهای از موقعیتهای آزمون بین معلمان و دانشآموزان داریم. دانشآموزان در یک دوره شرکت میکنند و بلافاصله پس از ارائه موفقیتآمیز، از دوره قبول میشوند. معلم این گزینه را دارد که بهطور اضافی از دانشآموز سؤالاتی برای آزمایش دانش او بپرسد. دانشآموزانی که نمیتوانند به این سؤالات پاسخ دهند، در دوره مردود میشوند. دانشآموزان میتوانند سطوح مختلفی از آمادگی داشته باشند، که به احتمالات مختلفی برای پاسخ صحیح به سؤالات معلم (اگر تصمیم بگیرد دانشآموز را آزمایش کند) ترجمه میشود. ما میخواهیم پیشبینی کنیم که آیا دانشآموز از دوره قبول خواهد شد و پیشبینی خود را توضیح دهیم. شانس قبولی ۱۰۰٪ است اگر معلم سؤال اضافی نپرسد؛ در غیر این صورت، احتمال قبولی به سطح آمادگی دانشآموز و احتمال ناشی از پاسخ صحیح به سؤالات بستگی دارد. سناریو ۱: معلم معمولاً از دانشآموزان سؤالات اضافی میپرسد (مثلاً ۹۵ بار از ۱۰۰ بار). دانشآموزی که مطالعه نکرده است (۱۰٪ شانس قبولی در بخش سؤال) یکی از خوششانسها نبود و سؤالات اضافی دریافت میکند که نمیتواند به آنها پاسخ صحیح دهد. چرا دانشآموز در دوره مردود شد؟ من میگویم که تقصیر دانشآموز بود که مطالعه نکرد. سناریو ۲: معلم بهندرت سؤالات اضافی میپرسد (مثلاً ۲ بار از ۱۰۰ بار). برای دانشآموزی که برای سؤالات آماده نشده است، احتمال بالایی برای قبولی از دوره پیشبینی میکنیم زیرا سؤالات بعید است. البته، یکی از دانشآموزان برای سؤالات آماده نشده است، که به او ۱۰٪ شانس قبولی در سؤالات میدهد. او بدشانس است و معلم سؤالات اضافی میپرسد که دانشآموز نمیتواند پاسخ دهد، و او مردود میشود. دلیل مردودی چیست؟ من استدلال میکنم که اکنون، توضیح بهتر این است که «چون معلم دانشآموز را آزمایش کرد.» بعید بود که معلم آزمایش کند، بنابراین معلم بهطور غیرعادی رفتار کرد. معنی این برای یادگیری ماشین تفسیرپذیر: اگر یکی از ویژگیهای ورودی برای یک پیشبینی به هر معنا غیرعادی بود (مانند یک دسته نادر از یک ویژگی طبقهای) و ویژگی بر پیشبینی تأثیر گذاشت، باید در یک توضیح گنجانده شود، حتی اگر ویژگیهای «عادی» دیگر همان تأثیر بر پیشبینی را داشته باشند که ویژگی غیرعادی. یک ویژگی غیرعادی در مثال پیشبینی قیمت خانه ما ممکن است این باشد که یک خانه نسبتاً گران دو بالکن دارد. حتی اگر برخی روشهای انتساب بیابند که دو بالکن به همان اندازه اندازه بالاتر از میانگین خانه، محله خوب یا بازسازی اخیر به تفاوت قیمت کمک میکنند، ویژگی غیرعادی «دو بالکن» ممکن است بهترین توضیح برای اینکه چرا خانه اینقدر گران است باشد.
توضیحات صادقانه هستند. توضیحات خوب در واقعیت (یعنی در موقعیتهای دیگر) صادقانه به اثبات میرسند. اما بهطور نگرانکننده، این مهمترین عامل برای یک توضیح «خوب» نیست. برای مثال، گزینشی بودن به نظر میرسد مهمتر از صداقت باشد. یک توضیحی که فقط یک یا دو علت ممکن را انتخاب میکند، بهندرت کل فهرست علل مرتبط را پوشش میدهد. گزینشی بودن بخشی از حقیقت را حذف میکند. درست نیست که فقط یک یا دو عامل، برای مثال، باعث سقوط بازار سهام شدهاند، اما حقیقت این است که میلیونها علت وجود دارند که بر میلیونها نفر تأثیر میگذارند تا بهگونهای عمل کنند که در نهایت سقوطی ایجاد شود. معنی این برای یادگیری ماشین تفسیرپذیر: توضیح باید رویداد را تا حد امکان صادقانه پیشبینی کند، که در یادگیری ماشین گاهی اوقات به آن وفاداری گفته میشود. پس اگر بگوییم یک بالکن دوم قیمت خانه را افزایش میدهد، پس باید برای خانههای دیگر نیز صدق کند (یا حداقل برای خانههای مشابه). برای انسانها، وفاداری یک توضیح بهاندازه گزینشی بودن، تقابل و جنبه اجتماعی آن مهم نیست.
توضیحات خوب با باورهای قبلی توضیحگیرنده سازگار هستند. انسانها تمایل دارند اطلاعاتی که با باورهای قبلیشان ناسازگار است را نادیده بگیرند. این اثر بایاس تأیید نامیده میشود (Nickerson 1998). توضیحات از این بایاس در امان نیستند. مردم تمایل دارند توضیحاتی که با باورهایشان موافق نیستند را کمارزش کنند یا نادیده بگیرند. مجموعه باورها از شخصی به شخص دیگر متفاوت است، اما باورهای قبلی مبتنی بر گروه مانند جهانبینیهای سیاسی نیز وجود دارد. معنی این برای یادگیری ماشین تفسیرپذیر: توضیحات خوب با باورهای قبلی سازگار هستند. ادغام این در یادگیری ماشین دشوار است و احتمالاً عملکرد پیشبینی را بهشدت به خطر میاندازد. باور قبلی ما برای تأثیر اندازه خانه بر قیمت پیشبینیشده این است که هرچه خانه بزرگتر باشد، قیمت بالاتر است. فرض کنیم یک مدل نیز یک اثر منفی از اندازه خانه بر قیمت پیشبینیشده برای چند خانه نشان میدهد. مدل این را یاد گرفته است زیرا عملکرد پیشبینی را بهبود میبخشد (به دلیل برخی تعاملات پیچیده)، اما این رفتار بهشدت با باورهای قبلی ما در تضاد است. شما میتوانید محدودیتهای یکنواختی را اعمال کنید (یک ویژگی فقط میتواند بر پیشبینی در یک جهت تأثیر بگذارد) یا از چیزی مانند یک مدل خطی که این ویژگی را دارد، استفاده کنید.
توضیحات خوب کلی و محتمل هستند. علتی که میتواند رویدادهای زیادی را توضیح دهد، «کلی» نامیده میشود و میتواند یک توضیح خوب در نظر گرفته شود. توجه کنید که این با ادعای اینکه علل غیرعادی توضیحات خوبی میسازند، در تضاد است. همانطور که من میبینم، علل غیرعادی بر علل کلی پیروز میشوند. علل غیرعادی طبق تعریف در سناریوی دادهشده نادر هستند. در غیاب یک رویداد غیرعادی، یک توضیح کلی بهعنوان یک توضیح خوب در نظر گرفته میشود. همچنین به یاد داشته باشید که مردم تمایل دارند احتمالات رویدادهای مشترک را اشتباه قضاوت کنند. (جو یک کتابدار است. آیا احتمال بیشتری دارد که یک فرد خجالتی باشد یا یک فرد خجالتی که دوست دارد کتاب بخواند؟) یک مثال خوب این است که «خانه گران است چون بزرگ است»، که یک توضیح بسیار کلی و خوب برای اینکه چرا خانهها گران یا ارزان هستند. معنی این برای یادگیری ماشین تفسیرپذیر: کلی بودن بهراحتی با پشتیبانی ویژگی قابل اندازهگیری است، که تعداد نمونههایی است که توضیح برای آنها صدق میکند تقسیم بر تعداد کل نمونهها.