Keyboard shortcuts

Press ← or → to navigate between chapters

Press S or / to search in the book

Press ? to show this help

Press Esc to hide this help

فصل ۳۲: ارزیابی روش‌های تفسیرپذیری

عنوان اصلی: Evaluation of Interpretability Methods
منبع: https://christophm.github.io/interpretable-ml-book/evaluation.html
نویسنده: Christoph Molnar
مترجم: مریم محمودی


این فصل دربارهٔ موضوع پیشرفته‌تر چگونگی ارزیابی روش‌های تفسیرپذیری است. ارزیابی برای پژوهشگران و متخصصان تفسیرپذیری در نظر گرفته شده که کمی عمیق‌تر وارد تفسیرپذیری می‌شوند. در غیر این صورت بی‌تعارف از آن بگذرید.

ارزیابی رویکردهای یادگیری ماشین تفسیرپذیر به دلیل نبود کلی حقیقت پایه (ground truth) دشوار است. از زبان کسی که دکترایش را در تفسیرپذیری مستقل از مدل گذرانده، می‌تواند به‌ویژه آزاردهنده باشد، چون در یادگیری ماشین نظارت‌شده این طرز فکر هست که همه‌چیز باید معیار سنجش (benchmark) داشته باشد. و منظورم از معیار سنجش، ارزیابی روی داده‌های واقعی در برابر یک حقیقت پایه است. معیارهای سنجش وقتی معنا دارند که مدل‌های پیش‌بینی را با حقیقت پایهٔ در دسترس توسعه می‌دهید. برای یادگیری ماشین تفسیرپذیر، در داده‌های دنیای واقعی حقیقت پایه وجود ندارد. فقط می‌توانید با داده‌های شبیه‌سازی‌شده چیزی شبیه حقیقت پایه تولید کنید.

توضیح مترجم: «حقیقت پایه» یعنی پاسخ درست معلوم. برای یک مدل پیش‌بینی، برچسب واقعی هر نمونه حقیقت پایه است و می‌توان دقت را سنجید. اما برای یک توضیح (مثلاً «این ویژگی مهم بوده») هیچ پاسخ درست معلومی در داده‌های واقعی نیست که توضیح را با آن مقایسه کنیم؛ برای همین فقط در داده‌های شبیه‌سازی‌شده (که خودمان رابطهٔ ویژگی‌ها را می‌دانیم) می‌توان چیزی شبیه حقیقت پایه ساخت.

بیایید نگاهی کلی‌تر به ارزیابی بیندازیم.

سطوح ارزیابی

Doshi-Velez و Kim (۲۰۱۷) سه سطح اصلی برای ارزیابی تفسیرپذیری پیشنهاد می‌کنند:

ارزیابی در سطح کاربرد (وظیفهٔ واقعی): توضیح را در محصول بگذارید و کاربر نهایی آن را آزمون کند. نرم‌افزار تشخیص شکستگی با یک مؤلفهٔ یادگیری ماشین را تصور کنید که شکستگی‌ها را در تصاویر پرتو ایکس مکان‌یابی و علامت‌گذاری می‌کند. در سطح کاربرد، رادیولوژیست‌ها نرم‌افزار تشخیص شکستگی را مستقیماً آزمون می‌کنند تا مدل را ارزیابی کنند. این به یک طرح آزمایشی خوب و فهم اینکه چگونه کیفیت را بسنجیم نیاز دارد. یک خط پایهٔ خوب برای این همیشه این است که یک انسان چقدر در توضیح همان تصمیم خوب است.

ارزیابی در سطح انسان (وظیفهٔ ساده) ارزیابی ساده‌شدهٔ سطح کاربرد است. تفاوت در این است که این آزمایش‌ها با متخصصان حوزه انجام نمی‌شوند، بلکه با افراد عادی. این آزمایش‌ها را ارزان‌تر می‌کند (به‌ویژه اگر متخصصان حوزه رادیولوژیست باشند) و یافتن آزمون‌کنندگان بیشتر آسان‌تر است. یک نمونه نشان‌دادن توضیح‌های مختلف به کاربر است و کاربر بهترین را انتخاب می‌کند.

ارزیابی در سطح تابع (وظیفهٔ نیابتی) به انسان نیاز ندارد. وقتی بهترین عملکرد را دارد که دستهٔ مدل به‌کاررفته پیش‌تر توسط شخص دیگری در یک ارزیابی سطح انسان ارزیابی شده باشد. برای مثال، ممکن است معلوم باشد کاربران نهایی درخت‌های تصمیم را می‌فهمند. در این حالت، یک نماینده (proxy) برای کیفیت توضیح می‌تواند عمق درخت باشد. درخت‌های کوتاه‌تر امتیاز توضیح‌پذیری بهتری می‌گیرند. منطقی است قید اضافه شود که عملکرد پیش‌بینی درخت خوب بماند و در مقایسه با درخت بزرگ‌تر بیش از حد کاهش نیابد.

برای درک بهتر (توضیح مترجم): فرض کنید می‌خواهید سه روش توضیح را برای تشخیص بیماری مقایسه کنید. سطح کاربرد: پزشکان واقعی در بیمارستان با هر نرم‌افزار کار می‌کنند و کیفیت تصمیم‌هایشان سنجیده می‌شود (گران و دقیق). سطح انسان: دانشجویان غیرپزشک سه توضیح را می‌بینند و می‌گویند کدام را بهتر می‌فهمند (ارزان‌تر). سطح تابع: هیچ انسانی لازم نیست؛ فقط عدد ساده‌ای مثل «عمق درخت» یا «تعداد قاعده‌ها» را اندازه می‌گیریم و فرض می‌کنیم عدد کوچک‌تر یعنی فهم‌پذیرتر. این مثال از مترجم است.

فصل بعد بر ارزیابی توضیح‌های پیش‌بینی‌های منفرد در سطح تابع تمرکز دارد. ویژگی‌های مرتبط توضیح‌ها که برای ارزیابی آن‌ها در نظر می‌گیریم چیست؟

توضیح مترجم: جملهٔ «فصل بعد» در متن منبع به بخش بعدی یعنی «ویژگی‌های توضیح‌ها» اشاره دارد، که در همین فصل می‌آید (در نسخهٔ کتاب این دو بخش در یک فصل‌اند).

ویژگی‌های توضیح‌ها

برای توضیح‌ها حقیقت پایه وجود ندارد. در عوض، می‌توانیم به ویژگی‌های کلی‌تر توضیح‌ها نگاه کنیم و به‌طور کیفی (گاهی کمی) ارزیابی کنیم یک توضیح چقدر خوب عمل می‌کند. این بر توضیح‌های پیش‌بینی‌های منفرد متمرکز است. یک توضیح مقادیر ویژگی یک نمونه را با پیش‌بینی مدل آن به شیوه‌ای که برای انسان قابل‌فهم باشد مرتبط می‌کند. انواع دیگر توضیح‌ها از مجموعه‌ای از نمونه‌های داده تشکیل می‌شوند (مثلاً در مورد مدل k-نزدیک‌ترین همسایه). برای مثال، می‌توانیم خطر سرطان را با ماشین بردار پشتیبان پیش‌بینی کنیم و پیش‌بینی‌ها را با روش جانشین محلی توضیح دهیم، که درخت‌های تصمیم را به‌عنوان توضیح تولید می‌کند. یا می‌توانیم به‌جای ماشین بردار پشتیبان از یک مدل رگرسیون خطی استفاده کنیم. مدل رگرسیون خطی از قبل به یک روش توضیح (تفسیر وزن‌ها) مجهز است.

نگاه دقیق‌تری به ویژگی‌های روش‌های توضیح می‌اندازیم (Robnik-Šikonja و Bohanec ۲۰۱۸). این ویژگی‌ها را می‌توان برای قضاوت دربارهٔ اینکه یک روش توضیح یا توضیح چقدر خوب است به کار برد. برای همهٔ این ویژگی‌ها روشن نیست چگونه درست اندازه‌گیری شوند، پس یکی از چالش‌ها صوری‌کردن (formalize) چگونگی محاسبهٔ آن‌هاست.

توضیح مترجم: در متن منبع جملهٔ بالا (“We take a closer look at the properties of explanation methods and [@…]”) ناقص‌نوشته شده و ارجاع بدون فعل آمده است؛ ترجمه معنای آشکار آن را (ارجاع به Robnik-Šikonja و Bohanec) آورده است.

ویژگی‌های روش‌های توضیح

  • توان بیان (Expressive Power) «زبان» یا ساختار توضیح‌هایی است که روش قادر به تولید آن‌هاست. یک روش توضیح می‌تواند قاعده‌های اگر-آنگاه (IF-THEN)، درخت‌های تصمیم، یک مجموع وزن‌دار، زبان طبیعی یا چیز دیگری تولید کند.
  • شفافیت (Translucency) توضیح می‌دهد روش توضیح چقدر به نگاه‌کردن به درون مدل یادگیری ماشین، مثل پارامترهایش، متکی است. برای مثال، روش‌های توضیحی که به مدل‌های ذاتاً تفسیرپذیر مانند مدل رگرسیون خطی (وابسته به مدل) متکی‌اند بسیار شفاف‌اند. روش‌هایی که فقط به دستکاری ورودی‌ها و مشاهدهٔ پیش‌بینی‌ها متکی‌اند شفافیت صفر دارند. بسته به سناریو، سطوح مختلف شفافیت ممکن است مطلوب باشد. مزیت شفافیت بالا این است که روش می‌تواند برای تولید توضیح به اطلاعات بیشتری متکی باشد. مزیت شفافیت پایین این است که روش توضیح قابل‌حمل‌تر است.
  • قابلیت حمل (Portability) دامنهٔ مدل‌های یادگیری ماشینی را که روش توضیح با آن‌ها قابل‌استفاده است توصیف می‌کند. روش‌هایی با شفافیت پایین قابلیت حمل بالاتری دارند چون مدل یادگیری ماشین را جعبه‌سیاه در نظر می‌گیرند. مدل‌های جانشین (surrogate) شاید روش توضیحی با بالاترین قابلیت حمل باشند. روش‌هایی که فقط برای مثلاً شبکه‌های عصبی بازگشتی کار می‌کنند قابلیت حمل پایینی دارند.
  • پیچیدگی الگوریتمی (Algorithmic Complexity) پیچیدگی محاسباتی روشی را که توضیح را تولید می‌کند توصیف می‌کند. این ویژگی وقتی مهم است که زمان محاسبه گلوگاه تولید توضیح‌ها باشد.

برای درک بهتر (توضیح مترجم): «شفافیت» را مثل نگاه‌کردن به داخل یک ماشین بدانید: روش‌هایی که پارامترهای مدل را می‌خوانند (مثل وزن‌های رگرسیون) داخل ماشین را می‌بینند (شفافیت بالا)، ولی فقط برای همان مدل کار می‌کنند. روش‌هایی مثل LIME فقط ورودی می‌دهند و خروجی می‌بینند (شفافیت صفر)، ولی روی هر مدلی کار می‌کنند (قابلیت حمل بالا). این دو ویژگی معمولاً در جهت مخالف هم‌اند.

ویژگی‌های توضیح‌های منفرد

  • دقت (Accuracy): یک توضیح داده‌های دیده‌نشده را چقدر خوب پیش‌بینی می‌کند؟ دقت بالا به‌ویژه وقتی مهم است که توضیح به‌جای مدل یادگیری ماشین برای پیش‌بینی به کار رود. دقت پایین می‌تواند اشکالی نداشته باشد اگر دقت مدل یادگیری ماشین هم پایین باشد، و اگر هدف توضیح این باشد که مدل جعبه‌سیاه چه می‌کند. در این حالت فقط وفاداری (fidelity) مهم است.
  • وفاداری (Fidelity): توضیح پیش‌بینی مدل جعبه‌سیاه را چقدر خوب تقریب می‌زند؟ وفاداری بالا یکی از مهم‌ترین ویژگی‌های یک توضیح است، چون توضیح با وفاداری پایین برای توضیح مدل یادگیری ماشین بی‌فایده است. دقت و وفاداری نزدیک به هم‌اند. اگر مدل جعبه‌سیاه دقت بالایی داشته باشد و توضیح وفاداری بالایی، توضیح هم دقت بالایی دارد. برخی توضیح‌ها فقط وفاداری محلی ارائه می‌دهند، یعنی توضیح فقط برای زیرمجموعه‌ای از داده‌ها (مثلاً مدل‌های جانشین محلی) یا حتی فقط برای یک نمونهٔ داده منفرد (مثلاً مقادیر شپلی) پیش‌بینی مدل را خوب تقریب می‌زنند.
  • سازگاری (Consistency): توضیح بین مدل‌هایی که روی همان وظیفه آموزش دیده‌اند و پیش‌بینی‌های مشابهی تولید می‌کنند چقدر فرق می‌کند؟ برای مثال، یک ماشین بردار پشتیبان و یک مدل رگرسیون خطی را روی همان وظیفه آموزش می‌دهم و هر دو پیش‌بینی‌های بسیار مشابهی تولید می‌کنند. توضیح‌ها را با روشی به انتخاب خودم محاسبه می‌کنم و تحلیل می‌کنم توضیح‌ها چقدر فرق دارند. اگر توضیح‌ها بسیار مشابه باشند، توضیح‌ها بسیار سازگارند. این ویژگی را کمی پیچیده می‌یابم، چون دو مدل می‌توانند از ویژگی‌های متفاوتی استفاده کنند اما پیش‌بینی‌های مشابهی بگیرند (که به آن «اثر راشومون» هم می‌گویند). در این حالت سازگاری بالا مطلوب نیست چون توضیح‌ها باید بسیار متفاوت باشند. سازگاری بالا وقتی مطلوب است که مدل‌ها واقعاً به روابط مشابهی متکی باشند.
  • پایداری (Stability): توضیح‌ها برای نمونه‌های مشابه چقدر شبیه‌اند؟ در حالی که سازگاری توضیح‌ها را بین مدل‌ها مقایسه می‌کند، پایداری توضیح‌ها را بین نمونه‌های مشابه برای یک مدل ثابت مقایسه می‌کند. پایداری بالا یعنی تغییرات اندک در ویژگی‌های یک نمونه توضیح را به‌طور اساسی تغییر نمی‌دهد (مگر اینکه این تغییرات اندک پیش‌بینی را هم به‌شدت تغییر دهد). نبود پایداری می‌تواند نتیجهٔ واریانس بالای روش توضیح باشد. به بیان دیگر، روش توضیح به‌شدت تحت تأثیر تغییرات اندک در مقادیر ویژگی نمونه‌ای که باید توضیح داده شود قرار می‌گیرد. نبود پایداری همچنین می‌تواند ناشی از مؤلفه‌های غیرقطعی (non-deterministic) روش توضیح باشد، مانند گام نمونه‌گیری از داده، همان‌طور که روش جانشین محلی استفاده می‌کند. پایداری بالا همیشه مطلوب است.
  • فهم‌پذیری (Comprehensibility): انسان‌ها توضیح‌ها را چقدر خوب می‌فهمند؟ این ظاهراً فقط یک ویژگی دیگر در میان ویژگی‌های بسیار است، اما «فیلی» است که در اتاق نشسته و کسی به رویش نمی‌آورد (the elephant in the room). تعریف و اندازه‌گیری آن دشوار است، اما درست‌کردنش بسیار مهم است. بسیاری از مردم موافق‌اند که فهم‌پذیری به مخاطب بستگی دارد. ایده‌هایی برای اندازه‌گیری فهم‌پذیری شامل اندازه‌گیری اندازهٔ توضیح (تعداد ویژگی‌هایی با وزن غیرصفر در یک مدل خطی، تعداد قاعده‌های تصمیم، …) یا آزمودن این است که مردم چقدر خوب می‌توانند رفتار مدل یادگیری ماشین را از روی توضیح‌ها پیش‌بینی کنند. فهم‌پذیری ویژگی‌های به‌کاررفته در توضیح هم باید در نظر گرفته شود. یک تبدیل پیچیدهٔ ویژگی‌ها ممکن است کمتر از ویژگی‌های اصلی فهم‌پذیر باشد.
  • قطعیت (Certainty): آیا توضیح قطعیت مدل یادگیری ماشین را بازتاب می‌دهد؟ بسیاری از مدل‌های یادگیری ماشین فقط پیش‌بینی می‌دهند بدون بیانی دربارهٔ اطمینان مدل از درست‌بودن پیش‌بینی. اگر مدل احتمال ۴٪ سرطان را برای یک بیمار پیش‌بینی کند، آیا به همان اندازه قطعی است که احتمال ۴٪ که بیمار دیگری با مقادیر ویژگی متفاوت دریافت کرد؟ توضیحی که قطعیت مدل را شامل شود بسیار مفید است. افزون بر این، خود توضیح ممکن است یک مدل یا برآوردی بر پایهٔ داده باشد و بنابراین خود تحت عدم قطعیت باشد. این عدم قطعیت توضیح هم ویژگی مرتبطی از خود توضیح است.
  • درجهٔ اهمیت (Degree of Importance): توضیح اهمیت ویژگی‌ها یا بخش‌های توضیح را چقدر خوب بازتاب می‌دهد؟ برای مثال، اگر یک قاعدهٔ تصمیم به‌عنوان توضیح یک پیش‌بینی منفرد تولید شود، آیا روشن است کدام یک از شرط‌های قاعده مهم‌ترین بود؟
  • تازگی (Novelty): آیا توضیح بازتاب می‌دهد که نمونهٔ داده‌ای که باید توضیح داده شود از یک ناحیهٔ «جدید» دور از توزیع داده‌های آموزشی می‌آید؟ در چنین حالت‌هایی مدل ممکن است نادقیق باشد و توضیح ممکن است بی‌فایده باشد. مفهوم تازگی با مفهوم قطعیت مرتبط است. هرچه تازگی بیشتر باشد، محتمل‌تر است که مدل به‌دلیل کمبود داده قطعیت پایینی داشته باشد.
  • نمایندگی (Representativeness): یک توضیح چند نمونه را پوشش می‌دهد؟ توضیح‌ها می‌توانند کل مدل را پوشش دهند (مثلاً تفسیر وزن‌ها در مدل رگرسیون خطی) یا فقط یک پیش‌بینی منفرد را نمایندگی کنند (مثلاً مقادیر شپلی).

برای درک بهتر (توضیح مترجم): تفاوت سازگاری و پایداری: سازگاری یعنی «دو مدل مختلف با پیش‌بینی مشابه، توضیح مشابه می‌دهند؟» و پایداری یعنی «یک مدل برای دو نمونهٔ تقریباً یکسان، توضیح تقریباً یکسان می‌دهد؟». مثلاً اگر با عوض‌شدن سن یک بیمار از ۵۰ به ۵۱ سال، توضیح مدل کاملاً برعکس شود، توضیح ناپایدار است. اثر راشومون یعنی چند مدل با پیش‌بینی یکسان ولی استدلال متفاوت؛ در آن حالت توضیح‌های متفاوت مشکل نیستند، بلکه نشان‌دهندهٔ واقعیت‌اند.

توضیح مترجم: در منبع، «دقت» (Accuracy) در اینجا یعنی دقت پیش‌بینی خودِ توضیح روی داده‌های دیده‌نشده، نه دقت مدل اصلی. «وفاداری» یعنی اینکه توضیح چقدر خروجی مدل جعبه‌سیاه را (نه برچسب واقعی را) تقلید می‌کند. به همین دلیل وفاداری بالا حتی اگر مدل جعبه‌سیاه دقت پایینی داشته باشد هم می‌تواند مطلوب باشد.