Keyboard shortcuts

Press ← or → to navigate between chapters

Press S or / to search in the book

Press ? to show this help

Press Esc to hide this help

صفحه جلد

یادگیری ماشین قابل تفسیر

راهنمایی برای قابل توضیح کردن مدل‌های جعبه سیاه

مریم محمودی
مریم محمودی

فهرست مطالب

مقدمه و مبانی

مدل‌های قابل تفسیر

روش‌های محلی مستقل از مدل

روش‌های سراسری مستقل از مدل

تفسیر شبکه‌های عصبی

فراتر از روش‌ها

پیوست‌ها

درباره کتاب

عنوان اصلی: About the Book
منبع: https://christophm.github.io/interpretable-ml-book/
نویسنده: Christoph Molnar — کریستوف مولنار
مترجم: مریم محمودی — Maryam Mahmoudi


یادگیری ماشین تعبیرپذیر

راهنمایی برای توضیح‌پذیر کردن مدل‌های جعبه‌سیاه


خلاصه

یادگیری ماشین بخشی از محصولات، فرایندها و پژوهش‌های ما شده است. اما رایانه‌ها معمولاً توضیحی درباره پیش‌بینی‌های خود ارائه نمی‌دهند و این موضوع می‌تواند مشکلات متعددی ایجاد کند؛ از مسائل مربوط به اعتماد گرفته تا باگ‌های کشف‌نشده. این کتاب درباره قابل‌تعبیر کردن مدل‌های یادگیری ماشین و تصمیم‌های آن‌هاست.

پس از بررسی مفاهیم تعبیرپذیری (Interpretability)، با مدل‌های ساده و تعبیرپذیر مانند درخت‌های تصمیم و رگرسیون خطی آشنا خواهید شد. تمرکز اصلی کتاب بر روش‌های مستقل از مدل (Model-Agnostic) برای تفسیر مدل‌های جعبه‌سیاه است. برخی از این روش‌ها، مانند LIME و مقادیر شپلی (Shapley Values)، برای توضیح پیش‌بینی‌های منفرد استفاده می‌شوند؛ در حالی که روش‌هایی مانند اهمیت ویژگی مبتنی بر جایگشت (Permutation Feature Importance) و اثرات محلی تجمع‌یافته (Accumulated Local Effects) برای به‌دست‌آوردن بینش درباره روابط کلی‌تر میان ویژگی‌ها و پیش‌بینی‌ها کاربرد دارند. افزون بر این، کتاب روش‌های اختصاصی شبکه‌های عصبی عمیق را نیز معرفی می‌کند.

تمام روش‌های تفسیر به‌صورت عمیق توضیح داده شده و به‌شکل انتقادی بررسی می‌شوند. این روش‌ها چگونه کار می‌کنند؟ نقاط قوت و ضعف آن‌ها چیست؟ چگونه باید آن‌ها را تفسیر کرد؟ این کتاب به شما کمک می‌کند تا مناسب‌ترین روش تفسیر را برای کاربرد یادگیری ماشین خود انتخاب و به‌درستی استفاده کنید. مطالعه این کتاب به متخصصان یادگیری ماشین، دانشمندان داده، آمارگران و هر فردی که به تعبیرپذیر کردن مدل‌های یادگیری ماشین علاقه‌مند است توصیه می‌شود.


چرا این کتاب را نوشتم

این کتاب به‌عنوان یک پروژه جانبی آغاز شد؛ زمانی که به‌عنوان آمارگر در پژوهش‌های بالینی کار می‌کردم. در روزهای آزاد خود، موضوعاتی را که برایم جذاب بودند بررسی می‌کردم و در نهایت یادگیری ماشین تعبیرپذیر توجه مرا به خود جلب کرد. با این انتظار که منابع فراوانی درباره تفسیر مدل‌های یادگیری ماشین وجود داشته باشد، شگفت‌زده شدم وقتی دیدم تنها مجموعه‌ای پراکنده از مقالات پژوهشی و نوشته‌های وبلاگی موجود است و هیچ راهنمای جامع و کاملی وجود ندارد. همین موضوع مرا ترغیب کرد تا منبعی را ایجاد کنم که آرزو داشتم وجود داشته باشد؛ کتابی برای عمیق‌تر کردن درک خودم و به‌اشتراک‌گذاری این بینش‌ها با دیگران.

امروزه این کتاب به یکی از منابع اصلی برای تفسیر مدل‌های یادگیری ماشین تبدیل شده است. پژوهشگران هزاران بار به این کتاب ارجاع داده‌اند، دانشجویان برایم نوشته‌اند که این کتاب برای پایان‌نامه‌هایشان ضروری بوده است، مدرسان از آن در کلاس‌های خود استفاده می‌کنند و دانشمندان داده در صنعت برای کار روزمره خود به آن تکیه می‌کنند. این کتاب همچنین پایه‌گذار مسیر حرفه‌ای خود من نیز بوده است؛ ابتدا مرا به انجام دکتری در حوزه یادگیری ماشین تعبیرپذیر ترغیب کرد و بعدها انگیزه‌ای شد تا به‌عنوان نویسنده، مدرس و مشاور مستقل فعالیت کنم.


این کتاب برای چه کسانی است

این کتاب برای متخصصانی نوشته شده است که به‌دنبال مروری جامع بر تکنیک‌های تعبیرپذیرتر کردن مدل‌های یادگیری ماشین هستند. همچنین برای دانشجویان، مدرسان، پژوهشگران و هر فرد علاقه‌مند به این حوزه ارزشمند است. آشنایی پایه‌ای با یادگیری ماشین و ریاضیات مقدماتی در سطح دانشگاه به درک مباحث نظری کمک می‌کند، اما توضیحات شهودی ابتدای هر فصل به‌گونه‌ای طراحی شده‌اند که حتی بدون دانش ریاضی نیز قابل‌فهم باشند.


چه چیزهایی در ویرایش سوم جدید است؟

ویرایش سوم هم یک به‌روزرسانی کوچک است و هم یک به‌روزرسانی بزرگ. از این جهت کوچک است که تنها دو فصل جدید درباره روش‌ها، یعنی LOFO و Ceteris Paribus، و دو فصل مقدماتی جدید شامل «مروری بر روش‌ها» و «اهداف تعبیرپذیری» به آن افزوده شده‌اند. بااین‌حال، تغییرات بزرگ‌تری نیز در کتاب اعمال کرده‌ام که ظریف‌تر هستند، اما به باور من کیفیت کتاب را بهبود داده‌اند.

بخش مقدمه را بازسازمان‌دهی کردم تا هم مختصرتر و هم عمیق‌تر شود. همچنین مثال‌های داده‌ای را غنی‌تر کردم (برای مثال، بررسی هم‌بستگی‌ها و انجام تحلیل‌های دقیق‌تر) و مجموعه‌داده سرطان را با مجموعه‌داده قابل‌فهم‌تر پنگوئن‌های پالمر (Palmer Penguin Dataset) جایگزین کردم. برای کاربردی‌تر شدن کتاب، جعبه‌های نکته و هشدار اضافه کردم تا به خوانندگان کمک کنند مدل‌های یادگیری ماشین را به‌درستی تفسیر کنند.

یکی دیگر از تغییرات بزرگ در ویرایش سوم، پاک‌سازی مخزن کتاب و رندر کردن آن با Quarto به‌جای bookdown بود. برای شما به‌عنوان خواننده، این تغییر تنها در ظاهر نسخه وب کتاب قابل‌مشاهده است، اما برای من نگهداری کتاب را بسیار آسان‌تر کرده است. همچنین اصلاحات کوچک بسیاری انجام داده‌ام که می‌توانید آن‌ها را در فایل README مخزن کتاب، در بخش «Changelog» مشاهده کنید.


درباره نویسنده

نام من کریستوف مولنار (Christoph Molnar) است. من درباره یادگیری ماشین می‌نویسم و تدریس می‌کنم؛ به‌ویژه موضوعاتی که فراتر از صرفاً عملکرد پیش‌بینی هستند. در رشته آمار تحصیل کرده‌ام، چند سال به‌عنوان دانشمند داده کار کرده‌ام، دکتری خود را در زمینه یادگیری ماشین تعبیرپذیر انجام داده‌ام و اکنون نویسنده هستم و همچنین کارگاه‌های آموزشی و خدمات مشاوره ارائه می‌دهم.


مجوز

این کتاب تحت مجوز CC BY-NC-SA 4.0 منتشر شده است.

فصل ۱: مقدمه

عنوان اصلی: Introduction
منبع: https://christophm.github.io/interpretable-ml-book/intro.html
نویسنده: Christoph Molnar
مترجم: مریم محمودی


«۲ به‌علاوه ۵ چقدر می‌شود؟» معلم ویلهلم فون اوستن پرسید. پاسخ، البته، ۷ بود. جمعیتی که برای تماشای این صحنه گرد آمده بودند، شگفت‌زده شدند. چرا که پاسخ‌دهنده، انسان نبود، بلکه اسبی به نام «هانس زیرک» بود. هانس زیرک می‌توانست محاسبات ریاضی انجام دهد – یا لااقل چنین به نظر می‌رسید. ۲ به‌علاوه ۵؟ هفت ضربه با سم اسب، نه یکی بیشتر و نه یکی کمتر. برای یک اسب، واقعاً چشمگیر بود.

و در واقع، همان‌طور که تحقیقات بعدی نشان داد، هانس زیرک بسیار باهوش بود. اما مهارت او در ریاضیات نبود، بلکه در خواندن نشانه‌های اجتماعی بود. معلوم شد که یک عامل مهم موفقیت این بود که انسانی که از هانس سؤال می‌کرد، پاسخ را می‌دانست. هانس به کوچک‌ترین تغییرات در زبان بدن و حالات چهره انسان تکیه می‌کرد تا در زمان مناسب از ضربه زدن دست بکشد.

به عملکرد مدل کورکورانه اعتماد نکنید

در یادگیری ماشین، نسخه‌های خودمان از این اسب زیرک را داریم: پیش‌بینی‌کننده‌های هانس زیرک، اصطلاحی که توسط Lapuschkin و همکاران (۲۰۱۹) ابداع شد. چند نمونه:

  • یک مدل یادگیری ماشین که برای تشخیص نهنگ آموزش دیده بود، یاد گرفت به جای اینکه دسته‌بندی را بر اساس محتوای صوتی انجام دهد، به خطاهای موجود در فایل‌های صوتی تکیه کند (DeLMA and Cukierski 2013).
  • یک دسته‌بندی‌کننده تصویر یاد گرفت به جای ویژگی‌های بصری، از متن روی تصاویر استفاده کند (Lapuschkin et al. 2019).
  • یک دسته‌بندی‌کننده گرگ در مقابل سگ، به جای نواحی تصویر که حیوانات را نشان می‌دادند، به برف موجود در پس‌زمینه متکی شد (Ribeiro, Singh, and Guestrin 2016).

در همه این نمونه‌ها، نقص‌ها عملکرد پیش‌بینی روی مجموعه آزمایش را کاهش ندادند. بنابراین تعجبی ندارد که مردم حتی نسبت به مدل‌های با عملکرد خوب نیز محتاط هستند. آن‌ها می‌خواهند به درون مدل‌ها نگاه کنند تا مطمئن شوند که مدل‌ها میانبر نمی‌زنند. و دلایل بسیار دیگری نیز برای تفسیرپذیر کردن مدل‌ها وجود دارد. به‌عنوان مثال، دانشمندان از یادگیری ماشین در کار خود استفاده می‌کنند. در نظرسنجی‌ای که از دانشمندان درباره بزرگ‌ترین نگرانی‌هایشان در استفاده از یادگیری ماشین پرسیده شد، پاسخ اول «منجر به تکیه بیشتر بر تشخیص الگو بدون درک آن می‌شود» بود (Van Noorden and Perkel 2023). این کمبود درک منحصر به علم نیست. اگر در بخش بازاریابی کار می‌کنید و یک مدل ریزش مشتری (churn model) می‌سازید، نه‌تنها می‌خواهید پیش‌بینی کنید چه کسانی احتمالاً ریزش خواهند کرد، بلکه می‌خواهید علت آن را نیز بفهمید. در غیر این صورت، تیم بازاریابی چگونه باید بداند واکنش مناسب چیست؟ تیم می‌تواند برای همه کوپن ارسال کند، اما اگر دلیل احتمال ریزش بالا این باشد که آن‌ها از ایمیل‌های زیاد آزرده شده‌اند، چه؟ عملکرد پیش‌بینی خوب به تنهایی برای استفاده کامل از مدل ریزش کافی نیست.

علاوه بر این، بسیاری از دانشمندان داده و آماردانان به من گفته‌اند که یکی از دلایلی که از «مدل‌های ساده‌تر» استفاده می‌کنند این است که نتوانسته‌اند مدیرشان را متقاعد کنند تا از یک «مدل جعبه سیاه» (black box model) استفاده کند. اما اگر مدل‌های پیچیده پیش‌بینی‌های بهتری انجام دهند چه؟ آیا عالی نبود اگر می‌توانستید هم عملکرد خوب و هم تفسیرپذیری را داشته باشید؟

برای حل مسائل اعتماد، ارائه بینش درباره مدل‌ها، و اشکال‌زدایی بهتر مدل‌ها، کتاب مناسبی را در دست دارید. یادگیری ماشین تفسیرپذیر ابزارهایی برای استخراج بینش از مدل ارائه می‌دهد.

حوزه‌ای جوان با ریشه‌های قدیمی

مدل‌های رگرسیون خطی از ابتدای قرن نوزدهم مورد استفاده قرار می‌گرفتند (Legendre 1806; Gauss 1877). مدل‌سازی آماری حول همین مدل رگرسیون خطی رشد کرد، و امروزه گزینه‌های بیشتری مانند مدل‌های جمعی تعمیم‌یافته (generalized additive models) و LASSO داریم تا تنها چند کلاس مدل محبوب را نام ببریم. در آمار کلاسیک، معمولاً توزیع‌ها را مدل‌سازی می‌کنیم و بر فرضیات بیشتری تکیه می‌کنیم که به ما اجازه می‌دهد نتیجه‌گیری‌هایی درباره جهان داشته باشیم. برای انجام این کار، تفسیرپذیری کلیدی است. به‌عنوان مثال، اگر تأثیر نوشیدن الکل بر خطر مشکلات قلبی‌عروقی را مدل‌سازی کنید، آماردانان باید بتوانند آن بینش را از مدل استخراج کنند. این کار معمولاً با تفسیرپذیر نگه‌داشتن مدل و داشتن ضریبی که می‌تواند به‌عنوان تأثیر یک ویژگی بر نتیجه تفسیر شود، انجام می‌شود.

یادگیری ماشین رویکرد مدل‌سازی متفاوتی دارد. بیشتر وظیفه‌محور و پیش‌بینی‌محور است، و تأکید بر الگوریتم‌ها به جای توزیع‌ها است. معمولاً، یادگیری ماشین مدل‌های پیچیده‌تری تولید می‌کند. کار بنیادین در یادگیری ماشین در اواسط قرن بیستم آغاز شد، در حالی که پیشرفت‌های بعدی در نیمه دوم قرن این حوزه را بیشتر گسترش دادند. با این حال، شبکه‌های عصبی (neural networks) به دهه ۱۹۶۰ باز می‌گردند (Schmidhuber 2015)، و یادگیری ماشین مبتنی بر قاعده که بخشی از یادگیری ماشین تفسیرپذیر است، از اواسط قرن بیستم یک حوزه تحقیقاتی فعال بوده است. اگرچه تمرکز اصلی نبوده، تفسیرپذیری همیشه یک دغدغه در یادگیری ماشین بوده است، و محققان راه‌هایی برای بهبود تفسیرپذیری پیشنهاد کرده‌اند: یک نمونه، جنگل تصادفی (random forest) است (Breiman 2001) که از ابتدا با معیار اهمیت ویژگی داخلی ارائه شد.

یادگیری ماشین تفسیرپذیر، یا هوش مصنوعی توضیح‌پذیر (Explainable AI)، واقعاً به‌عنوان یک حوزه در حدود سال ۲۰۱۵ منفجر شده است (Molnar, Casalicchio, and Bischl 2020). به‌ویژه زیرحوزه تفسیرپذیری مستقل از مدل (model-agnostic interpretability)، که روش‌هایی را ارائه می‌دهد که برای هر مدلی کار می‌کنند، توجه زیادی را به خود جلب کرده است. روش‌های جدید برای تفسیر مدل‌های یادگیری ماشین همچنان با سرعت سرسام‌آوری منتشر می‌شوند. پیگیری هر چیزی که منتشر می‌شود جنون‌آمیز و به‌سادگی غیرممکن خواهد بود. به همین دلیل است که جدیدترین و شیک‌ترین روش‌ها را در این کتاب نخواهید یافت، بلکه روش‌های مستقر و مفاهیم اساسی تفسیرپذیری یادگیری ماشین را خواهید یافت. این اصول اساسی شما را برای تفسیرپذیر کردن مدل‌های یادگیری ماشین آماده می‌کنند. درونی کردن مفاهیم پایه همچنین به شما قدرت می‌دهد تا هر مقاله جدیدی درباره تفسیرپذیری که در سرور پیش‌چاپ arxiv.org در ۵ دقیقه گذشته از زمانی که شروع به خواندن این کتاب کرده‌اید منتشر شده (شاید در نرخ انتشار اغراق می‌کنم) را بهتر درک و ارزیابی کنید.

چگونه کتاب را بخوانیم

لازم نیست کتاب را از سر تا ته بخوانید، زیرا یادگیری ماشین تفسیرپذیر بیشتر یک کتاب مرجع است که اکثر فصل‌ها یک روش را توصیف می‌کنند. اگر تازه‌کار در تفسیرپذیری هستید، فقط توصیه می‌کنم ابتدا فصل‌های تفسیرپذیری، اهداف، و مروری بر روش‌ها را بخوانید تا بفهمید تفسیرپذیری چیست و «نقشه‌ای» داشته باشید که بتوانید هر روش را در آن قرار دهید.

کتاب به بخش‌های زیر سازماندهی شده است:

  • فصل‌های مقدماتی، شامل تعاریف تفسیرپذیری و مروری بر روش‌ها
  • مدل‌های تفسیرپذیر
  • روش‌های محلی مستقل از مدل
  • روش‌های سراسری مستقل از مدل
  • روش‌ها برای شبکه‌های عصبی
  • چشم‌انداز
  • اصطلاحات یادگیری ماشین

هر فصل روش با ساختار مشابهی دنبال می‌شود: پاراگراف اول روش را خلاصه می‌کند، و سپس توضیح شهودی ارائه می‌شود که به ریاضیات متکی نیست. سپس به نظریه روش می‌پردازیم تا درک عمیق‌تری از نحوه کار آن به دست آوریم، شامل ریاضیات و الگوریتم‌ها. من معتقدم که یک روش جدید بهتر است با استفاده از مثال‌ها فهمیده شود. بنابراین، هر روش روی داده‌های واقعی اعمال می‌شود. برخی می‌گویند که آماردانان افراد بسیار انتقادی هستند. برای من این درست است، زیرا هر فصل شامل بحث‌های انتقادی درباره مزایا و معایب روش تفسیر مربوطه است. این کتاب تبلیغی برای روش‌ها نیست، بلکه باید به شما کمک کند تصمیم بگیرید که آیا یک روش برای پروژه شما مناسب است یا خیر. در بخش آخر هر فصل، پیاده‌سازی‌های نرم‌افزاری موجود را فهرست کرده‌ام.

امیدوارم از خواندن لذت ببرید!

فصل ۲: تفسیرپذیری

عنوان اصلی: Interpretability
منبع: https://christophm.github.io/interpretable-ml-book/interpretability.html
نویسنده: Christoph Molnar
مترجم: مریم محمودی


این فصل مفاهیم تفسیرپذیری را معرفی می‌کند. اگرچه تعریف ریاضی دقیقی برای تفسیرپذیری وجود ندارد، اما من تعریف بیران و کاتن (Biran and Cotton 2017) را که میلر (Miller 2019) نیز از آن استفاده کرده است، می‌پسندم:

«تفسیرپذیری میزانی است که یک انسان می‌تواند علت یک تصمیم را درک کند.»

تعریف خوب دیگری از کیم، خانا و کویجو (Kim, Khanna, and Koyejo 2016) است:

«یک روش تفسیرپذیر است اگر کاربر بتواند نتایج آن روش را به‌طور صحیح و کارآمد پیش‌بینی کند.»

هرچه یک مدل یادگیری ماشین تفسیرپذیرتر باشد، درک اینکه چرا تصمیم‌ها یا پیش‌بینی‌های خاصی گرفته شده‌اند برای انسان آسان‌تر است. یک مدل نسبت به مدل دیگر تفسیرپذیرتر است اگر تصمیم‌های آن برای انسان قابل‌فهم‌تر از تصمیم‌های مدل دیگر باشد.

گاهی اوقات اصطلاح «توضیح‌پذیری» (explainable) را نیز در این زمینه می‌بینید، مانند «هوش مصنوعی توضیح‌پذیر» (explainable AI). تفاوت بین توضیح‌پذیری و تفسیرپذیری چیست؟ به‌طور کلی، پژوهشگران در این حوزه نمی‌توانند بر سر تعریف هیچ‌یک از این دو اصطلاح به توافق برسند (Flora et al. 2022). من با تعاریف روشر و همکاران (Roscher et al. 2020) موافقم:

تفسیرپذیری درباره نگاشت یک مفهوم انتزاعی از مدل‌ها به شکلی قابل‌درک است. توضیح‌پذیری اصطلاحی قوی‌تر است که نیازمند تفسیرپذیری به‌علاوه زمینه اضافی است. علاوه‌بر این، اصطلاح «توضیح» (explanation) معمولاً برای روش‌های محلی استفاده می‌شود که درباره «توضیح دادن» یک پیش‌بینی هستند. به هر حال، این اصطلاحات چنان مبهم هستند که رویکرد عملی این است که آن‌ها را به‌عنوان یک اصطلاح چتری ببینیم که «استخراج دانش مرتبط از یک مدل یادگیری ماشین در مورد روابط موجود در داده یا یادگرفته‌شده توسط مدل» را در برمی‌گیرد (Murdoch et al. 2019).

اهمیت تفسیرپذیری

اگر یک مدل یادگیری ماشین عملکرد خوبی دارد، چرا صرفاً به مدل اعتماد نکنیم و نادیده بگیریم که چرا تصمیم خاصی گرفته است؟ «مشکل این است که یک معیار واحد، مانند دقت دسته‌بندی، توصیف ناقصی از اکثر وظایف دنیای واقعی است.» (Doshi-Velez and Kim 2017)

بیایید عمیق‌تر به دلایل اهمیت تفسیرپذیری بپردازیم. وقتی صحبت از مدل‌سازی پیش‌بینی به‌میان می‌آید، باید یک مصالحه انجام دهید: آیا فقط می‌خواهید بدانید چه چیزی پیش‌بینی شده است؟ مثلاً احتمال اینکه یک مشتری از خدمات شما دست بکشد یا داروی خاصی برای بیمار چقدر مؤثر خواهد بود. یا می‌خواهید بدانید چرا این پیش‌بینی انجام شده است و احتمالاً برای تفسیرپذیری با افت عملکرد پیش‌بینی‌کننده هزینه بپردازید؟ در برخی موارد، اهمیتی ندارد که چرا تصمیمی گرفته شده است، کافی است بدانیم که عملکرد پیش‌بینی روی مجموعه داده آزمایش خوب بوده است. اما در موارد دیگر، دانستن «چرا» می‌تواند به شما کمک کند تا درباره مسئله، داده و دلیل شکست احتمالی مدل بیشتر بیاموزید. برخی مدل‌ها ممکن است نیازی به توضیح نداشته باشند چون در محیطی کم‌خطر استفاده می‌شوند، یعنی یک اشتباه عواقب جدی نخواهد داشت (مثلاً سیستم توصیه فیلم). همچنین ممکن است روش قبلاً به‌طور گسترده مطالعه و ارزیابی شده باشد (مثلاً تشخیص نویسه نوری). نیاز به تفسیرپذیری از ناقص بودن فرمول‌بندی مسئله ناشی می‌شود (Doshi-Velez and Kim 2017)، که به این معناست برای برخی مسائل یا وظایف، داشتن پیش‌بینی (چیستی) کافی نیست. مدل باید توضیح دهد که چگونه به این پیش‌بینی رسیده است (چرایی)، زیرا یک پیش‌بینی صحیح تنها بخشی از مسئله اصلی شما را حل می‌کند. دلایل زیر تقاضا برای تفسیرپذیری و توضیحات را ایجاد می‌کنند (Doshi-Velez and Kim 2017 و Miller 2017).

کنجکاوی و یادگیری انسان: انسان‌ها یک مدل ذهنی از محیط خود دارند که هنگام وقوع اتفاق غیرمنتظره به‌روز می‌شود. این به‌روزرسانی با یافتن توضیحی برای رویداد غیرمنتظره انجام می‌شود. برای مثال، یک انسان به‌طور غیرمنتظره احساس بیماری می‌کند و می‌پرسد: «چرا این‌قدر حالم بد است؟». او می‌آموزد که هر بار این توت‌های قرمز را می‌خورد، بیمار می‌شود. او مدل ذهنی خود را به‌روز می‌کند و نتیجه می‌گیرد که این توت‌ها باعث بیماری شده‌اند و بنابراین باید از آن‌ها پرهیز کرد. وقتی مدل‌های یادگیری ماشین مبهم در تحقیقات استفاده می‌شوند، یافته‌های علمی کاملاً پنهان می‌مانند اگر مدل فقط پیش‌بینی بدون توضیح ارائه دهد. برای تسهیل یادگیری و ارضای کنجکاوی درباره اینکه چرا پیش‌بینی‌ها یا رفتارهای خاصی توسط ماشین‌ها ایجاد می‌شوند، تفسیرپذیری و توضیحات حیاتی هستند. البته انسان‌ها برای هر اتفاقی که می‌افتد نیاز به توضیح ندارند. مثلاً اکثر افراد نیازی به درک نحوه کار رایانه ندارند. با این حال، رویدادهای غیرمنتظره ما را کنجکاو می‌کنند. برای مثال: چرا رایانه‌ام به‌طور غیرمنتظره خاموش می‌شود؟

ارتباط نزدیکی با یادگیری، میل انسان به یافتن معنا در جهان دارد. ما می‌خواهیم تناقض‌ها یا ناسازگاری‌ها بین عناصر ساختارهای دانش خود را هماهنگ کنیم. «چرا سگم مرا گاز گرفت حتی اگر هرگز قبلاً این کار را نکرده بود؟» یک انسان ممکن است بپرسد. تناقضی بین دانش درباره رفتار گذشته سگ و تجربه ناخوشایند تازه گاز گرفته شدن وجود دارد. توضیح دامپزشک این تناقض صاحب سگ را برطرف می‌کند: «سگ تحت استرس بود و به همین دلیل شما را گاز گرفت.» هرچه تصمیم یک ماشین بیشتر بر زندگی فرد تأثیر بگذارد، توضیح رفتار ماشین مهم‌تر است. اگر یک مدل یادگیری ماشین درخواست وام را رد کند، این ممکن است برای متقاضیان کاملاً غیرمنتظره باشد. آن‌ها تنها با نوعی توضیح می‌توانند این ناسازگاری بین انتظار و واقعیت را برطرف کنند. توضیحات لازم نیست واقعاً وضعیت را به‌طور کامل توضیح دهند، بلکه باید به یک علت اصلی بپردازند. مثال دیگر، توصیه محصول الگوریتمی است. شخصاً همیشه فکر می‌کنم چرا محصولات یا فیلم‌های خاصی الگوریتمی به من توصیه شده‌اند. اغلب واضح است: تبلیغات مرا در اینترنت دنبال می‌کنند چون اخیراً یک ماشین لباسشویی خریده‌ام، و می‌دانم که برای چند روز آینده تبلیغات ماشین لباسشویی مرا دنبال خواهد کرد. بله، منطقی است که دستکش پیشنهاد شود اگر من قبلاً یک کلاه زمستانی در سبد خریدم دارم. الگوریتم این فیلم خاص را توصیه می‌کند چون کاربرانی که فیلم‌های دیگری را که من دوست داشتم، دوست داشتند، از فیلم توصیه‌شده نیز لذت برده‌اند. به‌طور فزاینده، شرکت‌های اینترنتی توضیحات را به توصیه‌های خود اضافه می‌کنند. یک مثال خوب، توصیه محصولات است که بر اساس ترکیب‌های محصولاتی هستند که اغلب با هم خریداری می‌شوند، همان‌طور که در شکل ۲.۱ نشان داده شده است.

شکل ۲.۱: تصویری از محصولات توصیه‌شده که اغلب با هم خریداری می‌شوند.

در بسیاری از رشته‌های علمی، تغییری از روش‌های کیفی به روش‌های کمی (مثلاً جامعه‌شناسی، روان‌شناسی) و همچنین به سمت یادگیری ماشین (زیست‌شناسی، ژنومیک) رخ می‌دهد. هدف علم کسب دانش است، اما بسیاری از مسائل با مجموعه داده‌های بزرگ و مدل‌های یادگیری ماشین جعبه سیاه حل می‌شوند. خود مدل به‌جای داده، منبع دانش می‌شود. تفسیرپذیری امکان استخراج این دانش اضافی که توسط مدل ضبط شده است را فراهم می‌کند.

ایمنی: مدل‌های یادگیری ماشین وظایف دنیای واقعی را بر عهده می‌گیرند که نیازمند اقدامات ایمنی و آزمایش هستند. یک خودروی خودران را تصور کنید که به‌طور خودکار دوچرخه‌سواران را بر اساس یک سیستم یادگیری عمیق (Deep Learning) تشخیص می‌دهد. شما می‌خواهید ۱۰۰٪ مطمئن شوید که انتزاعی که سیستم یاد گرفته است بدون خطا است، زیرا زیر گرفتن دوچرخه‌سواران بسیار بد است. یک توضیح ممکن است نشان دهد که مهم‌ترین ویژگی یادگرفته‌شده، تشخیص دو چرخ دوچرخه است، و این توضیح به شما کمک می‌کند درباره موارد خاص مانند دوچرخه‌هایی با کیف‌های جانبی که بخشی از چرخ‌ها را می‌پوشانند، فکر کنید.

بایاس‌ها و تبعیض: به‌طور پیش‌فرض، مدل‌های یادگیری ماشین بایاس‌ها را از داده‌های آموزشی می‌گیرند. این می‌تواند مدل‌های یادگیری ماشین شما را نژادپرست کند و علیه گروه‌های کم‌تر نمایندگی‌شده تبعیض قائل شود. تفسیرپذیری ابزار رفع‌اشکال مفیدی برای تشخیص بایاس در مدل‌های یادگیری ماشین است. ممکن است اتفاق بیفتد که مدل یادگیری ماشینی که برای تأیید یا رد خودکار درخواست‌های اعتبار آموزش داده‌اید، علیه اقلیتی که تاریخاً محروم شده است، تبعیض قائل شود. هدف اصلی شما این است که فقط به افرادی وام بدهید که در نهایت آن را بازپرداخت کنند. ناقص بودن فرمول‌بندی مسئله در این مورد در این واقعیت نهفته است که شما نه تنها می‌خواهید نکول وام را به حداقل برسانید، بلکه موظف هستید بر اساس برخی ویژگی‌های جمعیت‌شناختی خاص تبعیض قائل نشوید. این یک محدودیت اضافی است که بخشی از فرمول‌بندی مسئله شماست (اعطای وام به روشی کم‌خطر و مطابق با مقررات) که توسط تابع زیان که مدل یادگیری ماشین برای آن بهینه‌سازی شده است، پوشش داده نمی‌شود.

پذیرش اجتماعی: فرآیند یکپارچه‌سازی ماشین‌ها و الگوریتم‌ها در زندگی روزمره ما نیازمند تفسیرپذیری برای افزایش پذیرش اجتماعی است. مردم باورها، خواسته‌ها، نیت‌ها و غیره را به اشیاء نسبت می‌دهند. در یک آزمایش معروف، هایدر و سیمل (Heider and Simmel 1944) به شرکت‌کنندگان ویدیوهایی از اشکال نشان دادند که در آن یک دایره یک «در» را باز می‌کرد تا وارد یک «اتاق» شود (که صرفاً یک مستطیل بود). شرکت‌کنندگان اعمال اشکال را همان‌طور که اعمال یک عامل انسانی را توصیف می‌کنند، توصیف کردند و حتی نیت‌ها و احساسات و ویژگی‌های شخصیتی را به اشکال نسبت دادند. ربات‌ها یک مثال خوب هستند، مانند جاروبرقی ما که نامش را «دوج» گذاشتیم. اگر دوج گیر کند، فکر می‌کنم: «دوج می‌خواهد به نظافت ادامه دهد، اما از من کمک می‌خواهد چون گیر کرده است.» بعداً، وقتی دوج نظافت را تمام می‌کند و پایگاه خانگی را برای شارژ مجدد جستجو می‌کند، فکر می‌کنم: «دوج میل به شارژ شدن دارد و قصد دارد پایگاه خانگی را پیدا کند.» من همچنین ویژگی‌های شخصیتی را نسبت می‌دهم: «دوج کمی احمق است، اما به شیوه‌ای بامزه.» این‌ها افکار من هستند، به‌ویژه وقتی متوجه می‌شوم که دوج هنگام جاروبرقی کردن وظیفه‌شناسانه خانه، یک گلدان را واژگون کرده است. یک ماشین یا الگوریتم که پیش‌بینی‌های خود را توضیح می‌دهد، پذیرش بیشتری خواهد یافت.

توضیحات برای مدیریت تعاملات اجتماعی: توضیحات برای مدیریت تعاملات اجتماعی استفاده می‌شوند. با ایجاد معنای مشترک از چیزی، توضیح‌دهنده بر اعمال، احساسات و باورهای دریافت‌کننده توضیح تأثیر می‌گذارد. برای اینکه یک ماشین با ما تعامل کند، ممکن است نیاز داشته باشد احساسات و باورهای ما را شکل دهد. ماشین‌ها باید ما را «متقاعد» کنند تا بتوانند به هدف موردنظر خود برسند. من جاروبرقی روباتیک خود را به‌طور کامل نمی‌پذیرفتم اگر تا حدی رفتار خود را توضیح نمی‌داد. جاروبرقی معنای مشترکی از، مثلاً، یک «حادثه» مانند گیر کردن روی فرش حمام… دوباره، با توضیح اینکه گیر کرده است به‌جای اینکه صرفاً بدون اظهارنظر کار کردن را متوقف کند، ایجاد می‌کند. جالب است که ممکن است عدم تراز بین هدف ماشین توضیح‌دهنده (ایجاد اعتماد) و هدف دریافت‌کننده (درک پیش‌بینی یا رفتار) وجود داشته باشد. شاید توضیح کامل برای اینکه چرا دوج گیر کرد این باشد که باتری خیلی کم بود، یکی از چرخ‌ها درست کار نمی‌کند، و یک باگ وجود دارد که باعث می‌شود ربات بارها و بارها به یک نقطه برود حتی اگر مانعی در آن‌جا باشد. این دلایل (و چند مورد دیگر) باعث شد ربات گیر کند، اما او فقط توضیح داد که چیزی سر راه بوده است، و این برای من کافی بود تا به رفتار او اعتماد کنم و معنای مشترکی از آن حادثه پیدا کنم. راستی، دوج دوباره در حمام گیر کرد. شواهد در شکل ۲.۲. ما مجبوریم هر بار قبل از اینکه به دوج اجازه جاروبرقی کردن بدهیم، فرش‌ها را برداریم.

شکل ۲.۲: دوج، جاروبرقی ما، گیر کرد. به‌عنوان توضیحی برای حادثه، دوج به ما گفت که نیاز دارد روی سطح صافی باشد.

رفع اشکال: مدل‌های یادگیری ماشین تنها زمانی قابل رفع‌اشکال و حسابرسی هستند که قابل تفسیر باشند. حتی در محیط‌های کم‌خطر، مانند توصیه فیلم، توانایی تفسیر در مراحل تحقیق و توسعه و همچنین پس از استقرار ارزشمند است. بعداً، وقتی یک مدل در یک محصول استفاده می‌شود، ممکن است اشتباهاتی رخ دهد. یک تفسیر برای یک پیش‌بینی خطا به درک علت خطا کمک می‌کند. این مسیری برای نحوه رفع سیستم ارائه می‌دهد. یک مثال از یک دسته‌بندی‌کننده هاسکی در مقابل گرگ را در نظر بگیرید که برخی هاسکی‌ها را به اشتباه به‌عنوان گرگ دسته‌بندی می‌کند. با استفاده از روش‌های یادگیری ماشین تفسیرپذیر، متوجه می‌شوید که این طبقه‌بندی اشتباه به دلیل برف روی تصویر بوده است. دسته‌بندی‌کننده یاد گرفته است که از برف به‌عنوان ویژگی برای طبقه‌بندی تصاویر به‌عنوان «گرگ» استفاده کند، که ممکن است از نظر جداسازی گرگ‌ها از هاسکی‌ها در مجموعه داده آموزشی منطقی باشد اما در استفاده دنیای واقعی نه.

اگر بتوانید اطمینان حاصل کنید که مدل یادگیری ماشین می‌تواند تصمیمات را توضیح دهد، همچنین می‌توانید ویژگی‌های زیر را راحت‌تر بررسی کنید (Doshi-Velez and Kim 2017):

انصاف: اطمینان از اینکه پیش‌بینی‌ها بی‌طرفانه هستند و به‌طور ضمنی یا صریح علیه گروه‌های کم‌تر نمایندگی‌شده تبعیض قائل نمی‌شوند. حریم خصوصی: اطمینان از اینکه اطلاعات حساس در داده محافظت می‌شوند. قابلیت اطمینان یا استحکام: اطمینان از اینکه تغییرات کوچک در ورودی منجر به تغییرات بزرگ در پیش‌بینی نمی‌شوند. علیت: اطمینان از اینکه فقط روابط علّی شناسایی می‌شوند. اعتماد: برای انسان‌ها آسان‌تر است که به سیستمی که تصمیمات خود را توضیح می‌دهد، اعتماد کنند تا به یک جعبه سیاه.

گاهی اوقات ما به تفسیرپذیری نیاز نداریم.

وقتی تفسیرپذیری لازم نیست

سناریوهای زیر نشان می‌دهند چه زمانی به تفسیرپذیری مدل‌های یادگیری ماشین نیاز نداریم یا حتی نمی‌خواهیم.

تفسیرپذیری لازم نیست اگر مدل تأثیر قابل‌توجهی نداشته باشد. تصور کنید کسی به نام مایک روی یک پروژه جانبی یادگیری ماشین کار می‌کند تا پیش‌بینی کند دوستانش برای تعطیلات بعدی خود به کجا خواهند رفت، بر اساس داده‌های فیسبوک. مایک فقط دوست دارد دوستانش را با حدس‌های آگاهانه درباره اینکه برای تعطیلات کجا خواهند رفت، غافلگیر کند. اگر مدل اشتباه باشد، مشکل واقعی وجود ندارد (در بدترین حالت فقط کمی خجالت برای مایک)، و اگر مایک نتواند خروجی مدل خود را توضیح دهد نیز مشکلی نیست. در این مورد کاملاً خوب است که تفسیرپذیری نداشته باشیم. وضعیت تغییر می‌کند اگر مایک شروع به ساختن کسب‌وکاری حول این پیش‌بینی‌های مقصد تعطیلات کند. اگر مدل اشتباه باشد، کسب‌وکار ممکن است ضرر کند، یا مدل ممکن است برای برخی افراد به دلیل بایاس نژادی یادگرفته‌شده بدتر کار کند. به‌محض اینکه مدل تأثیر قابل‌توجهی داشته باشد، چه مالی و چه اجتماعی، تفسیرپذیری مرتبط می‌شود.

تفسیرپذیری لازم نیست وقتی مسئله به‌خوبی مطالعه شده است. برخی کاربردها به‌اندازه کافی به‌خوبی مطالعه شده‌اند که تجربه عملی کافی با مدل وجود دارد، و مشکلات با مدل در طول زمان حل شده است. یک مثال خوب، یک مدل یادگیری ماشین برای تشخیص نویسه نوری است که تصاویر پاکت‌ها را پردازش می‌کند و آدرس‌ها را استخراج می‌کند. این سیستم‌ها برای سال‌های زیادی استفاده شده‌اند، و واضح است که کار می‌کنند. علاوه‌بر این، ممکن است علاقه‌ای به کسب بینش اضافی درباره وظیفه موردنظر نداشته باشیم.

تفسیرپذیری ممکن است افراد یا برنامه‌ها را قادر کند که سیستم را دستکاری کنند. مشکلات با کاربرانی که سیستم را فریب می‌دهند از عدم تطابق بین اهداف سازنده و کاربر یک مدل ناشی می‌شود. امتیازدهی اعتباری چنین سیستمی است زیرا بانک‌ها می‌خواهند اطمینان حاصل کنند که وام‌ها فقط به متقاضیانی داده می‌شود که احتمالاً آن را بازمی‌گردانند، و متقاضیان هدفشان دریافت وام است حتی اگر بانک نخواهد به آن‌ها وام بدهد. این عدم تطابق بین اهداف، انگیزه‌هایی برای متقاضیان ایجاد می‌کند تا سیستم را دستکاری کنند و شانس دریافت وام را افزایش دهند. اگر متقاضی بداند که داشتن بیش از دو کارت اعتباری بر امتیاز او تأثیر منفی می‌گذارد، او به‌سادگی کارت سوم خود را برمی‌گرداند تا امتیازش را بهبود بخشد و بعد از تأیید وام، کارت جدیدی تهیه می‌کند. در حالی که امتیاز او بهبود یافت، احتمال واقعی بازپرداخت وام بدون تغییر باقی ماند. سیستم تنها زمانی قابل دستکاری است که ورودی‌ها جانشین‌هایی برای یک ویژگی علّی باشند اما در واقع باعث نتیجه نشوند. هر زمان که ممکن باشد، باید از ویژگی‌های جانشین اجتناب کرد زیرا مدل‌ها را قابل دستکاری می‌کنند. برای مثال، گوگل سیستمی به نام روندهای آنفولانزای گوگل (Google Flu Trends) برای پیش‌بینی شیوع آنفولانزا توسعه داد. این سیستم جستجوهای گوگل را با شیوع آنفولانزا مرتبط می‌کرد – و عملکرد ضعیفی داشت. توزیع پرس‌وجوهای جستجو تغییر کرد، و روندهای آنفولانزای گوگل شیوع‌های زیادی از آنفولانزا را از دست داد. جستجوهای گوگل باعث آنفولانزا نمی‌شوند. وقتی مردم علائمی مانند «تب» را جستجو می‌کنند، این صرفاً یک همبستگی با شیوع واقعی آنفولانزا است. به‌طور ایده‌آل، مدل‌ها فقط باید از ویژگی‌های علّی استفاده کنند که قابل دستکاری نیستند.

توضیحات دوستانه برای انسان

بیایید عمیق‌تر شویم و کشف کنیم که ما انسان‌ها چه چیزی را به‌عنوان توضیحات «خوب» می‌بینیم و پیامدهای آن برای یادگیری ماشین تفسیرپذیر چیست. تحقیقات علوم انسانی می‌توانند به ما کمک کنند تا بفهمیم. میلر (Miller 2017) بررسی بزرگی از انتشارات درباره توضیحات انجام داده است، و این فصل بر اساس خلاصه او ساخته شده است.

در این فصل، می‌خواهم شما را از موارد زیر متقاعد کنم: به‌عنوان توضیحی برای یک رویداد، انسان‌ها توضیحات کوتاه (فقط ۱ یا ۲ علت) را ترجیح می‌دهند که وضعیت فعلی را با وضعیتی که در آن رویداد رخ نمی‌داد، مقایسه می‌کنند. به‌ویژه علل غیرعادی، توضیحات خوبی ارائه می‌دهند. توضیحات تعاملات اجتماعی بین توضیح‌دهنده و توضیح‌گیرنده (دریافت‌کننده توضیح) هستند، و بنابراین زمینه اجتماعی تأثیر زیادی بر محتوای واقعی توضیح دارد.

توضیح خوب چیست؟

یک توضیح پاسخ به یک سؤال چرایی است (Miller 2017).

چرا درمان روی بیمار اثر نکرد؟ چرا درخواست وام من رد شد؟ چرا هنوز با حیات بیگانه تماس نگرفته‌ایم؟

دو سؤال اول را می‌توان با یک توضیح «روزمره» پاسخ داد، در حالی که سؤال سوم از دسته «پدیده‌های علمی کلی‌تر و سؤالات فلسفی» است. ما بر توضیحات نوع «روزمره» تمرکز می‌کنیم زیرا آن‌ها مرتبط با یادگیری ماشین تفسیرپذیر هستند. در ادامه، اصطلاح «توضیح» به فرآیند اجتماعی و شناختی توضیح دادن اشاره دارد، اما همچنین به محصول این فرآیندها. توضیح‌دهنده می‌تواند انسان یا ماشین باشد. این بخش خلاصه میلر درباره توضیحات «خوب» را بیشتر فشرده می‌کند و پیامدهای مشخصی برای یادگیری ماشین تفسیرپذیر اضافه می‌کند.

توضیحات تقابلی هستند (Lipton 1990). انسان‌ها معمولاً نمی‌پرسند چرا یک پیش‌بینی خاص انجام شد، بلکه می‌پرسند چرا این پیش‌بینی به‌جای پیش‌بینی دیگری انجام شد. ما تمایل داریم به موارد خلاف واقع فکر کنیم، یعنی «اگر ورودی متفاوت بود، پیش‌بینی چگونه بود؟». برای پیش‌بینی قیمت خانه، صاحب خانه ممکن است علاقه‌مند باشد بداند چرا قیمت پیش‌بینی‌شده بالا بود در مقایسه با قیمت پایین‌تری که انتظار داشت. اگر درخواست وام من رد شود، اهمیتی نمی‌دهم که همه عواملی که به‌طور کلی به نفع یا علیه رد صحبت می‌کنند را بشنوم. من به عواملی در درخواستم علاقه‌مندم که باید تغییر کنند تا وام را دریافت کنم. من می‌خواهم تقابل بین درخواست من و نسخه‌ای از درخواستم که قبول می‌شد را بدانم. تشخیص اینکه توضیحات تقابلی اهمیت دارند، یک یافته مهم برای یادگیری ماشین توضیح‌پذیر است. شما می‌توانید از اکثر مدل‌های تفسیرپذیر توضیحی استخراج کنید که به‌طور ضمنی پیش‌بینی یک نمونه را با پیش‌بینی یک نمونه داده مصنوعی یا میانگین نمونه‌ها مقایسه می‌کند. پزشکان ممکن است بپرسند: «چرا دارو برای بیمار من اثر نکرد؟». و ممکن است بخواهند توضیحی که بیمارشان را با بیماری که دارو برایش اثر کرد و شبیه به بیمار پاسخ‌ندهنده است، مقایسه می‌کند. توضیحات تقابلی راحت‌تر از توضیحات کامل قابل درک هستند. یک توضیح کامل برای سؤال پزشک که چرا دارو اثر نمی‌کند ممکن است شامل باشد: بیمار ۱۰ سال است که این بیماری را دارد، ۱۱ ژن بیش از حد بیان می‌شوند، بدن بیمار خیلی سریع دارو را به مواد شیمیایی غیرمؤثر تبدیل می‌کند، … یک توضیح تقابلی ممکن است بسیار ساده‌تر باشد: در مقایسه با بیمار پاسخ‌دهنده، بیمار پاسخ‌ندهنده ترکیب خاصی از ژن‌ها دارد که دارو را کمتر مؤثر می‌کند. بهترین توضیح کسی است که بیشترین تفاوت بین شیء موردنظر و شیء مرجع را برجسته کند. معنی این برای یادگیری ماشین تفسیرپذیر: انسان‌ها توضیح کاملی برای یک پیش‌بینی نمی‌خواهند، بلکه می‌خواهند مقایسه کنند که تفاوت‌ها با پیش‌بینی نمونه دیگر چه بود (می‌تواند مصنوعی باشد). ایجاد توضیحات تقابلی به کاربرد وابسته است زیرا نیازمند نقطه مرجعی برای مقایسه است. و این ممکن است به نقطه داده‌ای که باید توضیح داده شود وابسته باشد، اما همچنین به کاربری که توضیح را دریافت می‌کند. کاربر یک وب‌سایت پیش‌بینی قیمت خانه ممکن است بخواهد توضیحی از پیش‌بینی قیمت خانه تقابلی با خانه خودش یا شاید با خانه دیگری در وب‌سایت یا شاید با یک خانه میانگین در محله داشته باشد. راه‌حل برای ایجاد خودکار توضیحات تقابلی ممکن است شامل یافتن نمونه‌های اولیه یا کهن‌الگوها در داده نیز باشد.

توضیحات گزینشی هستند. مردم انتظار ندارند که توضیحات فهرست واقعی و کامل علل یک رویداد را پوشش دهند. ما عادت داریم یک یا دو علت را از تنوع علل ممکن به‌عنوان توضیح انتخاب کنیم. به‌عنوان شاهد، اخبار تلویزیون را روشن کنید: «کاهش قیمت سهام به واکنش روزافزون علیه محصول شرکت به دلیل مشکلات با آخرین به‌روزرسانی نرم‌افزار نسبت داده می‌شود.» «سوباسا و تیمش مسابقه را به دلیل دفاع ضعیف باختند: آن‌ها به حریفان خود فضای بیش از حد زیادی برای اجرای استراتژی‌شان دادند.» «افزایش بی‌اعتمادی به نهادهای مستقر و دولت ما عوامل اصلی‌ای هستند که مشارکت رأی‌دهندگان را کاهش داده‌اند.» برای مدل‌های یادگیری ماشین، مفید است اگر یک پیش‌بینی خوب بتوان از ویژگی‌های مختلف انجام داد. روش‌های مجموعه‌ای که چندین مدل با ویژگی‌های متفاوت (توضیحات متفاوت) را ترکیب می‌کنند، معمولاً عملکرد خوبی دارند زیرا میانگین‌گیری روی آن «داستان‌ها» پیش‌بینی‌ها را قوی‌تر و دقیق‌تر می‌کند. اما این همچنین به این معناست که بیش از یک توضیح گزینشی برای اینکه چرا یک پیش‌بینی خاص انجام شد، وجود دارد. معنی این برای یادگیری ماشین تفسیرپذیر: توضیح را کوتاه کنید، فقط ۱ تا ۳ دلیل بدهید، حتی اگر دنیا پیچیده‌تر باشد.

توضیحات اجتماعی هستند. آن‌ها بخشی از یک مکالمه یا تعامل بین توضیح‌دهنده و دریافت‌کننده توضیح هستند. زمینه اجتماعی محتوا و ماهیت توضیحات را تعیین می‌کند. اگر من می‌خواستم به یک فرد فنی توضیح دهم که چرا ارزهای دیجیتال ارزش زیادی دارند، چنین چیزهایی می‌گفتم: «دفتر کل غیرمتمرکز، توزیع‌شده و مبتنی بر بلاک‌چین، که نمی‌تواند توسط یک نهاد مرکزی کنترل شود، با افرادی که می‌خواهند ثروت خود را ایمن کنند، طنین‌انداز می‌شود، که تقاضا و قیمت بالا را توضیح می‌دهد.» اما به مادربزرگم می‌گفتم: «ببین، مادربزرگ: ارزهای دیجیتال کمی شبیه طلای رایانه‌ای هستند. مردم طلا را دوست دارند و برای آن پول زیادی می‌پردازند، و جوان‌ها طلای رایانه‌ای را دوست دارند و برای آن پول زیادی می‌پردازند.» معنی این برای یادگیری ماشین تفسیرپذیر: به محیط اجتماعی کاربرد یادگیری ماشین و مخاطب هدف خود توجه کنید. درست کردن بخش اجتماعی مدل یادگیری ماشین کاملاً به کاربرد خاص شما بستگی دارد. متخصصانی از علوم انسانی (مثلاً روان‌شناسان و جامعه‌شناسان) پیدا کنید تا به شما کمک کنند.

توضیحات بر غیرعادی تمرکز می‌کنند. مردم بیشتر بر علل غیرعادی برای توضیح رویدادها تمرکز می‌کنند (Kahneman and Tversky 1982). این‌ها علل‌ای هستند که احتمال کمی داشتند اما با این حال رخ دادند. حذف این علل غیرعادی به‌شدت نتیجه را تغییر می‌داد (توضیح خلاف واقع). انسان‌ها این نوع علل «غیرعادی» را به‌عنوان توضیحات خوب در نظر می‌گیرند. یک مثال از اشترامبل و کونونکو (Štrumbelj and Kononenko 2011) این است: فرض کنید ما مجموعه داده‌ای از موقعیت‌های آزمون بین معلمان و دانش‌آموزان داریم. دانش‌آموزان در یک دوره شرکت می‌کنند و بلافاصله پس از ارائه موفقیت‌آمیز، از دوره قبول می‌شوند. معلم این گزینه را دارد که به‌طور اضافی از دانش‌آموز سؤالاتی برای آزمایش دانش او بپرسد. دانش‌آموزانی که نمی‌توانند به این سؤالات پاسخ دهند، در دوره مردود می‌شوند. دانش‌آموزان می‌توانند سطوح مختلفی از آمادگی داشته باشند، که به احتمالات مختلفی برای پاسخ صحیح به سؤالات معلم (اگر تصمیم بگیرد دانش‌آموز را آزمایش کند) ترجمه می‌شود. ما می‌خواهیم پیش‌بینی کنیم که آیا دانش‌آموز از دوره قبول خواهد شد و پیش‌بینی خود را توضیح دهیم. شانس قبولی ۱۰۰٪ است اگر معلم سؤال اضافی نپرسد؛ در غیر این صورت، احتمال قبولی به سطح آمادگی دانش‌آموز و احتمال ناشی از پاسخ صحیح به سؤالات بستگی دارد. سناریو ۱: معلم معمولاً از دانش‌آموزان سؤالات اضافی می‌پرسد (مثلاً ۹۵ بار از ۱۰۰ بار). دانش‌آموزی که مطالعه نکرده است (۱۰٪ شانس قبولی در بخش سؤال) یکی از خوش‌شانس‌ها نبود و سؤالات اضافی دریافت می‌کند که نمی‌تواند به آن‌ها پاسخ صحیح دهد. چرا دانش‌آموز در دوره مردود شد؟ من می‌گویم که تقصیر دانش‌آموز بود که مطالعه نکرد. سناریو ۲: معلم به‌ندرت سؤالات اضافی می‌پرسد (مثلاً ۲ بار از ۱۰۰ بار). برای دانش‌آموزی که برای سؤالات آماده نشده است، احتمال بالایی برای قبولی از دوره پیش‌بینی می‌کنیم زیرا سؤالات بعید است. البته، یکی از دانش‌آموزان برای سؤالات آماده نشده است، که به او ۱۰٪ شانس قبولی در سؤالات می‌دهد. او بدشانس است و معلم سؤالات اضافی می‌پرسد که دانش‌آموز نمی‌تواند پاسخ دهد، و او مردود می‌شود. دلیل مردودی چیست؟ من استدلال می‌کنم که اکنون، توضیح بهتر این است که «چون معلم دانش‌آموز را آزمایش کرد.» بعید بود که معلم آزمایش کند، بنابراین معلم به‌طور غیرعادی رفتار کرد. معنی این برای یادگیری ماشین تفسیرپذیر: اگر یکی از ویژگی‌های ورودی برای یک پیش‌بینی به هر معنا غیرعادی بود (مانند یک دسته نادر از یک ویژگی طبقه‌ای) و ویژگی بر پیش‌بینی تأثیر گذاشت، باید در یک توضیح گنجانده شود، حتی اگر ویژگی‌های «عادی» دیگر همان تأثیر بر پیش‌بینی را داشته باشند که ویژگی غیرعادی. یک ویژگی غیرعادی در مثال پیش‌بینی قیمت خانه ما ممکن است این باشد که یک خانه نسبتاً گران دو بالکن دارد. حتی اگر برخی روش‌های انتساب بیابند که دو بالکن به همان اندازه اندازه بالاتر از میانگین خانه، محله خوب یا بازسازی اخیر به تفاوت قیمت کمک می‌کنند، ویژگی غیرعادی «دو بالکن» ممکن است بهترین توضیح برای اینکه چرا خانه این‌قدر گران است باشد.

توضیحات صادقانه هستند. توضیحات خوب در واقعیت (یعنی در موقعیت‌های دیگر) صادقانه به اثبات می‌رسند. اما به‌طور نگران‌کننده، این مهم‌ترین عامل برای یک توضیح «خوب» نیست. برای مثال، گزینشی بودن به نظر می‌رسد مهم‌تر از صداقت باشد. یک توضیحی که فقط یک یا دو علت ممکن را انتخاب می‌کند، به‌ندرت کل فهرست علل مرتبط را پوشش می‌دهد. گزینشی بودن بخشی از حقیقت را حذف می‌کند. درست نیست که فقط یک یا دو عامل، برای مثال، باعث سقوط بازار سهام شده‌اند، اما حقیقت این است که میلیون‌ها علت وجود دارند که بر میلیون‌ها نفر تأثیر می‌گذارند تا به‌گونه‌ای عمل کنند که در نهایت سقوطی ایجاد شود. معنی این برای یادگیری ماشین تفسیرپذیر: توضیح باید رویداد را تا حد امکان صادقانه پیش‌بینی کند، که در یادگیری ماشین گاهی اوقات به آن وفاداری گفته می‌شود. پس اگر بگوییم یک بالکن دوم قیمت خانه را افزایش می‌دهد، پس باید برای خانه‌های دیگر نیز صدق کند (یا حداقل برای خانه‌های مشابه). برای انسان‌ها، وفاداری یک توضیح به‌اندازه گزینشی بودن، تقابل و جنبه اجتماعی آن مهم نیست.

توضیحات خوب با باورهای قبلی توضیح‌گیرنده سازگار هستند. انسان‌ها تمایل دارند اطلاعاتی که با باورهای قبلی‌شان ناسازگار است را نادیده بگیرند. این اثر بایاس تأیید نامیده می‌شود (Nickerson 1998). توضیحات از این بایاس در امان نیستند. مردم تمایل دارند توضیحاتی که با باورهایشان موافق نیستند را کم‌ارزش کنند یا نادیده بگیرند. مجموعه باورها از شخصی به شخص دیگر متفاوت است، اما باورهای قبلی مبتنی بر گروه مانند جهان‌بینی‌های سیاسی نیز وجود دارد. معنی این برای یادگیری ماشین تفسیرپذیر: توضیحات خوب با باورهای قبلی سازگار هستند. ادغام این در یادگیری ماشین دشوار است و احتمالاً عملکرد پیش‌بینی را به‌شدت به خطر می‌اندازد. باور قبلی ما برای تأثیر اندازه خانه بر قیمت پیش‌بینی‌شده این است که هرچه خانه بزرگ‌تر باشد، قیمت بالاتر است. فرض کنیم یک مدل نیز یک اثر منفی از اندازه خانه بر قیمت پیش‌بینی‌شده برای چند خانه نشان می‌دهد. مدل این را یاد گرفته است زیرا عملکرد پیش‌بینی را بهبود می‌بخشد (به دلیل برخی تعاملات پیچیده)، اما این رفتار به‌شدت با باورهای قبلی ما در تضاد است. شما می‌توانید محدودیت‌های یکنواختی را اعمال کنید (یک ویژگی فقط می‌تواند بر پیش‌بینی در یک جهت تأثیر بگذارد) یا از چیزی مانند یک مدل خطی که این ویژگی را دارد، استفاده کنید.

توضیحات خوب کلی و محتمل هستند. علتی که می‌تواند رویدادهای زیادی را توضیح دهد، «کلی» نامیده می‌شود و می‌تواند یک توضیح خوب در نظر گرفته شود. توجه کنید که این با ادعای اینکه علل غیرعادی توضیحات خوبی می‌سازند، در تضاد است. همان‌طور که من می‌بینم، علل غیرعادی بر علل کلی پیروز می‌شوند. علل غیرعادی طبق تعریف در سناریوی داده‌شده نادر هستند. در غیاب یک رویداد غیرعادی، یک توضیح کلی به‌عنوان یک توضیح خوب در نظر گرفته می‌شود. همچنین به یاد داشته باشید که مردم تمایل دارند احتمالات رویدادهای مشترک را اشتباه قضاوت کنند. (جو یک کتابدار است. آیا احتمال بیشتری دارد که یک فرد خجالتی باشد یا یک فرد خجالتی که دوست دارد کتاب بخواند؟) یک مثال خوب این است که «خانه گران است چون بزرگ است»، که یک توضیح بسیار کلی و خوب برای اینکه چرا خانه‌ها گران یا ارزان هستند. معنی این برای یادگیری ماشین تفسیرپذیر: کلی بودن به‌راحتی با پشتیبانی ویژگی قابل اندازه‌گیری است، که تعداد نمونه‌هایی است که توضیح برای آن‌ها صدق می‌کند تقسیم بر تعداد کل نمونه‌ها.

فصل ۳: اهداف تفسیرپذیری

عنوان اصلی: Goals of Interpretability
منبع: https://christophm.github.io/interpretable-ml-book/goals.html
نویسنده: Christoph Molnar
مترجم: مریم محمودی


تفسیرپذیری خود هدف نیست، بلکه وسیله‌ای برای رسیدن به هدف است. انتخاب رویکرد تفسیرپذیری بستگی به اهداف خاص شما دارد که نیازمند بحث بیشتری است.¹ با الهام از Adadi و Berrada (2018)، سه هدف از تفسیرپذیری را بررسی می‌کنیم: بهبود مدل، توجیه مدل و پیش‌بینی‌ها، و کشف بینش‌های جدید.²

بهبود مدل

نکته: همیشه عملکرد را ارزیابی کنید

هنگام تعیین اهداف تفسیرپذیری، ابتدا معیارهای عملکرد مدل خود را ارزیابی کنید. این کار به شما کمک می‌کند تشخیص دهید که آیا هدف فعلی شما باید بهبود مدل باشد یا خیر.

می‌توانید از روش‌های تفسیرپذیری برای بهبود مدل استفاده کنید. در مقدمه، درباره پیش‌بینی‌کننده‌های Clever Hans صحبت کردیم که به مدل‌هایی اشاره دارد که یاد گرفته‌اند از «میانبرها» استفاده کنند، مانند اتکا به ویژگی‌های غیرعلّی برای پیش‌بینی. نکته پیچیده درباره این میانبرها این است که اغلب عملکرد مدل را کاهش نمی‌دهند—بلکه ممکن است آن را افزایش دهند. مثل اتکا به برف در پس‌زمینه برای طبقه‌بندی اینکه تصویر یک گرگ را نشان می‌دهد یا سگ (Ribeiro, Singh, and Guestrin 2016) یا پیش‌بینی گمراه‌کننده اینکه بیماران آسمی که به اورژانس بیمارستان مراجعه می‌کنند، احتمال کمتری برای مرگ ناشی از ذات‌الریه دارند (Caruana et al. 2015).³ تفسیرپذیری به اشکال‌زدایی مدل کمک می‌کند و مشخص می‌کند که مدل چه زمانی از چنین میانبرهای ناخواسته‌ای استفاده می‌کند یا اشتباهات دیگری مرتکب می‌شود. برخی از این اشکالات ممکن است به سادگی کدگذاری اشتباه ویژگی هدف یا خطا در مهندسی ویژگی باشد. آیا اثرات ویژگی‌ها با دانش حوزه‌ای شما در تضاد است؟ ممکن است کلاس‌های هدف را جابه‌جا کرده باشید. آیا ویژگی‌ای که می‌دانید مهم است، طبق بررسی‌های شما توسط مدل استفاده نمی‌شود؟ ممکن است در پردازش داده یا مهندسی ویژگی اشتباهی مرتکب شده باشید.

من همچنین در مسابقات یادگیری ماشین از روش‌های تفسیرپذیری برای شناسایی ویژگی‌های مهم استفاده کرده‌ام تا ایده‌هایی برای مهندسی ویژگی به دست آورم. به عنوان مثال، در مسابقه‌ای برای پیش‌بینی تأمین آب شرکت کردم و از طریق اهمیت ویژگی متوجه شدم که برف در کوه‌های اطراف، مهم‌ترین ویژگی است. بنابراین تصمیم گرفتم منابع جایگزین داده برف را امتحان کنم که ممکن است این ویژگی را حتی بهتر کند، و زمانی را صرف مهندسی ویژگی کردم. در نهایت، این کار به بهبود عملکرد مدل کمک کرد.

توجیه مدل و پیش‌بینی‌ها

یادگیری ماشین قابل تفسیر به توجیه مدل و پیش‌بینی‌های آن برای افراد یا نهادهای دیگر کمک می‌کند. تفکر درباره ذینفعان یک سیستم یادگیری ماشین مفید است (Tomsett et al. 2018):

  • سازندگان (Creators) سیستم را می‌سازند و مدل را آموزش می‌دهند.
  • اپراتورها (Operators) مستقیماً با سیستم تعامل دارند.
  • اجراکنندگان (Executors) بر اساس خروجی‌ها تصمیم می‌گیرند.
  • موضوعات تصمیم (Decision subjects) تحت تأثیر تصمیمات قرار می‌گیرند.
  • حسابرسان (Auditors) سیستم را حسابرسی و بررسی می‌کنند.
  • موضوعات داده (Data subjects) افرادی هستند که داده‌های آن‌ها برای آموزش مدل استفاده می‌شود.

این ذینفعان خواهان توجیه مدل و پیش‌بینی‌های آن هستند و ممکن است به انواع بسیار متفاوتی از توجیه نیاز داشته باشند.

یکی از خروجی‌های مسابقه یادگیری ماشینی که در آن شرکت کردم، تولید گزارش‌هایی بود که پیش‌بینی‌های تأمین آب را توضیح می‌داد. این گزارش‌ها و توضیحات برای هیدرولوژیست‌ها و مقامات رسمی است که باید بر اساس این پیش‌بینی‌های تأمین آب تصمیم بگیرند (اجراکنندگان). فرض کنید مدل یک تأمین آب غیرمعمول پایین را پیش‌بینی می‌کند؛ این به معنای آن است که مقامات باید طرح‌های اضطراری خشکسالی را اعلام کنند و تخصیص آب را تنظیم کنند. به جای اینکه کورکورانه به پیش‌بینی‌ها اعتماد کنند، تصمیم‌گیرنده ممکن است بخواهد با نگاه کردن به توضیحات اینکه چرا این پیش‌بینی خاص انجام شده، پیش‌بینی‌ها را تأیید کند. و اگر توضیح با دانش حوزه‌ای در تضاد باشد، تصمیم‌گیرنده ممکن است پیش‌بینی را زیر سؤال ببرد و بررسی کند.

به طور کلی، اعتراض به پیش‌بینی انجام شده توسط یک سیستم یادگیری ماشین، نیازمند تفسیرپذیری سیستم است. تصور کنید یک سیستم یادگیری ماشین درخواست وام را رد می‌کند. برای اینکه یک فرد (موضوع تصمیم) بتواند به آن رد اعتراض کند، باید توجیهی برای اینکه چرا آن پیش‌بینی انجام شده وجود داشته باشد. این مفهوم را recourse می‌نامند.

مثال دیگر: اگر یک شرکت بخواهد یک دستگاه پزشکی بسازد، باید از فرآیندهای نظارتی زیادی عبور کند تا نشان دهد که دستگاه ایمن و کارآمد است. اگر دستگاه به یادگیری ماشین متکی باشد، کارها پیچیده‌تر می‌شود زیرا شرکت همچنین باید نشان دهد که مدل یادگیری ماشین آنطور که در نظر گرفته شده کار می‌کند. یادگیری ماشین قابل تفسیر بخشی از راه‌حل برای توجیه مدل به نهادهای نظارتی (حسابرسان) است که یا دستگاه پزشکی را تأیید یا رد می‌کنند.

کشف بینش‌ها

مدل‌های یادگیری ماشین فقط برای پیش‌بینی استفاده نمی‌شوند؛ آن‌ها همچنین می‌توانند برای تصمیم‌گیری یا مطالعه رابطه بین ویژگی‌ها و هدف استفاده شوند. در هر دو مورد، پیش‌بینی‌ها کافی نیستند، بلکه می‌خواهیم بینش‌های اضافی از مدل استخراج کنیم.

یک مدل پیش‌بینی ریزش مشتری (churn prediction) پیش‌بینی می‌کند که احتمال لغو قرارداد تلفن همراه یک فرد چقدر است، به عنوان مثال. تیم بازاریابی ممکن است برای تصمیم‌گیری درباره کمپین‌های بازاریابی به مدل تکیه کند. اما بدون دانستن اینکه چرا احتمال دارد یک فرد قرارداد را لغو کند، طراحی یک پاسخ مؤثر دشوار است.

بیش از پیش، دانشمندان نیز یادگیری ماشین را برای سؤالات تحقیقاتی خود به کار می‌برند. به عنوان مثال، Zhang و همکاران (2019) از Random Forest برای پیش‌بینی محصول بادام باغ بر اساس مصرف کود استفاده کردند. پیش‌بینی کافی نیست: آن‌ها همچنین از روش‌های تفسیرپذیری برای استخراج اینکه ویژگی‌های مختلف، از جمله کود، چگونه بر محصول پیش‌بینی‌شده تأثیر می‌گذارند، استفاده کردند. برای استخراج روابط یادگرفته‌شده بین ویژگی‌ها و پیش‌بینی، به تفسیرپذیری نیاز دارید. در غیر این صورت، تنها چیزی که دارید یک تابع برای پیش‌بینی است.

نکته: چگونه از یادگیری ماشین در علم استفاده کنیم

استفاده از یادگیری ماشین در علم، یک سؤال فلسفی بسیار عمیق‌تر است و بیش از صرفاً تفکر درباره تفسیرپذیری نیاز دارد. به همین دلیل من و Timo Freiesleben کتابی را به توجیه یادگیری ماشین برای علم اختصاص داده‌ایم.

می‌توانید آن را رایگان اینجا بخوانید: ml-science-book.com


یادگیری ماشین قابل تفسیر نه تنها برای یادگیری درباره داده‌ها، بلکه برای یادگیری درباره مدل نیز مفید است. به عنوان مثال، اگر می‌خواهید بیاموزید که شبکه‌های عصبی کانولوشنال چگونه کار می‌کنند، می‌توانید از تفسیرپذیری برای مطالعه اینکه نورون‌های منفرد به چه مفاهیمی واکنش نشان می‌دهند، استفاده کنید.

اهداف شما در پروژه یادگیری ماشین چیست و تفسیرپذیری چگونه می‌تواند به شما کمک کند؟ اهداف شما تعیین می‌کند که از کدام رویکردها و روش‌های تفسیرپذیری استفاده کنید. در فصل بعد، به بررسی چشم‌انداز روش‌ها می‌پردازیم و بحث می‌کنیم که چگونه با اهداف شما مرتبط هستند.


¹ زمانی که محققان مدل‌ها یا روش‌های تفسیرپذیری جدیدی پیشنهاد می‌کنند، به ندرت درباره اهداف خاصی که آن‌ها را پشتیبانی می‌کنند، بحث می‌کنند. من خودم را در اینجا مستثنی نمی‌کنم: به عنوان مثال، این فصل درباره اهداف را تا ویرایش سوم کتاب معرفی نکردم.

² مقاله Adadi و Berrada (2018) علاوه بر این، «کنترل (control)» را معرفی کرد که به اشکال‌زدایی مدل و یافتن خطاها اشاره دارد، اما من آن را در زیرمجموعه «بهبود» قرار دادم.

³ یک مدل پیش‌بینی کرد که بیماران آسمی که با ذات‌الریه به اورژانس می‌آیند، احتمال کمتری برای مرگ ناشی از ذات‌الریه دارند، علی‌رغم اینکه آسم به عنوان یک عامل خطر برای ذات‌الریه شناخته می‌شود. فقط به لطف استفاده از یک مدل قابل تفسیر، محققان متوجه شدند که این مدل این رابطه را یاد گرفته است. اما این یک «میانبر» ناخواسته است: بیماران آسمی زودتر و تهاجمی‌تر با آنتی‌بیوتیک‌ها درمان می‌شدند، بنابراین در واقع احتمال کمتری برای ابتلا به ذات‌الریه شدید داشتند. مدل میانبر را یاد گرفته بود (آسم → کاهش خطر مرگ ناشی از ذات‌الریه)، زیرا ویژگی‌هایی درباره درمان بعدی نداشت.

فصل ۴: مروری بر روش‌ها

عنوان اصلی: Methods Overview
منبع: https://christophm.github.io/interpretable-ml-book/overview.html
نویسنده: Christoph Molnar
مترجم: مریم محمودی


این فصل مروری بر رویکردهای تفسیرپذیری ارائه می‌دهد. هدف این است که نقشه‌ای در اختیار شما قرار دهیم تا وقتی وارد جزئیات مدل‌ها و روش‌های مختلف می‌شوید، بتوانید جنگل را از میان درختان ببینید. شکل ۴.۱ طبقه‌بندی رویکردهای مختلف را نشان می‌دهد.

شکل ۴.۱: طبقه‌بندی مختصر روش‌های تفسیرپذیری که ساختار کتاب را منعکس می‌کند.

به طور کلی می‌توانیم بین تفسیرپذیری از طریق طراحی و تفسیرپذیری پسینی تمایز قائل شویم. تفسیرپذیری از طریق طراحی به این معناست که مدل‌هایی را آموزش می‌دهیم که ذاتاً قابل تفسیر هستند، مانند استفاده از رگرسیون لجستیک به جای جنگل تصادفی. تفسیرپذیری پسینی به این معناست که از یک روش تفسیرپذیری پس از آموزش مدل استفاده می‌کنیم. روش‌های تفسیر پسینی می‌توانند مدل-ناآگاه باشند، مانند اهمیت ویژگی با جایگشت، یا مدل-خاص، مانند تحلیل ویژگی‌های یادگرفته شده توسط یک شبکه عصبی. روش‌های مدل-ناآگاه را می‌توان به روش‌های موضعی که بر توضیح پیش‌بینی‌های فردی تمرکز دارند، و روش‌های سراسری که بر مجموعه داده‌ها متمرکز هستند، تقسیم کرد. این کتاب بر روش‌های پسینی مدل-ناآگاه تمرکز دارد اما مدل‌های پایه‌ای که از طریق طراحی قابل تفسیر هستند و روش‌های مدل-خاص برای شبکه‌های عصبی را نیز پوشش می‌دهد.

بیایید به هر دسته از تفسیرپذیری نگاه کنیم و همچنین نقاط قوت و ضعف آن‌ها را در ارتباط با اهداف تفسیری شما بررسی کنیم.

مدل‌های قابل تفسیر از طریق طراحی

تفسیرپذیری از طریق طراحی در سطح الگوریتم یادگیری ماشین تصمیم‌گیری می‌شود. اگر می‌خواهید یک الگوریتم یادگیری ماشین که مدل‌های قابل تفسیر تولید می‌کند، داشته باشید، الگوریتم باید جستجوی مدل‌ها را به آن‌هایی که قابل تفسیر هستند محدود کند. ساده‌ترین مثال رگرسیون خطی است: وقتی از روش حداقل مربعات معمولی برای برازش/آموزش یک مدل رگرسیون خطی استفاده می‌کنید، از الگوریتمی استفاده می‌کنید که مدل‌هایی خطی نسبت به ویژگی‌های ورودی تولید خواهد کرد. مدل‌هایی که از طریق طراحی قابل تفسیر هستند، مدل‌های ذاتاً یا فطرتاً قابل تفسیر نیز نامیده می‌شوند، شکل ۴.۲ را ببینید.

شکل ۴.۲: تفسیرپذیری از طریق طراحی به معنای استفاده از الگوریتم‌های یادگیری ماشین است که مدل‌های «ذاتاً قابل تفسیر» تولید می‌کنند.

این کتاب پایه‌ای‌ترین رویکردهای تفسیرپذیری از طریق طراحی را پوشش می‌دهد:

  • رگرسیون خطی: برازش یک مدل خطی با کمینه‌سازی مجموع خطاهای مربعی.
  • رگرسیون لجستیک: گسترش رگرسیون خطی برای دسته‌بندی با استفاده از یک تبدیل غیرخطی.
  • گسترش‌های مدل خطی: افزودن جریمه‌ها، تعاملات و عبارات غیرخطی برای انعطاف‌پذیری بیشتر.
  • درخت‌های تصمیم: تقسیم بازگشتی داده‌ها برای ایجاد مدل‌های مبتنی بر درخت.
  • قواعد تصمیم: استخراج قواعد اگر-آنگاه از داده‌ها.
  • RuleFit: ترکیب قواعد مبتنی بر درخت با رگرسیون Lasso برای یادگیری مدل‌های تنک مبتنی بر قاعده.

رویکردهای بسیار بیشتری برای مدل‌های قابل تفسیر وجود دارد، از گسترش‌های این رویکردهای پایه تا رویکردهای بسیار تخصصی. گنجاندن همه آن‌ها غیرممکن خواهد بود، بنابراین من بر روی رویکردهای پایه تمرکز کرده‌ام. در اینجا چند نمونه از رویکردهای دیگر قابل تفسیر از طریق طراحی آورده شده است:

  • شبکه‌های عصبی مبتنی بر نمونه اولیه (Prototype) برای دسته‌بندی تصویر، به نام ProtoViT (Ma et al. 2024). این شبکه‌های عصبی به گونه‌ای آموزش داده می‌شوند که دسته‌بندی تصویر مجموع وزن‌داری از نمونه‌های اولیه (تصاویر خاصی از داده‌های آموزش) و نمونه‌های فرعی اولیه باشد.
  • Yang et al. (2024) مجموعه درختان ذاتاً قابل تفسیر را پیشنهاد کردند که درختان تقویت‌شده (مانند XGBoost) با ابرپارامترهای تنظیم‌شده هستند، مانند حداکثر عمق کم درخت، یک نمایش متفاوت که در آن اثرات ویژگی به اثرات اصلی و تعاملات تقسیم می‌شوند، و هرس اثرات. این رویکرد هم تفسیرپذیری از طریق طراحی و هم تفسیرپذیری پسینی را با هم ترکیب می‌کند.
  • تقویت مبتنی بر مدل (Model-based boosting) یک چارچوب مدل‌سازی افزایشی است. مدل آموزش‌دیده مجموع وزن‌داری از اثرات خطی، spline‌ها، کنده‌های درختی و سایر یادگیرندگان ضعیف است (Bühlmann and Hothorn 2007).
  • مدل‌های افزایشی تعمیم‌یافته با تشخیص خودکار تعاملات (Caruana et al. 2015).

اما مدل‌های ذاتاً قابل تفسیر چقدر قابل تفسیر هستند؟ رویکردهای مدل‌های قابل تفسیر به شدت متفاوت هستند و تفسیر آن‌ها نیز همین‌طور است. بیایید درباره حوزه تفسیرپذیری صحبت کنیم که به ما کمک می‌کند رویکردها را مرتب کنیم:

  • مدل به طور کامل قابل تفسیر است. مثال: یک درخت تصمیم کوچک را می‌توان به راحتی تجسم و درک کرد. یا یک مدل رگرسیون خطی با تعداد ضرایب نه چندان زیاد. «کاملاً قابل تفسیر» یک الزام سخت است و در عین حال کمی مبهم نیز هست. دیدگاه من این است که اصطلاح کاملاً قابل تفسیر ممکن است تنها برای ساده‌ترین مدل‌ها مانند رگرسیون خطی بسیار تنک یا درخت‌های بسیار کوتاه استفاده شود، اگر اصلاً استفاده شود.
  • بخش‌هایی از مدل قابل تفسیر هستند. در حالی که یک مدل رگرسیون با صدها ویژگی ممکن است «کاملاً قابل تفسیر» نباشد، هنوز می‌توانیم ضرایب مرتبط با ویژگی‌ها را به صورت جداگانه تفسیر کنیم. یا اگر یک لیست تصمیم بزرگ دارید، هنوز می‌توانید قواعد فردی را بررسی کنید.
  • پیش‌بینی‌های مدل قابل تفسیر هستند. برخی رویکردها به ما اجازه می‌دهند پیش‌بینی‌های فردی را تفسیر کنیم. فرض کنید یک الگوریتم یادگیری ماشین شبیه k-نزدیک‌ترین همسایه توسعه دهید، اما برای تصاویر. برای دسته‌بندی یک تصویر، k تصویر مشابه را بگیرید و رایج‌ترین کلاس را برگردانید. یک پیش‌بینی به طور کامل با نمایش k تصویر مشابه توضیح داده می‌شود. یا برای درخت‌های تصمیم، یک پیش‌بینی با برگرداندن لیست تصمیماتی که منجر به پیش‌بینی شد، توضیح داده می‌شود.

نکته: حوزه تفسیرپذیری روش‌ها را ارزیابی کنید

هنگام بررسی یک رویکرد تفسیرپذیری جدید، حوزه تفسیرپذیری را ارزیابی کنید. بپرسید که رویکرد در کدام سطوح (کاملاً قابل تفسیر، تفسیرپذیری جزئی، یا پیش‌بینی‌های قابل تفسیر) عمل می‌کند.

مدل‌هایی که از طریق طراحی قابل تفسیر هستند، معمولاً اشکال‌زدایی و بهبود آن‌ها آسان‌تر است زیرا بینش‌هایی درباره کارکرد درونی آن‌ها به دست می‌آوریم.

تفسیرپذیری از طریق طراحی همچنین در توجیه مدل‌ها و خروجی‌ها درخشش دارد، زیرا اغلب به درستی توضیح می‌دهند که چگونه پیش‌بینی‌ها انجام شده‌اند. آن‌ها همچنین تمایل دارند بررسی سازگاری مدل‌ها با دانش تخصصی حوزه را آسان‌تر کنند. بسیاری از زمینه‌های مبتنی بر داده از قبل رویکردهای مدل‌سازی (قابل تفسیر) مستقری دارند، مانند رگرسیون لجستیک در تحقیقات پزشکی.

وقتی صحبت از کشف بینش‌ها می‌شود، مدل‌های قابل تفسیر ترکیبی هستند. آن‌ها استخراج بینش‌ها درباره خود مدل‌ها را آسان می‌کنند. اما وقتی صحبت از بینش‌های داده می‌شود، کار دشوارتر می‌شود زیرا نیاز به یک پیوند نظری بین ساختار مدل و داده وجود دارد. برای تفسیر مدل به جای داده، باید فرض کنید که ساختار مدل جهان را منعکس می‌کند – چیزی که آماردانان بسیار سخت بر روی آن کار می‌کنند و به فرضیات زیادی نیاز دارند. اما اگر مدلی با عملکرد پیش‌بینی بهتر وجود داشته باشد چه؟ باید استدلال کنید که چرا مدل قابل تفسیر داده‌ها را به درستی نمایش می‌دهد، حتی اگر عملکرد پیش‌بینی آن پایین‌تر باشد. علاوه بر این، اغلب مدل‌های متعددی با عملکرد مشابه اما تفسیرهای متفاوت وجود دارند که کار ما را دشوارتر می‌کند. به این اثر راشومون می‌گویند. مشکل این تکثر مدل این است که کاملاً نامشخص می‌کند که کدام مدل را تفسیر کنیم.

نکته: راشومون

فیلم ژاپنی راشومون از سال ۱۹۵۰ چهار نسخه متفاوت از یک داستان قتل را روایت می‌کند. در حالی که هر نسخه می‌تواند رویدادها را به خوبی توضیح دهد، با یکدیگر ناسازگار هستند. این پدیده اثر راشومون نامیده شد.

تفسیرپذیری پسینی

روش‌های پسینی پس از آموزش مدل اعمال می‌شوند. این روش‌ها می‌توانند مدل-ناآگاه یا مدل-خاص باشند:

  • مدل-ناآگاه: آنچه در داخل مدل است را نادیده می‌گیریم و تنها تحلیل می‌کنیم که چگونه خروجی مدل با توجه به تغییرات در ورودی‌های ویژگی تغییر می‌کند. برای مثال، جایگشت یک ویژگی و اندازه‌گیری میزان افزایش خطای مدل.
  • مدل-خاص: بخش‌هایی از مدل را تحلیل می‌کنیم تا آن را بهتر درک کنیم. این می‌تواند تحلیل این باشد که یک نرون در یک شبکه عصبی به چه نوع تصاویری بیشترین واکنش را نشان می‌دهد، یا اهمیت جینی در جنگل‌های تصادفی.

روش‌های پسینی مدل-ناآگاه

روش‌های مدل-ناآگاه بر اساس اصل SIPA کار می‌کنند: نمونه‌برداری از داده‌ها، انجام یک مداخله بر روی داده‌ها، دریافت پیش‌بینی‌ها برای داده‌های دستکاری‌شده، و تجمیع نتایج (Scholbeck et al. 2020). مثالی از این، اهمیت ویژگی با جایگشت است: یک نمونه داده می‌گیریم، با جایگشت آن بر روی داده مداخله می‌کنیم، پیش‌بینی‌های مدل را دریافت می‌کنیم، و خطای مدل را دوباره محاسبه و با خطای اصلی مقایسه می‌کنیم (تجمیع). آنچه این روش‌ها را مدل-ناآگاه می‌کند این است که نیازی به «نگاه کردن به داخل» مدل ندارند، مانند خواندن ضرایب یا وزن‌ها، همان‌طور که در شکل ۴.۳ نمایش داده شده است.

شکل ۴.۳: روش‌های تفسیر مدل-ناآگاه با ورودی‌ها و خروجی‌ها کار می‌کنند و داخلی‌های مدل را نادیده می‌گیرند.

تفسیر مدل-ناآگاه، تفسیر مدل را از آموزش مدل جدا می‌کند. با نگاه کردن به این موضوع از سطح بالاتر، فرآیند مدل‌سازی یک لایه دیگر به دست می‌آورد: از جهان شروع می‌شود که آن را در قالب داده ضبط می‌کنیم، از آن یک مدل یاد می‌گیریم. در بالای آن مدل، روش‌های تفسیرپذیری برای انسان‌ها داریم. شکل ۴.۴ را ببینید. برای روش‌های مدل-ناآگاه، این جداسازی را داریم، در حالی که برای تفسیرپذیری از طریق طراحی، لایه‌های مدل و تفسیرپذیری در یک لایه ادغام شده‌اند.

شکل ۴.۴: تصویر کلی از یادگیری ماشین قابل تفسیر (مدل-ناآگاه). دنیای واقعی از لایه‌های زیادی می‌گذرد تا به شکل توضیحات به انسان برسد.

جداسازی توضیحات از مدل یادگیری ماشین (= روش‌های تفسیر مدل-ناآگاه) مزایایی دارد (Ribeiro, Singh, and Guestrin 2016). بزرگ‌ترین نقطه قوت، انعطاف‌پذیری در هر دو انتخاب مدل و انتخاب روش تفسیر است. برای مثال، اگر اثرات ویژگی یک مدل XGBoost را با نمودار وابستگی جزئی (PDP) تجسم می‌کنید، حتی می‌توانید مدل پایه را تغییر دهید و همچنان از همان نوع تفسیر استفاده کنید. یا اگر دیگر PDP را دوست ندارید، می‌توانید از اثرات موضعی انباشته (ALE) بدون نیاز به تغییر مدل پایه XGBoost استفاده کنید. اما اگر از یک مدل رگرسیون خطی استفاده می‌کنید و ضرایب را تفسیر می‌کنید، تغییر به یک دسته‌بندی‌کننده مبتنی بر قاعده، وسیله تفسیر را نیز تغییر خواهد داد. برخی روش‌های مدل-ناآگاه حتی به شما انعطاف‌پذیری در نمایش ویژگی مورد استفاده برای ایجاد توضیحات می‌دهند: برای مثال، می‌توانید توضیحاتی را بر اساس بخش‌های تصویر به جای پیکسل‌ها هنگام توضیح خروجی‌های دسته‌بندی‌کننده تصویر ایجاد کنید.

روش‌های تفسیر مدل-ناآگاه را می‌توان به روش‌های موضعی و سراسری تقسیم کرد. روش‌های موضعی هدفشان توضیح پیش‌بینی‌های فردی است، در حالی که روش‌های سراسری توصیف می‌کنند که چگونه ویژگی‌ها به طور متوسط بر پیش‌بینی‌ها تأثیر می‌گذارند.

روش‌های پسینی مدل-ناآگاه موضعی

روش‌های تفسیر موضعی پیش‌بینی‌های فردی را توضیح می‌دهند. رویکردها در این دسته کاملاً متنوع هستند:

  • نمودارهای سِتِریس پاریبوس نشان می‌دهند که تغییر یک ویژگی چگونه پیش‌بینی را تغییر می‌دهد.
  • منحنی‌های انتظار شرطی فردی نشان می‌دهند که تغییر یک ویژگی چگونه پیش‌بینی چندین نقطه داده را تغییر می‌دهد.
  • مدل‌های جایگزین موضعی (LIME: لایم) یک پیش‌بینی را با جایگزینی مدل پیچیده با یک مدل موضعی قابل تفسیر توضیح می‌دهند.
  • قواعد محدود (anchors) قواعدی هستند که توصیف می‌کنند کدام مقادیر ویژگی یک پیش‌بینی را «لنگر» می‌کنند، به این معنا که صرف‌نظر از تعداد ویژگی‌های دیگری که تغییر می‌دهید، پیش‌بینی ثابت می‌ماند.
  • توضیحات خلاف واقع یک پیش‌بینی را با بررسی این‌که کدام ویژگی‌ها باید تغییر کنند تا به یک پیش‌بینی مطلوب برسیم، توضیح می‌دهند.
  • مقادیر شپلی پیش‌بینی را به صورت عادلانه به ویژگی‌های فردی نسبت می‌دهند.
  • SHAP (شپ) یک روش محاسباتی برای مقادیر شپلی است اما روش‌های تفسیر سراسری را نیز بر اساس ترکیب مقادیر شپلی در سراسر داده‌ها پیشنهاد می‌کند.

LIME و مقادیر شپلی (و SHAP) روش‌های انتساب هستند که پیش‌بینی یک نقطه داده را به صورت مجموع اثرات ویژگی توضیح می‌دهند. روش‌های دیگر، مانند سِتِریس پاریبوس و ICE (آی‌سی‌ای)، بر ویژگی‌های فردی و اینکه تابع پیش‌بینی چقدر به آن ویژگی‌ها حساس است، تمرکز دارند. روش‌هایی مانند توضیحات خلاف واقع و انکرها جایی در میانه قرار دارند و برای توضیح یک پیش‌بینی به زیرمجموعه‌ای از ویژگی‌ها متکی هستند.

برای اشکال‌زدایی مدل، روش‌های موضعی نمایی «زوم‌شده» ارائه می‌دهند که می‌تواند برای درک موارد استثنا یا مطالعه پیش‌بینی‌های غیرمعمول مفید باشد. برای مثال، می‌توانید به توضیحات پیش‌بینی با بدترین خطای پیش‌بینی نگاه کنید و ببینید که آیا فقط یک نقطه داده دشوار برای پیش‌بینی است، یا شاید مدل شما به اندازه کافی خوب نیست، یا نقطه داده اشتباه برچسب‌گذاری شده است. فراتر از آن، روش‌های سراسری مدل-ناآگاه هستند که برای بهبود مدل مفیدترند.

وقتی صحبت از استفاده از روش‌های تفسیر موضعی برای توجیه پیش‌بینی‌های فردی می‌شود، مفید بودن آن‌ها متفاوت است: روش‌هایی مانند سِتِریس پاریبوس و توضیحات خلاف واقع می‌توانند برای توجیه پیش‌بینی‌های مدل بسیار مفید باشند زیرا به درستی پیش‌بینی‌های خام مدل را منعکس می‌کنند. روش‌های انتساب مانند SHAP یا LIME خودشان نوعی «مدل» (یا حداقل برآوردهای پیچیده‌تر) روی مدلی که در حال توضیح دادن آن هستند، هستند و بنابراین ممکن است برای اهداف توجیهی با اهمیت بالا مناسب نباشند (Rudin 2019).

روش‌های موضعی می‌توانند برای بینش‌های داده مفید باشند. روش‌های انتساب مانند مقادیر شپلی با یک مجموعه داده مرجع کار می‌کنند و بنابراین اجازه مقایسه پیش‌بینی فعلی با زیرمجموعه‌های مختلف را می‌دهند و امکان پرسیدن سؤالات مختلف را فراهم می‌کنند. به طور کلی، مفید بودن تفسیر مدل-ناآگاه برای هر دو روش موضعی و سراسری به عملکرد مدل بستگی دارد. نمودارهای سِتِریس پاریبوس و ICE نیز برای بینش‌های مدل مفید هستند.

روش‌های پسینی مدل-ناآگاه سراسری

روش‌های سراسری رفتار متوسط یک مدل یادگیری ماشین را در سراسر یک مجموعه داده توصیف می‌کنند. در این کتاب، تکنیک‌های تفسیر سراسری مدل-ناآگاه زیر را یاد خواهید گرفت:

  • نمودار وابستگی جزئی یک روش اثر ویژگی است.
  • نمودارهای اثر موضعی انباشته نیز اثرات ویژگی را تجسم می‌کنند، طراحی‌شده برای ویژگی‌های همبسته نیز.
  • تعامل ویژگی (H-statistic) میزانی که پیش‌بینی نتیجه اثرات مشترک ویژگی‌ها است را کمی می‌کند.
  • تجزیه تابعی یک ایده محوری تفسیرپذیری و یک تکنیک برای تجزیه توابع پیش‌بینی به بخش‌های کوچک‌تر است.
  • اهمیت ویژگی با جایگشت اهمیت یک ویژگی را به صورت افزایش در خطا وقتی ویژگی جایگشت می‌شود، اندازه‌گیری می‌کند.
  • حذف یک ویژگی (LOFO) یک ویژگی را حذف می‌کند و افزایش خطا را پس از آموزش مجدد مدل بدون آن ویژگی اندازه‌گیری می‌کند.
  • مدل‌های جایگزین مدل اصلی را با یک مدل ساده‌تر برای تفسیر جایگزین می‌کنند.
  • نمونه‌های اولیه و انتقادات نقاط داده نماینده یک توزیع هستند و می‌توانند برای بهبود تفسیرپذیری استفاده شوند.

دو دسته گسترده در روش‌های سراسری مدل-ناآگاه، اثرات ویژگی و اهمیت ویژگی هستند. اثرات ویژگی (PDP، ALE، H-statistic، تجزیه) درباره نشان دادن رابطه بین ورودی‌ها و خروجی‌ها هستند. اهمیت ویژگی (PFI، LOFO، اهمیت SHAP، …) درباره رتبه‌بندی ویژگی‌ها بر اساس اهمیت است، که اهمیت توسط هر یک از روش‌ها به صورت متفاوتی تعریف می‌شود.

از آنجا که روش‌های تفسیر سراسری رفتار متوسط را توصیف می‌کنند، زمانی که مدل‌ساز می‌خواهد یک مدل را اشکال‌زدایی کند، به ویژه مفید هستند. به طور خاص، LOFO با روش‌های انتخاب ویژگی مرتبط است و به ویژه برای بهبود مدل مفید است.

برای توجیه مدل‌ها به ذینفعان، روش‌های تفسیر سراسری می‌توانند برخی خطوط کلی مانند اینکه کدام ویژگی‌ها مرتبط بودند را ارائه دهند. همچنین می‌توانید از روش‌های سراسری در ترکیب با مدل‌های ذاتاً قابل تفسیر استفاده کنید. برای مثال، در حالی که لیست‌های قاعده تصمیم توجیه پیش‌بینی‌های فردی را آسان می‌کنند، ممکن است بخواهید خود مدل را نیز با نشان دادن اینکه کدام ویژگی‌ها به طور کلی مهم بودند، توجیه کنید.

روش‌های سراسری اغلب به صورت مقادیر مورد انتظار بر اساس توزیع داده بیان می‌شوند. برای مثال، نمودار وابستگی جزئی، یک نمودار اثر ویژگی، پیش‌بینی مورد انتظار است وقتی همه ویژگی‌های دیگر حاشیه‌سازی شده‌اند. این همان چیزی است که این روش‌ها را برای درک مکانیزم‌های کلی در داده بسیار مفید می‌کند. من و همکارانم مقالاتی درباره PDP و PFI نوشتیم و اینکه چگونه می‌توانند برای استنتاج ویژگی‌های داده استفاده شوند (Molnar et al. 2023; Freiesleben et al. 2024).

نکته: سراسری را به گروهی تبدیل کنید

با اعمال روش‌های سراسری به زیرمجموعه‌هایی از داده‌های خود، می‌توانید روش‌های سراسری را به روش‌های «گروهی» یا «منطقه‌ای» تبدیل کنید. این را در عمل در مثال‌های این کتاب خواهیم دید.

روش‌های پسینی مدل-خاص

همان‌طور که از نام پیداست، روش‌های پسینی مدل-خاص پس از آموزش مدل اعمال می‌شوند اما فقط برای مدل‌های یادگیری ماشین خاصی کار می‌کنند، همان‌طور که در شکل ۴.۵ نمایش داده شده است. نمونه‌های زیادی از این دست وجود دارد، از اهمیت جینی برای جنگل‌های تصادفی تا محاسبه نسبت شانس برای رگرسیون لجستیک. این کتاب بر روش‌های تفسیر پسینی برای شبکه‌های عصبی تمرکز دارد.

شکل ۴.۵: روش‌های مدل-خاص مدل‌های پیچیده را با تحلیل مدل‌ها قابل تفسیرتر می‌کنند.

برای انجام پیش‌بینی با یک شبکه عصبی، داده‌های ورودی از لایه‌های زیادی از ضرب با وزن‌های یادگرفته‌شده و تبدیلات غیرخطی عبور می‌کنند. یک پیش‌بینی واحد می‌تواند شامل میلیون‌ها ضرب باشد، بسته به معماری شبکه عصبی. هیچ شانسی وجود ندارد که ما انسان‌ها بتوانیم نگاشت دقیق از ورودی داده به پیش‌بینی را دنبال کنیم. باید میلیون‌ها وزن را که به شیوه‌های پیچیده با هم تعامل دارند در نظر بگیریم تا پیش‌بینی یک شبکه عصبی را درک کنیم. برای تفسیر رفتار و پیش‌بینی‌های شبکه‌های عصبی، به روش‌های تفسیر خاصی نیاز داریم. شبکه‌های عصبی هدف جالبی برای تفسیر هستند زیرا شبکه‌های عصبی در لایه‌های پنهان خود ویژگی‌ها و مفاهیم را یاد می‌گیرند. همچنین می‌توانیم از گرادیان‌های آن‌ها برای روش‌های کارآمد محاسباتی استفاده کنیم.

بخش شبکه‌های عصبی تکنیک‌های زیر را پوشش می‌دهد که به سؤالات مختلفی پاسخ می‌دهند:

  • ویژگی‌های یادگرفته‌شده: شبکه عصبی چه ویژگی‌هایی یاد گرفت؟
  • نقشه‌های برجستگی: هر پیکسل چگونه به یک پیش‌بینی خاص کمک کرد؟
  • مفاهیم: شبکه عصبی چه مفاهیمی یاد گرفت؟
  • نمونه‌های متخاصم: چگونه می‌توانیم شبکه عصبی را فریب دهیم؟
  • نمونه‌های تأثیرگذار: یک نقطه داده آموزش چقدر برای یک پیش‌بینی مشخص تأثیرگذار بود؟

به طور کلی، بزرگ‌ترین نقطه قوت روش‌های مدل-خاص توانایی یادگیری درباره خود مدل‌ها است. این همچنین می‌تواند به بهبود مدل و توجیه آن برای دیگران کمک کند. وقتی صحبت از بینش‌های داده می‌شود، روش‌های مدل-خاص مشکلات مشابهی با مدل‌های ذاتاً قابل تفسیر دارند: آن‌ها به یک توجیه نظری نیاز دارند که چرا تفسیر مدل داده را منعکس می‌کند.

خطوط تار هستند

دسته‌بندی‌های مرتبی ارائه کرده‌ام. اما در واقعیت، خطوط بین از طریق طراحی و پسینی تار است. فقط چند نمونه:

  • آیا رگرسیون لجستیک یک مدل ذاتاً قابل تفسیر است؟ باید ضرایب را پس‌پردازش کنید تا نسبت شانس را تفسیر کنید. و اگر بخواهید اثرات مدل را در سطح احتمالات تفسیر کنید، باید اثرات حاشیه‌ای را محاسبه کنید که قطعاً می‌تواند به عنوان یک روش تفسیر پسینی دیده شود (که می‌تواند برای مدل‌های دیگر نیز اعمال شود).
  • مجموعه درختان تقویت‌شده قابل تفسیر در نظر گرفته نمی‌شوند. اما اگر حداکثر عمق درخت را روی ۱ تنظیم کنید، کنده‌های درختی تقویت‌شده به دست می‌آورید که چیزی شبیه یک مدل افزایشی تعمیم‌یافته به شما می‌دهد.
  • برای توضیح یک پیش‌بینی رگرسیون خطی، می‌توانید هر مقدار ویژگی را در ضریب آن ضرب کنید. به این‌ها اثرات گفته می‌شود. علاوه بر این، می‌توانید از هر اثر، میانگین اثر از داده‌ها را کم کنید. اگر این کارها را انجام دهید، مقادیر شپلی را محاسبه کرده‌اید که معمولاً مدل-ناآگاه در نظر گرفته می‌شوند.

نتیجه اخلاقی داستان. تفسیرپذیری یک مفهوم تار است. این تاری را بپذیرید، زیاد به یک رویکرد وابسته نشوید، اما با آزادی رویکردها را ترکیب و تطبیق دهید.

فصل ۵: داده‌ها و مدل‌ها

عنوان اصلی: Data and Models
منبع: https://christophm.github.io/interpretable-ml-book/data.html
نویسنده: Christoph Molnar
مترجم: مریم محمودی


در طول این کتاب، با دو مجموعه داده به‌طور مکرر روبرو خواهید شد. یکی درباره دوچرخه‌ها و دیگری درباره پنگوئن‌ها. من هر دو را دوست دارم. این فصل، داده‌ها و مدل‌هایی را که در این کتاب تفسیر خواهیم کرد، معرفی می‌کند.

اجاره دوچرخه (رگرسیون)

این مجموعه داده شامل تعداد روزانه دوچرخه‌های اجاره‌شده از شرکت اجاره دوچرخه Capital-Bikeshare در واشنگتن دی‌سی به همراه اطلاعات آب‌وهوایی و فصلی است. این داده‌ها با لطف Capital-Bikeshare به‌صورت آزاد در دسترس قرار گرفته‌اند. Fanaee-T و Gama (2014) داده‌های آب‌وهوایی و اطلاعات فصلی را به آن اضافه کردند. این داده‌ها را می‌توان از UCI Machine Learning Repository دانلود کرد. من مقداری پردازش روی داده‌ها انجام دادم و در نهایت به این ستون‌ها رسیدم:

  • تعداد دوچرخه‌ها، شامل هم کاربران عادی و هم ثبت‌شده. این تعداد به‌عنوان متغیر هدف در مسئله رگرسیون استفاده می‌شود (cnt).
  • فصل سال. یکی از بهار، تابستان، پاییز یا زمستان (season).
  • نشان‌دهنده اینکه آیا آن روز تعطیلی رسمی بوده یا نه (holiday).
  • نشان‌دهنده اینکه آیا آن روز روز کاری یا آخر هفته بوده است (workday).
  • وضعیت آب‌وهوایی در آن روز. یکی از: خوب، مه‌آلود، بد (weather).
  • دمای هوا به درجه سانتی‌گراد (temp).
  • رطوبت نسبی به درصد (۰ تا ۱۰۰) (hum).
  • سرعت باد به کیلومتر بر ساعت (windspeed).
  • تعداد دوچرخه‌های اجاره‌شده دو روز قبل (cnt_2d_bfr).

من یک روز را که رطوبت آن ۰ اندازه‌گیری شده بود حذف کردم، و همچنین دو روز اول را به دلیل نبود داده تعداد دوچرخه‌های دو روز قبل (cnt_2d_bfr) حذف کردم. در مجموع، داده‌های پردازش‌شده شامل ۷۲۸ روز هستند.

پیش‌بینی اجاره دوچرخه

از آنجایی که این مثال صرفاً برای نمایش روش‌های تفسیرپذیری است، من کمی آزادی عمل به خود دادم. فرض می‌کنم که ویژگی‌های آب‌وهوایی پیش‌بینی هستند (در واقعیت نیستند). این بدان معناست که مسئله پیش‌بینی ما شکل زیر را دارد: ما تعداد دوچرخه‌های اجاره‌شده فردا را بر اساس پیش‌بینی آب‌وهوا، اطلاعات فصلی، و تعداد دوچرخه‌هایی که دیروز اجاره شده‌اند، پیش‌بینی می‌کنیم.

من تمام مدل‌های رگرسیون را با استفاده از یک استراتژی ساده holdout آموزش دادم: ۲/۳ داده‌ها برای آموزش و ۱/۳ برای آزمایش. الگوریتم‌های یادگیری ماشین عبارت بودند از: random forest، درخت تصمیم CART، ماشین بردار پشتیبان، و رگرسیون خطی. جدول ۵.۱ نشان می‌دهد که ماشین بردار پشتیبان بهترین عملکرد را داشت، زیرا کمترین ریشه میانگین مربعات خطا (RMSE) و کمترین میانگین قدر مطلق خطا (MAE) را داشت. random forest کمی بدتر بود، و مدل رگرسیون خطی حتی بدتر. درخت تصمیم با فاصله زیادی در رتبه آخر قرار دارد و اصلاً خوب عمل نکرد.

جدول ۵.۱: مقایسه عملکرد مدل‌های اجاره دوچرخه روی داده‌های آزمایش با ریشه میانگین مربعات خطا (RMSE) و میانگین قدر مطلق خطا (MAE).

مدلRMSEMAE
SVM852628
Random Forest881672
Linear Regression948737
Decision Tree1056794

وابستگی ویژگی‌ها

برای بسیاری از روش‌های تفسیر، درک چگونگی همبستگی ویژگی‌ها اهمیت دارد. بنابراین، بیایید نگاهی به همبستگی پیرسون برای ویژگی‌های عددی بیندازیم. جدول ۵.۲ نشان می‌دهد که تنها همبستگی بزرگتر بین تعداد دو روز قبل و دما است. اما در مورد ویژگی‌های دسته‌ای چطور؟ و در مورد همبستگی غیرخطی چطور؟

برای درک وابستگی‌های غیرخطی، دو کار انجام خواهیم داد:

  1. تصویرسازی وابستگی خام دوبه‌دو (مثلاً نمودار پراکندگی)
  2. محاسبه اطلاعات متقابل نرمال‌شده (NMI) بین دو ویژگی.

جدول ۵.۲: همبستگی پیرسون دوبه‌دو بین ویژگی‌های عددی اجاره دوچرخه.

متغیر ۱متغیر ۲همبستگی
temphum0.13
tempwindspeed-0.16
humwindspeed-0.25
tempcnt_2d_bfr0.60
humcnt_2d_bfr0.06
windspeedcnt_2d_bfr-0.11

اطلاعات متقابل نرمال‌شده عددی بین ۰ و ۱ است. NMI برابر با ۰ به این معناست که ویژگی‌ها هیچ اطلاعاتی را به اشتراک نمی‌گذارند، در حالی که ۱ به این معناست که تمام تغییرات از وابستگی آن‌ها ناشی می‌شود. NMI می‌تواند برای ویژگی‌های با تعداد زیادی دسته/بازه به سمت بالا تورش داشته باشد (Mahmoudi و Jemielniak 2024). این بدان معناست که هرچه تعداد بازه‌ها/دسته‌ها بیشتر باشد، باید کمتر به مقدار بزرگ NMI اعتماد کنید. به همین دلیل است که ما فقط به NMI تکیه نمی‌کنیم، بلکه داده‌های خام را تصویرسازی کرده و همبستگی پیرسون را تحلیل می‌کنیم.

نکته: اطلاعات متقابل نرمال‌شده

اطلاعات متقابل بین دو متغیر تصادفی دسته‌ای $X$ و $Y$ به‌صورت زیر داده می‌شود:

$$I(X;Y) = \sum_{i \in \mathcal{X}} \sum_{j \in \mathcal{Y}} p(x_i, y_j) \log \frac{p(x_i, y_j)}{p(x_i)p(y_j)}$$

که در آن $i \in \mathcal{X}$ و $j \in \mathcal{Y}$. $p(x_i)$ احتمال اینکه ویژگی $X$ دسته $i$ را بگیرد است، و برای $Y$ نیز همین‌طور. $p(x_i, y_j)$ احتمال توأم اینکه ویژگی $X$ دسته $i$ و $Y$ دسته $j$ را بگیرند است.

اطلاعات متقابل نرمال‌شده، MI را که دامنه آن $[0, \infty)$ است به $[0, 1]$ مقیاس‌بندی می‌کند (NMI ممکن است در شرایط خاصی از این محدوده فراتر رود):

$$NMI(X;Y) = \frac{I(X;Y)}{\sqrt{H(X)H(Y)}}$$

که در آن

$$H(X) = -\sum_{i \in \mathcal{X}} p(x_i) \log p(x_i)$$

که در آن $\mathcal{X}$ مجموعه تمام دسته‌هایی است که $X$ می‌تواند بگیرد. برای استفاده از اطلاعات متقابل با ویژگی‌های عددی، مقادیر مشاهده‌شده $x_1, \ldots, x_n$ ویژگی $X$ را به بازه‌هایی با اندازه برابر گسسته‌سازی می‌کنیم. تعداد بازه‌ها با استفاده از قاعده Freedman-Diaconis تعیین می‌شود (Freedman و Diaconis 1981):

$$\text{bin width} = 2 \frac{IQR(x)}{n^{1/3}}$$

$$\text{number of bins} = \frac{\max(x) - \min(x)}{\text{bin width}}$$

$IQR(x)$ دامنه میان‌چارکی $x$ است، $n$ تعداد نمونه‌های داده، و ما به عدد صحیح بزرگتر بعدی گرد می‌کنیم.

اکنون بیایید نگاهی به داده‌های وابستگی خام و اطلاعات متقابل نرمال‌شده برای ویژگی‌ها در داده‌های اشتراک دوچرخه در شکل ۵.۱ بیندازیم.

شکل ۵.۱: اطلاعات متقابل نرمال‌شده و نمودارهای جفتی برای ویژگی‌ها در داده‌های اشتراک دوچرخه. من holiday و workday را برای خوانایی بهتر نمودارها حذف کردم.

تحلیل NMI به‌طور کلی برداشت حاصل از تحلیل همبستگی را تأیید می‌کند. علاوه بر این، ما بینش‌هایی درباره ویژگی‌های دسته‌ای به دست می‌آوریم: فصل سال با دما و تعداد دو روز قبل اطلاعات مشترک دارد، که تعجب‌آور نیست. نمودارهای جفتی نیز تأیید می‌کنند که ضرایب همبستگی معیارهای خوبی از وابستگی برای این مجموعه داده هستند، زیرا ویژگی‌های عددی الگوهای وابستگی عجیبی نشان نمی‌دهند، بلکه عمدتاً خطی هستند. برای مثال داده بعدی، تحلیل وابستگی شگفتی‌های بیشتری دارد.

پنگوئن‌های پالمر (دسته‌بندی)

برای دسته‌بندی، از داده‌های پنگوئن‌های پالمر استفاده خواهیم کرد. این مجموعه داده جذاب شامل اندازه‌گیری‌هایی از ۳۳۳ پنگوئن از مجمع‌الجزایر پالمر در قطب جنوب است (که در شکل ۵.۲ تصویرسازی شده است). این مجموعه داده توسط Gorman، Williams و Fraser (2014) جمع‌آوری و منتشر شد. مقاله تفاوت‌های ظاهری بین نر و ماده را، در میان چیزهای دیگر، مطالعه می‌کند. به همین دلیل است که ما از دسته‌بندی نر/ماده بر اساس اندازه‌گیری‌های بدن استفاده خواهیم کرد.

شکل ۵.۲: اثر هنری پنگوئن‌های پالمر توسط @allison_horst. (الف) سه گونه پنگوئن در داده‌ها. (ب) اندازه‌گیری‌های منقار.

هر سطر نشان‌دهنده یک پنگوئن است و شامل اطلاعات زیر است:

  • جنسیت پنگوئن (نر/ماده)، که هدف دسته‌بندی است (sex).
  • گونه پنگوئن، که یکی از Chinstrap، Gentoo یا Adelie است (species).
  • جرم بدن پنگوئن، بر حسب گرم اندازه‌گیری شده (body_mass_g).
  • طول منقار (نوک)، بر حسب میلی‌متر اندازه‌گیری شده (bill_length_mm).
  • عمق منقار، بر حسب میلی‌متر اندازه‌گیری شده (bill_depth_mm).
  • طول باله (دم)، بر حسب میلی‌متر اندازه‌گیری شده (flipper_length_mm).

۱۱ پنگوئن داده ناقص داشتند. از آنجا که هدف از این داده نمایش روش‌های یادگیری ماشین تفسیرپذیر است و نه مطالعه عمیق پنگوئن‌ها، من به سادگی داده‌های پنگوئن با مقادیر ناقص را حذف کردم. مجموعه داده با استفاده از بسته R پالمرپنگوئن‌ها بارگذاری می‌شود (Horst، Hill و Gorman 2020).

دسته‌بندی جنسیت پنگوئن (نر / ماده)

برای مثال‌های داده، من مدل‌های زیر را آموزش دادم، با استفاده از یک تقسیم ساده به داده‌های آموزش ۲/۳ و داده‌های آزمایش holdout ۱/۳. برای ارزیابی عملکرد مدل‌ها، من log loss و دقت را روی داده‌های آزمایش اندازه‌گیری کردم. نتایج در جدول ۵.۳ نشان داده شده است.

مدل رگرسیون لجستیک در واقع ۳ مدل است: ابتدا داده‌ها را بر اساس گونه تقسیم کردم، یک مدل رگرسیون لجستیک آموزش دادم، و نتایج عملکرد را ترکیب کردم. این همان کاری است که Gorman، Williams و Fraser (2014) در مقاله خود انجام دادند. این همچنین مدلی است که بهترین عملکرد را داشت. برای random forest و برای درخت تصمیم، من گونه را به‌عنوان یک ویژگی در نظر گرفتم. این برای درخت تصمیم خوب جواب نداد، اما عملکرد random forest نزدیک به مدل‌های رگرسیون لجستیک است، حداقل از نظر دقت.

جدول ۵.۳: مقایسه عملکرد مدل برای دسته‌بندی جنسیت پنگوئن (نر/ماده).

مدلLog_LossAccuracy
Logistic Regression (by Species)0.160.93
Random Forest0.190.92
Decision Tree1.230.86

وابستگی ویژگی‌ها

بیایید نگاهی بیندازیم به اینکه اندازه‌گیری‌های بدن پنگوئن چگونه با هم همبسته هستند.

جدول ۵.۴: همبستگی پیرسون دوبه‌دو بین ویژگی‌های عددی پنگوئن.

متغیر ۱متغیر ۲همبستگی
bill_depth_mmbill_length_mm-0.23
bill_depth_mmflipper_length_mm-0.58
bill_length_mmflipper_length_mm0.65
bill_depth_mmbody_mass_g-0.47
bill_length_mmbody_mass_g0.59
flipper_length_mmbody_mass_g0.87

جدول ۵.۴ نشان می‌دهد که به‌ویژه جرم بدن و طول باله به‌شدت همبسته هستند. اما سایر ویژگی‌ها نیز همبسته هستند، مانند طول باله و طول منقار، یا طول باله و عمق منقار. با این حال، همبستگی پیرسون فقط نیمی از داستان را می‌گوید، زیرا فقط وابستگی خطی را اندازه‌گیری می‌کند. بیایید نگاهی به نمودارهای جفتی ویژگی‌ها به همراه اطلاعات متقابل نرمال‌شده بیندازیم.

شکل ۵.۳: همبستگی پیرسون دوبه‌دو بین ویژگی‌های عددی پنگوئن.

شکل ۵.۳ تصویر بسیار ظریف‌تری نسبت به آنچه همبستگی پیرسون نشان داد، ارائه می‌دهد. به‌عنوان مثال، اطلاعات متقابل نرمال‌شده بین جرم بدن و عمق منقار مشابه NMI بین جرم بدن و طول باله است. اما همبستگی بین جرم بدن و عمق منقار بسیار کمتر است. دلیل این است که همبستگی خطی پویایی‌ها را درک نمی‌کند، حداقل زمانی که همه پنگوئن‌ها را با هم قرار می‌دهیم. دلیل اینکه همبستگی خطی در اینجا خوب کار نمی‌کند، پارادوکس سیمپسون است. در پارادوکس سیمپسون یک روند در چندین گروه از داده‌ها ظاهر می‌شود، اما زمانی که همه داده‌ها را ترکیب می‌کنیم ناپدید می‌شود یا معکوس می‌شود. ترکیب همه داده‌های پنگوئن، یک همبستگی مثبت بین عمق منقار و جرم بدن را به همبستگی منفی تبدیل می‌کند، همان‌طور که در شکل ۵.۴ نشان داده شده است. دلیل این است که پنگوئن‌های Gentoo سنگین‌تر هستند و منقارهای عمیق‌تری دارند. اطلاعات متقابل این مشکل را حل می‌کند.

شکل ۵.۴: وزن پنگوئن در مقابل عمق منقار برای هر ۳ گونه. خطوط، خطوط رگرسیون برای پیش‌بینی عمق منقار از جرم بدن برای زیرمجموعه‌های مختلف پنگوئن‌ها هستند.

نکته‌ای درباره مدل‌سازی همه پنگوئن‌ها با هم: در سراسر کتاب، من پنگوئن‌ها را به‌طور پیش‌فرض به‌عنوان یک مجموعه داده در نظر خواهم گرفت و از گونه به‌عنوان یک ویژگی استفاده خواهم کرد. احتمالاً بهتر است همیشه پنگوئن‌ها را بر اساس گونه مدل‌سازی و تحلیل کنیم. با این حال، این یک تنش بسیار رایج در یادگیری ماشین است: اغلب، نمونه‌های داده متعلق به یک خوشه یا موجودیت هستند – به پیش‌بینی فروش برای فروشگاه‌های مختلف یا دسته‌بندی نمونه‌های آزمایشگاهی از دسته‌های یکسان فکر کنید – و ما باید تصمیم بگیریم که آیا از مدل‌های جداگانه استفاده کنیم یا از شناسه موجودیت به‌عنوان یک ویژگی استفاده کنیم.

فصل ۶: رگرسیون خطی

عنوان اصلی: Linear Regression
منبع: https://christophm.github.io/interpretable-ml-book/limo.html
نویسنده: Christoph Molnar
مترجم: مریم محمودی


مدل رگرسیون خطی، هدف را به صورت مجموع وزن‌دار ویژگی‌های ورودی پیش‌بینی می‌کند. خطی بودن رابطه یادگرفته‌شده، تفسیر را آسان می‌کند. رگرسیون خطی مدت‌های مدیدی است که توسط آماردانان، دانشمندان علوم رایانه، و دیگر افرادی که با مسائل کمّی سروکار دارند، مورد استفاده قرار گرفته است.

مدل‌های خطی می‌توانند برای مدل‌سازی وابستگی هدف رگرسیون $y$ به ویژگی‌ها $x$ استفاده شوند. رابطه یادگرفته‌شده را می‌توان برای یک نمونه منفرد $i$ به شکل زیر نوشت:

مدل

$$\hat{y}^{(i)} = \beta_0 + \beta_1 x^{(i)}_{1} + \beta_2 x^{(i)}_{2} + \ldots + \beta_p x^{(i)}_{p}$$

یا به صورت فشرده‌تر:

$$\hat{y}^{(i)} = \beta_0 + \sum_{j=1}^{p} \beta_j x^{(i)}_{j}$$

خروجی پیش‌بینی‌شده یک نمونه، مجموع وزن‌دار $p$ ویژگی آن است. بتاها ($\beta_1, \ldots, \beta_p$) نشان‌دهنده وزن‌ها یا ضرایب یادگرفته‌شده ویژگی‌ها هستند. اولین وزن در این مجموع، یعنی $\beta_0$، عرض از مبدأ (intercept) نامیده می‌شود و در هیچ ویژگی‌ای ضرب نمی‌شود. اپسیلون ($\epsilon$) خطایی است که همچنان مرتکب می‌شویم، یعنی تفاوت میان پیش‌بینی و خروجی واقعی:

$$y^{(i)} = \beta_0 + \sum_{j=1}^{p} \beta_j x^{(i)}_{j} + \epsilon^{(i)}$$

فرض بر این است که این خطاها از یک توزیع گاوسی پیروی می‌کنند، به این معنا که هم در جهت منفی و هم در جهت مثبت خطا داریم و خطاهای کوچک بسیار زیاد و خطاهای بزرگ کم رخ می‌دهند.

برآورد ضرایب

برای یافتن بهترین ضرایب، معمولاً مجموع مربعات تفاوت بین خروجی واقعی و خروجی برآوردشده را به حداقل می‌رسانیم:

$$\hat{\beta} = \arg\min_{\beta} \sum_{i=1}^{n} \left( y^{(i)} - \left(\beta_0 + \sum_{j=1}^{p} \beta_j x^{(i)}_{j} \right) \right)^2$$

در این‌جا به تفصیل درباره چگونگی یافتن وزن‌های بهینه بحث نمی‌کنیم، اما اگر علاقه‌مندید، می‌توانید فصل ۳٫۲ کتاب «The Elements of Statistical Learning» (Hastie 2009) یا یکی دیگر از منابع آنلاین درباره مدل‌های رگرسیون خطی را مطالعه کنید.

بزرگ‌ترین مزیت مدل‌های رگرسیون خطی، خطی بودن آن‌هاست: این ویژگی، رویه برآورد را ساده می‌کند و مهم‌تر از همه، این معادلات خطی تفسیری آسان‌فهم در سطح مؤلفه‌ها (یعنی وزن‌ها) دارند. این یکی از دلایل اصلی است که چرا مدل خطی و مدل‌های مشابه آن در حوزه‌های آکادمیک مانند پزشکی، جامعه‌شناسی، روان‌شناسی و بسیاری دیگر از حوزه‌های پژوهش کمّی، این‌قدر گسترده مورد استفاده قرار می‌گیرند. برای مثال، در حوزه پزشکی، نه‌تنها پیش‌بینی نتیجه بالینی یک بیمار مهم است، بلکه کمّی‌سازی تأثیر دارو و در عین حال در نظر گرفتن جنسیت، سن، و سایر ویژگی‌ها به شیوه‌ای تفسیرپذیر نیز اهمیت دارد.

وزن‌های برآوردشده همراه با فاصله اطمینان می‌آیند. فاصله اطمینان بازه‌ای برای برآورد وزن است که با سطح اطمینان مشخصی، وزن «واقعی» را در بر می‌گیرد. برای مثال، یک فاصله اطمینان ۹۵٪ برای وزنی برابر ۲ می‌تواند از ۱ تا ۳ باشد. تفسیر این بازه چنین است: اگر برآورد را ۱۰۰ بار با داده‌های نمونه‌گیری‌شده جدید تکرار کنیم، فاصله اطمینان در ۹۵ مورد از ۱۰۰ مورد، وزن واقعی را در بر خواهد گرفت، به شرط آنکه مدل رگرسیون خطی، مدل درستی برای داده‌ها باشد.

اینکه آیا مدل، مدل «درست» است یا نه، به این بستگی دارد که آیا روابط موجود در داده‌ها مفروضات مشخصی را برآورده می‌کنند یا نه؛ این مفروضات عبارت‌اند از: خطی بودن، نرمال بودن، هم‌واریانسی، استقلال، ثابت بودن ویژگی‌ها، و عدم چندگانگی خطی.

نکته: مفروضات اختیاری هستند. شما فقط برای به‌دست‌آوردن نتایج بیشتر از مدل خطی — مانند فاصله اطمینان — به این مفروضات نیاز دارید.

خطی بودن (Linearity)

مدل رگرسیون خطی، پیش‌بینی را مجبور می‌کند که یک ترکیب خطی از ویژگی‌ها باشد، که هم بزرگ‌ترین نقطه قوت و هم بزرگ‌ترین محدودیت آن است. خطی بودن به مدل‌های تفسیرپذیر منجر می‌شود. اثرات خطی را می‌توان به‌آسانی کمّی‌سازی و توصیف کرد. این اثرات جمع‌پذیرند، پس جدا کردن اثرات آسان است. اگر گمان می‌کنید بین ویژگی‌ها تعامل وجود دارد یا رابطه یک ویژگی با مقدار هدف غیرخطی است، می‌توانید جملات تعاملی اضافه کنید یا از اسپلاین‌های رگرسیونی (regression splines) استفاده کنید.

نرمال بودن (Normality)

فرض بر این است که خروجی هدف، به شرط ویژگی‌ها، از یک توزیع نرمال پیروی می‌کند. اگر این فرض نقض شود، فاصله‌های اطمینان برآوردشده برای وزن‌های ویژگی نامعتبر خواهند بود.

هم‌واریانسی (واریانس ثابت)

فرض بر این است که واریانس جملات خطا در سرتاسر فضای ویژگی‌ها ثابت است. فرض کنید می‌خواهید ارزش یک خانه را بر اساس مساحت آن (بر حسب متر مربع) پیش‌بینی کنید. شما یک مدل خطی برآورد می‌کنید که فرض می‌کند، صرف‌نظر از اندازه خانه، خطای اطراف پاسخ پیش‌بینی‌شده واریانس یکسانی دارد. این فرض در واقعیت اغلب نقض می‌شود. در مثال خانه، منطقی است که واریانس جملات خطا اطراف قیمت پیش‌بینی‌شده برای خانه‌های بزرگ‌تر بیشتر باشد، زیرا با قیمت‌های بالاتر، فضای بیشتری برای نوسان قیمت وجود دارد. فرض کنید خطای میانگین (تفاوت بین قیمت پیش‌بینی‌شده و قیمت واقعی) در مدل رگرسیون خطی شما ۵۰٬۰۰۰ یورو است. اگر هم‌واریانسی را فرض کنید، در واقع فرض کرده‌اید که این خطای میانگین ۵۰٬۰۰۰ یورویی برای خانه‌هایی که یک میلیون یورو قیمت دارند و خانه‌هایی که فقط ۴۰٬۰۰۰ یورو قیمت دارند یکسان است. این فرض غیرمنطقی است، زیرا به این معناست که می‌توانیم انتظار قیمت‌های منفی برای خانه داشته باشیم.

استقلال (Independence)

فرض بر این است که هر نمونه مستقل از سایر نمونه‌هاست. اگر اندازه‌گیری‌های تکراری انجام دهید، مانند چند آزمایش خون برای هر بیمار، نقاط داده مستقل نیستند. برای داده‌های وابسته، به مدل‌های رگرسیون خطی تخصصی‌تری نیاز دارید، مانند مدل‌های اثر مختلط (mixed effect models) یا معادلات تعمیم‌یافته برآورد (GEE). اگر از مدل رگرسیون خطی «معمولی» استفاده کنید، ممکن است نتیجه‌گیری نادرستی از مدل داشته باشید.

ثابت بودن ویژگی‌ها (Fixed features)

ویژگی‌های ورودی «ثابت» در نظر گرفته می‌شوند. ثابت به این معناست که آن‌ها به‌عنوان «مقادیر ثابت داده‌شده» رفتار می‌شوند و نه به‌عنوان متغیرهای آماری. این به این معناست که فرض می‌شود آن‌ها عاری از خطای اندازه‌گیری هستند. این فرضی نسبتاً غیرواقعی است. با این حال، بدون این فرض، مجبور بودید مدل‌های خطای اندازه‌گیری بسیار پیچیده‌ای برازش کنید که خطاهای اندازه‌گیری ویژگی‌های ورودی‌تان را لحاظ کنند. و معمولاً نمی‌خواهید این کار را انجام دهید.

عدم چندگانگی خطی (Absence of multicollinearity)

شما ویژگی‌های به‌شدت همبسته نمی‌خواهید، زیرا این امر برآورد وزن‌ها را مختل می‌کند. در موقعیتی که دو ویژگی به‌شدت همبسته باشند، برآورد وزن‌ها مشکل‌ساز می‌شود، زیرا اثرات ویژگی‌ها جمع‌پذیرند و تعیین اینکه اثرات را باید به کدام‌یک از ویژگی‌های همبسته نسبت داد، غیرممکن می‌شود.

تفسیر

تفسیر یک وزن در مدل رگرسیون خطی به نوع ویژگی مربوطه بستگی دارد.

ویژگی عددی: افزایش ویژگی عددی به اندازه یک واحد، خروجی برآوردشده را به اندازه وزن آن تغییر می‌دهد. نمونه‌ای از ویژگی عددی، مساحت یک خانه است.

ویژگی دودویی (باینری): ویژگی‌ای که برای هر نمونه یکی از دو مقدار ممکن را می‌گیرد. نمونه‌ای از این ویژگی «خانه دارای حیاط است» می‌باشد. یکی از این مقادیر به‌عنوان دسته مرجع در نظر گرفته می‌شود (در برخی زبان‌های برنامه‌نویسی با ۰ کدگذاری می‌شود)، مانند «بدون حیاط». تغییر ویژگی از دسته مرجع به دسته دیگر، خروجی برآوردشده را به اندازه وزن آن ویژگی تغییر می‌دهد.

ویژگی دسته‌ای با چند دسته: ویژگی‌ای با تعداد ثابتی از مقادیر ممکن. نمونه‌ای از این ویژگی «نوع کف‌پوش» است، با دسته‌های ممکن «موکت»، «لمینت» و «پارکت». راه‌حلی برای مواجهه با دسته‌های زیاد، کدگذاری وان-هات (one-hot encoding) است، به این معنا که هر دسته ستون دودویی مخصوص به خود را دارد. برای یک ویژگی دسته‌ای با $L$ دسته، تنها به $L-1$ ستون نیاز دارید، زیرا ستون $L$ام اطلاعات زائد خواهد داشت. برای مثال، وقتی ستون‌های ۱ تا $L-1$ همگی برای یک نمونه مقدار ۰ داشته باشند، می‌دانیم که ویژگی دسته‌ای این نمونه، دسته $L$ام را دارد. تفسیر هر دسته در این حالت همان تفسیر مربوط به ویژگی‌های دودویی است. برخی زبان‌ها، مانند R، به شما اجازه می‌دهند ویژگی‌های دسته‌ای را به روش‌های گوناگونی کدگذاری کنید، همان‌طور که بعداً در این فصل شرح داده می‌شود.

عرض از مبدأ $\hat{\beta}_{0}$: عرض از مبدأ، وزن ویژگی برای «ویژگی ثابت» است که برای همه نمونه‌ها همواره برابر ۱ است. بیشتر بسته‌های نرم‌افزاری به‌طور خودکار این ویژگی «۱» را برای برآورد عرض از مبدأ اضافه می‌کنند. تفسیر آن این‌گونه است: برای نمونه‌ای که تمام مقادیر ویژگی‌های عددی آن صفر و ویژگی‌های دسته‌ای آن در دسته‌های مرجع باشند، پیش‌بینی مدل برابر وزن عرض از مبدأ است. تفسیر عرض از مبدأ معمولاً اهمیتی ندارد، زیرا نمونه‌هایی با تمام مقادیر ویژگی برابر صفر اغلب معنایی ندارند. این تفسیر تنها زمانی معنادار است که ویژگی‌ها استانداردسازی شده باشند (میانگین صفر، انحراف معیار یک). در آن صورت، عرض از مبدأ نشان‌دهنده خروجی پیش‌بینی‌شده برای نمونه‌ای است که تمام ویژگی‌های آن در مقدار میانگین خود قرار دارند.

تفسیر ویژگی‌ها در مدل رگرسیون خطی را می‌توان با استفاده از قالب‌های متنی زیر خودکار کرد.

نکته: تفسیر ویژگی عددی: افزایش ویژگی $x_j$ به اندازه یک واحد، پیش‌بینی $y$ را به اندازه $\hat{\beta}_{j}$ واحد افزایش می‌دهد، در حالی که سایر مقادیر ویژگی ثابت بمانند. ویژگی دسته‌ای: تغییر ویژگی $x_j$ از دسته مرجع به دسته دیگر، پیش‌بینی $y$ را به اندازه $\hat{\beta}_{j}$ افزایش می‌دهد، در حالی که سایر ویژگی‌ها ثابت بمانند.

ضریب تعیین ($R^2$)

سنجه مهم دیگر برای تفسیر مدل‌های خطی، سنجه ضریب تعیین ($R^2$) است. $R^2$ به شما می‌گوید که چه مقدار از واریانس کل خروجی هدف‌تان توسط مدل توضیح داده می‌شود. هرچه $R^2$ بزرگ‌تر باشد، مدل شما داده‌ها را بهتر توضیح می‌دهد. فرمول محاسبه $R^2$ به این صورت است:

$$R^2 = 1 - \frac{SSE}{SST}$$

$SSE$ مجموع مربعات جملات خطا است:

$$SSE = \sum_{i=1}^{n} \left(y^{(i)} - \hat{y}^{(i)}\right)^2$$

$SST$ مجموع مربعات واریانس داده‌هاست:

$$SST = \sum_{i=1}^{n} \left(y^{(i)} - \bar{y}\right)^2$$

$SSE$ به شما می‌گوید که پس از برازش مدل خطی، چه مقدار واریانس باقی می‌ماند، که با مربعات تفاوت میان مقادیر پیش‌بینی‌شده و واقعی هدف اندازه‌گیری می‌شود. $SST$ واریانس کل خروجی هدف است. $R^2$ به شما می‌گوید که چه مقدار از واریانس شما را می‌توان با مدل خطی توضیح داد. $R^2$ معمولاً بین $0$ برای مدل‌هایی که اصلاً داده‌ها را توضیح نمی‌دهند و $1$ برای مدل‌هایی که تمام واریانس داده‌های شما را توضیح می‌دهند، قرار دارد. همچنین ممکن است $R^2$ بدون نقض هیچ قاعده ریاضی، مقداری منفی بگیرد. این زمانی رخ می‌دهد که $SSE$ بزرگ‌تر از $SST$ باشد، به این معنا که مدل روند داده‌ها را ثبت نمی‌کند و برازش آن به داده‌ها بدتر از استفاده از میانگین هدف به‌عنوان پیش‌بینی است.

مثال مترجم برای درک بهتر خوانندگان: فرض کنید می‌خواهیم قیمت چهار خانه را پیش‌بینی کنیم. قیمت‌های واقعی عبارت‌اند از ۱۰۰، ۲۰۰، ۳۰۰ و ۴۰۰ میلیون تومان، و میانگین آن‌ها ($\bar{y}$) برابر ۲۵۰ میلیون تومان است.

  • $SST$ با مقایسه هر قیمت واقعی با همین میانگین (۲۵۰) محاسبه می‌شود: $(100-250)^2 + (200-250)^2 + (300-250)^2 + (400-250)^2 = 22500+2500+2500+22500 = 50000$.
  • فرض کنید مدل ما قیمت‌ها را به‌ترتیب ۱۲۰، ۱۹۰، ۳۱۰ و ۳۸۰ میلیون تومان پیش‌بینی کرده است. $SSE$ با مقایسه هر پیش‌بینی با مقدار واقعی محاسبه می‌شود: $(100-120)^2 + (200-190)^2 + (300-310)^2 + (400-380)^2 = 400+100+100+400 = 1000$.
  • در نتیجه: $R^2 = 1 - \frac{1000}{50000} = 0.98$. یعنی مدل حدود ۹۸٪ از واریانس قیمت خانه‌ها را توضیح می‌دهد — عملکردی بسیار خوب.

حال اگر مدل به‌جای پیش‌بینی‌های خوب بالا، برای هر چهار خانه فقط عدد ۲۵۰ (میانگین) را پیش‌بینی کند، آنگاه $SSE$ برابر $SST$ (یعنی ۵۰۰۰۰) خواهد شد و $R^2 = 0$؛ یعنی مدل هیچ اطلاعاتی بیش از حدس زدن میانگین به ما نمی‌دهد. و اگر مدل حتی بدتر از این عمل کند — مثلاً پیش‌بینی‌هایی کاملاً نامرتبط با روند واقعی داده‌ها بدهد، به‌طوری که $SSE$ از $SST$ هم بزرگ‌تر شود — آنگاه $R^2$ منفی می‌شود، که نشان می‌دهد حتی حدس زدن میانگین ساده هم بهتر از این مدل عمل می‌کرد.

نکته‌ای وجود دارد: $R^2$ با افزایش تعداد ویژگی‌های مدل افزایش می‌یابد، حتی اگر آن ویژگی‌ها اصلاً اطلاعاتی درباره مقدار هدف نداشته باشند. به همین دلیل، بهتر است از $R^2$ تعدیل‌شده استفاده کنید، که تعداد ویژگی‌های مورد استفاده در مدل را نیز لحاظ می‌کند. محاسبه آن به این صورت است:

$$\bar{R}^2 = 1 - \left(1 - R^2\right) \frac{n - 1}{n - p - 1}$$

که در آن $p$ تعداد ویژگی‌ها و $n$ تعداد نمونه‌هاست.

توضیح مترجم: افزودن ویژگی‌های بیشتر به مدل همیشه نامطلوب نیست؛ اگر ویژگی جدید واقعاً با متغیر هدف ارتباط داشته باشد، می‌تواند مدل را بهتر کند. با این حال، باید توجه داشت که مقدار R² معمولاً با اضافه شدن ویژگی‌های جدید افزایش می‌یابد یا دست‌کم کاهش پیدا نمی‌کند. دلیلش این است که مدل با هر ویژگی جدید آزادی بیشتری برای تنظیم خود روی داده‌های آموزشی پیدا می‌کند و می‌تواند حتی از الگوهای بسیار کوچک یا تصادفی موجود در همان داده‌ها برای کاهش خطا استفاده کند. بنابراین افزایش R² همیشه به معنای بهتر شدن واقعی مدل نیست؛ گاهی فقط نشان می‌دهد مدل کمی بیشتر با داده‌های آموزشی هماهنگ شده است.

برای مثال، فرض کنید هدف پیش‌بینی حقوق کارمندان است. اگر مدل فقط از ویژگی years_experience استفاده کند، ممکن است مقدار R² = 0.60 و مقدار Adjusted R² = 0.59 به دست آید. این یک مدل ساده است که بخشی از تفاوت حقوق‌ها را با تجربه‌ی کاری توضیح می‌دهد. حال اگر ویژگی مهمی مثل job_level به مدل اضافه شود، ممکن است مقدار R² به 0.82 و مقدار Adjusted R² به 0.81 برسد. در این حالت، افزایش هر دو معیار نشان می‌دهد که ویژگی جدید واقعاً اطلاعات مفیدی درباره‌ی حقوق اضافه کرده است.

اما اگر به‌جای آن ویژگی بی‌ربطی مثل shoe_size به مدل اضافه شود، ممکن است مقدار R² کمی از 0.60 به 0.605 افزایش یابد، چون مدل از این ویژگی اضافه برای کاهش جزئی خطا در داده‌های آموزشی استفاده کرده است. با این حال، مقدار Adjusted R² ممکن است از 0.59 به 0.585 کاهش پیدا کند. این کاهش نشان می‌دهد که افزایش ناچیز R² ارزش پیچیده‌تر شدن مدل را نداشته و ویژگی جدید احتمالاً اطلاعات معناداری درباره‌ی حقوق اضافه نکرده است. بنابراین Adjusted R² به ما کمک می‌کند تشخیص دهیم آیا افزایش R² ناشی از اطلاعات واقعی بوده یا فقط نتیجه‌ی اضافه شدن ویژگی‌های بیشتر به مدل است.

تفسیر مدلی با $R^2$ (تعدیل‌شده) بسیار پایین معنادار نیست، زیرا چنین مدلی اساساً بخش زیادی از واریانس را توضیح نمی‌دهد. هیچ تفسیری از وزن‌ها در چنین حالتی معنادار نخواهد بود.

اهمیت ویژگی‌ها

اهمیت یک ویژگی در مدل رگرسیون خطی را می‌توان با قدر مطلق آماره t آن اندازه‌گیری کرد. آماره t، وزن برآوردشده است که با خطای استاندارد آن مقیاس‌بندی شده است.

$$t_{\hat{\beta}_{j}} = \frac{\hat{\beta}_{j}}{SE\!\left(\hat{\beta}_{j}\right)}$$

بیایید ببینیم این فرمول چه چیزی به ما می‌گوید: اهمیت یک ویژگی با افزایش وزن آن، افزایش می‌یابد. این منطقی است. هرچه وزن برآوردشده واریانس بیشتری داشته باشد (= هرچه نسبت به مقدار درست آن اطمینان کمتری داشته باشیم)، ویژگی کم‌اهمیت‌تر است. این نیز منطقی است.

مثال

در این مثال، از مدل رگرسیون خطی برای پیش‌بینی تعداد دوچرخه‌های اجاره‌شده در یک روز خاص، با توجه به اطلاعات آب‌وهوایی و تقویمی، استفاده می‌کنیم. برای تفسیر، وزن‌های برآوردشده رگرسیون را بررسی می‌کنیم. ویژگی‌ها شامل ویژگی‌های عددی و دسته‌ای هستند. جدول ۶.۱ برای هر ویژگی، وزن برآوردشده، خطای استاندارد برآورد، و قدر مطلق آماره t را نشان می‌دهد.

جدول ۶.۱: ضرایب، خطاهای استاندارد (SE)، و قدر مطلق آماره t برای مدل خطی پیش‌بینی‌کننده اجاره دوچرخه.

ویژگیوزنSE|t|
(عرض از مبدأ)۲۷۴۲٫۴۳۳۹٫۰۸٫۱
seasonSPRING۴۵۴٫۸۱۶۹٫۹۲٫۷
seasonSUMMER۲۶۳٫۳۲۱۸٫۷۱٫۲
seasonFALL۶۳۶٫۹۱۵۲٫۷۴٫۲
holidayY‎−۴۴۱٫۱۲۳۹٫۰۱٫۸
workdayY۲۴۲٫۰۱۰۱٫۹۲٫۴
weatherMISTY‎−۳۴۵٫۳۱۲۰٫۲۲٫۹
weatherBAD‎−۱۸۰۴٫۱۳۰۶٫۰۵٫۹
temp۵۱٫۰۱۰٫۳۵٫۰
hum‎−۲۱٫۷۴٫۵۴٫۸
windspeed‎−۴۶٫۵۹٫۵۴٫۹
cnt_2d_bfr۰٫۶۰٫۰۱۹٫۳

تفسیر یک ویژگی عددی (temp): افزایش دما به اندازه ۱ درجه سانتی‌گراد، تعداد پیش‌بینی‌شده دوچرخه‌ها را به اندازه ۵۱٫۰ افزایش می‌دهد، در حالی که سایر ویژگی‌ها ثابت بمانند.

تفسیر یک ویژگی دسته‌ای (weather): تعداد برآوردشده دوچرخه‌ها زمانی که هوا بد است (بارانی، برفی، یا طوفانی) ۱۸۰۴٫۱ واحد کمتر است، در مقایسه با هوای خوب — باز هم با این فرض که سایر ویژگی‌ها تغییر نمی‌کنند. زمانی که هوا مه‌آلود است، تعداد پیش‌بینی‌شده دوچرخه‌ها ۳۴۵٫۳ واحد کمتر از هوای خوب است، به شرط آنکه سایر ویژگی‌ها ثابت بمانند.

تمام این تفسیرها همیشه با این پانویس همراه‌اند که «سایر ویژگی‌ها ثابت بمانند»، به دلیل ماهیت مدل‌های رگرسیون خطی. هدف پیش‌بینی‌شده، یک ترکیب خطی از ویژگی‌های وزن‌دار است. معادله خطی برآوردشده، یک ابرصفحه (hyperplane) در فضای ویژگی/هدف است (در حالت یک ویژگی منفرد، یک خط ساده). وزن‌ها شیب (گرادیان) ابرصفحه را در هر جهت مشخص می‌کنند. نکته مثبت این است که جمع‌پذیری، تفسیر اثر هر ویژگی منفرد را از سایر ویژگی‌ها جدا می‌کند. این امر ممکن است زیرا تمام اثرات ویژگی‌ها (= وزن ضرب‌در مقدار ویژگی) در معادله با علامت جمع با هم ترکیب شده‌اند. اما از جنبه منفی، این تفسیر توزیع مشترک ویژگی‌ها را نادیده می‌گیرد. افزایش یک ویژگی بدون تغییر ویژگی دیگر می‌تواند به نقاط داده غیرواقعی، یا دست‌کم بعید، منجر شود. برای مثال، افزایش تعداد اتاق‌ها بدون افزایش هم‌زمان اندازه خانه ممکن است غیرواقعی باشد.

توضیح مترجم: برای نمونه، اگر بخواهیم قیمت یک آپارتمان را با دو ویژگی «متراژ» و «تعداد اتاق» پیش‌بینی کنیم، مدل خطی فرض می‌کند می‌توان تعداد اتاق را از ۲ به ۴ افزایش داد بدون آنکه متراژ تغییر کند. در عمل چنین آپارتمانی (با اتاق‌های بسیار کوچک) نادر یا غیرواقعی است؛ اما مدل خطی، بدون آگاهی از این همبستگی طبیعی میان ویژگی‌ها، همچنان چنین سناریویی را در تفسیر خود مجاز می‌شمارد.

هشدار — مقایسه وزن ویژگی‌هایی با مقیاس متفاوت: بزرگی یک ضریب به واحد اندازه‌گیری ویژگی مربوطه بستگی دارد و نمی‌توان آن را مستقیماً با ضریب ویژگی دیگری با واحد متفاوت مقایسه کرد. برای مثال، اگر وزن یک ویژگی بر حسب کیلوگرم برآورد شده باشد و همان ویژگی را به گرم تبدیل کنیم، ضریب ۱۰۰۰ برابر کوچک‌تر می‌شود — بدون آنکه اهمیت واقعی ویژگی تغییر کرده باشد.

نمودار وزن‌ها و نمودار اثر

تجسم‌هایی مانند نمودار وزن‌ها و نمودار اثر، درک مدل رگرسیون خطی را برای انسان آسان و سریع می‌کنند.

نمودار وزن‌ها

اطلاعات موجود در جدول وزن‌ها (برآورد وزن‌ها و واریانس آن‌ها) را می‌توان در قالب یک نمودار وزن‌ها به تصویر کشید. شکل ۶.۱ نتایج مدل رگرسیون خطی پیشین را نشان می‌دهد.

شکل ۶.۱: برآوردهای رگرسیون خطی برای داده‌های اجاره دوچرخه. وزن‌ها به‌صورت نقطه و فاصله‌های اطمینان ۹۵٪ به‌صورت خط نمایش داده شده‌اند.

نمودار وزن‌ها نشان می‌دهد که هوای بد اثر منفی قوی‌ای بر تعداد پیش‌بینی‌شده دوچرخه‌ها دارد. وزن فصل تابستان مثبت است، اما فاصله اطمینان ۹۵٪ آن شامل صفر می‌شود، پس تفاوت معناداری بین تابستان و زمستان، با ثابت نگه‌داشتن سایر ویژگی‌ها، وجود ندارد. از آنجا که مدل دما را نیز لحاظ می‌کند، ضریب تابستان در واقع بیانگر اثر افزوده فصل تابستان (فراتر از اثر دما) است. برخی از فاصله‌های اطمینان بسیار کوتاه‌اند و برآوردها به صفر نزدیک‌اند، با این حال اثر آن ویژگی‌ها از نظر آماری معنادار است. دما یکی از این نمونه‌هاست. مشکل نمودار وزن‌ها این است که ویژگی‌ها در مقیاس‌های متفاوتی اندازه‌گیری می‌شوند. در حالی که برای هوا، وزن برآوردشده تفاوت میان هوای خوب و بد را نشان می‌دهد، برای دما تنها افزایش ۱ درجه سانتی‌گراد را منعکس می‌کند. می‌توانید با استانداردسازی ویژگی‌ها (میانگین صفر و انحراف معیار یک) پیش از برازش مدل خطی، وزن‌های برآوردشده را قابل‌مقایسه‌تر کنید.

توضیح مترجم: برای مثال، اگر ضریب دما ۵۱ باشد و ضریب یک ویژگی دودویی مانند «هوای بد» ‎−۱۸۰۴ باشد، این دو عدد را نمی‌توان مستقیماً با هم مقایسه کرد؛ چون یکی به ازای «۱ درجه سانتی‌گراد» و دیگری به ازای «تغییر از هوای خوب به هوای بد» تعریف شده است. اما اگر پیش از برازش مدل، دما را استاندارد کنیم (یعنی از هر مقدار میانگین را کم و بر انحراف معیار تقسیم کنیم)، آنگاه ضریب دما نشان‌دهنده تغییر پیش‌بینی به ازای «یک انحراف معیار» تغییر در دما خواهد بود، که مقیاسی قابل‌مقایسه‌تر با ضرایب سایر ویژگی‌ها به دست می‌دهد.

هشدار — مقایسه وزن ویژگی‌هایی با مقیاس متفاوت: واحدی که یک ویژگی با آن اندازه‌گیری می‌شود، بر بزرگی ضرایب/وزن‌ها اثر می‌گذارد. برای مثال، اگر یک ویژگی را در ۱۰۰۰ ضرب کنید — مانند تبدیل از کیلوگرم به گرم — ضریب جدید به اندازه ضریب ۱ در ۱۰۰۰ کوچک‌تر خواهد شد.

نمودار اثر

وزن‌های مدل رگرسیون خطی زمانی معنادارتر تحلیل می‌شوند که در مقادیر واقعی ویژگی‌ها ضرب شوند. وزن‌ها به مقیاس ویژگی‌ها وابسته‌اند و اگر ویژگی‌ای مانند قد یک فرد را اندازه می‌گیرید و از متر به سانتی‌متر تغییر مقیاس دهید، متفاوت خواهند بود. وزن تغییر می‌کند، اما اثرات واقعی در داده‌های شما تغییری نمی‌کند. آگاهی از توزیع ویژگی در داده‌ها نیز مهم است، زیرا اگر واریانس بسیار کمی داشته باشد، به این معناست که تقریباً تمام نمونه‌ها سهم مشابهی از این ویژگی دارند. نمودار اثر می‌تواند به شما کمک کند بفهمید ترکیب وزن و ویژگی چه مقدار در پیش‌بینی‌های داده‌های شما سهیم است. برای شروع، اثرات را محاسبه می‌کنیم، که برابر است با وزن هر ویژگی ضرب‌در مقدار آن ویژگی برای یک نمونه:

$$\text{effect}^{(i)}_{j} = \hat{\beta}_{j} \cdot x^{(i)}_{j}$$

اثرات را می‌توان با نمودار جعبه‌ای، همان‌طور که در شکل ۶.۲ آمده، به تصویر کشید. جعبه در یک نمودار جعبه‌ای، بازه اثر برای نیمی از داده‌ها (از چارک ۲۵٪ تا چارک ۷۵٪ اثر) را در بر می‌گیرد. خط عمودی درون جعبه، اثر میانه است، یعنی ۵۰٪ از نمونه‌ها اثر کمتر و نیمه دیگر اثر بیشتری بر پیش‌بینی دارند. نقاط، نقاط پرت (outlier) هستند که به‌صورت نقاطی تعریف می‌شوند که بیش از ۱٫۵ برابر IQR (دامنه بین‌چارکی، یعنی تفاوت میان چارک اول و چارک سوم) بالاتر از چارک سوم، یا کمتر از ۱٫۵ برابر IQR پایین‌تر از چارک اول قرار دارند. دو خط افقی، که ویسکر پایینی و بالایی نامیده می‌شوند، نقاط زیر چارک اول و بالای چارک سوم را که پرت نیستند به هم متصل می‌کنند. اگر هیچ نقطه پرتی وجود نداشته باشد، ویسکرها تا مقادیر کمینه و بیشینه امتداد می‌یابند.

اثرات ویژگی‌های دسته‌ای را می‌توان در یک نمودار جعبه‌ای واحد خلاصه کرد، بر خلاف نمودار وزن‌ها که هر دسته سطر جداگانه خود را دارد.

شکل ۶.۲: نمودار اثر برای نتایج رگرسیون خطی داده‌های اجاره دوچرخه. نمودارهای جعبه‌ای، توزیع اثرات (= مقدار ویژگی ضرب‌در وزن ویژگی) را در سرتاسر داده‌ها برای هر ویژگی نشان می‌دهند.

بزرگ‌ترین سهم‌ها در تعداد مورد انتظار دوچرخه‌های اجاره‌شده، از ویژگی دما و تعداد دوچرخه‌های اجاره‌شده قبلی می‌آید. دما دامنه گسترده‌ای دارد از اینکه چقدر در پیش‌بینی سهیم است. ویژگی تعداد (count) از صفر تا سهم‌های مثبت بزرگ کشیده شده است. برای اثراتی با وزن منفی، نمونه‌هایی که اثر مثبت دارند همان‌هایی هستند که مقدار ویژگی منفی دارند. برای مثال، روزهایی با اثر منفی بزرگ سرعت باد، همان روزهایی هستند که سرعت باد بالایی داشته‌اند.

توضیح مترجم: این نکته کمی گیج‌کننده به نظر می‌رسد، اما دلیلش ساده است: وزن ویژگی سرعت باد منفی است. پس وقتی سرعت باد (مقدار ویژگی) زیاد باشد، حاصل‌ضرب «وزن منفی × مقدار زیاد» یک عدد منفی بزرگ می‌شود (اثر منفی شدید بر پیش‌بینی)، و برعکس، وقتی سرعت باد نزدیک صفر باشد، اثر آن نیز نزدیک صفر خواهد بود.

توضیح پیش‌بینی‌های منفرد با نمودار اثر

هر ویژگی از یک نمونه چه‌قدر در پیش‌بینی آن نمونه سهیم بوده است؟ برای پاسخ به این پرسش می‌توان اثرات آن نمونه را محاسبه کرد. تفسیر اثرات مختص یک نمونه، تنها در مقایسه با توزیع اثر هر ویژگی معنا پیدا می‌کند. می‌خواهیم پیش‌بینی مدل خطی را برای نمونه ششم از داده‌های دوچرخه توضیح دهیم. مقادیر ویژگی‌های این نمونه در جدول ۶.۲ نمایش داده شده‌اند.

جدول ۶.۲: مقادیر ویژگی برای نمونه ۶

ویژگیمقدار
seasonWINTER
holidayN
workdayY
weatherMISTY
temp‎−۰٫۰۵۲۷۲۳
hum۶۸٫۶۳۶۴
windspeed۸٫۱۸۲۸۴۴
cnt_2d_bfr۸۲۲
cnt۱۲۶۳

برای به‌دست‌آوردن اثرات ویژگی‌های این نمونه، باید مقادیر ویژگی‌های آن را در وزن‌های متناظرشان از مدل رگرسیون خطی ضرب کنیم. برای دمای ‎−۰٫۰۵ درجه سانتی‌گراد، اثر برابر است با $-0.05 \times 51.01 \approx -2.69$. این اثرات منفرد را به‌صورت علامت ضربدر به نمودار اثر اضافه می‌کنیم، که توزیع اثرات را در داده‌ها نشان می‌دهد، همان‌طور که در شکل ۶.۳ به تصویر کشیده شده است. این کار به ما امکان می‌دهد اثرات منفرد را با توزیع اثرات در داده‌ها مقایسه کنیم.

اگر پیش‌بینی‌های نمونه‌های داده آزمون را میانگین بگیریم، به میانگین ۴۴۵۲ می‌رسیم. در مقایسه، پیش‌بینی نمونه ششم کوچک است، زیرا تنها ۱۲۳۸ اجاره دوچرخه پیش‌بینی شده است. نمودار اثر دلیل این موضوع را آشکار می‌کند. نمودارهای جعبه‌ای توزیع اثرات را برای همه نمونه‌های مجموعه داده نشان می‌دهند؛ علامت‌های ضربدر، اثرات مربوط به نمونه ششم را نشان می‌دهند. نمونه ششم اثر دمای پایینی دارد، زیرا در این روز دما ۰ درجه بوده است که در مقایسه با بیشتر روزهای دیگر پایین است (و به یاد داشته باشید که وزن ویژگی دما مثبت است). همچنین، اثر ویژگی cnt_2d_bfr نیز در مقایسه با سایر نمونه‌های داده کوچک است، زیرا در اوایل سال ۲۰۱۱ دوچرخه‌های کمتری اجاره داده شده بود.

شکل ۶.۳: نمودار اثر برای یک پیش‌بینی مدل خطی برای داده‌های دوچرخه. نمودارهای جعبه‌ای توزیع کلی اثرات را نشان می‌دهند، در حالی که علامت‌های ضربدر اثرات مربوط به نمونه موردنظر را مشخص می‌کنند.

با جمع کردن اثر تمام ویژگی‌ها و عرض از مبدأ، پیش‌بینی نهایی این نمونه ۱۲۳۸ به دست می‌آید — در حالی که میانگین پیش‌بینی‌های مدل روی کل داده‌ها ۴۴۵۲ است. نمودار اثر به ما اجازه می‌دهد ببینیم چرا پیش‌بینی این نمونه خاص به‌طور قابل‌توجهی پایین‌تر از میانگین است.

کدگذاری ویژگی‌های دسته‌ای

چندین روش برای کدگذاری یک ویژگی دسته‌ای وجود دارد، و انتخاب هر روش بر تفسیر وزن‌ها اثر می‌گذارد. استاندارد در مدل‌های رگرسیون خطی، کدگذاری مرجع (treatment coding) است که در بیشتر موارد کافی است. استفاده از کدگذاری‌های مختلف در نهایت به معنای ساختن ماتریس‌های (طراحی) متفاوت از یک ستون واحد حاوی ویژگی دسته‌ای است. این بخش سه کدگذاری متفاوت را ارائه می‌دهد، اما کدگذاری‌های بسیار بیشتری نیز وجود دارند. در مثال زیر چهار نمونه و یک ویژگی دسته‌ای با سه دسته داریم. برای دو نمونه اول، ویژگی دسته $A$ را دارد؛ برای نمونه سوم، دسته $B$؛ و برای نمونه آخر، دسته $C$. پس بردار ما به این شکل است:

$$\begin{pmatrix} A \\ A \\ B \\ C \end{pmatrix}$$

کدگذاری مرجع (Treatment Coding)

در کدگذاری مرجع، وزن هر دسته، تفاوت برآوردشده در پیش‌بینی میان آن دسته و دسته مرجع است. عرض از مبدأ مدل خطی، میانگین دسته مرجع است (به شرط آنکه سایر ویژگی‌ها ثابت بمانند). ستون اول ماتریس طراحی، عرض از مبدأ است که همواره برابر ۱ است. ستون دوم نشان می‌دهد که آیا نمونه $i$ در دسته $B$ است یا نه، و ستون سوم نشان می‌دهد که آیا در دسته $C$ است یا نه. نیازی به ستونی برای دسته $A$ نیست، زیرا در آن صورت معادله خطی بیش‌ازحد مشخص (overspecified) می‌شد و راه‌حل یکتایی برای وزن‌ها یافت نمی‌شد. کافی است بدانیم نمونه‌ای نه در دسته $B$ و نه در دسته $C$ است.

$$\begin{pmatrix} A \\ A \\ B \\ C \end{pmatrix} \Rightarrow \begin{pmatrix} 1 & 0 & 0 \\ 1 & 0 & 0 \\ 1 & 1 & 0 \\ 1 & 0 & 1 \end{pmatrix}$$

توضیح مترجم برای درک بهتر: فرض کنید سه سطح شغلی داریم: مبتدی ($A$، دسته مرجع)، متوسط ($B$) و ارشد ($C$)، و می‌خواهیم حقوق ماهانه (بر حسب میلیون تومان) را پیش‌بینی کنیم. فرض کنید میانگین حقوق واقعی در داده‌ها این‌گونه باشد: مبتدی = ۱۰، متوسط = ۳۰، ارشد = ۸۰. در کدگذاری مرجع، مدل این‌گونه برازش می‌شود: عرض از مبدأ ($\hat{\beta}_{0}$) برابر ۱۰ (میانگین دسته مرجع، یعنی مبتدی) است؛ وزن دسته $B$ برابر $\hat{\beta}_{1} = 20$ (یعنی ۳۰ منهای ۱۰) است؛ و وزن دسته $C$ برابر $\hat{\beta}_{2} = 70$ (یعنی ۸۰ منهای ۱۰) است. برای پیش‌بینی حقوق یک کارمند ارشد، کافی است $10 + 70 = 80$ را محاسبه کنیم.

کدگذاری اثر (Effect Coding)

در کدگذاری اثر، وزن هر دسته، تفاوت برآوردشده $y$ میان آن دسته و میانگین کلی است (به شرط آنکه سایر ویژگی‌ها صفر یا در دسته مرجع باشند). ستون اول برای برآورد عرض از مبدأ استفاده می‌شود. وزن $\hat{\beta}_{0}$ که با عرض از مبدأ همراه است، نشان‌دهنده میانگین کلی است، و $\hat{\beta}_{1}$ که وزن ستون دوم است، تفاوت میان میانگین کلی و دسته $B$ را نشان می‌دهد. اثر کلی دسته $B$ برابر $\hat{\beta}_{0} + \hat{\beta}_{1}$ است. تفسیر دسته $C$ نیز به همین ترتیب است. برای دسته مرجع $A$، مقدار $-(\hat{\beta}_{1} + \hat{\beta}_{2})$ تفاوت آن با میانگین کلی است و $\hat{\beta}_{0} - (\hat{\beta}_{1} + \hat{\beta}_{2})$ اثر کلی آن است.

$$\begin{pmatrix} A \\ A \\ B \\ C \end{pmatrix} \Rightarrow \begin{pmatrix} 1 & -1 & -1 \\ 1 & -1 & -1 \\ 1 & 1 & 0 \\ 1 & 0 & 1 \end{pmatrix}$$

توضیح مترجم برای درک بهتر: با همان مثال حقوق سه سطح شغلی (مبتدی = ۱۰، متوسط = ۳۰، ارشد = ۸۰)، میانگین کلی برابر $\frac{10+30+80}{3} = 40$ است. در کدگذاری اثر: عرض از مبدأ ($\hat{\beta}_{0}$) برابر همین میانگین کلی، یعنی ۴۰، است؛ وزن دسته $B$ برابر $\hat{\beta}_{1} = 30 - 40 = -10$ است؛ و وزن دسته $C$ برابر $\hat{\beta}_{2} = 80 - 40 = 40$ است. برای پیش‌بینی حقوق یک کارمند متوسط، $40 + (-10) = 30$ را محاسبه می‌کنیم — دقیقاً همان میانگین واقعی این دسته. برای دسته مرجع (مبتدی)، حقوق پیش‌بینی‌شده برابر $40 - (-10 + 40) = 40 - 30 = 10$ است که باز هم با میانگین واقعی آن مطابقت دارد.

کدگذاری Dummy (بدون عرض از مبدأ)

$\hat{\beta}_{\ell}$ در این روش، میانگین برآوردشده $y$ برای هر دسته است (به شرط آنکه سایر مقادیر ویژگی صفر یا در دسته مرجع باشند). توجه کنید که در این‌جا عرض از مبدأ حذف شده است تا بتوان راه‌حل یکتایی برای وزن‌های مدل خطی یافت. راه دیگر برای رفع این مشکل چندگانگی خطی، حذف یکی از دسته‌ها است (همان‌طور که در کدگذاری مرجع انجام شد).

$$\begin{pmatrix} A \\ A \\ B \\ C \end{pmatrix} \Rightarrow \begin{pmatrix} 1 & 0 & 0 \\ 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 1 \end{pmatrix}$$

توضیح مترجم برای درک بهتر: باز هم با همان مثال حقوق (مبتدی = ۱۰، متوسط = ۳۰، ارشد = ۸۰)، در کدگذاری Dummy دیگر خبری از عرض از مبدأ نیست؛ هر دسته وزن مستقل خودش را می‌گیرد که همان میانگین حقوق آن دسته است: $\hat{\beta}_{A} = 10$، $\hat{\beta}_{B} = 30$، $\hat{\beta}_{C} = 80$. برای پیش‌بینی حقوق هر کارمند، کافی است وزن دسته او را مستقیماً بخوانیم — بدون هیچ جمع یا تفریق اضافه‌ای، برخلاف دو روش قبلی.

اگر می‌خواهید کمی عمیق‌تر به کدگذاری‌های مختلف ویژگی‌های دسته‌ای بپردازید، این صفحه مروری و این نوشتهٔ وبلاگی را ببینید.

مدل‌های خطی تنک (Sparse Linear Models)

مثال‌هایی که تا این‌جا از مدل‌های خطی انتخاب کرده‌ایم، همگی زیبا و منظم به نظر می‌رسند، این‌طور نیست؟ اما در واقعیت، ممکن است تنها چند ویژگی نداشته باشید، بلکه صدها یا هزاران ویژگی داشته باشید. آن‌وقت تکلیف مدل رگرسیون خطی‌تان چه می‌شود؟ تفسیرپذیری رو به کاهش می‌رود. حتی ممکن است در موقعیتی قرار بگیرید که تعداد ویژگی‌ها از تعداد نمونه‌ها بیشتر باشد، و در این حالت اصلاً نمی‌توانید یک مدل خطی استاندارد برازش کنید. خبر خوب این است که راه‌هایی برای وارد کردن تنکی (یعنی داشتن تعداد کمی ویژگی) به مدل‌های خطی وجود دارد.

لاسو (Lasso)

لاسو (Lasso) روشی خودکار و آسان برای وارد کردن تنکی به مدل رگرسیون خطی است. لاسو مخفف «least absolute shrinkage and selection operator» است و وقتی در یک مدل رگرسیون خطی به کار می‌رود، انتخاب ویژگی و منظم‌سازی (regularization) وزن‌های ویژگی‌های انتخاب‌شده را انجام می‌دهد. بیایید مسئله بهینه‌سازی‌ای را در نظر بگیریم که وزن‌ها بر اساس آن بهینه می‌شوند:

$$\min_{\beta} \sum_{i=1}^{n} \left(y^{(i)} - x^{(i)\top}\beta\right)^2$$

لاسو یک جمله به این مسئله بهینه‌سازی اضافه می‌کند:

$$\min_{\beta} \left( \sum_{i=1}^{n} \left(y^{(i)} - x^{(i)\top}\beta\right)^2 + \lambda |\beta|_{1} \right)$$

که در آن $|\beta|_{1} = \sum_{j=1}^{p} |\beta_j|$، یعنی نرم $L_1$ بردار ویژگی، به جریمه‌شدن وزن‌های بزرگ منجر می‌شود. از آنجا که از نرم $L_1$ استفاده می‌شود، بسیاری از وزن‌ها برآوردی برابر صفر می‌گیرند و بقیه کوچک‌تر می‌شوند. پارامتر $\lambda$ قدرت اثر منظم‌سازی را کنترل می‌کند و معمولاً با اعتبارسنجی متقاطع (cross-validation) تنظیم می‌شود. به‌ویژه وقتی $\lambda$ بزرگ باشد، بسیاری از وزن‌ها صفر می‌شوند. وزن‌های ویژگی را می‌توان به‌صورت تابعی از جمله جریمه $\lambda$ به تصویر کشید. هر وزن ویژگی با یک منحنی در شکل ۶.۴ نمایش داده می‌شود. با افزایش جریمه وزن‌ها، ویژگی‌های کمتر و کمتری برآورد وزن غیرصفر دریافت می‌کنند. این منحنی‌ها را مسیرهای منظم‌سازی (regularization paths) نیز می‌نامند.

شکل ۶.۴: اثر جمله جریمه $\lambda$ بر برآورد وزن‌ها در یک مدل خطی. عددی که بالای نمودار نوشته شده، تعداد وزن‌های غیرصفر است.

چه مقداری باید برای $\lambda$ انتخاب کنیم؟ اگر جمله جریمه را به‌عنوان یک پارامتر تنظیم در نظر بگیرید، می‌توانید با اعتبارسنجی متقاطع، $\lambda$ای را بیابید که خطای مدل را کمینه می‌کند. همچنین می‌توانید $\lambda$ را به‌عنوان پارامتری برای کنترل تفسیرپذیری مدل در نظر بگیرید. هرچه جریمه بزرگ‌تر باشد، ویژگی‌های کمتری در مدل حضور دارند (چون وزن آن‌ها صفر است)، و مدل بهتر قابل تفسیر است.

توضیح مترجم: یک نکته تکمیلی که در متن اصلی نیامده، تفاوت لاسو با رگرسیون ریج (Ridge) است: رگرسیون ریج نیز وزن‌ها را جریمه می‌کند، اما با نرم $L_2$ (مجموع مربعات وزن‌ها به‌جای مجموع قدر مطلق آن‌ها)، و این جریمه فقط وزن‌ها را کوچک می‌کند، نه دقیقاً صفر. به همین دلیل، ریج ابزاری برای کاهش بیش‌برازش است، اما بر خلاف لاسو، به‌طور طبیعی ویژگی‌ها را از مدل حذف نمی‌کند.

مثالی با لاسو

می‌خواهیم اجاره دوچرخه را با استفاده از لاسو پیش‌بینی کنیم. تعداد ویژگی‌هایی که می‌خواهیم در مدل داشته باشیم را از پیش تعیین می‌کنیم. ابتدا این عدد را برابر ۲ ویژگی قرار می‌دهیم تا نتایج جدول ۶.۳ را به دست آوریم.

جدول ۶.۳: برآورد وزن‌ها هنگام استفاده از لاسو با تعیین تعداد ویژگی‌ها برابر دو.

ویژگیوزن
seasonWINTER۰٫۰۰
seasonSPRING۰٫۰۰
seasonSUMMER۰٫۰۰
seasonFALL۰٫۰۰
holidayY۰٫۰۰
workdayY۰٫۰۰
weatherMISTY۰٫۰۰
weatherBAD۰٫۰۰
temp۲۲٫۴۵
hum۰٫۰۰
windspeed۰٫۰۰
cnt_2d_bfr۰٫۴۸

اولین دو ویژگی با وزن غیرصفر در مسیر لاسو، دما (temp) و تعداد قبلی (cnt_2d_bfr) هستند. حال بیایید ۵ ویژگی انتخاب کنیم. نتایج در جدول ۶.۴ آمده است. توجه کنید که وزن‌های «temp» و «cnt_2d_bfr» با مدل دوویژگی‌ای متفاوت‌اند. دلیل این امر این است که با کاهش $\lambda$، حتی ویژگی‌هایی که از قبل «در» مدل بودند نیز کمتر جریمه می‌شوند و ممکن است وزن مطلق بزرگ‌تری بگیرند. تفسیر وزن‌های لاسو مطابق با تفسیر وزن‌ها در مدل رگرسیون خطی است. تنها باید توجه کنید که آیا ویژگی‌ها استانداردسازی شده‌اند یا نه، زیرا این موضوع بر وزن‌ها اثر می‌گذارد. در این مثال، ویژگی‌ها توسط نرم‌افزار استانداردسازی شدند، اما وزن‌ها به‌طور خودکار به مقیاس اصلی ویژگی‌ها بازگردانده شدند.

جدول ۶.۴: برآورد وزن‌ها هنگام استفاده از لاسو با تعیین تعداد ویژگی‌ها برابر پنج.

ویژگیوزن
seasonWINTER‎−۲۴۹٫۳۷
seasonSPRING۰٫۰۰
seasonSUMMER۰٫۰۰
seasonFALL۰٫۰۰
holidayY۰٫۰۰
workdayY۰٫۰۰
weatherMISTY۰٫۰۰
weatherBAD‎−۷۸۹٫۷۴
temp۳۱٫۱۴
hum‎−۶٫۴۷
windspeed۰٫۰۰
cnt_2d_bfr۰٫۵۳

روش‌های دیگر برای تنکی در مدل‌های خطی

طیف گسترده‌ای از روش‌ها را می‌توان برای کاهش تعداد ویژگی‌ها در یک مدل خطی به کار برد.

روش‌های پیش‌پردازش:

  • ویژگی‌های انتخاب‌شده به‌صورت دستی: همیشه می‌توانید از دانش تخصصی برای انتخاب یا کنار گذاشتن برخی ویژگی‌ها استفاده کنید. عیب بزرگ این روش این است که خودکار نیست و به فردی نیاز دارید که داده‌ها را بشناسد.
  • انتخاب تک‌متغیره (Univariate selection): نمونه‌ای از آن ضریب همبستگی است. تنها ویژگی‌هایی را در نظر می‌گیرید که از آستانه مشخصی از همبستگی میان ویژگی و هدف عبور کنند. عیب این روش این است که ویژگی‌ها را تنها به‌تنهایی در نظر می‌گیرد. برخی ویژگی‌ها ممکن است تا زمانی که مدل خطی سایر ویژگی‌ها را لحاظ نکرده باشد، همبستگی‌ای نشان ندهند؛ چنین ویژگی‌هایی را با روش‌های انتخاب تک‌متغیره از دست می‌دهید.

روش‌های گام‌به‌گام:

  • انتخاب پیشرو (Forward selection): مدل خطی را با یک ویژگی برازش دهید. این کار را برای هر ویژگی انجام دهید. مدلی را انتخاب کنید که بهترین عملکرد را دارد (مثلاً بالاترین $R^2$). حال دوباره، برای ویژگی‌های باقی‌مانده، نسخه‌های مختلفی از مدل خود را با افزودن هر ویژگی به بهترین مدل فعلی برازش دهید. مدلی را که بهترین عملکرد را دارد انتخاب کنید. تا رسیدن به یک معیار توقف، مانند حداکثر تعداد ویژگی در مدل، ادامه دهید.
  • انتخاب پسرو (Backward selection): شبیه به انتخاب پیشرو است. اما به‌جای افزودن ویژگی، با مدلی شروع می‌کنید که همه ویژگی‌ها را دارد و بررسی می‌کنید کدام ویژگی را باید حذف کنید تا بیشترین افزایش عملکرد را به دست آورید. این کار را تا رسیدن به یک معیار توقف تکرار کنید.

توصیه من استفاده از لاسو است، زیرا می‌توان آن را خودکار کرد، همه ویژگی‌ها را به‌طور هم‌زمان در نظر می‌گیرد، و می‌توان آن را از طریق $\lambda$ کنترل کرد. لاسو برای رگرسیون لجستیک در طبقه‌بندی نیز کاربرد دارد.

مزایا

مدل‌سازی پیش‌بینی‌ها به‌صورت یک مجموع وزن‌دار، شفاف می‌کند که پیش‌بینی‌ها چگونه تولید می‌شوند. و با لاسو می‌توانیم اطمینان حاصل کنیم که تعداد ویژگی‌های استفاده‌شده کم باقی می‌ماند.

بسیاری از افراد از مدل‌های رگرسیون خطی استفاده می‌کنند. این یعنی در بسیاری از جاها، این روش برای مدل‌سازی پیش‌بینی و انجام استنتاج پذیرفته‌شده است. سطح بالایی از تجربه و تخصص جمعی درباره آن وجود دارد، از جمله منابع آموزشی درباره مدل‌های رگرسیون خطی و پیاده‌سازی‌های نرم‌افزاری. رگرسیون خطی را می‌توان در R، Python، Java، Julia، Scala، JavaScript و … یافت.

از نظر ریاضی، برآورد وزن‌ها ساده است و تضمینی برای یافتن وزن‌های بهینه دارید (به شرط آنکه تمام مفروضات مدل رگرسیون خطی توسط داده‌ها برآورده شوند).

همراه با وزن‌ها، فاصله‌های اطمینان، آزمون‌های آماری، و نظریه آماری استواری به دست می‌آورید. همچنین بسط‌های زیادی از مدل رگرسیون خطی وجود دارد (به فصل مربوط به GLM، GAM و بیشتر مراجعه کنید).

مدل‌های خطی می‌توانند توضیحاتی صادقانه (truthful) تولید کنند، تا زمانی که معادله خطی مدل مناسبی برای رابطه میان ویژگی‌ها و خروجی باشد. هرچه روابط غیرخطی و تعاملات بیشتری وجود داشته باشد، مدل خطی دقت کمتری خواهد داشت، و توضیحات آن نیز کمتر صادقانه خواهند بود.

محدودیت‌ها

مدل‌های رگرسیون خطی تنها می‌توانند روابط خطی را نشان دهند، یعنی یک مجموع وزن‌دار از ویژگی‌های ورودی. هر رابطه غیرخطی یا تعامل باید به‌صورت دستی ساخته شود و به‌طور صریح به‌عنوان یک ویژگی ورودی به مدل داده شود.

مدل‌های خطی همچنین اغلب از نظر عملکرد پیش‌بینی چندان خوب نیستند، زیرا روابطی که می‌توانند یاد بگیرند بسیار محدود است و معمولاً پیچیدگی واقعیت را بیش‌ازحد ساده می‌کنند.

تفسیر یک وزن می‌تواند غیرشهودی باشد، زیرا به تمام ویژگی‌های دیگر بستگی دارد. ممکن است ویژگی‌ای که همبستگی مثبت بالایی با خروجی $Y$ دارد، در کنار ویژگی دیگری، وزن منفی در مدل خطی بگیرد، چون با ثابت نگه‌داشتن ویژگی همبسته دیگر، در فضای چندبعدی همبستگی منفی با $Y$ پیدا می‌کند. ویژگی‌های کاملاً همبسته حتی یافتن یک راه‌حل یکتا برای معادله خطی را غیرممکن می‌کنند. مثالی از این مورد: مدلی برای پیش‌بینی ارزش یک خانه دارید و ویژگی‌هایی مانند تعداد اتاق‌ها و متراژ خانه در آن هست. متراژ خانه و تعداد اتاق‌ها به‌شدت با هم همبسته‌اند: هرچه خانه بزرگ‌تر باشد، اتاق‌های بیشتری دارد. اگر هر دو ویژگی را در یک مدل خطی وارد کنید، ممکن است پیش بیاید که متراژ خانه پیش‌بینی‌کننده بهتری باشد و وزن مثبت بزرگی بگیرد. تعداد اتاق‌ها ممکن است در نهایت وزن منفی بگیرد، چون با فرض ثابت بودن متراژ خانه، افزایش تعداد اتاق‌ها می‌تواند ارزش خانه را کاهش دهد (مثلاً به‌خاطر کوچک‌تر شدن هر اتاق)، یا اینکه وقتی همبستگی خیلی قوی باشد، معادله خطی ناپایدارتر می‌شود.

توضیح مترجم برای درک بهتر: فرض کنید دو خانه با متراژ یکسان ۱۰۰ متر داریم، اما یکی ۳ اتاق دارد و دیگری ۵ اتاق. اگر متراژ ثابت بماند، خانه با ۵ اتاق یعنی اتاق‌های کوچک‌تر و شاید کم‌کاربردتر — که می‌تواند از نظر خریداران کمتر مطلوب باشد. به همین دلیل ممکن است مدل خطی، وزن منفی برای «تعداد اتاق» برآورد کند، در حالی که به‌طور شهودی انتظار داریم اتاق بیشتر همیشه بهتر باشد. این پارادوکس ظاهری، دقیقاً نتیجه همبستگی قوی میان متراژ و تعداد اتاق است.

با توجه به ویژگی‌هایی که یک توضیح خوب را می‌سازند — همان‌طور که در فصل «توضیحات انسان‌پسند» ارائه شد — مدل‌های خطی بهترین توضیحات را تولید نمی‌کنند. این توضیحات contrastive هستند، اما نمونه مرجع، نقطه داده‌ای است که در آن همه ویژگی‌های عددی صفرند و ویژگی‌های دسته‌ای در دسته‌های مرجع خود قرار دارند. این معمولاً یک نمونه مصنوعی و بی‌معناست که بعید است در داده‌ها یا واقعیت رخ دهد. یک استثنا وجود دارد: اگر همه ویژگی‌های عددی میانگین‌مرکزی شوند (ویژگی منهای میانگین آن ویژگی) و همه ویژگی‌های دسته‌ای با کدگذاری اثر (effect coding) کدگذاری شوند، نمونه مرجع همان نقطه داده‌ای است که در آن همه ویژگی‌ها مقدار میانگین خود را دارند. این نیز ممکن است نمونه‌ای غیرموجود باشد، اما دست‌کم می‌تواند محتمل‌تر یا معنادارتر باشد. در این حالت، وزن‌ها ضرب‌در مقادیر ویژگی‌ها (یعنی اثرات ویژگی‌ها) سهم هر ویژگی در پیش‌بینی خروجی را به‌صورت contrastive نسبت به «نمونه-میانگین» توضیح می‌دهند.

به‌طور پیش‌فرض، مدل‌های خطی توضیحات گزینشی (selective) تولید نمی‌کنند.

توضیح مترجم: توضیح گزینشی (selective explanation) یعنی توضیحی که فقط روی مهم‌ترین یکی-دو دلیل تمرکز می‌کند، همان‌طور که انسان‌ها معمولاً هنگام توضیح دادن یک رویداد عمل می‌کنند؛ مدل خطی چنین کاری نمی‌کند و سهم همه ویژگی‌ها را هم‌زمان گزارش می‌دهد.


در مجموع، رگرسیون خطی بهترین انتخاب است وقتی روابط واقعاً (یا تقریباً) خطی هستند، داده‌ها کافی نیستند برای مدل‌های پیچیده‌تر، یا تفسیرپذیری و اعتماد اولویت دارند. در غیر این صورت، روش‌های پیشرفته‌تر در کنار ابزارهای تفسیر مانند SHAP یا LIME می‌توانند بهتر باشند.


پانویس: این فصل رگرسیون خطی را از دیدگاه یک آماردان معرفی کرده است، با جمله خطای تصادفی $\epsilon$ به‌عنوان بخشی از تعریف مدل. با این حال، می‌توان رگرسیون خطی را بدون این جمله خطا نیز تعریف کرد و صرفاً آن را به‌عنوان یک تابع پیش‌بینی $\hat{y} = \beta_0 + \sum_j \beta_j x_j$ در نظر گرفت.

فصل ۷: رگرسیون لجستیک

عنوان اصلی: Logistic Regression
منبع: https://christophm.github.io/interpretable-ml-book/logistic.html
نویسنده: Christoph Molnar
مترجم: مریم محمودی


رگرسیون لجستیک احتمال‌ها را برای مسائل دسته‌بندی با دو نتیجه ممکن مدل می‌کند. این مدل بسط رگرسیون خطی برای نتایج دسته‌ای است.1

نکته: فقط به‌دنبال تفسیر درست مدل‌های رگرسیون لجستیک هستید؟ برای صرفه‌جویی در وقت و دردسر (لگاریتم شانس، کسی هست؟)، به راهنمای تقلب (cheat sheet) تفسیر رگرسیون لجستیک نویسنده مراجعه کنید.

از رگرسیون خطی برای دسته‌بندی استفاده نکنید

مدل رگرسیون خطی می‌تواند برای رگرسیون به‌خوبی کار کند، اما برای دسته‌بندی شکست می‌خورد. چرا؟ در حالت دو دسته، می‌توانید یکی از دسته‌ها را با ۰ و دیگری را با ۱ برچسب بزنید و رگرسیون خطی به کار ببرید. از نظر فنی این کار می‌کند و بیشتر برنامه‌های مدل خطی وزن‌هایی به شما می‌دهند. اما این رویکرد چند مشکل دارد:

مدل خطی احتمال خروجی نمی‌دهد، بلکه دسته‌ها را به‌عنوان عدد (۰ و ۱) در نظر می‌گیرد و بهترین ابرصفحه (که برای یک ویژگی، یک خط است) را برازش می‌کند که فاصله بین نقاط و ابرصفحه را کمینه کند. پس این مدل صرفاً بین نقاط درون‌یابی می‌کند و نمی‌توان آن را به‌عنوان احتمال تفسیر کرد.

یک مدل خطی همچنین برون‌یابی می‌کند و مقادیری زیر صفر و بالای یک به شما می‌دهد. این خود نشانه خوبی است که ممکن است رویکرد هوشمندانه‌تری برای دسته‌بندی وجود داشته باشد.

از آنجا که نتیجه پیش‌بینی‌شده احتمال نیست، بلکه یک درون‌یابی خطی بین نقاط است، هیچ آستانه معناداری وجود ندارد که بتوان دسته‌ها را از هم متمایز کرد، همان‌طور که در شکل ۷.۱ نشان داده شده است. توضیح خوبی درباره این مسئله در Stackoverflow ارائه شده است.

مدل‌های خطی به مسائل دسته‌بندی با چند دسته تعمیم نمی‌یابند. باید شروع کنید به برچسب‌گذاری دسته بعدی با ۲، سپس ۳ و به همین ترتیب. ممکن است دسته‌ها هیچ ترتیب معناداری نداشته باشند، اما مدل خطی ساختاری عجیب بر رابطه بین ویژگی‌ها و پیش‌بینی دسته‌ها تحمیل می‌کند. هرچه مقدار یک ویژگی با وزن مثبت بیشتر باشد، سهم بیشتری در پیش‌بینی دسته‌ای با عدد بالاتر دارد — حتی اگر دسته‌هایی که به‌طور اتفاقی عدد مشابهی گرفته‌اند، به هم نزدیک‌تر از سایر دسته‌ها نباشند.

شکل ۷.۱: برازش یک مدل خطی برای پیش‌بینی نوع تومور (شبیه‌سازی‌شده) بر اساس اندازه تومور. نقاط برای کاهش هم‌پوشانی کمی جیتر (jitter) داده شده‌اند. چپ: استفاده از آستانه ۰.۵ یک دسته‌بند قابل‌قبول به دست می‌دهد. راست) افزودن تنها دو نقطه داده دیگر، برآوردهای رگرسیون را کاملاً تغییر می‌دهد و آستانه ۰.۵ را بی‌معنا می‌کند. مدل همچنین پیش‌بینی‌هایی بزرگ‌تر از ۱ تولید می‌کند.

نظریه

راه‌حلی برای دسته‌بندی، رگرسیون لجستیک است. به جای برازش یک خط مستقیم یا ابرصفحه، مدل رگرسیون لجستیک از تابع لجستیک برای فشرده‌کردن خروجی یک معادله خطی به بازه بین ۰ و ۱ استفاده می‌کند.

تابع لجستیک

تابع لجستیک (که به آن تابع سیگمویید نیز گفته می‌شود) به صورت زیر تعریف می‌شود:

$$\text{logistic}(\mathbf{z}) = \frac{1}{1 + \exp(-\mathbf{z})}$$

این تابع هر عدد واقعی $z$ را به بازه $(0, 1)$ نگاشت می‌کند:

  • وقتی $z \to +\infty$، خروجی به ۱ نزدیک می‌شود.
  • وقتی $z \to -\infty$، خروجی به ۰ نزدیک می‌شود.
  • وقتی $z = 0$، خروجی دقیقاً $0.5$ است.

شکل ۷.۲: تابع لجستیک. این تابع هر ورودی حقیقی را به مقداری بین ۰ و ۱ تبدیل می‌کند و شکل S-مانند دارد.

مدل رگرسیون لجستیک

گام از رگرسیون خطی به رگرسیون لجستیک مستقیم است. در رگرسیون خطی، رابطه بین خروجی و ویژگی‌ها را با یک معادله خطی مدل می‌کردیم:

$$\hat{y}^{(i)} = \beta_0 + \beta_1 x^{(i)}_1 + \ldots + \beta_p x^{(i)}_p$$

برای دسته‌بندی، به احتمال‌هایی بین ۰ و ۱ نیاز داریم. پس طرف راست معادله را درون تابع لجستیک قرار می‌دهیم تا خروجی همیشه در این بازه بماند:

$$\mathbb{P}(Y^{(i)}=1) = \text{logistic}\!\left(x^{(i)\top} \boldsymbol{\beta}\right) = \frac{1}{1 + \exp\!\left(-\left(\beta_0 + \beta_1 x^{(i)}_1 + \ldots + \beta_p x^{(i)}_p\right)\right)}$$

در این فرمول، $\mathbb{P}(Y^{(i)}=1)$ احتمال تعلق نمونه $i$ به دسته ۱ است.

مدل با بیشینه‌سازی درست‌نمایی (Maximum Likelihood Estimation) برازش می‌شود — یعنی ضرایبی پیدا می‌شوند که احتمال مشاهده داده‌های آموزشی را بیشینه کنند. برخلاف رگرسیون خطی، راه‌حل بسته (closed-form) وجود ندارد و از روش‌های بهینه‌سازی تکراری مانند گرادیان نزولی استفاده می‌شود.

بیایید دوباره مثال اندازه تومور را مرور کنیم. اما این بار، به‌جای مدل رگرسیون خطی، از مدل رگرسیون لجستیک استفاده می‌کنیم و منحنی برازشی به‌مراتب بهتری به دست می‌آوریم (شکل ۷.۳ را ببینید).

شکل ۷.۳: چپ: مدل رگرسیون لجستیک برازش‌شده برای پیش‌بینی دسته تومور از روی اندازه تومور، بر اساس داده‌های شبیه‌سازی‌شده تومور. راست: رگرسیون لجستیک حتی با افزودن دو نقطه پرت (outlier) نیز پایدار (robust) می‌ماند.

دسته‌بندی با رگرسیون لجستیک بهتر انجام می‌شود و در هر دو حالت می‌توانیم از آستانه $0.5$ استفاده کنیم. افزودن نقاط داده اضافی عملاً تأثیری بر منحنی برآوردشده ندارد.

تفسیر

تفسیر وزن‌ها در رگرسیون لجستیک از رگرسیون خطی پیچیده‌تر است، زیرا وزن‌ها دیگر به‌طور خطی روی احتمال تأثیر نمی‌گذارند. برای تفسیر، باید معادله را بازنویسی کنیم تا فقط ترکیب خطی در سمت راست باقی بماند.

لگاریتم شانس (Log-Odds)

نسبت $\frac{\mathbb{P}(Y=1)}{\mathbb{P}(Y=0)}$ را شانس (odds) می‌نامند: احتمال وقوع رویداد تقسیم بر احتمال عدم وقوع آن. اگر لگاریتم طبیعی این نسبت را بگیریم، به لگاریتم شانس (log-odds یا logit) می‌رسیم:

$$\ln\!\left(\frac{\mathbb{P}(Y=1)}{1-\mathbb{P}(Y=1)}\right) = \ln\!\left(\frac{\mathbb{P}(Y=1)}{\mathbb{P}(Y=0)}\right) = \beta_0 + \beta_1 x_1 + \ldots + \beta_p x_p$$

توضیح مترجم: این رابطه ادعای بزرگی است — چرا وقتی روی $p = \mathbb{P}(Y=1)$ تابع لجستیک اعمال شده، لگاریتمِ نسبتِ $\frac{p}{1-p}$ دقیقاً به همان ترکیب خطی $z = \beta_0 + \beta_1 x_1 + \ldots + \beta_p x_p$ برمی‌گردد که با آن شروع کرده بودیم؟ اثبات کامل و گام‌به‌گام این‌طور است:

گام ۱ — نقطه شروع. طبق تعریف مدل، $p$ برابر است با تابع لجستیک اعمال‌شده روی $z$: $$p = \text{logistic}(z) = \frac{1}{1+\exp(-z)}$$

گام ۲ — محاسبه $1-p$. برای ساده‌سازی، عبارت $1$ را با مخرج مشترک $1+\exp(-z)$ می‌نویسیم: $$1 - p = 1 - \frac{1}{1+\exp(-z)} = \frac{\left(1+\exp(-z)\right) - 1}{1+\exp(-z)} = \frac{\exp(-z)}{1+\exp(-z)}$$

گام ۳ — محاسبه نسبت شانس $\frac{p}{1-p}$. حالا کسر $p$ را بر کسر $1-p$ تقسیم می‌کنیم. چون هر دو کسر مخرج مشترک $1+\exp(-z)$ دارند، این مخرج در تقسیم ساده می‌شود: $$\frac{p}{1-p} = \frac{\dfrac{1}{1+\exp(-z)}}{\dfrac{\exp(-z)}{1+\exp(-z)}} = \frac{1}{1+\exp(-z)} \times \frac{1+\exp(-z)}{\exp(-z)} = \frac{1}{\exp(-z)}$$

از قاعده توان $\frac{1}{\exp(-z)} = \exp(z)$ (چون $\exp(-z) = 1/\exp(z)$)، نتیجه می‌گیریم: $$\text{odds} = \frac{p}{1-p} = \exp(z)$$

این خودش نکته‌ی مهمی است: شانس (odds) صرفاً $\exp$ از همان ترکیب خطی $z$ است — بدون هیچ نگاشت غیرخطی اضافه‌ای.

گام ۴ — گرفتن لگاریتم طبیعی از دو طرف. چون $\ln$ و $\exp$ معکوس یکدیگرند ($\ln(\exp(z)) = z$)، داریم: $$\ln\!\left(\frac{p}{1-p}\right) = \ln\!\left(\exp(z)\right) = z = \beta_0 + \beta_1 x_1 + \ldots + \beta_p x_p$$

یعنی دقیقاً همان رابطه بالا. به زبان ساده: تابع لجستیک و لگاریتمِ نسبتِ شانس (logit) دقیقاً معکوس ریاضی یکدیگرند — یکی $z$ را به $p$ می‌برد، دیگری $p$ را دقیقاً به همان $z$ برمی‌گرداند. به همین دلیل است که رگرسیون لجستیک را می‌توان این‌گونه توصیف کرد: «یک مدل خطی روی $z$، که از دریچه‌ی تابع لجستیک به احتمال $p$ نگاشت می‌شود، و از دریچه‌ی معکوسش (logit) دوباره به همان $z$ خطی بازمی‌گردد.»

این رابطه نشان می‌دهد که رگرسیون لجستیک در فضای لگاریتم شانس یک مدل خطی است. هر ضریب $\beta_j$ اثر خطی مستقیم بر لگاریتم شانس دارد. عالی! انگار خیلی هم به کارمان نمی‌آید!

هشدار — رگرسیون لجستیک ضربی است: در سطح احتمال، رگرسیون لجستیک نسبت به ویژگی‌ها خطی نیست؛ یعنی افزایش یک واحد در یک ویژگی، احتمال را به اندازه $\beta_j$ افزایش نمی‌دهد، بلکه احتمال را به‌صورت ضربی تغییر می‌دهد.

نسبت شانس (Odds Ratio)

با کمی جابه‌جایی جملات می‌توانیم بفهمیم پیش‌بینی چگونه تغییر می‌کند وقتی یکی از ویژگی‌ها، $X_j$، به اندازه یک واحد تغییر کند. برای این کار، ابتدا تابع $\exp$ را روی هر دو طرف معادله اعمال می‌کنیم:

$$\frac{\mathbb{P}(Y=1)}{1 - \mathbb{P}(Y = 1)} = \text{odds} = \exp\!\left(\beta_0 + \beta_1 x_1 + \ldots + \beta_p x_p\right)$$

حالا بررسی می‌کنیم که وقتی یکی از مقادیر ویژگی‌ها را یک واحد افزایش دهیم چه اتفاقی می‌افتد. اما به‌جای بررسی تفاضل، نسبت دو پیش‌بینی را بررسی می‌کنیم:

$$\frac{\text{odds}_{x_j+1}}{\text{odds}_{x_j}} = \frac{\exp\!\left(\beta_0 + \cdots + \beta_j(x_j+1) + \cdots + \beta_p x_p\right)}{\exp\!\left(\beta_0 + \cdots + \beta_j x_j + \cdots + \beta_p x_p\right)}$$

با استفاده از قاعده زیر:

$$\frac{\exp(a)}{\exp(b)} = \exp(a - b)$$

جملات مشترک حذف می‌شوند:

$$\frac{\text{odds}_{x_j+1}}{\text{odds}_{x_j}} = \exp\!\left(\beta_j(x_j+1) - \beta_j x_j\right) = \exp\!\left(\beta_j\right)$$

در نهایت، به چیزی به سادگی $\exp()$ از وزن یک ویژگی می‌رسیم. تغییر یک ویژگی به اندازه یک واحد، نسبت شانس (odds ratio) را به‌صورت ضربی، به اندازه $\exp(\beta_j)$، تغییر می‌دهد. می‌توانیم این را این‌طور هم تفسیر کنیم: تغییر $x^{(i)}_j$ به اندازه یک واحد، لگاریتم نسبت شانس را به اندازه مقدار وزن متناظر افزایش می‌دهد.

بیشتر افراد نسبت شانس را تفسیر می‌کنند، چون فکر کردن به لگاریتم یک عدد برای مغز کار سختی است. تفسیر نسبت شانس هم خودش به کمی عادت‌کردن نیاز دارد. برای مثال، اگر شانس برابر ۲ باشد، یعنی احتمال $Y=1$ دو برابر احتمال $Y=0$ است. اگر وزنی (لگاریتم نسبت شانس) برابر $0.7$ داشته باشید، افزایش یک واحد در ویژگی متناظر، شانس را در $\exp(0.7)$ (تقریباً ۲) ضرب می‌کند و شانس به ۴ تغییر می‌کند. اما معمولاً با خودِ شانس کار نمی‌کنید و وزن‌ها را فقط به‌صورت نسبت شانس تفسیر می‌کنید؛ چون برای محاسبه واقعی شانس باید مقداری برای هر ویژگی تعیین کنید، که فقط زمانی معنا دارد که بخواهید یک نمونه مشخص از داده‌ها را بررسی کنید.

برای درک بهتر (توضیح مترجم): فرض کنید مدلی برای پیش‌بینی احتمال ابتلا به یک بیماری بر اساس سن دارید و ضریب سن برابر $\beta = 0.05$ است، پس نسبت شانس برابر است با $\exp(0.05) \approx 1.05$؛ یعنی با هر یک سال افزایش سن، شانس ابتلا ۵٪ بیشتر می‌شود (نه احتمال، بلکه شانس). فرض کنید برای فردی ۴۰ ساله شانس ابتلا برابر ۰٫۲ است، که معادل احتمال $0.2/1.2 \approx 16.7%$ است. برای فردی ۴۱ ساله، شانس جدید تقریباً $0.2 \times 1.05 = 0.21$ می‌شود که معادل احتمال $0.21/1.21 \approx 17.4%$ است. همان‌طور که می‌بینید، افزایش احتمال (از ۱۶٫۷٪ به ۱۷٫۴٪) دقیقاً برابر ۵٪ نیست؛ به همین دلیل است که رگرسیون لجستیک در سطح احتمال خطی نیست، هرچند در سطح شانس ضربی و ساده است.

تفسیر بر اساس نوع ویژگی

ویژگی عددی: با افزایش یک واحد در $x_j$، با ثابت ماندن سایر ویژگی‌ها، شانس برآوردشده در $\exp(\beta_j)$ ضرب می‌شود.

ویژگی دودویی (باینری): یکی از دو مقدار ویژگی دسته مرجع است. تغییر $x_j$ از دسته مرجع به دسته دیگر، شانس برآوردشده را در $\exp(\beta_j)$ ضرب می‌کند.

ویژگی دسته‌ای با بیش از دو دسته: رویکرد متداول، کدگذاری یک‌داغ (one-hot encoding) است: برای ویژگی با $L$ دسته، $L-1$ ستون مصنوعی ایجاد می‌شود. دسته $L$ام دسته مرجع می‌شود. تفسیر هر دسته معادل تفسیر ویژگی دودویی است.

عرض از مبدأ $\beta_0$: وقتی تمام ویژگی‌های عددی صفر و تمام ویژگی‌های دسته‌ای در دسته مرجع باشند، شانس برآوردشده برابر $\exp(\beta_0)$ است. معمولاً تفسیر عرض از مبدأ اهمیت چندانی ندارد.

نکته: بهبود تفسیر با روش‌های مستقل از مدل اگر بخواهید نتیجه را در سطح احتمال تفسیر کنید، باید از روش‌های مستقل از مدل (model-agnostic)، مانند نمودار وابستگی جزئی، استفاده کنید.

مثال

از رگرسیون لجستیک برای پیش‌بینی جنسیت پنگوئن‌های Chinstrap بر اساس اندازه‌گیری‌های بدن استفاده می‌کنیم. داده‌های پنگوئن‌های پالمر در فصل ۵ معرفی شدند.

یکی از ویژگی‌ها chonkiness نام دارد — یک نسخه گسسته‌شده از جرم بدن (body_mass_g):

  • پنگوئن‌های سبک (صدک ۰ تا ۲۵): «Smol_Penguin»
  • پنگوئن‌های معمولی (صدک ۲۵ تا ۷۵): «Regular_Penguin»
  • پنگوئن‌های سنگین (صدک ۷۵ تا ۱۰۰): «Absolute_Unit»

معمولاً گسسته‌سازی ویژگی‌های پیوسته را توصیه نمی‌کنم، چون اطلاعات از دست می‌رود. در این مورد، از این گسسته‌سازی برای نمایش تفسیر یک ویژگی دسته‌ای در رگرسیون لجستیک استفاده کردم — و راستش را بخواهید، عاشق کلمه «chonky» هم هستم و دلم می‌خواست در یک کتاب درسی از آن استفاده کنم.

جدول ۷.۱: وزن‌های برآوردشده، نسبت‌های شانس متناظر، و خطاهای استاندارد مدل رگرسیون لجستیک برای پیش‌بینی جنسیت پنگوئن‌های Chinstrap.

ویژگیوزن ($\beta$)نسبت شانس ($\exp(\beta)$)خطای استاندارد
عرض از مبدأمقدار بزرگ——
طول منقار (bill_length_mm)منفی0.59—
عمق منقار (bill_depth_mm)———
طول باله (flipper_length_mm)———
Regular_Penguin (در برابر Smol)مثبت1.92—
Absolute_Unit (در برابر Smol)منفی0.43—

نمونه‌های تفسیر

ویژگی عددی: افزایش یک میلی‌متر در طول منقار، با ثابت ماندن سایر ویژگی‌ها، شانس ماده بودن در برابر نر بودن را در $0.59$ ضرب می‌کند — یعنی شانس ماده بودن کاهش می‌یابد.

ویژگی دسته‌ای: شانس ماده بودن برای پنگوئن‌های Regular نسبت به Smol، با ثابت ماندن سایر ویژگی‌ها، $1.92$ برابر بیشتر است. برای پنگوئن‌های Absolute_Unit نسبت به Smol، شانس ماده بودن $0.43$ برابر — یعنی کمتر — است.

تفسیر عرض از مبدأ

مقدار عرض از مبدأ بسیار بزرگ است. این به این دلیل است که باید برای وضعیتی تفسیر شود که تمام ویژگی‌های عددی برابر صفرند و ویژگی chonkiness در دسته مرجع (Smol) باشد — یعنی پنگوئنی با طول منقار، عمق منقار، و طول باله همگی صفر، که اصلاً واقعی نیست. اگر ویژگی‌ها استانداردسازی شوند، عرض از مبدأ معناپذیرتر می‌شود، یا می‌توان آن را نادیده گرفت.

مزایا

بسیاری از نقاط قوت و ضعف مدل رگرسیون خطی برای مدل رگرسیون لجستیک نیز صدق می‌کند.

از جنبه مثبت، مدل رگرسیون لجستیک تنها یک مدل دسته‌بندی نیست، بلکه احتمال هم به شما می‌دهد. این مزیت بزرگی نسبت به مدل‌هایی است که فقط دسته‌بندی نهایی را ارائه می‌دهند. دانستن اینکه یک نمونه ۹۹٪ احتمال تعلق به یک دسته دارد در برابر ۵۱٪، تفاوت بزرگی ایجاد می‌کند. با این حال، باید بررسی کنید که آیا احتمال‌ها کالیبره‌شده هستند یا نه — یعنی آیا ۶۰٪ واقعاً به معنای ۶۰٪ است.

رگرسیون لجستیک همچنین می‌تواند از دسته‌بندی دودویی به دسته‌بندی چندکلاسه بسط داده شود.

محدودیت‌ها

قدرت بیانی محدود: رگرسیون لجستیک فقط رابطه‌های خطی را در فضای لگاریتم شانس مدل می‌کند. برای گنجاندن اثرات تعاملی یا غیرخطی، باید ویژگی‌های جدید دستی به مدل اضافه شوند. این محدودیت باعث می‌شود در مسائل پیچیده عملکرد ضعیف‌تری نسبت به روش‌های پیشرفته‌تر داشته باشد.

تفسیر ضربی: تفسیر ضرایب در قالب نسبت شانس برای بسیاری دشوارتر از تفسیر جمعی رگرسیون خطی است. فهمیدن اینکه «شانس در $\exp(0.7) \approx 2$ ضرب می‌شود» به تمرین بیشتری نیاز دارد.

جداسازی کامل (Complete Separation): اگر یک ویژگی وجود داشته باشد که دو دسته را به‌طور کامل از هم جدا کند، رگرسیون لجستیک دیگر قابل آموزش نیست. ضریب آن ویژگی همگرا نمی‌شود، چون وزن بهینه برای آن، بی‌نهایت خواهد بود. این واقعاً کمی بدشانسی است، چون چنین ویژگی‌ای واقعاً مفید است. اما اگر قاعده‌ای ساده دو دسته را از هم جدا کند، اصلاً نیازی به یادگیری ماشین ندارید. مشکل جداسازی کامل را می‌توان با معرفی جریمه ضرایب (regularization) یا تعریف یک توزیع پیشین (prior) روی وزن‌ها حل کرد.

برای درک بهتر (توضیح مترجم): برای مثال، فرض کنید می‌خواهید بر اساس نمره یک آزمون پیش‌بینی کنید فردی قبول شده یا نه، و در داده‌های شما هرکس نمره‌اش بالای ۵۰ بوده قبول شده و هرکس نمره‌اش پایین ۵۰ بوده رد شده — بدون هیچ استثنایی. در این حالت، ویژگی «نمره» به‌تنهایی دو دسته را کاملاً از هم جدا می‌کند. مدل رگرسیون لجستیک تلاش می‌کند وزن این ویژگی را هرچه بزرگ‌تر کند تا مرز تصمیم را هرچه تیزتر و شبیه یک پله عمودی کند، اما هیچ‌گاه به وزن بهینه (که عملاً بی‌نهایت است) نمی‌رسد و فرایند بهینه‌سازی هیچ‌وقت همگرا نمی‌شود.

نرم‌افزار

من برای همه مثال‌ها از تابع glm در R استفاده کردم. رگرسیون لجستیک را می‌توان در هر زبان برنامه‌نویسی که برای تحلیل داده استفاده می‌شود پیدا کرد، مانند Python، Java، Stata، Matlab و غیره.


  1. در واقع، رگرسیون لجستیک یک مدل رگرسیون است، چون خروجی آن پیوسته است. اما همراه با یک آستانه تصمیم‌گیری، مانند $0.5$، می‌توان از آن برای دسته‌بندی هم استفاده کرد. ↩

فصل ۸: GLM، GAM و بیشتر

عنوان اصلی: GLM, GAM and more
منبع: https://christophm.github.io/interpretable-ml-book/extend-lm.html
نویسنده: Christoph Molnar
مترجم: مریم محمودی


بزرگ‌ترین نقطه قوت، اما در عین حال بزرگ‌ترین نقطه ضعف مدل رگرسیون خطی، این است که پیش‌بینی به‌صورت مجموع وزن‌دار ویژگی‌ها مدل‌سازی می‌شود. علاوه بر این، مدل خطی مفروضات دیگر زیادی هم دارد. خبر بد (که راستش خبر جدیدی هم نیست) این است که همه این مفروضات در واقعیت اغلب نقض می‌شوند: توزیع خروجی با توجه به ویژگی‌ها ممکن است غیرگاوسی باشد، ویژگی‌ها ممکن است با هم تعامل داشته باشند، و رابطه بین ویژگی‌ها و خروجی ممکن است غیرخطی باشد. خبر خوب این است که جامعه آمار انواع و اقسام تعدیل‌هایی را توسعه داده که مدل رگرسیون خطی را از یک تیغ ساده به یک چاقوی چندکاره سوئیسی تبدیل می‌کند.

این فصل قطعاً راهنمای قطعی شما برای گسترش مدل‌های خطی نیست. در عوض، مروری بر گسترش‌هایی مانند مدل‌های خطی تعمیم‌یافته (GLM) و مدل‌های جمعی تعمیم‌یافته (GAM) ارائه می‌دهد و کمی شهود به شما می‌دهد. پس از خواندن این فصل، باید یک مرور کلی محکم از چگونگی گسترش مدل‌های خطی داشته باشید. اگر می‌خواهید ابتدا بیشتر درباره مدل رگرسیون خطی بدانید، پیشنهاد می‌کنم — در صورتی که تاکنون نخوانده‌اید — فصل مربوط به مدل رگرسیون خطی را بخوانید.

بیایید فرمول مدل رگرسیون خطی را به یاد بیاوریم:

$$\hat{f}(\mathbf{x}) = \beta_0 + \beta_1 x_1 + \ldots + \beta_p x_p + \epsilon$$

مدل رگرسیون خطی فرض می‌کند پیش‌بینی یک نمونه را می‌توان با مجموع وزن‌دار $p$ ویژگی آن، به‌همراه یک متغیر تصادفی $\epsilon^{(i)}$ که از توزیع گاوسی پیروی می‌کند، بیان کرد. با فشردن داده‌ها درون این قالب سفت‌وسخت فرمول، تفسیرپذیری زیادی از مدل به‌دست می‌آوریم. اثرات ویژگی‌ها جمعی هستند — یعنی هیچ تعاملی وجود ندارد — و رابطه خطی است، و همین به ما اجازه می‌دهد رابطه بین یک ویژگی و خروجی مورد انتظار را در یک عدد واحد، یعنی وزن برآوردشده، فشرده کنیم.

اما یک مجموع وزن‌دار ساده برای بسیاری از مسائل پیش‌بینی دنیای واقعی بیش از حد محدودکننده است. در این فصل با سه مشکل مدل رگرسیون خطی کلاسیک و راه‌حل آن‌ها آشنا می‌شویم. مشکلات دیگری هم وجود دارند که ممکن است مفروضات را نقض کنند، اما ما روی سه موردی که در شکل ۸.۱ نشان داده شده‌اند تمرکز می‌کنیم.

شکل ۸.۱: سه فرض مدل خطی (سمت چپ): توزیع گاوسی خروجی با توجه به ویژگی‌ها، جمع‌پذیری (یعنی بدون تعامل) و رابطه خطی. واقعیت معمولاً پایبند این مفروضات نیست (سمت راست): خروجی‌ها ممکن است توزیع غیرگاوسی داشته باشند، ویژگی‌ها ممکن است با هم تعامل داشته باشند، و رابطه ممکن است غیرخطی باشد.


مشکل: خروجی هدف $y$ با توجه به ویژگی‌ها، توزیع گاوسی ندارد.

مثال: فرض کنید می‌خواهم پیش‌بینی کنم هر روز چند دقیقه دوچرخه‌سواری می‌کنم. به‌عنوان ویژگی، نوع روز، وضعیت آب‌وهوا و مواردی از این دست را دارم. اگر از یک مدل خطی استفاده کنم، ممکن است دقایق منفی پیش‌بینی کند، چون این مدل توزیع گاوسی را فرض می‌کند که در صفر دقیقه متوقف نمی‌شود. همچنین اگر بخواهم با یک مدل خطی احتمال پیش‌بینی کنم، ممکن است احتمال‌هایی منفی یا بزرگ‌تر از ۱ به‌دست بیاورم.

راه‌حل: مدل‌های خطی تعمیم‌یافته (GLM).


مشکل: ویژگی‌ها با یکدیگر تعامل دارند.

مثال: به‌طور میانگین، باران ملایم تأثیر منفی جزئی بر تمایل من به دوچرخه‌سواری دارد. اما در تابستان، در ساعات شلوغی، از باران استقبال می‌کنم، چون باعث می‌شود همه دوچرخه‌سواران هواخوش‌دوست خانه بمانند و مسیرهای دوچرخه‌سواری برای خودم خلوت شود! این یک تعامل بین زمان و آب‌وهواست که یک مدل کاملاً جمعی نمی‌تواند آن را نشان دهد.

راه‌حل: افزودن جملات تعاملی.


مشکل: رابطه واقعی بین ویژگی‌ها و $y$ خطی نیست.

مثال: بین ۰ تا ۲۵ درجه سانتی‌گراد، تأثیر دما بر تمایل من به دوچرخه‌سواری می‌تواند خطی باشد، یعنی افزایش از ۰ به ۱ درجه همان اندازه‌ای که تمایل به دوچرخه‌سواری را زیاد می‌کند که افزایش از ۲۰ به ۲۱ درجه. اما در دماهای بالاتر، انگیزه من برای دوچرخه‌سواری کم‌کم فروکش می‌کند و حتی کاهش می‌یابد — وقتی هوا خیلی گرم است، دوست ندارم دوچرخه‌سواری کنم.

راه‌حل‌ها: مدل‌های جمعی تعمیم‌یافته (GAM)؛ تبدیل ویژگی‌ها.

بررسی نقض مفروضات مدل خطی

می‌توانید این مشکلات، از جمله تعامل ویژگی‌ها، را به‌صورت تجربی با مقایسه راه‌حل‌ها با رگرسیون خطی ساده بررسی کنید: آیا مدل خطی شما روی داده‌های اعتبارسنجی، وقتی از یک جمله تعاملی استفاده می‌شود، عملکرد بهتری دارد؟

راه‌حل‌های این سه مشکل در این فصل ارائه می‌شوند. بسیاری از گسترش‌های دیگر مدل خطی در اینجا نادیده گرفته شده‌اند. اگر می‌خواستم همه‌چیز را اینجا پوشش دهم، این فصل به‌سرعت به یک کتاب درون کتاب درباره موضوعی تبدیل می‌شد که پیش از این هم در کتاب‌های زیادی پوشش داده شده است. اما حالا که تا اینجا آمده‌اید، در پایان فصل یک مرور کوتاه از مشکل به‌همراه راه‌حل برای گسترش‌های مدل خطی آماده کرده‌ام که می‌توانید آن را در انتهای فصل بیابید.

خروجی‌های غیرگاوسی — GLM ها

مدل رگرسیون خطی فرض می‌کند خروجی با توجه به ویژگی‌های ورودی از توزیع گاوسی پیروی می‌کند. این فرض بسیاری از حالت‌های واقعی را کنار می‌گذارد: خروجی می‌تواند یک دسته باشد (سرطانی در برابر سالم)، یک شمارش (تعداد فرزندان)، زمان تا وقوع رویداد (زمان خرابی یک ماشین)، یا توزیعی با چولگی شدید (درآمد خانوار). مدل‌های خطی تعمیم‌یافته (GLMs) این محدودیت را برطرف می‌کنند.

ایده اصلی GLM این است: مجموع وزن‌دار ویژگی‌ها را نگه داریم، اما اجازه دهیم توزیع خروجی غیرگاوسی باشد و میانگین مورد انتظار این توزیع را از طریق یک تابع پیوند (link function) به مجموع وزن‌دار متصل کنیم.

فرمول GLM

GLM رابطه زیر را مدل می‌کند:

$$g\!\left(\mathbb{E}[Y \mid \mathbf{x}]\right) = \beta_0 + \beta_1 x_1 + \ldots + \beta_p x_p = \mathbf{x}^T \boldsymbol{\beta}$$

که در آن $g$ تابع پیوند است. هر GLM از سه مؤلفه تشکیل شده:

  1. تابع پیوند $g$: میانگین توزیع را به پیش‌بینی خطی متصل می‌کند.
  2. پیش‌بینی خطی $\mathbf{x}^T\boldsymbol{\beta}$: همان مجموع وزن‌دار ویژگی‌هاست.
  3. توزیع احتمال از خانواده نمایی (exponential family): توزیع خروجی را مشخص می‌کند.

خانواده نمایی مجموعه‌ای از توزیع‌هاست که با یک فرمول پارامتری مشترک شامل یک عبارت نمایی، میانگین و واریانس توزیع، و چند پارامتر دیگر نوشته می‌شوند و شامل گاوسی، برنولی، پواسون، نمایی، گاما و بسیاری دیگر می‌شود. ویکی‌پدیا فهرست خوبی از توزیع‌های خانواده نمایی دارد و هر یک از آن‌ها را می‌توان برای GLM انتخاب کرد. بر اساس نوع خروجی، توزیع مناسب انتخاب می‌شود: اگر خروجی شمارش چیزی باشد (مثلاً تعداد فرزندان ساکن در یک خانه)، توزیع پواسون گزینه خوبی است؛ اگر خروجی همیشه مثبت باشد (مثلاً فاصله زمانی بین دو رویداد)، توزیع نمایی می‌تواند مناسب باشد.

مدل خطی کلاسیک حالت خاصی از GLM است که توزیع گاوسی و تابع پیوند همانی (identity) دارد — یعنی $g(x) = x$. توزیع گاوسی با دو پارامتر میانگین و واریانس مشخص می‌شود: میانگین مقداری است که به‌طور متوسط انتظار داریم، و واریانس نشان می‌دهد مقادیر چقدر حول این میانگین پراکنده‌اند. در مدل خطی، تابع پیوند، مجموع وزن‌دار ویژگی‌ها را به میانگین توزیع گاوسی متصل می‌کند. در چارچوب GLM، این ایده به هر توزیعی از خانواده نمایی و هر تابع پیوندی تعمیم می‌یابد.

رگرسیون لجستیک به‌عنوان GLM

رگرسیون لجستیک نیز یک GLM است: توزیع برنولی و تابع پیوند لاجیت (logit). رابطه آن:

$$\mathbf{x}^T\boldsymbol{\beta} = \ln\!\left(\frac{\mathbb{P}(Y=1\mid\mathbf{x})}{1-\mathbb{P}(Y=1\mid\mathbf{x})}\right)$$

که با معکوس‌گرفتن به فرمول آشنای رگرسیون لجستیک می‌رسیم:

$$\mathbb{P}(Y=1) = \frac{1}{1+\exp(-\mathbf{x}^T\boldsymbol{\beta})}$$

GLM پواسون برای داده‌های شمارشی

اگر خروجی یک شمارش باشد (عدد صحیح غیرمنفی)، توزیع پواسون و لگاریتم طبیعی به‌عنوان تابع پیوند انتخاب مناسبی هستند:

$$\ln\!\left(\mathbb{E}[Y\mid\mathbf{x}]\right) = \mathbf{x}^T\boldsymbol{\beta}$$

هر توزیع خانواده نمایی یک تابع پیوند «متعارف» (canonical link function) دارد که می‌توان آن را به‌طور ریاضی از خود توزیع استخراج کرد. چارچوب GLM این امکان را می‌دهد که تابع پیوند را مستقل از توزیع انتخاب کنید. اما چگونه تابع پیوند درست را انتخاب کنیم؟ دستور پخت کاملی وجود ندارد؛ باید هم دانش خود درباره توزیع متغیر هدف، هم ملاحظات نظری، و هم میزان برازش مدل به داده‌های واقعی را در نظر بگیرید. برای برخی توزیع‌ها، تابع پیوند متعارف می‌تواند به مقادیری منجر شود که برای آن توزیع نامعتبرند. برای نمونه، تابع پیوند متعارف توزیع نمایی، معکوس منفی (negative inverse) است که می‌تواند به پیش‌بینی‌های منفی خارج از دامنه توزیع نمایی بینجامد. از آنجا که می‌توانید هر تابع پیوندی را انتخاب کنید، راه‌حل ساده این است که تابعی دیگر برگزینید که دامنه توزیع را رعایت کند.

توضیح مترجم: منظور از تابع پیوند «متعارف» این است که اگر فرمول ریاضی توزیع منتخب را باز کنیم، یک تابع پیوند به‌طور طبیعی از دل آن بیرون می‌آید (مثلاً تابع لاجیت برای برنولی، یا لگاریتم برای پواسون). اما هیچ الزامی به استفاده از همین تابع «طبیعی» نیست؛ در GLM می‌توان تابع پیوند دیگری انتخاب کرد، به شرط آنکه پیش‌بینی‌ها همچنان در بازه معتبر برای آن توزیع باقی بمانند.

مثال: پیش‌بینی مصرف قهوه

فرض کنید داده‌ای از رفتار روزانه نوشیدن قهوه جمع‌آوری شده است (اگر قهوه دوست ندارید، تصور کنید ماجرا درباره چای یا چیز دیگری است). ویژگی‌ها عبارتند از: سطح استرس (۱ تا ۱۰)، کیفیت خواب شب قبل (۱ تا ۱۰)، و اینکه آیا آن روز روز کاری بوده یا نه. هدف پیش‌بینی تعداد فنجان‌های قهوه است. داده برای ۲۰۰ روز شبیه‌سازی شده: استرس و خواب به‌طور یکنواخت بین ۱ و ۱۰، و روز کاری با احتمال ۵۰-۵۰ تولید شده‌اند. برای هر روز، تعداد فنجان‌های قهوه از یک توزیع پواسون کشیده شده که پارامتر شدت آن ($\lambda$، که برابر با مقدار مورد انتظار توزیع پواسون نیز هست) تابعی از ویژگی‌های خواب، استرس و روز کاری است.

شکل ۸.۲: توزیع تعداد فنجان‌های قهوه در ۲۰۰ روز. در ۸۴ روز از ۲۰۰ روز اصلاً قهوه نخورده و در پرمصرف‌ترین روز، ۱۰ فنجان قهوه نوشیده شده است.

حال بیایید ساده‌لوحانه از یک مدل خطی برای پیش‌بینی تعداد فنجان‌های قهوه بر اساس سطح خواب، سطح استرس و روز کاری استفاده کنیم. اگر به‌اشتباه توزیع گاوسی را فرض کنیم چه اتفاقی می‌افتد؟ فرض نادرست می‌تواند برآوردها، به‌ویژه بازه‌های اطمینان وزن‌ها را نامعتبر کند. مشکل آشکارتر این است که پیش‌بینی‌ها با دامنه «مجاز» خروجی واقعی همخوانی ندارند، همان‌طور که شکل زیر نشان می‌دهد؛ مدل خطی منطقی نیست چون تعداد منفی فنجان قهوه پیش‌بینی می‌کند. همچنین ممکن است عملکرد مدل روی داده آزمون هم به‌سادگی ضعیف باشد.

شکل ۸.۳: رگرسیون خطی برای پیش‌بینی تعداد فنجان‌های قهوه: مدل پیش‌بینی‌های منفی تولید می‌کند که غیرممکن است.

مشکل ناسازگاری توزیع‌ها را می‌توان با مدل‌های خطی تعمیم‌یافته (GLM) حل کرد؛ می‌توانیم تابع پیوند و توزیع مفروض را تغییر دهیم. یک راه این است که توزیع گاوسی را نگه داریم اما به‌جای تابع همانی از تابع پیوندی استفاده کنیم که همیشه به پیش‌بینی‌های مثبت می‌انجامد، مانند پیوند-لگاریتمی (که معکوس آن تابع نمایی است). راه بهتر این است که توزیعی متناسب با فرایند تولید داده و تابع پیوند مناسب آن را انتخاب کنیم. از آنجا که خروجی یک شمارش است، توزیع پواسون همراه با لگاریتم به‌عنوان تابع پیوند، انتخابی طبیعی است. در این مثال، داده اصلاً با توزیع پواسون تولید شده، پس GLM پواسون انتخابی کاملاً بی‌نقص است.

شکل ۸.۴: GLM پواسون برای پیش‌بینی تعداد فنجان‌های قهوه: تمام پیش‌بینی‌ها غیرمنفی هستند. دیگر هیچ مقدار منفی از قهوه دیده نمی‌شود؛ نتیجه بسیار بهتر به نظر می‌رسد.

تفسیر وزن‌های GLM

در GLM پواسون با تابع پیوند لگاریتمی، رابطه زیر برقرار است:

$$\ln\!\left(\mathbb{E}[\text{coffee}\mid\text{str, slp, wrk}]\right) = \beta_0 + \beta_\text{str} x_\text{str} + \beta_\text{slp} x_\text{slp} + \beta_\text{wrk} x_\text{wrk}$$

با معکوس‌گرفتن تابع پیوند (exp):

$$\mathbb{E}[\text{coffee}\mid\text{str, slp, wrk}] = \exp\!\left(\beta_0 + \beta_\text{str} x_\text{str} + \beta_\text{slp} x_\text{slp} + \beta_\text{wrk} x_\text{wrk}\right)$$

چون همه وزن‌ها درون تابع نمایی هستند، تفسیر ضربی است، نه جمعی: $\exp(a+b) = \exp(a) \cdot \exp(b)$.

جدول ۸.۱: وزن‌های برآوردشده و $\exp(\text{وزن})$ برای GLM پواسون داده‌های قهوه.

ویژگیوزن ($\beta$)$\exp(\beta)$ [بازه اطمینان ۹۵٪]
عرض از مبدأ0.031.03 [0.65، 1.59]
استرس (stress)0.111.12 [1.06، 1.18]
خواب (sleep)-0.230.80 [0.76، 0.84]
روز کاری (workYES)0.982.66 [2.03، 3.53]

تفسیر: افزایش یک واحد استرس، تعداد انتظاری فنجان‌های قهوه را در عامل ۱.۱۲ ضرب می‌کند. افزایش یک واحد کیفیت خواب، آن را در ۰.۸۰ ضرب می‌کند. در روز کاری نسبت به روز تعطیل، به طور میانگین ۲.۶۶ برابر قهوه بیشتر نوشیده می‌شود. خلاصه اینکه هرچه استرس بیشتر، خواب کمتر و کار بیشتر باشد، قهوه بیشتری مصرف می‌شود.

در این بخش، کمی درباره مدل‌های خطی تعمیم‌یافته آموختید که وقتی خروجی از توزیع گاوسی پیروی نمی‌کند مفید هستند. در ادامه نگاهی می‌اندازیم به چگونگی افزودن تعامل بین دو ویژگی به مدل رگرسیون خطی.

تعاملات

مدل رگرسیون خطی فرض می‌کند اثر هر ویژگی مستقل از مقادیر سایر ویژگی‌هاست — یعنی هیچ تعاملی وجود ندارد. اما در بسیاری از مسائل واقعی تعاملات وجود دارند. برای مثال، در پیش‌بینی تعداد دوچرخه‌های اجاره‌شده، شاید تعامل بین دما و روز کاری وجود داشته باشد: در روزهای تعطیل، مردم برای تفریح دوچرخه می‌رانند و دما تأثیر زیادی دارد؛ اما در روزهای کاری، بسیاری صرف‌نظر از دما دوچرخه می‌رانند.

چگونه تعاملات را به مدل اضافه کنیم؟

راه‌حل ساده است: پیش از برازش مدل، یک ستون جدید به ماتریس ویژگی اضافه کنید که حاصلضرب دو ویژگی مورد نظر است.

تعامل ویژگی دسته‌ای × عددی:

فرض کنید ویژگی‌های «روز کاری» (work: Y/N) و «دما» (temp) داریم:

جدول ۸.۲: داده‌های خام

روز کاریدماهدف
N25…
N12…
Y30…
Y5…

جدول ۸.۳: ماتریس ورودی بدون تعامل

عرض از مبدأworkYtemp
1125
1012
1030
115

جدول ۸.۴: ماتریس ورودی با ستون تعامل workY.temp

عرض از مبدأworkYtempworkY.temp
112525
10120
10300
1155

ستون workY.temp برای روزهای غیرکاری صفر است و برای روزهای کاری برابر مقدار دماست. با این کدگذاری، مدل می‌تواند شیب متفاوتی برای دما در روزهای کاری و غیرکاری یاد بگیرد.

تعامل دو ویژگی دسته‌ای:

برای دو ویژگی دسته‌ای مثل روز کاری (Y/N) و آب‌وهوا (G=خوب، B=بد، M=مه‌آلود)، ستون‌های تعامل برای هر ترکیب ممکن از دسته‌ها (به‌جز دسته مرجع) ایجاد می‌شوند:

جدول ۸.۵: داده‌های خام دو ویژگی دسته‌ای

روز کاریآب‌وهواهدف
NB…
NG…
NM…
YB…

جدول ۸.۶: ماتریس ورودی با تعاملات دسته‌ای

عرض از مبدأworkYwthrGwthrMworkY.wthrGworkY.wthrM
110000
101000
100100
110000

برای دو ویژگی عددی، ستون تعامل کافی است که حاصلضرب مستقیم دو ویژگی باشد.

مثال: پیش‌بینی اجاره دوچرخه با تعامل

با اضافه کردن تعامل بین دما و روز کاری به مدل اجاره دوچرخه:

جدول ۸.۷: وزن‌های برآوردشده با ترم تعامل workdayY:temp

ویژگیوزنخطای استانداردبازه اطمینان ۹۵٪
عرض از مبدأ2385.1355.4[1686.8، 3083.5]
فصل بهار433.2168.5[102.1، 764.2]
فصل تابستان239.3216.9[-186.9، 665.5]
فصل پاییز618.0151.5[320.4، 915.6]
تعطیلی-434.7236.9[-900.1، 30.8]
روز کاری776.7200.6[382.5، 1171.0]
آب‌وهوای مه‌آلود-374.9119.5[-609.8، -140.0]
آب‌وهوای بد-1802.3303.2[-2398.2، -1206.4]
دما74.512.7[49.5، 99.5]
رطوبت-21.74.5[-30.6، -12.9]
سرعت باد-45.59.4[-64.0، -27.0]
تعداد دوچرخه ۲ روز قبل0.60.0[0.5، 0.6]
workdayY:temp-34.411.2[-56.4، -12.5]

ترم تعامل (workdayY:temp) با وزن ۳۴.۴− معنادار است — بازه اطمینان آن از صفر عبور نمی‌کند.

نکته مهم در تفسیر تعامل

نمی‌توان وزن تعامل را به‌تنهایی تفسیر کرد. برای فهمیدن اثر دما در یک روز کاری، باید هر دو وزن را جمع بزنیم:

  • شیب دما در روزهای غیرکاری: 74.5 (مستقیماً از جدول)
  • شیب دما در روزهای کاری: 74.5 + (-34.4) = 40.1

یعنی دما در روزهای کاری تأثیر کمتری (اما همچنان مثبت) دارد. این موضوع در نمودار زیر به وضوح قابل مشاهده است:

شکل ۸.۵: تعامل بین دما و روز کاری در پیش‌بینی اجاره دوچرخه. دو شیب متفاوت برای روزهای کاری (Y) و غیرکاری (N) نشان داده شده است.

اثرات غیرخطی — GAM ها

دنیا خطی نیست. خطی بودن در مدل‌های خطی به این معناست که فرقی نمی‌کند یک نمونه در یک ویژگی خاص چه مقداری داشته باشد؛ افزایش آن مقدار به اندازه یک واحد همیشه اثر یکسانی روی خروجی پیش‌بینی‌شده دارد. آیا منطقی است فرض کنیم افزایش دما به اندازه یک درجه در دمای ۱۰ درجه سانتی‌گراد، همان اثری را روی تعداد دوچرخه‌های اجاره‌شده دارد که افزایش دما وقتی از قبل ۳۰ درجه است؟ به‌طور شهودی، انتظار می‌رود افزایش دما از ۱۰ به ۱۱ درجه اثر مثبتی بر اجاره دوچرخه داشته باشد و افزایش از ۳۰ به ۳۱ درجه اثری منفی — که همان‌طور که در ادامه کتاب در مثال‌های متعدد خواهید دید، همین‌طور هم هست. ویژگی دما در بازه‌ای اثر خطی و مثبت روی تعداد دوچرخه‌های اجاره‌شده دارد، اما از نقطه‌ای به بعد این اثر تخت می‌شود و در دماهای بالا حتی منفی می‌شود. مدل خطی اهمیتی به این موضوع نمی‌دهد؛ آن به‌طور وظیفه‌شناسانه بهترین ابرصفحه خطی را (با کمینه‌کردن فاصله اقلیدسی) برازش می‌دهد.

می‌توانید روابط غیرخطی را با یکی از تکنیک‌های زیر مدل‌سازی کنید:

  • تبدیل ساده ویژگی (مثلاً لگاریتم)
  • گسسته‌سازی (دسته‌ای‌کردن) ویژگی
  • مدل‌های جمعی تعمیم‌یافته (GAMs)

پیش از پرداختن به جزئیات هر روش، بیایید با مثالی شروع کنیم که هر سه را نشان می‌دهد. من مجموعه‌داده اجاره دوچرخه را برداشتم و یک مدل خطی فقط با ویژگی دما آموزش دادم تا تعداد دوچرخه‌های اجاره‌شده را پیش‌بینی کند. شکل ۸.۶ شیب برآوردشده را با چهار روش نشان می‌دهد: مدل خطی استاندارد، مدل خطی با دمای تبدیل‌شده (لگاریتم)، مدل خطی با دمای دسته‌بندی‌شده به‌عنوان ویژگی دسته‌ای، و استفاده از اسپلاین‌های رگرسیونی (GAM). مدل خطی (بالا-چپ) به‌خوبی روی داده‌ها برازش نمی‌شود. یک راه‌حل، تبدیل ویژگی با مثلاً لگاریتم است (بالا-راست)، دسته‌ای‌کردن آن (پایین-چپ) که معمولاً تصمیم بدی است، یا استفاده از مدل‌های جمعی تعمیم‌یافته که می‌توانند به‌طور خودکار یک منحنی هموار برای دما برازش دهند (پایین-راست).

شکل ۸.۶: چهار مدل برای پیش‌بینی اجاره دوچرخه فقط با استفاده از دما. هر نقطه یک نمونه داده است و منحنی‌ها پیش‌بینی‌های مدل را نشان می‌دهند: (بالا-چپ) مدل خطی معمولی — برازش ضعیف؛ (بالا-راست) تبدیل لگاریتمی؛ (پایین-چپ) گسسته‌سازی ویژگی؛ (پایین-راست) GAM با اسپلاین — بهترین برازش.

۱. تبدیل ویژگی

یک روش ساده برای مدل‌سازی روابط غیرخطی، تبدیل ویژگی است. پرکاربردترین تبدیل، لگاریتم طبیعی است. استفاده از لگاریتم به این معناست که هر ده‌برابر شدن دما اثر خطی یکسانی روی تعداد دوچرخه‌ها دارد، پس تغییر از ۱ درجه سانتی‌گراد به ۱۰ درجه همان اثری را دارد که تغییر از ۰٫۱ به ۱ درجه (که به نظر عجیب می‌رسد). سایر گزینه‌های تبدیل شامل جذر، توان دوم، و تابع نمایی هستند.

با تبدیل ویژگی، ستون آن ویژگی در داده با تابعی از آن — مانند لگاریتم — جایگزین می‌شود و مدل خطی مثل همیشه برازش می‌شود. برخی نرم‌افزارهای آماری هم به شما اجازه می‌دهند تبدیل را مستقیماً در فراخوانی مدل خطی مشخص کنید. در انتخاب تبدیل می‌توانید خلاقانه عمل کنید. تفسیر ویژگی بر اساس تبدیل انتخاب‌شده تغییر می‌کند. اگر از تبدیل لگاریتمی استفاده کنید، تفسیر در یک مدل خطی این‌طور می‌شود: «اگر لگاریتم ویژگی یک واحد افزایش یابد، پیش‌بینی به اندازه وزن متناظر افزایش می‌یابد.» وقتی از یک GLM با تابع پیوندی غیر از تابع همانی استفاده می‌کنید، تفسیر پیچیده‌تر می‌شود، چون باید هر دو تبدیل را در تفسیر لحاظ کنید (مگر وقتی یکدیگر را خنثی کنند، مثل لگاریتم و تابع نمایی، که در آن صورت تفسیر ساده‌تر می‌شود).

۲. گسسته‌سازی ویژگی

روش دیگر برای رسیدن به یک اثر غیرخطی، گسسته‌سازی ویژگی است — یعنی تبدیل آن به ویژگی دسته‌ای. برای مثال، می‌توانید ویژگی دما را به ۲۰ بازه با سطوحی مانند $[-10, -5)$، $[-5, 0)$ و به همین ترتیب تقسیم کنید. وقتی به‌جای دمای پیوسته از دمای گسسته‌شده استفاده کنید، مدل خطی یک تابع پله‌ای برآورد می‌کند، چون هر سطح برآورد جداگانه خودش را می‌گیرد.

مشکل این رویکرد این است که به داده بیشتری نیاز دارد، احتمال بیش‌برازش بالاتر می‌رود، و مشخص نیست چطور باید ویژگی را به‌طور معناداری گسسته کرد (بازه‌های هم‌فاصله یا صدک‌ها؟ چند بازه؟). من گسسته‌سازی را تنها زمانی توصیه می‌کنم که دلیل بسیار قوی‌ای برای آن وجود داشته باشد — مثلاً برای قابل‌مقایسه‌کردن مدل با یک پژوهش دیگر.

۳. مدل‌های جمعی تعمیم‌یافته (GAMs)

چرا به مدل خطی اجازه ندهیم روابط غیرخطی را خودش یاد بگیرد؟ این انگیزه اصلی GAMs است. GAM قید خطی بودن را حذف می‌کند و فرض می‌کند خروجی با مجموعی از توابع دلخواه هر ویژگی قابل مدل‌سازی است:

$$g\!\left[\mathbb{E}(Y \mid X = \mathbf{x})\right] = \beta_0 + f_1(x_1) + f_2(x_2) + \ldots + f_p(x_p)$$

این فرمول شبیه GLM است با این تفاوت که جمله خطی $\beta_j x_j$ با تابع انعطاف‌پذیر $f_j(x_j)$ جایگزین شده. مدل همچنان جمعی است — مجموع اثرات تک‌تک ویژگی‌هاست — اما هر ویژگی می‌تواند اثر غیرخطی داشته باشد. اثرات خطی نیز در این چارچوب جا می‌گیرند: کافی است $f_j$ را محدود به شکل $\beta_j x_j$ کنیم.

توضیح مترجم: فرق اصلی بین $\beta_j x_j$ و $f_j(x_j)$ در همین است که چند عدد لازم است تا اثر یک ویژگی توصیف شود. در مدل خطی، اثر دما را با یک عدد تنها ($\beta_{\text{temp}}$) خلاصه می‌کنیم — مثلاً «هر درجه افزایش دما، ۵۰ دوچرخه بیشتر». اما در GAM، اثر دما دیگر یک عدد نیست، بلکه یک تابع ($f_{\text{temp}}$) یا معادل آن یک منحنی است؛ یعنی به‌جای یک شیب ثابت برای همه دماها، مدل اجازه دارد شیب اثر دما در دماهای پایین مثبت باشد و در دماهای بالا منفی شود (دقیقاً همان چیزی که در ابتدای این بخش درباره ۱۰ در برابر ۳۰ درجه گفته شد). به همین دلیل هم تفسیر GAM سخت‌تر از مدل خطی است: باید به یک نمودار نگاه کنید، نه به یک عدد.

اسپلاین‌ها: ابزار یادگیری GAM

سؤال اساسی این است که چگونه توابع $f_j$ غیرخطی یاد گرفته می‌شوند. پاسخ را «اسپلاین‌ها» یا «توابع اسپلاین» می‌نامند. اسپلاین‌ها توابعی هستند که از ترکیب توابع پایه ساده‌تر ساخته می‌شوند و می‌توان با آن‌ها به توابع دیگر، پیچیده‌تر، تقریب زد — کمی شبیه روی‌هم‌گذاشتن آجرهای لگو برای ساختن چیزی پیچیده‌تر. راه‌های تعریف این توابع پایه اسپلاین به‌قدری زیادند که گیج‌کننده‌اند؛ اگر دوست دارید بیشتر درباره همه این روش‌ها بدانید، برایتان در این مسیر آرزوی موفقیت می‌کنم! اینجا قصد ندارم وارد جزئیات شوم، فقط می‌خواهم یک شهود بسازم. آنچه شخصاً بیشترین کمک را برای فهم اسپلاین‌ها به من کرد، تجسم تک‌تک توابع پایه و نگاه‌کردن به این بود که ماتریس داده چگونه تغییر می‌کند.

برای مدل‌سازی دما با اسپلاین، ستون دما از داده حذف و با چند ستون جدید (توابع پایه اسپلاین) جایگزین می‌شود — معمولاً تعداد توابع پایه بیشتر از این است؛ من فقط برای نمایش ساده‌تر، تعدادشان را کم کرده‌ام:

جدول ۸.۸: ماتریس داده برای GAM با ۴ تابع پایه اسپلاین برای دما

عرض از مبدأs(temp).1s(temp).2s(temp).3s(temp).4
11.33-0.70-0.39-1.64
11.33-0.69-0.37-1.62
11.30-0.57-0.25-1.47
11.32-0.67-0.35-1.59
11.33-0.70-0.39-1.64
11.35-0.82-0.53-1.81

مقدار هر نمونه در این ستون‌های جدید به مقدار دمای آن نمونه بستگی دارد. شکل این توابع پایه:

شکل ۸.۷: چهار تابع پایه اسپلاین برای ویژگی دما. هر تابع پایه بخشی از دامنه دما را پوشش می‌دهد.

GAM وزن‌هایی برای این توابع پایه یاد می‌گیرد:

عرض از مبدأs(temp).1s(temp).2s(temp).3s(temp).4
4519.6-922.04-740.592333.45611.39

برای درک بهتر (توضیح مترجم): بیایید همین محاسبه را برای یک نمونه از جدول ۸.۸ (سطر اول) دستی انجام دهیم. مقادیر چهار ستون اسپلاین برای این نمونه عبارت‌اند از $1.33،\ -0.70،\ -0.39،\ -1.64$. اثر دما برای این نمونه، یعنی $f_{\text{temp}}(x)$، از ضرب هر ستون در وزن متناظرش و جمع‌کردن نتایج به دست می‌آید: $$f_{\text{temp}}(x) = (1.33)(-922.04) + (-0.70)(-740.59) + (-0.39)(2333.45) + (-1.64)(611.39) \approx -1226 + 518 - 910 - 1003 = -2621$$ یعنی برای این نمونه‌ی خاص (دمای پایین)، اثر دما حدود ۲۶۲۱ واحد کمتر از میانگین پیش‌بینی است — دقیقاً همان الگویی که در شکل ۸.۸ برای دماهای نزدیک صفر درجه دیده می‌شود. نکته مهم این است که این چهار عدد وزن، هرکدام به‌تنهایی معنای مستقیم و قابل‌تفسیری ندارند؛ فقط وقتی همه را کنار هم و طبق مقادیر توابع پایه در شکل ۸.۷ جمع بزنیم، به یک عدد قابل‌فهم (سهم دما در پیش‌بینی) می‌رسیم.

منحنی اسپلاین نهایی، حاصلضرب توابع پایه در وزن‌هایشان و جمع آن‌هاست:

شکل ۸.۸: منحنی اسپلاین برازش‌یافته برای اثر دما بر تعداد دوچرخه‌های اجاره‌شده. اسپلاین‌ها معمولاً حول میانگین پیش‌بینی مرکزیده می‌شوند. مثلاً در صفر درجه سانتیگراد، تعداد پیش‌بینی‌شده دوچرخه حدود ۳۰۰۰ کمتر از میانگین است.

برای تفسیر اثرات هموار (smooth effects)، لازم است منحنی برازش‌یافته را بصری بررسی کنیم — یک عدد واحد کافی نیست. GAM همچنین یک جمله جریمه برای وزن‌ها اعمال می‌کند تا آن‌ها را نزدیک به صفر نگه دارد؛ این کار عملاً انعطاف‌پذیری اسپلاین‌ها را کاهش می‌دهد و از بیش‌برازش جلوگیری می‌کند. پارامتر هموارسازی که معمولاً برای کنترل انعطاف‌پذیری منحنی استفاده می‌شود، از طریق اعتبارسنجی متقاطع تنظیم می‌شود. اگر از بهینه‌سازی همراه با جمله جریمه صرف‌نظر کنیم، مدل‌سازی غیرخطی با اسپلاین‌ها چیزی شبیه مهندسی ویژگی (feature engineering) خیال‌پردازانه به نظر می‌رسد.

توضیح مترجم: این جمله جریمه دقیقاً همان دلیلی است که GAM بین دو خطر افراطی تعادل برقرار می‌کند. اگر هیچ جریمه‌ای وجود نداشت، مدل آزاد بود هر پیچ‌وتابی را که حتی نویز تصادفی داده‌ها ایجاد کرده دنبال کند و یک منحنی بسیار پرتاب‌وتاب (بیش‌برازش‌شده) بسازد که روی داده‌های آموزشی عالی عمل می‌کند اما روی داده‌های جدید ضعیف است. اگر جریمه خیلی زیاد باشد، منحنی آن‌قدر «صاف» می‌شود که تقریباً به یک خط راست (یعنی همان مدل خطی ساده) برمی‌گردد و اثرات غیرخطی واقعی داده از دست می‌روند (کم‌برازش). پارامتر هموارسازی دقیقاً محل این تعادل را کنترل می‌کند، و اعتبارسنجی متقاطع کمک می‌کند مقداری برای آن انتخاب شود که نه بیش‌برازش کند و نه کم‌برازش.

مزایا

تمام این گسترش‌های مدل خطی یک دنیای کامل در خود هستند. هر مشکلی که با مدل خطی ساده داشته باشید، احتمالاً گسترشی وجود دارد که آن را برطرف کند.

بیشتر این روش‌ها چند دهه سابقه دارند؛ برای مثال، عمر GAM‌ها تقریباً به ۳۰ سال می‌رسد. بسیاری از پژوهشگران و متخصصان صنعت با مدل‌های خطی تجربه بسیار زیادی دارند و این روش‌ها در بسیاری از جوامع علمی به‌عنوان روش استاندارد و پذیرفته‌شده مدل‌سازی شناخته می‌شوند.

علاوه بر پیش‌بینی، این مدل‌ها امکان استنتاج آماری را فراهم می‌کنند — با فرض اینکه مفروضات نقض نشده باشند: فاصله اطمینان برای وزن‌ها، آزمون معناداری، فاصله اطمینان پیش‌بینی، و بسیاری موارد دیگر.

نرم‌افزارهای آماری معمولاً رابط‌های بسیار خوبی برای برازش GLM، GAM، و مدل‌های خطی تخصصی دارند.

تیرگی بسیاری از مدل‌های یادگیری ماشین ناشی از: ۱) نداشتن تنکی — تعداد زیادی ویژگی استفاده می‌شود؛ ۲) اثرات غیرخطی — یک عدد برای توصیف کافی نیست؛ و ۳) تعاملات بین ویژگی‌هاست. گسترش‌های معرفی‌شده در این فصل یک گذار تدریجی از مدل‌های کاملاً تفسیرپذیر به مدل‌های انعطاف‌پذیرتر را ممکن می‌سازند.

محدودیت‌ها

پیچیدگی گزینه‌ها: تعداد روش‌های موجود برای گسترش مدل‌های خطی می‌تواند گیج‌کننده باشد، حتی برای متخصصان. جوامع مختلف علمی اغلب نام‌های متفاوتی برای روش‌هایی دارند که کمابیش یک کار می‌کنند.

کاهش تفسیرپذیری: هر تغییری در مدل خطی ساده، آن را کمتر تفسیرپذیر می‌کند. تابع پیوند غیر همانی در GLM تفسیر را پیچیده می‌کند؛ تعاملات نیز همین‌طور؛ اثرات غیرخطی در GAM دیگر با یک عدد قابل خلاصه‌سازی نیستند.

وابستگی به مفروضات: GLM، GAM، و سایر روش‌ها همگی مفروضاتی درباره فرایند تولید داده دارند. اگر این مفروضات نقض شوند، تفسیر وزن‌ها دیگر معتبر نیست.

عملکرد پایین‌تر: عملکرد روش‌های ترکیبی مبتنی بر درخت مانند جنگل تصادفی یا گرادیان بوستینگ درخت، در بسیاری از موارد بهتر از پیچیده‌ترین مدل‌های خطی است. این ادعا تا حدی برگرفته از تجربه شخصی من و تا حدی از مشاهده مدل‌های برنده در مسابقاتی است که وب‌سایت‌هایی مثل kaggle.com میزبانی می‌کنند.

نکته: از ابزارهای مستقل از مدل استفاده کنید هرچه با تبدیل‌ها، تعاملات، و اثرات هموار بیشتر از رگرسیون خطی محض فاصله بگیرید، احتمالاً بیشتر به ابزارهای مستقل از مدل (model-agnostic) مانند نمودار وابستگی جزئی برای تحلیل مدل نیاز خواهید داشت.

نرم‌افزار

تمام مثال‌های این فصل با زبان R پیاده‌سازی شدند. برای GAM از بسته gam استفاده شد، اگرچه گزینه‌های دیگری نیز وجود دارند. R تعداد باورنکردنی بسته برای گسترش رگرسیون خطی دارد و در این زمینه بی‌رقیب است.

در Python، پیاده‌سازی‌هایی از GAM مانند pyGAM وجود دارد، اگرچه به بلوغ اکوسیستم R نرسیده‌اند. بسته PiML در پایتون نیز نسخه‌های گوناگونی از GAM را پیاده‌سازی می‌کند.

گسترش‌های بیشتر

در ادامه فهرستی از مشکلات رایج با مدل‌های خطی و نام راه‌حل‌های آن‌ها برای جستجو ارائه می‌شود:

  • داده‌ها IID نیستند (مثلاً اندازه‌گیری‌های تکراری از یک بیمار): به دنبال Mixed Models یا Generalized Estimating Equations بگردید.
  • خطاهای ناهمسانی واریانس (مثلاً در پیش‌بینی قیمت خانه، خطا برای خانه‌های گران‌تر بزرگ‌تر است): به دنبال Robust Regression بگردید.
  • نقاط پرت تأثیرگذار: به دنبال Robust Regression بگردید.
  • پیش‌بینی زمان تا وقوع رویداد (با مشاهدات سانسورشده): به دنبال Parametric Survival Models، Cox Regression، یا Survival Analysis بگردید.
  • خروجی دسته‌ای (چند دسته): برای دو دسته از رگرسیون لجستیک استفاده کنید؛ برای بیشتر به دنبال Multinomial Regression بگردید.
  • دسته‌های مرتب (مثلاً نمرات تحصیلی): به دنبال Proportional Odds Model بگردید.
  • خروجی شمارشی (مثلاً تعداد فرزندان): به دنبال Poisson Regression بگردید. اگر صفر خیلی فراوان است: Zero-Inflated Poisson Regression یا Hurdle Model.
  • استنتاج علّی (کدام ویژگی‌ها باید در مدل باشند؟): به دنبال Causal Inference و Mediation Analysis بگردید.
  • داده‌های ناقص: به دنبال Multiple Imputation بگردید.
  • ادغام دانش پیشین: به دنبال Bayesian Inference بگردید.

فصل ۹: درخت تصمیم

عنوان اصلی: Decision Tree
منبع: https://christophm.github.io/interpretable-ml-book/tree.html
نویسنده: Christoph Molnar
مترجم: مریم محمودی


مدل‌های خطی و لجستیک در شرایطی که رابطه بین ویژگی‌ها و خروجی غیرخطی است یا ویژگی‌ها با یکدیگر تعامل دارند، عملکرد ضعیفی دارند. درخت‌های تصمیم این مشکل را به شیوه‌ای کاملاً متفاوت حل می‌کنند: داده را بر اساس مقادیر آستانه‌ای ویژگی‌ها به زیرمجموعه‌هایی تقسیم می‌کنند و در هر زیرمجموعه پیش‌بینی ثابتی ارائه می‌دهند. درخت‌های تصمیم هم برای رگرسیون و هم برای دسته‌بندی به کار می‌روند.

یک درخت تصمیم از گره‌ها (nodes) و یال‌ها (edges) تشکیل شده است:

  • گره ریشه (root node): نقطه شروع درخت؛ شامل تمام داده‌های آموزشی است.
  • گره‌های داخلی (split nodes): هر گره داده را بر اساس یک قانون «اگر ویژگی $j$ از آستانه $c$ کمتر/بیشتر باشد» به دو شاخه تقسیم می‌کند.
  • گره‌های برگ (leaf nodes یا terminal nodes): انتهای درخت؛ پیش‌بینی نهایی ارائه می‌دهند.

برای پیش‌بینی یک نمونه جدید، از ریشه شروع کرده و با دنبال کردن قوانین شاخه‌بندی تا رسیدن به یک برگ پیش رفته، و پیش‌بینی آن برگ را برمی‌گردانیم.

الگوریتم CART

پرکاربردترین الگوریتم آموزش درخت تصمیم، CART (Classification and Regression Trees) است. مدل ریاضی آن به صورت زیر است:

$$\hat{f}(\mathbf{x}) = \sum_{m=1}^{M} c_m \cdot \mathbf{1}{\mathbf{x} \in R_m}$$

که در آن:

  • $M$ تعداد گره‌های برگ است.
  • $R_m$ ناحیه‌ای از فضای ویژگی است که با برگ $m$ متناظر است.
  • $c_m$ مقدار پیش‌بینی‌شده در برگ $m$ است (میانگین مقادیر هدف در رگرسیون، یا دسته اکثریت در دسته‌بندی).
  • $\mathbf{1}{\mathbf{x} \in R_m}$ تابع نشانگر است که ۱ می‌شود اگر نمونه $\mathbf{x}$ در ناحیه $R_m$ باشد.

هر نمونه دقیقاً در یک ناحیه $R_m$ قرار می‌گیرد.

برای درک بهتر (توضیح مترجم): فرض کنید می‌خواهیم قیمت خانه را با دو ویژگی «متراژ» و «تعداد اتاق» پیش‌بینی کنیم و درخت فقط دو تقسیم دارد. اگر متراژ کمتر از ۸۰ باشد، وارد برگ $R_1$ می‌شویم که میانگین قیمت آن ۱۵۰ میلیون تومان است ($c_1 = 150$)؛ در غیر این صورت به تقسیم بعدی می‌رویم و بسته به تعداد اتاق، وارد $R_2$ ($c_2 = 220$) یا $R_3$ ($c_3 = 300$) می‌شویم. برای خانه‌ای با متراژ ۶۰، تابع نشانگر فقط برای $R_1$ برابر ۱ و برای بقیهٔ نواحی برابر صفر است؛ بنابراین $\hat{f}(\mathbf{x}) = c_1 = 150$. یعنی فرمول بالا صرفاً می‌گوید: «ببین نمونه در کدام برگ افتاده و مقدار همان برگ را برگردان.»

چگونه تقسیم‌بندی‌ها انتخاب می‌شوند؟

CART در هر مرحله، تقسیمی را انتخاب می‌کند که معیار زیر را بیشینه کاهش دهد:

  • رگرسیون: واریانس خروجی در هر شاخه.
  • دسته‌بندی: ناخالصی گینی (Gini impurity) یا آنتروپی اطلاعات.

مثال مترجم برای درک بهتر خوانندگان: فرض کنید در یک گره ۱۰ نمونه داریم: ۵ تای آن‌ها کلاس «مثبت» و ۵ تای دیگر کلاس «منفی» هستند. ناخالصی گینی این گره برابر است با $1 - (0.5^2 + 0.5^2) = 0.5$، یعنی بیشترین مقدار ممکن (کاملاً ناخالص). حالا اگر با یک تقسیم، گره را به دو زیرگره تبدیل کنیم که در یکی ۴ نمونهٔ «مثبت» و ۱ نمونهٔ «منفی» باشد و در دیگری ۱ نمونهٔ «مثبت» و ۴ نمونهٔ «منفی»، ناخالصی گینی هر زیرگره برابر $1 - (0.8^2 + 0.2^2) = 0.32$ می‌شود که کمتر از ۰٫۵ اولیه است. CART دقیقاً چنین تقسیمی را ترجیح می‌دهد، چون ناخالصی را کاهش می‌دهد و کلاس‌های هر زیرگره را «خالص‌تر» می‌کند.

این فرایند به صورت بازگشتی ادامه می‌یابد تا زمانی که معیار توقف فعال شود — مثلاً وقتی تعداد نمونه‌ها در یک گره پیش از تقسیم، یا تعداد نمونه‌ها در یک گره برگ، به زیر حد مجاز برسد.

برای ویژگی‌های دسته‌ای، الگوریتم گروه‌بندی‌های مختلف از دسته‌ها را می‌آزماید تا بهترین تقسیم را بیابد. پس از یافتن بهترین نقطهٔ برش برای هر ویژگی، الگوریتم آن ویژگی را انتخاب می‌کند که بهترین تفکیک را از نظر واریانس یا ناخالصی گینی ایجاد کند و این تقسیم را به درخت اضافه می‌کند.

برای معرفی دقیق‌تر CART، کتاب «The Elements of Statistical Learning» (Hastie 2009) توصیه می‌شود؛ در این فصل تمرکز اصلی بر CART است، اما تفسیر برای بیشتر انواع دیگر درخت‌های تصمیم مشابه است.

شکل ۹.۱: ساختار یک درخت تصمیم مصنوعی. هر گره داخلی یک قانون تقسیم بر اساس یک ویژگی و آستانه دارد. برگ‌ها مقادیر پیش‌بینی را نگه می‌دارند.

تفسیر

تفسیر قاعده‌محور

برای تفسیر پیش‌بینی یک نمونه، کافی است مسیر آن از ریشه تا برگ را دنبال کنیم. هر گره داخلی یک شرط «اگر—آنگاه» است و تمام شرط‌ها با AND به هم متصل می‌شوند:

«اگر ویژگی $x_j$ [کمتر/بیشتر] از آستانه $c$ باشد و … آنگاه پیش‌بینی برابر میانگین مقادیر هدف نمونه‌های آن برگ است.»

این قالب تفسیر کاملاً ساده و شهودی است — هر کسی می‌تواند مسیر تصمیم‌گیری را گام به گام دنبال کند.

اهمیت ویژگی‌ها

اهمیت هر ویژگی در درخت تصمیم با میزان کاهشی که آن ویژگی در ناخالصی (واریانس یا گینی) ایجاد کرده اندازه‌گیری می‌شود. اگر ویژگی $j$ در چند گره مختلف مورد استفاده قرار گرفته، مجموع کاهش‌های ناشی از تمام آن تقسیم‌ها جمع می‌شود. در نهایت این اعداد به نحوی مقیاس می‌شوند که مجموعشان ۱۰۰ باشد و هر عدد سهم آن ویژگی از اهمیت کلی مدل را نشان دهد.

هشدار: اهمیت گینی (Gini importance) به نفع ویژگی‌های عددی و ویژگی‌های دسته‌ای با دسته‌های زیاد تورش دارد (Strobl et al. 2008). برای ارزیابی دقیق‌تر، استفاده از اهمیت ویژگی مبتنی بر جایگشت (permutation feature importance) توصیه می‌شود.

تجزیه پیش‌بینی بر اساس ویژگی‌ها

یکی از قابلیت‌های جالب درخت تصمیم این است که می‌توان پیش‌بینی هر نمونه را به سهم هر ویژگی تجزیه کرد. گره ریشه میانگین کلی داده‌های آموزشی ($\bar{y}$) را پیش‌بینی می‌کند. هر تقسیم در مسیر نمونه تا برگ، مقداری به این میانگین اضافه یا از آن کم می‌کند:

$$\hat{f}(\mathbf{x}) = \bar{y} + \sum_{d=1}^{D} \text{split.contrib}(d, \mathbf{x}) = \bar{y} + \sum_{j=1}^{p} \text{feat.contrib}(j, \mathbf{x})$$

که در آن:

  • $D$ عمق درخت (تعداد گره‌های داخلی در مسیر) است.
  • $\text{split.contrib}(d, \mathbf{x})$ سهم تقسیم $d$ام در پیش‌بینی نمونه $\mathbf{x}$ است.
  • $\text{feat.contrib}(j, \mathbf{x})$ مجموع سهم تمام تقسیم‌هایی است که از ویژگی $j$ استفاده کرده‌اند.

یک ویژگی ممکن است چندین بار در مسیر ظاهر شود؛ سهم‌های آن جمع می‌شوند. ویژگی‌هایی که اصلاً در مسیر نمونه استفاده نشده‌اند سهم صفر دارند. این تجزیه نوعی توضیح محلی (local explanation) برای هر پیش‌بینی منفرد فراهم می‌کند.

مثال مترجم برای درک بهتر خوانندگان: فرض کنید میانگین قیمت همهٔ خانه‌های داده‌ی آموزشی ($\bar{y}$) برابر ۲۰۰ میلیون تومان است. برای خانه‌ای خاص، اولین تقسیم بر اساس متراژ است و چون متراژ خانه بزرگ‌تر از آستانه است، ۳۰ میلیون تومان به پیش‌بینی اضافه می‌شود. تقسیم دوم بر اساس تعداد اتاق‌هاست و چون تعداد اتاق کمتر از آستانه است، ۱۰ میلیون تومان از پیش‌بینی کم می‌شود. پیش‌بینی نهایی برابر است با $200 + 30 - 10 = 220$ میلیون تومان. اگر متراژ در مسیر دیگری هم دوباره استفاده شده باشد، سهم آن تقسیم هم به سهم قبلی «متراژ» اضافه می‌شود؛ در نهایت می‌توانیم بگوییم مثلاً «متراژ» ۳۵ میلیون تومان و «تعداد اتاق» منفی ۱۵ میلیون تومان در پیش‌بینی این خانهٔ خاص سهیم بوده‌اند.

مثال

از داده‌های اجاره دوچرخه برای پیش‌بینی تعداد دوچرخه‌های اجاره‌شده در یک روز مشخص با یک درخت تصمیم استفاده می‌کنیم. حداکثر عمق مجاز درخت را ۲ در نظر گرفته‌ایم:

شکل ۹.۲: درخت تصمیم با عمق ۲ برای پیش‌بینی تعداد دوچرخه‌های اجاره‌شده روزانه. دو ویژگی انتخاب‌شده عبارتند از تعداد دوچرخه‌های اجاره‌شده دو روز پیش (cnt_2d_bfr) و دما.

درخت دو ویژگی انتخاب کرده است: تعداد دوچرخه‌های اجاره‌شده دو روز پیش و دما. قاعده کلی این است: هر چه تعداد اجاره اخیر بیشتر، پیش‌بینی نیز بیشتر. وقتی تعداد اجاره اخیر کم باشد، دما تعیین‌کننده پیش‌بینی می‌شود.

برای درخت‌های عمیق‌تر، اهمیت ویژگی‌ها به این صورت رتبه‌بندی می‌شود:

شکل ۹.۳: اهمیت ویژگی‌ها در درخت تصمیم عمیق‌تر برای داده‌های اجاره دوچرخه. تعداد دوچرخه دو روز قبل مهم‌ترین ویژگی است، سپس دما، فصل، و آب‌وهوا.

مزایا

گرفتن تعاملات: ساختار درختی به‌طور طبیعی تعاملات بین ویژگی‌ها را نشان می‌دهد؛ هر تقسیم در یک گره فرزند، تنها برای زیرمجموعه‌ای از داده‌ها اعمال می‌شود که از مسیر خاصی آمده‌اند.

گروه‌بندی طبیعی: تقسیم داده به گروه‌های مجزا اغلب شهودی‌تر از خط‌الرأس‌های چند‌بُعدی در رگرسیون خطی است.

قابلیت تجسم: درخت را می‌توان به‌راحتی رسم کرد و هر کسی بدون دانش آماری می‌تواند آن را بفهمد. برای درخت‌های کم‌عمق (یک تا سه سطح)، تفسیر بسیار آسان است.

توضیحات انسان‌پسند: ساختار درخت تصمیم توضیح‌هایی خوب، آن‌گونه که در فصل «توضیحات انسان‌پسند» تعریف شده، تولید می‌کند. این ساختار به‌طور طبیعی ما را به فکر کردن دربارهٔ پیش‌بینی هر نمونه به شکل خلاف‌واقع (counterfactual) دعوت می‌کند: «اگر یک ویژگی بزرگ‌تر/کوچک‌تر بود، پیش‌بینی به‌جای y2 برابر y1 می‌شد.» این توضیحات contrastive هستند، چون همیشه می‌توان پیش‌بینی یک نمونه را با سناریوهای «چه می‌شد اگر» مرتبط (که همان برگ‌های دیگر درخت هستند) مقایسه کرد. اگر درخت کوتاه باشد — مثلاً یک تا سه تقسیم عمق داشته باشد — توضیح‌های حاصل selective هم هستند: درختی با عمق سه، حداکثر به سه ویژگی و نقطهٔ تقسیم برای توضیح پیش‌بینی یک نمونه نیاز دارد. صداقت (truthfulness) پیش‌بینی به عملکرد پیش‌بینی درخت بستگی دارد. توضیح‌های درخت‌های کوتاه بسیار ساده و کلی هستند، چون در هر تقسیم، نمونه یا به یک برگ می‌رود یا به برگ دیگر، و تصمیم‌های دودویی به‌راحتی قابل‌فهم‌اند.

بی‌نیازی به تبدیل ویژگی: در مدل‌های خطی، گاهی لازم است از یک ویژگی لگاریتم گرفته شود. اما درخت تصمیم با هر تبدیل یکنوای یک ویژگی، به همان خوبی کار می‌کند و نیازی به نرمال‌سازی یا استانداردسازی نیست.

مقیاس ویژگی اهمیتی ندارد: CART و سایر الگوریتم‌های درخت نسبت به مقیاس و تبدیل‌های یکنوای ویژگی‌ها ناوردا (invariant) هستند. برای مثال، تبدیل واحد یک ویژگی از کیلوگرم به گرم (ضرب در ۱۰۰۰) مقدار نقطهٔ تقسیم را تغییر می‌دهد، اما ساختار کلی درخت بدون تغییر باقی می‌ماند.

تصمیم‌های دودویی ساده: درخت‌های کم‌عمق (۱ تا ۳ تقسیم) فقط به تعداد کمی ویژگی نیاز دارند و بسیار آسان درک می‌شوند.

محدودیت‌ها

ضعف در روابط خطی: وقتی رابطه واقعی بین ویژگی و خروجی خطی است، درخت تصمیم مجبور است آن را با یک تابع پله‌ای تقریب بزند. این تقریب ناکارآمد است و به تقسیم‌بندی‌های بسیار زیادی نیاز دارد تا به دقت یک خط مستقیم برسد.

ناپیوستگی پیش‌بینی‌ها (فقدان صافی): تغییرات جزئی در یک ویژگی ورودی می‌تواند تأثیر بزرگی روی پیش‌بینی داشته باشد، که معمولاً مطلوب نیست. فرض کنید درختی برای پیش‌بینی قیمت یک خانه، متراژ را یکی از ویژگی‌های تقسیم‌کننده انتخاب کرده و تقسیم دقیقاً در نقطهٔ ۱۰۰٫۵ متر مربع رخ می‌دهد. کاربری را تصور کنید که از این درخت برای برآورد قیمت خانه‌اش استفاده می‌کند: او خانه را اندازه می‌گیرد، به این نتیجه می‌رسد که مساحت آن ۹۹ متر مربع است، آن را در ماشین‌حساب قیمت وارد می‌کند و پیش‌بینی ۲۰۰٬۰۰۰ یورو دریافت می‌کند. سپس متوجه می‌شود که فراموش کرده یک انباری کوچک با مساحت ۲ متر مربع را اندازه بگیرد. این انباری دیوار شیب‌دار دارد، بنابراین کاربر مطمئن نیست که باید کل مساحت آن را حساب کند یا فقط نیمی از آن را. پس تصمیم می‌گیرد هر دو حالت ۱۰۰ و ۱۰۱ متر مربع را امتحان کند. نتیجه: ماشین‌حساب قیمت به ترتیب ۲۰۰٬۰۰۰ و ۲۰۵٬۰۰۰ یورو خروجی می‌دهد، که کاملاً ضدشهودی است، چرا که از ۹۹ به ۱۰۰ متر مربع هیچ تغییری در پیش‌بینی رخ نداده بود.

ناپایداری: درخت تصمیم واریانس بالایی دارد. تغییرات کوچک در داده‌های آموزشی می‌توانند ساختار کاملاً متفاوتی از درخت ایجاد کنند، چون هر تقسیم بعدی به نتیجه تقسیم‌های قبلی وابسته است. این ناپایداری یکی از دلایل اصلی محبوبیت جنگل تصادفی (Random Forest) است که با ترکیب درخت‌های متعدد این واریانس را کاهش می‌دهد.

مشکل مقیاس‌پذیری با عمق: تعداد گره‌های برگ با عمق به‌سرعت افزایش می‌یابد. یک درخت دودویی با عمق $d$ حداکثر $2^d$ گره برگ دارد. درخت با عمق ۱۰ می‌تواند تا ۱۰۲۴ برگ داشته باشد — تفسیر چنین درختی دیگر ممکن نیست.

نرم‌افزار

برای مثال‌های این فصل از بستهٔ rpart در R استفاده شده که الگوریتم CART (Classification and Regression Trees) را پیاده‌سازی می‌کند. CART در زبان‌های برنامه‌نویسی مختلف، از جمله Python، در دسترس است. باید توجه داشت که CART الگوریتمی نسبتاً قدیمی و تا حدی منسوخ‌شده است و الگوریتم‌های جدید و جالبی برای برازش درخت‌ها وجود دارند. برای مروری بر برخی از بسته‌های R مربوط به درخت تصمیم، می‌توانید به صفحهٔ CRAN Task View یادگیری ماشین و یادگیری آماری زیر کلیدواژهٔ «Recursive Partitioning» مراجعه کنید. در Python، بستهٔ imodels الگوریتم‌های مختلفی برای رشد درخت‌های تصمیم (مثلاً برازش حریصانه در برابر بهینه)، هرس درخت‌ها، و منظم‌سازی درخت‌ها ارائه می‌دهد.


درخت تصمیم انتخاب ایده‌آلی است وقتی تفسیرپذیری اولویت اول است، داده‌ها تعاملات غیرخطی دارند، یا می‌خواهیم یک مدل بصری برای ارائه به ذینفعان غیرفنی داشته باشیم. برای عملکرد پیش‌بینی بهتر، روش‌های گروهی مانند جنگل تصادفی یا گرادیان بوستینگ ترجیح دارند.

فصل ۱۰: قوانین تصمیم

عنوان اصلی: Decision Rules
منبع: https://christophm.github.io/interpretable-ml-book/rules.html
نویسنده: Christoph Molnar
مترجم: مریم محمودی


یک قانون تصمیم یک عبارت ساده IF-THEN است که از یک شرط (که پیش‌شرط یا antecedent نیز نامیده می‌شود) و یک پیش‌بینی تشکیل شده است. برای مثال:

اگر امروز باران ببارد و ماه آوریل باشد (شرط)، آن‌گاه فردا هم باران خواهد بارید (پیش‌بینی).

یک قانون تصمیم واحد یا ترکیبی از چند قانون می‌توانند برای پیش‌بینی به کار روند.

قوانین تصمیم از یک ساختار کلی پیروی می‌کنند: اگر شرایطی برآورده شود، آن‌گاه پیش‌بینی خاصی انجام می‌شود. قوانین تصمیم احتمالاً تفسیرپذیرترین مدل‌های پیش‌بینی هستند: ساختار IF-THEN آن‌ها از نظر معنایی شبیه زبان طبیعی و شیوهٔ فکر کردن ماست، به شرطی که شرط از ویژگی‌های قابل‌فهم ساخته شده باشد، طول شرط کوتاه باشد (تعداد کمی زوج ویژگی=مقدار که با AND ترکیب شده‌اند) و تعداد قوانین زیاد نباشد. در برنامه‌نویسی، نوشتن قوانین IF-THEN کاملاً طبیعی است. نکتهٔ جدید در یادگیری ماشین این است که این قوانین تصمیم توسط یک الگوریتم یاد گرفته می‌شوند.

تصور کنید از یک الگوریتم برای یادگیری قوانین تصمیم به‌منظور پیش‌بینی ارزش یک خانه (low، ok یا high) استفاده می‌کنیم. یکی از قوانینی که این مدل می‌آموزد می‌تواند این باشد: اگر خانه‌ای بزرگ‌تر از ۱۰۰ متر مربع باشد و باغ داشته باشد، آن‌گاه ارزش آن بالا است. به بیان رسمی‌تر:

اگر size>100 AND garden=1 آن‌گاه value=high.

بیایید این قانون تصمیم را تجزیه کنیم:

  • size>100 اولین شرط در بخش IF است.
  • garden=1 دومین شرط در بخش IF است.
  • این دو شرط با یک «AND» به هم متصل شده‌اند تا شرط جدیدی بسازند. هر دو باید درست باشند تا قانون اعمال شود.
  • نتیجهٔ پیش‌بینی‌شده (بخش THEN) برابر value=high است.

یک قانون تصمیم دست‌کم از یک عبارت ویژگی=مقدار در شرط استفاده می‌کند، بدون هیچ محدودیتی بر تعداد عباراتی که می‌توان با «AND» بیشتر به آن افزود. استثنا، قانون پیش‌فرض است که هیچ بخش IF صریحی ندارد و زمانی اعمال می‌شود که هیچ قانون دیگری اعمال نشود؛ در ادامه دربارهٔ آن بیشتر توضیح خواهیم داد.

سودمندی یک قانون تصمیم معمولاً با دو عدد خلاصه می‌شود: پوشش (support) و دقت (accuracy).

پوشش یا support یک قانون: درصد نمونه‌هایی که شرط یک قانون برای آن‌ها صدق می‌کند، پوشش نامیده می‌شود. برای نمونه، قانون size=big AND location=good THEN value=high را برای پیش‌بینی ارزش خانه در نظر بگیرید. فرض کنید ۱۰۰ خانه از ۱۰۰۰ خانه بزرگ و در موقعیت خوب باشند؛ در این صورت پوشش این قانون ۱۰٪ است. بخش پیش‌بینی (THEN) در محاسبهٔ پوشش اهمیتی ندارد.

دقت یا confidence یک قانون: دقت یک قانون معیاری است از اینکه قانون تا چه اندازه در پیش‌بینی کلاس درست برای نمونه‌هایی که شرط آن اعمال می‌شود، دقیق است. برای مثال: فرض کنید از ۱۰۰ خانه‌ای که قانون size=big AND location=good THEN value=high برای آن‌ها اعمال می‌شود، ۸۵ خانه value=high، ۱۴ خانه value=ok و ۱ خانه value=low دارند؛ در این صورت دقت قانون ۸۵٪ است.

معمولاً یک موازنه (trade-off) میان دقت و پوشش وجود دارد: با افزودن ویژگی‌های بیشتر به شرط، می‌توانیم به دقت بالاتری برسیم اما پوشش را از دست می‌دهیم.

برای ساختن یک طبقه‌بند خوب جهت پیش‌بینی ارزش خانه، ممکن است لازم باشد نه فقط یک قانون، بلکه شاید ۱۰ یا ۲۰ قانون یاد بگیرید. در این صورت اوضاع می‌تواند پیچیده‌تر شود و ممکن است با یکی از مشکلات زیر روبه‌رو شوید:

  • قوانین می‌توانند همپوشانی داشته باشند: چه می‌شود اگر بخواهم ارزش یک خانه را پیش‌بینی کنم و دو یا چند قانون اعمال شوند و پیش‌بینی‌های متناقضی به من بدهند؟
  • هیچ قانونی اعمال نمی‌شود: چه می‌شود اگر بخواهم ارزش یک خانه را پیش‌بینی کنم و هیچ‌کدام از قوانین اعمال نشوند؟

دو راهبرد اصلی برای ترکیب چندین قانون وجود دارد: فهرست‌های تصمیم (ordered، مرتب) و مجموعه‌های تصمیم (unordered، نامرتب). هر دو راهبرد راه‌حل‌های متفاوتی برای مسئلهٔ همپوشانی قوانین ارائه می‌دهند.

یک فهرست تصمیم (decision list) ترتیبی به قوانین تصمیم اضافه می‌کند. اگر شرط اولین قانون برای یک نمونه درست باشد، از پیش‌بینی اولین قانون استفاده می‌کنیم. اگر نه، به قانون بعدی می‌رویم و بررسی می‌کنیم که آیا اعمال می‌شود، و به همین ترتیب ادامه می‌دهیم. فهرست‌های تصمیم مشکل همپوشانی قوانین را با بازگرداندن تنها پیش‌بینی نخستین قانونِ منطبق در فهرست حل می‌کنند.

یک مجموعه تصمیم (decision set) شبیه دموکراسی قوانین است، با این تفاوت که برخی قوانین ممکن است قدرت رأی بیشتری داشته باشند. در یک مجموعه، قوانین یا متقابلاً منحصربه‌فرد (mutually exclusive) هستند یا راهبردی برای حل تعارض وجود دارد، مانند رأی‌گیری اکثریت که ممکن است با دقت هر قانون یا معیارهای کیفیت دیگر وزن‌دهی شود. وقتی چند قانون همزمان اعمال شوند، تفسیرپذیری می‌تواند آسیب ببیند.

هم فهرست‌های تصمیم و هم مجموعه‌های تصمیم می‌توانند از این مشکل رنج ببرند که هیچ قانونی برای یک نمونه اعمال نشود. این مشکل را می‌توان با معرفی یک قانون پیش‌فرض حل کرد. قانون پیش‌فرض، قانونی است که هنگامی که هیچ قانون دیگری اعمال نشود، به کار می‌رود. پیش‌بینی قانون پیش‌فرض معمولاً پرتکرارترین کلاس در میان نقاط داده‌ای است که توسط قوانین دیگر پوشش داده نشده‌اند. اگر یک مجموعه یا فهرست از قوانین کل فضای ویژگی را پوشش دهد، آن را جامع (exhaustive) می‌نامیم. با افزودن یک قانون پیش‌فرض، یک مجموعه یا فهرست به‌طور خودکار جامع می‌شود.

روش‌های زیادی برای یادگیری قوانین از داده وجود دارد و این کتاب فاصلهٔ زیادی تا پوشش‌دادن همهٔ آن‌ها دارد. این فصل سه مورد از آن‌ها را نشان می‌دهد. این الگوریتم‌ها به گونه‌ای انتخاب شده‌اند که طیف گسترده‌ای از ایده‌های کلی برای یادگیری قوانین را پوشش دهند، بنابراین هر سه رویکردهای بسیار متفاوتی را نمایندگی می‌کنند.

۱. OneR قوانین را از یک ویژگی واحد یاد می‌گیرد. OneR با سادگی، تفسیرپذیری و کاربردش به‌عنوان یک معیار مرجع (benchmark) شناخته می‌شود. ۲. پوشش ترتیبی (Sequential covering) یک رویهٔ کلی است که به‌صورت تکراری قوانین را یاد می‌گیرد و نقاط داده‌ای را که توسط قانون جدید پوشش داده شده‌اند، حذف می‌کند. این رویه توسط بسیاری از الگوریتم‌های یادگیری قانون استفاده می‌شود. ۳. فهرست‌های قانون بیزی (Bayesian Rule Lists) الگوهای پرتکرار از‌پیش‌استخراج‌شده را با استفاده از آمار بیزی در یک فهرست تصمیم ترکیب می‌کنند. استفاده از الگوهای از‌پیش‌استخراج‌شده رویکردی رایج در بسیاری از الگوریتم‌های یادگیری قانون است.

بیایید با ساده‌ترین رویکرد شروع کنیم: استفاده از تنها بهترین ویژگی برای یادگیری قوانین.

یادگیری قانون از یک ویژگی واحد (OneR)

الگوریتم OneR (Holte, 1993) یکی از ساده‌ترین الگوریتم‌های استخراج قانون است. از میان همهٔ ویژگی‌ها، OneR ویژگی‌ای را انتخاب می‌کند که بیشترین اطلاعات را دربارهٔ نتیجهٔ مورد نظر حمل می‌کند و از این ویژگی، قوانین تصمیم می‌سازد.

با وجود نام OneR که مخفف «یک قانون» (One Rule) است، این الگوریتم بیش از یک قانون تولید می‌کند: در واقع به ازای هر مقدار منحصربه‌فرد ویژگیِ انتخاب‌شده، یک قانون ساخته می‌شود. نام مناسب‌تر برای آن OneFeatureRule (قانونِ یک‌ویژگی) بود.

این الگوریتم ساده و سریع است:

۱. ویژگی‌های پیوسته را با انتخاب بازه‌های مناسب، گسسته کنید. ۲. برای هر ویژگی:

  • یک جدول متقاطع بین مقادیر ویژگی و نتیجهٔ (دسته‌ای) بسازید.
  • برای هر مقدار ویژگی، قانونی بسازید که رایج‌ترین کلاس نمونه‌هایی را که آن مقدار ویژگی خاص را دارند پیش‌بینی کند (این کلاس را می‌توان از جدول متقاطع خواند).
  • خطای کل قوانینِ آن ویژگی را محاسبه کنید. ۳. ویژگی‌ای را که کمترین خطای کل را دارد، انتخاب کنید.

OneR همیشه تمام نمونه‌های مجموعه داده را پوشش می‌دهد، زیرا از تمام سطوح ویژگی انتخاب‌شده استفاده می‌کند. مقادیر گم‌شده را می‌توان یا به‌عنوان یک مقدار ویژگی اضافی در نظر گرفت یا از پیش جایگزین (impute) کرد.

یک مدل OneR در واقع یک درخت تصمیم با تنها یک تقسیم است. این تقسیم لزوماً دودویی (binary) نیست، برخلاف CART، بلکه به تعداد مقادیر منحصربه‌فرد ویژگی بستگی دارد.

نکته: OneR معیار مرجع خوبی برای مقایسه با مدل‌های پیچیده‌تر است.

بیایید مثالی را ببینیم که در آن بهترین ویژگی توسط OneR انتخاب می‌شود. جدول ۱۰.۱ یک مجموعه دادهٔ مصنوعی دربارهٔ خانه‌ها را با اطلاعاتی دربارهٔ ارزش، موقعیت، اندازه، و اینکه آیا نگهداری حیوان خانگی مجاز است یا نه نشان می‌دهد. ما به یادگیری یک مدل ساده برای پیش‌بینی ارزش خانه علاقه‌مندیم.

جدول ۱۰.۱: مجموعه دادهٔ مصنوعی برای ارزش خانه.

موقعیتاندازهحیوان خانگیارزش
خوبکوچکبلهبالا
خوببزرگخیربالا
خوببزرگخیربالا
بدمتوسطخیرمتوسط
خوبمتوسطفقط گربهمتوسط
خوبکوچکفقط گربهمتوسط
بدمتوسطبلهمتوسط
بدکوچکبلهپایین
بدمتوسطبلهپایین
بدکوچکخیرپایین

OneR قوانین را بر اساس جداول متقاطع بین هر ویژگی و نتیجه می‌سازد. جدول ۱۰.۲ سه جدول متقاطع را نشان می‌دهد.

جدول ۱۰.۲: جداول متقاطع بین هر ویژگی و هدف.

ارزش=پایینارزش=متوسطارزش=بالا
اندازه=بزرگ۰۰۲
اندازه=متوسط۱۳۰
اندازه=کوچک۲۱۱
حیوان=خیر۱۱۲
حیوان=فقط گربه۰۲۰
حیوان=بله۲۱۱
موقعیت=بد۳۲۰
موقعیت=خوب۰۲۳

برای هر ویژگی، سطر به سطر جدول را بررسی می‌کنیم: هر مقدار ویژگی، بخش IF یک قانون است؛ رایج‌ترین کلاس برای نمونه‌های دارای آن مقدار ویژگی، پیش‌بینی (بخش THEN) آن قانون است. برای مثال، ویژگی اندازه با سطوح کوچک، متوسط و بزرگ سه قانون تولید می‌کند. برای هر ویژگی، نرخ خطای کل قوانین تولیدشده را که مجموع خطاهاست، محاسبه می‌کنیم. ویژگی موقعیت مقادیر ممکن بد و خوب را دارد. رایج‌ترین مقدار برای خانه‌های در موقعیت بد پایین است و وقتی از پایین به‌عنوان پیش‌بینی استفاده کنیم، دو اشتباه می‌کنیم چون دو خانه ارزش متوسط دارند. مقدار پیش‌بینی‌شده برای خانه‌های در موقعیت خوب بالا است، و باز هم دو اشتباه می‌کنیم چون دو خانه ارزش متوسط دارند. خطایی که با ویژگی موقعیت مرتکب می‌شویم برابر ۴/۱۰ است، برای ویژگی اندازه ۳/۱۰ و برای ویژگی حیوان خانگی ۴/۱۰. ویژگی اندازه قوانینی با کمترین خطا تولید می‌کند و برای مدل نهایی OneR استفاده خواهد شد:

اگر size=small آن‌گاه value=low اگر size=medium آن‌گاه value=ok اگر size=big آن‌گاه value=high

برای درک بهتر (توضیح مترجم): به زبان ساده، OneR فقط یک سؤال می‌پرسد و بر اساس پاسخ آن تصمیم می‌گیرد. در مثال بالا آن سؤال «اندازهٔ خانه چقدر است؟» است، چون در مقایسه با «موقعیت» و «حیوان خانگی»، پاسخ به همین یک سؤال کمترین تعداد اشتباه (۳ اشتباه از ۱۰ خانه) را ایجاد می‌کند؛ بنابراین OneR این ویژگی را بر دو ویژگی دیگر ترجیح می‌دهد، حتی اگر ترکیب چند ویژگی با هم می‌توانست دقت بالاتری بدهد.

اگر اعتبارسنجی درستی صورت نگیرد، OneR ممکن است روی ویژگی‌هایی با سطوح زیاد بیش‌برازش (overfit) کند. مجموعه داده‌ای را تصور کنید که فقط نویز دارد و هیچ سیگنالی در آن نیست، به این معنا که تمام ویژگی‌ها مقادیر تصادفی می‌گیرند و هیچ ارزش پیش‌بینی‌کننده‌ای برای هدف ندارند. برخی ویژگی‌ها سطوح بیشتری نسبت به بقیه دارند. ویژگی‌هایی که سطوح بیشتری دارند حالا راحت‌تر می‌توانند بیش‌برازش کنند. ویژگی‌ای که برای هر نمونه از داده یک سطح جداگانه دارد، می‌تواند کل مجموعه دادهٔ آموزشی را به‌طور کامل پیش‌بینی کند. یک راه‌حل این است که داده را به مجموعه‌های آموزش و اعتبارسنجی تقسیم کنیم، قوانین را روی داده آموزشی یاد بگیریم و خطای کل را برای انتخاب ویژگی روی مجموعهٔ اعتبارسنجی ارزیابی کنیم.

هشدار — استفاده از داده اعتبارسنجی: همیشه مدل انتخاب‌شده را با یک مجموعهٔ اعتبارسنجی جداگانه بررسی کنید تا مطمئن شوید روی داده‌های دیده‌نشده هم خوب عمل می‌کند، حتی اگر مدل شما یک «قانون واحد» ساده باشد.

مسئلهٔ دیگر، تساوی (ties) است، یعنی زمانی که دو ویژگی خطای کل یکسانی داشته باشند. OneR این تساوی‌ها را یا با انتخاب اولین ویژگی با کمترین خطا یا ویژگی‌ای که کمترین p-value را در یک آزمون کای‌دو (chi-squared) دارد، حل می‌کند.

مثال

بیایید OneR را روی داده‌های واقعی امتحان کنیم. از داده‌های پنگوئن‌های پالمر برای آزمایش الگوریتم OneR استفاده می‌کنیم. تمام ویژگی‌های پیوسته ورودی به ۵ کوانتیل گسسته شدند. قوانین ساخته‌شده توسط الگوریتم یادگیری OneR در جدول ۱۰.۳ نشان داده شده‌اند.

جدول ۱۰.۳: قانون یادگرفته‌شده توسط OneR برای طبقه‌بندی جنسیت پنگوئن.

bill_depth_mmپیش‌بینی
(13.1, 14.7]ماده
(14.7, 16.3]نر
(16.3, 18]ماده
(18, 19.6]نر
(19.6, 21.2]نر

ویژگی bill_depth_mm (عمق منقار) توسط OneR به‌عنوان بهترین ویژگی پیش‌بینی‌کننده انتخاب شد. برای درک بهتر عملکرد این تک‌قانون، بیایید نگاهی به جدول متقاطع بین ویژگی گسسته‌شدهٔ bill_depth_mm و گونهٔ پنگوئن بیندازیم؛ به جدول ۱۰.۴ مراجعه کنید.

جدول ۱۰.۴: ماتریس درهم‌ریختگی برای قانون طبقه‌بندی جنسیت پنگوئن که توسط OneR یافت شده است.

bill_depth_mmمادهنر
[13.1, 14.7)۸۶.۷٪ (۱۳)۱۳.۳٪ (۲)
[14.7, 16.3)۳۸.۵٪ (۱۰)۶۱.۵٪ (۱۶)
[16.3, 18)۷۲.۰٪ (۱۸)۲۸.۰٪ (۷)
[18, 19.6)۳۴.۴٪ (۱۱)۶۵.۶٪ (۲۱)
[19.6, 21.2)۰٪ (۰)۱۰۰٪ (۱۲)

می‌بینیم که این ویژگی به‌ویژه برای طبقه‌بندی پنگوئن‌هایی با منقار عمیق مفید است. پنگوئن‌هایی با عمق منقار بیش از ۱.۹۸ سانتی‌متر به احتمال زیاد نر هستند. منقارهای بسیار کم‌عمق احتمال زیادی می‌دهند که با یک پنگوئن ماده سروکار داریم. نکتهٔ احتیاط: این مدل گونه (species) را نادیده می‌گیرد، یا بهتر بگوییم همهٔ گونه‌ها را با هم قاطی می‌کند. برای رفع این مشکل، می‌توانستیم یک مدل جداگانه برای هر گونه آموزش دهیم.

OneR ذاتاً از وظایف رگرسیون پشتیبانی نمی‌کند. اما می‌توانیم یک وظیفهٔ رگرسیون را با بریدن (cutting) خروجی پیوسته به بازه‌ها، به یک وظیفهٔ دسته‌بندی تبدیل کنیم. از این ترفند برای پیش‌بینی تعداد دوچرخه‌های اجاره‌شده با OneR استفاده می‌کنیم، با بریدن تعداد دوچرخه‌ها به چهار چارک آن (۰ تا ۲۵٪، ۲۵ تا ۵۰٪، ۵۰ تا ۷۵٪ و ۷۵ تا ۱۰۰٪). جدول ۱۰.۵ ویژگی انتخاب‌شده پس از برازش مدل OneR را نشان می‌دهد: ویژگی انتخاب‌شده تعداد کرایهٔ دوچرخهٔ روز قبل است.

جدول ۱۰.۵: قانون طبقه‌بندی OneR برای داده‌های کرایهٔ دوچرخه.

cnt_2d_bfrپیش‌بینی
(13.3, 1760][22, 3193]
(1760, 3500][22, 3193]
(3500, 5240](4551, 5978.5]
(5240, 6980](5978.5, 8714]
(6980, 8720](5978.5, 8714]

اکنون از الگوریتم سادهٔ OneR به سمت رویه‌ای پیچیده‌تر حرکت می‌کنیم که از قوانین با شرط‌های پیچیده‌تر متشکل از چند ویژگی استفاده می‌کند: پوشش ترتیبی (Sequential Covering).

پوشش ترتیبی (Sequential Covering)

پوشش ترتیبی یک رویهٔ کلی است که به‌طور مکرر یک قانون واحد یاد می‌گیرد تا فهرستی (یا مجموعه‌ای) تصمیم بسازد که قانون‌به‌قانون کل مجموعه داده را پوشش می‌دهد. بسیاری از الگوریتم‌های یادگیری قانون به خانوادهٔ پوشش ترتیبی تعلق دارند. این بخش دستورالعمل اصلی را معرفی می‌کند و برای مثال‌ها از RIPPER، یکی از انواع الگوریتم پوشش ترتیبی، استفاده می‌کند.

ایده ساده است: نخست، قانون خوبی پیدا کنید که برای برخی از نقاط داده اعمال می‌شود. تمام نقاط داده‌ای را که توسط این قانون پوشش داده شده‌اند حذف کنید. یک نقطهٔ داده زمانی پوشش‌داده‌شده است که شرط‌ها برای آن اعمال شوند، فارغ از اینکه آن نقطه به‌درستی طبقه‌بندی شده باشد یا نه. یادگیری قانون و حذف نقاط پوشش‌داده‌شده را با نقاط باقی‌مانده تکرار کنید تا نقطه‌ای باقی نماند یا شرط توقف دیگری برآورده شود. نتیجه یک فهرست تصمیم است. به این رویکردِ یادگیری مکرر قانون و حذف نقاط پوشش‌داده‌شده، «جداسازی و تسخیر» (separate-and-conquer) گفته می‌شود.

فرض کنید از پیش الگوریتمی داریم که می‌تواند یک قانون واحد بسازد که بخشی از داده را پوشش می‌دهد. الگوریتم پوشش ترتیبی برای دو کلاس (یکی مثبت، یکی منفی) به این صورت عمل می‌کند:

  • با یک فهرست خالی از قوانین (rlist) شروع کنید.
  • یک قانون $r$ یاد بگیرید.
  • تا زمانی که فهرست قوانین زیر یک آستانهٔ کیفیت مشخص باشد (یا نمونه‌های مثبت هنوز پوشش داده نشده باشند):
    • قانون $r$ را به rlist اضافه کنید.
    • تمام نقاط داده‌ای را که توسط قانون $r$ پوشش داده شده‌اند حذف کنید.
    • روی داده‌های باقی‌مانده، قانون دیگری یاد بگیرید.
  • فهرست تصمیم را برگردانید.

شکل ۱۰.۱: مراحل الگوریتم پوشش ترتیبی. در گام نخست، یک قانون که بخشی از داده را به‌خوبی پوشش می‌دهد پیدا می‌شود (مربع مشکی رسم‌شده دور نمونه‌ها). در گام دوم، تمام نمونه‌های درون آن ناحیه از داده حذف می‌شوند. در گام سوم، الگوریتم روی داده‌های باقی‌مانده به دنبال قانون بعدی می‌گردد.

برای نمونه: وظیفه و مجموعه داده‌ای برای پیش‌بینی ارزش خانه‌ها بر اساس اندازه، موقعیت، و اینکه آیا نگهداری حیوان خانگی مجاز است یا نه داریم. اولین قانونی که یاد می‌گیریم این است: اگر size=big و location=good، آن‌گاه value=high. سپس تمام خانه‌های بزرگ در موقعیت خوب را از مجموعه داده حذف می‌کنیم. با داده‌های باقی‌مانده، قانون بعدی را یاد می‌گیریم؛ شاید: اگر location=good، آن‌گاه value=ok. توجه کنید که این قانون روی داده‌ای یاد گرفته می‌شود که دیگر خانه‌های بزرگ در موقعیت خوب را ندارد، و فقط خانه‌های متوسط و کوچک در موقعیت خوب باقی مانده‌اند.

برای مسائل چندکلاسه، رویکرد باید تغییر کند. نخست، کلاس‌ها بر اساس فراوانیِ فزاینده مرتب می‌شوند. الگوریتم پوشش ترتیبی با کم‌تکرارترین کلاس شروع می‌کند، برای آن یک قانون یاد می‌گیرد، تمام نمونه‌های پوشش‌داده‌شده را حذف می‌کند، سپس به سراغ دومین کلاس کم‌تکرار می‌رود، و به همین ترتیب ادامه می‌دهد. کلاس جاری همیشه به‌عنوان کلاس مثبت در نظر گرفته می‌شود و تمام کلاس‌های با فراوانی بالاتر در کلاس منفی ترکیب می‌شوند. آخرین کلاس همان قانون پیش‌فرض است. به این رویکرد در دسته‌بندی، راهبرد یک-در-برابر-همه (one-versus-all) نیز گفته می‌شود.

چگونه یک قانون واحد یاد می‌گیریم؟ الگوریتم OneR در اینجا کارساز نیست، چون همیشه کل فضای ویژگی را پوشش می‌دهد. اما راه‌های دیگر زیادی وجود دارد. یک امکان، یادگیری یک قانون واحد از یک درخت تصمیم با جست‌وجوی پرتوی (beam search) است:

  • یک درخت تصمیم (با CART یا الگوریتم دیگری برای یادگیری درخت) یاد بگیرید.
  • از گره ریشه شروع کنید و به‌طور بازگشتی خالص‌ترین گره را انتخاب کنید (مثلاً گره‌ای با کمترین نرخ طبقه‌بندی نادرست).
  • کلاس اکثریت گرهٔ پایانی به‌عنوان پیش‌بینی قانون و مسیر منتهی به آن گره به‌عنوان شرط قانون استفاده می‌شود.

شکل ۱۰.۲: قانونی که با جست‌وجوی یک مسیر در یک درخت تصمیم یاد گرفته شده است. نتیجه این می‌شود: اگر location=good و size=big، آن‌گاه value=high.

یادگیری یک قانون واحد یک مسئلهٔ جست‌وجو است، که در آن فضای جست‌وجو، فضای همهٔ قوانین ممکن است. هدف جست‌وجو، یافتن بهترین قانون بر اساس معیاری مشخص است. راهبردهای جست‌وجوی متفاوت زیادی وجود دارد: کوه‌نوردی (hill-climbing)، جست‌وجوی پرتوی (beam search)، جست‌وجوی جامع (exhaustive search)، جست‌وجوی بهترین-اول (best-first search)، جست‌وجوی مرتب (ordered search)، جست‌وجوی تصادفی (stochastic search)، جست‌وجوی بالا-به-پایین (top-down)، جست‌وجوی پایین-به-بالا (bottom-up) و غیره.

RIPPER (Repeated Incremental Pruning to Produce Error Reduction، Cohen, 1995) یکی از انواع الگوریتم پوشش ترتیبی است. RIPPER کمی پیچیده‌تر است و از یک مرحلهٔ پس‌پردازش (هرس قوانین) برای بهینه‌سازی فهرست (یا مجموعهٔ) تصمیم استفاده می‌کند. RIPPER می‌تواند در حالت مرتب یا نامرتب اجرا شود و فهرست تصمیم یا مجموعهٔ تصمیم تولید کند.

مثال‌ها

نخست، قوانین را برای وظیفهٔ طبقه‌بندی جنسیت پنگوئن استخراج می‌کنیم. قوانین به‌همراه قانون پیش‌فرض در جدول ۱۰.۶ چاپ شده‌اند. تفسیر آن ساده است: برای پیش‌بینی یک نمونهٔ جدید، از بالای فهرست شروع کنید و بررسی کنید آیا یک قانون اعمال می‌شود. اگر شرط‌ها برقرار باشند، گونه‌ای که در سمت راست قانون آمده را پیش‌بینی کنید. اگر برقرار نباشند، به قانون بعدی بروید تا به یک طبقه‌بندی برسید. قانون پیش‌فرض تضمین می‌کند که همیشه یک پیش‌بینی وجود داشته باشد.

جدول ۱۰.۶: قوانین یادگرفته‌شده توسط JRip برای وظیفهٔ طبقه‌بندی پنگوئن.

قوانین
(body_mass_g ≤ 3700) و (bill_depth_mm ≤ 18.5) ⟹ جنس=ماده
(bill_depth_mm ≤ 14.8) و (body_mass_g ≤ 5200) ⟹ جنس=ماده
(body_mass_g ≤ 3850) و (bill_length_mm ≤ 36.9) ⟹ جنس=ماده
⟹ جنس=نر (قانون پیش‌فرض)

RIPPER راهی مشخص برای حل تعارض میان قوانین دارد: قوانین را به‌ترتیب اعمال می‌کند. این تنها یکی از راهبردهای کلی ممکن است؛ راهبردهای دیگر از استفاده از قانونی با اختصاصی‌ترین بخش IF تا استفاده از قانونی با بالاترین دقت (precision) را نیز شامل می‌شوند.

وقتی RIPPER را برای پیش‌بینی تعداد کرایهٔ دوچرخه روی یک وظیفهٔ رگرسیون به کار می‌بریم، چند قانون یافت می‌شود. از آنجا که RIPPER فقط برای دسته‌بندی کار می‌کند، تعداد دوچرخه‌ها باید به یک نتیجهٔ دسته‌ای تبدیل شود؛ این کار با بریدن تعداد دوچرخه‌ها به چارک‌ها انجام شده است. برای مثال، بازهٔ $[4548, 5956]$ تعداد پیش‌بینی‌شدهٔ دوچرخه‌ها را بین ۴۵۴۸ و ۵۹۵۶ پوشش می‌دهد. جدول ۱۰.۷ فهرست تصمیمِ قوانین یادگرفته‌شده را نشان می‌دهد. تفسیر باز هم همان است: اگر شرط‌ها برقرار باشند، بازهٔ سمت راست را برای تعداد دوچرخه‌ها پیش‌بینی می‌کنیم. من از قوانین تصمیم این مثال چندان راضی نیستم. ماهیت ویژگی cnt_2d_bfr تعدیل روند کلی کرایهٔ دوچرخه است. cnt و cnt_2d_bfr رابطه‌ای خطی دارند که قوانین تصمیم به‌سختی می‌توانند آن را بازتاب دهند.

جدول ۱۰.۷: قوانین JRip برای وظیفهٔ کرایهٔ دوچرخه.

قوانین
(cnt_2d_bfr ≤ 5729) و (cnt_2d_bfr ≥ 4780) و (temp ≤ 26) ⟹ cnt=(4551,5978.5]
(temp ≥ 14) و (cnt_2d_bfr ≤ 5515) و (hum ≤ 63) و (cnt_2d_bfr ≥ 3574) و (temp ≤ 27) ⟹ cnt=(4551,5978.5]
(cnt_2d_bfr ≥ 3544) و (cnt_2d_bfr ≤ 3915) و (temp ≥ 17) و (temp ≤ 28) ⟹ cnt=(4551,5978.5]
(cnt_2d_bfr ≤ 5336) و (cnt_2d_bfr ≥ 2914) و (weather = GOOD) و (temp ≥ 7) ⟹ cnt=(3193,4551]
(cnt_2d_bfr ≤ 4833) و (cnt_2d_bfr ≥ 2169) و (hum ≤ 72) و (workday = Y) ⟹ cnt=(3193,4551]
(cnt_2d_bfr ≤ 4097) و (season = WINTER) ⟹ cnt=[22,3193]
(cnt_2d_bfr ≤ 4570) و (temp ≤ 13) ⟹ cnt=[22,3193]
(hum ≥ 88) و (season = FALL) ⟹ cnt=[22,3193]
(cnt_2d_bfr ≤ 3351) و (cnt_2d_bfr ≥ 2710) ⟹ cnt=[22,3193]
⟹ cnt=(5978.5,8714] (قانون پیش‌فرض)

فهرست‌های قانون بیزی (Bayesian Rule Lists)

در این بخش، رویکرد دیگری برای یادگیری یک فهرست تصمیم نشان داده می‌شود که این دستورالعمل کلی را دنبال می‌کند:

۱. الگوهای پرتکرار را از داده از پیش استخراج کنید تا به‌عنوان شرط قوانین تصمیم استفاده شوند. ۲. یک فهرست تصمیم را از میان زیرمجموعه‌ای از قوانین از‌پیش‌استخراج‌شده یاد بگیرید.

رویکرد مشخصی که این دستورالعمل را دنبال می‌کند، فهرست‌های قانون بیزی (Letham et al., 2015) یا به‌اختصار BRL نامیده می‌شود. BRL از آمار بیزی برای یادگیری فهرست‌های تصمیم از الگوهای پرتکراری استفاده می‌کند که با الگوریتم FP-tree (Borgelt, 2005) از‌پیش استخراج شده‌اند.

اما بیایید آرام‌آرام با گام اول BRL شروع کنیم.

پیش‌استخراج الگوهای پرتکرار

یک الگوی پرتکرار (frequent pattern) هم‌رخدادی مکرر مقادیر ویژگی است. به‌عنوان یک مرحلهٔ پیش‌پردازش برای الگوریتم BRL، از ویژگی‌ها (در این مرحله به نتیجهٔ هدف نیازی نیست) استفاده می‌کنیم و الگوهای پرتکرار را از آن‌ها استخراج می‌کنیم. یک الگو می‌تواند یک مقدار ویژگی واحد مانند size=medium یا ترکیبی از مقادیر ویژگی مانند size=medium AND location=bad باشد.

فراوانی یک الگو با پوشش (support) آن در مجموعه داده اندازه‌گیری می‌شود:

$$Support(\mathbf{x}_j=A)=\frac{1}{n}\sum_{i=1}^nI(x^{(i)}_{j}=A)$$

که در آن $A$ مقدار ویژگی، $n$ تعداد نقاط داده در مجموعه داده، و $I$ تابع نشانگر (indicator function) است که اگر ویژگی $x_j$ نمونهٔ $i$ سطح $A$ داشته باشد ۱ و در غیر این صورت ۰ برمی‌گرداند. در مجموعه‌داده‌ای از ارزش خانه‌ها، اگر ۲۰٪ خانه‌ها بالکن نداشته باشند و ۸۰٪ یک یا چند بالکن داشته باشند، پوشش الگوی balcony=0 برابر ۲۰٪ خواهد بود. پوشش را می‌توان برای ترکیب مقادیر ویژگی نیز اندازه گرفت، برای مثال برای balcony=0 AND pets=allowed.

الگوریتم‌های زیادی برای یافتن چنین الگوهای پرتکراری وجود دارند، برای مثال Apriori یا FP-Growth. اینکه کدام‌یک را استفاده کنید چندان اهمیتی ندارد؛ تنها سرعت یافتن الگوها متفاوت است، اما الگوهای به‌دست‌آمده همیشه یکسان‌اند.

اجازه دهید ایدهٔ کلی‌ای از نحوهٔ کار الگوریتم Apriori در یافتن الگوهای پرتکرار ارائه دهم. در واقع، الگوریتم Apriori از دو بخش تشکیل شده است، که بخش نخست الگوهای پرتکرار را می‌یابد و بخش دوم از آن‌ها قوانین انجمنی (association rules) می‌سازد. برای الگوریتم BRL، ما فقط به الگوهای پرتکراری که در بخش نخست Apriori تولید می‌شوند علاقه‌مندیم.

در گام نخست، الگوریتم Apriori با تمام مقادیر ویژگی‌ای شروع می‌کند که پوششی بزرگ‌تر از حداقل پوشش تعیین‌شده توسط کاربر دارند. اگر کاربر بگوید حداقل پوشش باید ۱۰٪ باشد و تنها ۵٪ خانه‌ها size=big داشته باشند، آن مقدار ویژگی را حذف می‌کنیم و فقط size=medium و size=small را به‌عنوان الگو نگه می‌داریم. این به این معنا نیست که خانه‌ها از داده حذف می‌شوند؛ فقط یعنی size=big به‌عنوان یک الگوی پرتکرار بازگردانده نمی‌شود. بر اساس الگوهای پرتکرار با یک مقدار ویژگی واحد، الگوریتم Apriori به‌طور تکراری تلاش می‌کند ترکیب‌هایی از مقادیر ویژگی با مرتبهٔ فزاینده پیدا کند. الگوها با ترکیب عبارت‌های ویژگی=مقدار با عملگر منطقی AND ساخته می‌شوند، مثلاً size=medium AND location=bad. الگوهای تولیدشده‌ای که پوششی کمتر از حداقل پوشش داشته باشند حذف می‌شوند. در پایان، تمام الگوهای پرتکرار را در اختیار داریم.

هر زیرمجموعه‌ای از شرط‌های یک الگوی پرتکرار نیز پرتکرار است، که به آن ویژگی Apriori گفته می‌شود. این موضوع شهوداً منطقی است: با حذف یک شرط از یک الگو، الگوی کاسته‌شده تنها می‌تواند تعداد نقاط دادهٔ بیشتر یا برابر را پوشش دهد، نه کمتر. برای مثال، اگر ۲۰٪ خانه‌ها size=medium AND location=good باشند، آن‌گاه پوشش خانه‌هایی که فقط size=medium هستند ۲۰٪ یا بیشتر خواهد بود. از ویژگی Apriori برای کاهش تعداد الگوهایی که باید بررسی شوند استفاده می‌شود: فقط در صورتی که یک الگو پرتکرار باشد، نیاز داریم الگوهای مرتبهٔ بالاتر را بررسی کنیم.

اکنون گام پیش‌استخراج شرط‌ها برای الگوریتم فهرست‌های قانون بیزی به پایان رسیده است. اما پیش از رفتن به گام دوم BRL، مایلم به راه دیگری برای یادگیری قانون بر پایهٔ الگوهای از‌پیش‌استخراج‌شده اشاره کنم. رویکردهای دیگر پیشنهاد می‌کنند نتیجهٔ موردعلاقه نیز در فرآیند استخراج الگوی پرتکرار گنجانده شود و بخش دوم الگوریتم Apriori، که قوانین IF-THEN می‌سازد، نیز اجرا شود. از آنجا که این الگوریتم بدون‌نظارت (unsupervised) است، بخش THEN نیز شامل مقادیر ویژگی‌ای می‌شود که به آن‌ها علاقه‌ای نداریم. اما می‌توانیم قوانینی را فیلتر کنیم که فقط نتیجهٔ موردعلاقه در بخش THEN آن‌ها باشد. این قوانین از پیش یک مجموعهٔ تصمیم را تشکیل می‌دهند، اما امکان مرتب‌کردن، هرس، حذف یا ترکیب دوبارهٔ آن‌ها هم وجود دارد.

با این حال، در رویکرد BRL، ما با الگوهای پرتکرار کار می‌کنیم و بخش THEN و چگونگی چیدن الگوها در یک فهرست تصمیم را با استفاده از آمار بیزی یاد می‌گیریم.

یادگیری فهرست‌های قانون بیزی

هدف الگوریتم BRL یادگیری یک فهرست تصمیم دقیق با استفاده از زیرمجموعه‌ای از شرط‌های از‌پیش‌استخراج‌شده است، در حالی که فهرست‌هایی با تعداد قوانین کم و شرط‌های کوتاه در اولویت قرار دارند. BRL این هدف را با تعریف یک توزیع از فهرست‌های تصمیم دنبال می‌کند، همراه با توزیع‌های پیشین برای طول شرط‌ها (ترجیحاً قوانین کوتاه‌تر) و تعداد قوانین (ترجیحاً فهرست کوتاه‌تر).

توزیع احتمال پسینِ فهرست‌ها این امکان را می‌دهد که بگوییم یک فهرست تصمیم مشخص، با توجه به فرضیات کوتاهی و میزان برازش آن با داده، چقدر محتمل است. هدف ما یافتن فهرستی است که این احتمال پسین را بیشینه کند. از آنجا که یافتن مستقیمِ دقیقِ بهترین فهرست از توزیع فهرست‌ها ممکن نیست، BRL دستورالعمل زیر را پیشنهاد می‌کند:

۱. یک فهرست تصمیم اولیه تولید کنید که به‌طور تصادفی از توزیع پیشین کشیده شده است. ۲. فهرست را به‌طور تکراری با افزودن، جابه‌جایی یا حذف قوانین تغییر دهید، به‌گونه‌ای که فهرست‌های حاصل از توزیع پسینِ فهرست‌ها پیروی کنند. ۳. از میان فهرست‌های نمونه‌برداری‌شده، فهرستی را با بیشترین احتمال بر اساس توزیع پسین انتخاب کنید.

بیایید الگوریتم را از نزدیک‌تر بررسی کنیم: الگوریتم با پیش‌استخراج الگوهای مقدار ویژگی با الگوریتم FP-Growth شروع می‌شود. BRL چند فرض دربارهٔ توزیع هدف و توزیع پارامترهایی که توزیع هدف را تعریف می‌کنند در نظر می‌گیرد (این همان آمار بیزی است). اگر با آمار بیزی آشنا نیستید، لازم نیست خیلی درگیر جزئیات زیر شوید؛ نکتهٔ مهم این است که بدانید رویکرد بیزی راهی است برای ترکیب دانش یا نیازهای موجود (به‌اصطلاح توزیع‌های پیشین) همراه با برازش به داده. در مورد فهرست‌های تصمیم، رویکرد بیزی منطقی است، چون فرضیات پیشین، فهرست‌های تصمیم را به سمت کوتاه‌بودن و داشتن قوانین کوتاه سوق می‌دهند.

هدف، نمونه‌برداری از فهرست‌های تصمیم $d$ از توزیع پسین زیر است:

$$p(d \mid \mathbf{x}, \mathbf{y}, A, \alpha, \lambda, \eta) \propto p(\mathbf{y} \mid \mathbf{x}, d, \alpha) \cdot p(d \mid A, \lambda, \eta)$$

که در آن $d$ یک فهرست تصمیم، $\mathbf{x}$ ویژگی‌ها، $\mathbf{y}$ هدف، $A$ مجموعهٔ شرط‌های از‌پیش‌استخراج‌شده، $\lambda$ طول انتظاری پیشین فهرست‌های تصمیم، $\eta$ تعداد انتظاری پیشین شرط‌ها در هر قانون، و $\alpha$ شبه‌شمار پیشین (prior pseudo-count) برای کلاس‌های مثبت و منفی است که بهتر است روی $(1,1)$ ثابت شود.

$$p(d \mid \mathbf{x}, \mathbf{y}, A, \alpha, \lambda, \eta)$$

نشان می‌دهد که با توجه به داده‌های مشاهده‌شده و فرضیات پیشین، یک فهرست تصمیم چقدر محتمل است. این عبارت متناسب است با درستنمایی نتیجهٔ $Y$ با توجه به فهرست تصمیم و داده، ضربدر احتمال آن فهرست با توجه به فرضیات پیشین و شرط‌های از‌پیش‌استخراج‌شده.

$$p(\mathbf{y} \mid \mathbf{x}, d, \alpha)$$

درستنمایی $y$ مشاهده‌شده با توجه به فهرست تصمیم و داده است. BRL فرض می‌کند $y$ توسط یک توزیع Dirichlet-Multinomial تولید شده است. هرچه فهرست تصمیم $d$ داده را بهتر توضیح دهد، این درستنمایی بزرگ‌تر است.

$$p(d \mid A, \lambda, \eta)$$

توزیع پیشین فهرست‌های تصمیم است. این توزیع، به‌صورت ضربی، یک توزیع پواسون بریده‌شده (پارامتر $\lambda$) برای تعداد قوانین در فهرست و یک توزیع پواسون بریده‌شده (پارامتر $\eta$) برای تعداد مقادیر ویژگی در شرط‌های قوانین را ترکیب می‌کند.

اگر یک فهرست تصمیم هم نتیجهٔ $y$ را خوب توضیح دهد و هم با توجه به فرضیات پیشین محتمل باشد، احتمال پسین بالایی خواهد داشت.

برآوردها در آمار بیزی همیشه کمی دشوارند، چون معمولاً نمی‌توانیم مستقیماً پاسخ درست را محاسبه کنیم، بلکه باید کاندیداها را نمونه‌برداری کنیم، آن‌ها را ارزیابی کنیم و برآوردهای پسینِ خود را با روش زنجیرهٔ مارکوف مونت‌کارلو به‌روزرسانی کنیم. برای فهرست‌های تصمیم، این کار حتی دشوارتر است، چون باید از توزیع فهرست‌های تصمیم نمونه‌برداری کنیم. نویسندگان BRL پیشنهاد می‌کنند ابتدا یک فهرست تصمیم اولیه بکشیم و سپس آن را به‌طور تکراری تغییر دهیم تا نمونه‌هایی از فهرست‌های تصمیم را از توزیع پسینِ فهرست‌ها (یک زنجیرهٔ مارکوف از فهرست‌های تصمیم) تولید کنیم. نتایج به‌طور بالقوه به فهرست تصمیم اولیه وابسته‌اند، بنابراین توصیه می‌شود این رویه تکرار شود تا تنوع خوبی از فهرست‌ها تضمین شود. مقدار پیش‌فرض در پیاده‌سازی نرم‌افزار، ۱۰ بار است. دستورالعمل زیر نحوهٔ ساخت یک فهرست تصمیم اولیه را نشان می‌دهد:

  • الگوها با استفاده از FP-Growth از‌پیش استخراج می‌شوند.
  • پارامتر طول فهرست $m$ از یک توزیع پواسون بریده‌شده نمونه‌برداری می‌شود.
  • برای قانون پیش‌فرض: پارامتر توزیع Dirichlet-Multinomial مقدار هدف ($\theta_0$) نمونه‌برداری می‌شود (یعنی قانونی که وقتی هیچ قانون دیگری اعمال نشود به کار می‌رود).
  • برای قانون $j=1,\ldots,m$ در فهرست تصمیم:
    • پارامتر طول قانون $l$ (تعداد شرط‌ها) برای قانون $j$ نمونه‌برداری می‌شود.
    • یک شرط با طول $l_j$ از میان شرط‌های از‌پیش‌استخراج‌شده نمونه‌برداری می‌شود.
    • پارامتر توزیع Dirichlet-Multinomial برای بخش THEN (یعنی برای توزیع نتیجهٔ هدف با توجه به قانون) نمونه‌برداری می‌شود.
  • برای هر مشاهده در مجموعه داده:
    • قانونی از فهرست تصمیم که نخست اعمال می‌شود (از بالا به پایین) پیدا می‌شود.
    • نتیجهٔ پیش‌بینی‌شده از توزیع احتمال (دوجمله‌ای) پیشنهادشده توسط قانونِ اعمال‌شده کشیده می‌شود.

گام بعدی، تولید فهرست‌های جدید زیاد با شروع از این نمونهٔ اولیه است تا نمونه‌های زیادی از توزیع پسینِ فهرست‌های تصمیم به دست آید.

فهرست‌های تصمیم جدید با شروع از فهرست اولیه و سپس با جابه‌جاییِ تصادفی یک قانون به موقعیت دیگری در فهرست، یا افزودن یک قانون از میان شرط‌های از‌پیش‌استخراج‌شده به فهرست تصمیم جاری، یا حذف یک قانون از فهرست تصمیم، نمونه‌برداری می‌شوند. اینکه کدام قانون جابه‌جا، اضافه یا حذف شود، به‌طور تصادفی انتخاب می‌شود. در هر گام، الگوریتم احتمال پسینِ فهرست تصمیم (ترکیبی از دقت و کوتاهی) را ارزیابی می‌کند. الگوریتم متروپلیس-هستینگز (Metropolis Hastings) تضمین می‌کند که فهرست‌های تصمیمی نمونه‌برداری شوند که احتمال پسین بالایی دارند. این رویه، نمونه‌های زیادی از توزیع فهرست‌های تصمیم در اختیار ما می‌گذارد. الگوریتم BRL از میان این نمونه‌ها، فهرست تصمیمی را با بیشترین احتمال پسین انتخاب می‌کند.

مثال‌ها

بحث نظری به پایان رسید؛ حالا بیایید روش BRL را در عمل ببینیم. مثال‌ها از نسخهٔ سریع‌تر BRL به نام Scalable Bayesian Rule Lists (SBRL؛ Yang, Rudin, and Seltzer, 2017) استفاده می‌کنند. از الگوریتم SBRL برای پیش‌بینی گونهٔ پنگوئن‌ها استفاده می‌کنیم. برای اینکه الگوریتم SBRL کار کند، لازم بود همهٔ ویژگی‌های ورودی را گسسته کنم. این کار را با دسته‌بندی ویژگی‌های پیوسته بر اساس فراوانی مقادیر با کوانتیل‌ها انجام دادم. قوانین نمایش‌داده‌شده در جدول ۱۰.۸ به‌دست می‌آیند.

جدول ۱۰.۸: قوانین مدل SBRL.

قوانین
اگر {body_mass_g=[5100,6300]} آن‌گاه p(نر) = 0.083
در غیر این صورت اگر {species=Gentoo} آن‌گاه p(نر) = 0.873
در غیر این صورت اگر {body_mass_g=[3900,5100)} آن‌گاه p(نر) = 0.066
در غیر این صورت اگر {bill_depth_mm=[15.9,18.7)} آن‌گاه p(نر) = 0.876
در غیر این صورت (قانون پیش‌فرض) آن‌گاه p(نر) = 0.333

شرط‌ها از میان الگوهایی انتخاب شدند که با الگوریتم FP-Growth از‌پیش استخراج شده بودند. جدول زیر بخشی از انبار شرط‌هایی را نشان می‌دهد که الگوریتم SBRL می‌توانست از میان آن‌ها برای ساخت فهرست تصمیم انتخاب کند. حداکثر تعداد مقادیر ویژگی مجاز در یک شرط، که به‌عنوان کاربر تعیین کردم، دو بود. جدول ۱۰.۹ نمونه‌ای از ده الگو را نشان می‌دهد.

جدول ۱۰.۹: نمونه‌ای از شرط‌های از‌پیش‌استخراج‌شده برای وظیفهٔ طبقه‌بندی پنگوئن.

شرط‌های پیش‌استخراج‌شده
species=Gentoo, bill_depth_mm=[13.1, 15.9)
body_mass_g=[2700, 3900)
bill_depth_mm=[13.1, 15.9), bill_length_mm=[41.3, 50.4)
bill_length_mm=[41.3, 50.4)
flipper_length_mm=[172, 192), body_mass_g=[3900, 5100)
bill_depth_mm=[15.9, 18.7), flipper_length_mm=[211, 231]
species=Adelie
species=Adelie, bill_depth_mm=[15.9, 18.7)
bill_depth_mm=[18.7, 21.5], flipper_length_mm=[172, 192)
species=Adelie, bill_length_mm=[41.3, 50.4)

تُنُکی (sparsity) پادشاه است: قوانین کمتر و کوتاه‌تر، تفسیر مدل را بهتر می‌کنند. اما یک موازنه (trade-off) با پیچیدگی و در نتیجه با عملکرد پیش‌بینی وجود دارد.

توضیح مترجم: بخش فهرست‌های قانون بیزی چند فرمول دارد که ممکن است در نگاه اول پیچیده به نظر برسند؛ اما ایدهٔ پشت همهٔ آن‌ها یک قاعدهٔ ساده و بسیار معروف در آمار به نام قاعدهٔ بیز (Bayes’ theorem) است:

$$\underbrace{p(\text{فرضیه} \mid \text{داده})}_{\text{پسین (posterior)}} ;\propto; \underbrace{p(\text{داده} \mid \text{فرضیه})}_{\text{درست‌نمایی (likelihood)}} \times \underbrace{p(\text{فرضیه})}_{\text{پیشین (prior)}}$$

به زبان ساده: باور نهایی ما دربارهٔ یک «فرضیه» (اینجا: یک فهرست تصمیم خاص) از ترکیب دو چیز به دست می‌آید — باور اولیهٔ ما پیش از دیدن داده («پیشین»، مثلاً اینکه فهرست‌های کوتاه‌تر را ترجیح می‌دهیم) و اینکه آن فرضیه چقدر خوب با داده‌های واقعی جور در می‌آید («درست‌نمایی»). هرچه یک فهرست هم کوتاه‌تر باشد و هم داده را بهتر توضیح دهد، احتمال پسین آن بالاتر می‌رود. تصویر زیر همین رابطهٔ بین پیشین، درست‌نمایی و پسین را به‌صورت هندسی نشان می‌دهد: ناحیهٔ اشتراکِ «فرضیه» و «داده» (که همان پسین است) از ضرب سهم هر کدام به دست می‌آید.

شکل ۱۰.۳: نمایش هندسی قاعدهٔ بیز. مربع کل، همهٔ حالت‌های ممکن را نشان می‌دهد؛ نوار آبی سهم «فرضیه» (اینجا معادل پیشین $p(d\mid A,\lambda,\eta)$)، نوار زرد سهم «داده» (معادل درست‌نمایی $p(\mathbf{y}\mid\mathbf{x},d,\alpha)$)، و ناحیهٔ سبز اشتراک آن دو (معادل پسین $p(d\mid\mathbf{x},\mathbf{y},A,\alpha,\lambda,\eta)$) است. منبع: Wikimedia Commons (کمیل کولاسینسکی، دامنهٔ عمومی).

مثال مترجم برای درک بهتر خوانندگان: فرض کنید در مثال ارزش خانه، از الگوریتم FP-Growth دو الگوی پرتکرار به‌دست آمده: size=big با پوشش (Support) ۰.۳ (یعنی طبق فرمول $Support(\mathbf{x}_j=A)=\frac{1}{n}\sum_{i=1}^nI(x^{(i)}_j=A)$، از هر ۱۰ خانه، ۳ تای آن‌ها بزرگ هستند) و location=good AND size=big با پوشش ۰.۲. فرض کنید BRL می‌خواهد بین دو فهرست تصمیمِ کاندیدا یکی را انتخاب کند:

  • فهرست A (کوتاه، یک قانون): اگر size=big آن‌گاه value=high؛ در غیر این صورت value=ok. این فهرست ۹۰٪ نمونه‌ها را درست پیش‌بینی می‌کند.
  • فهرست B (طولانی، پنج قانون با شرط‌های ترکیبی): همان دقت ۹۰٪ را دارد، اما با پنج قانون و شرط‌های تا سه‌تایی.

طبق فرمول پسین، $p(\mathbf{y}\mid\mathbf{x},d,\alpha)$ (درست‌نمایی) برای هر دو فهرست تقریباً یکسان است، چون هر دو ۹۰٪ داده را درست توضیح می‌دهند. اما $p(d\mid A,\lambda,\eta)$ (پیشین) برای فهرست A بسیار بزرگ‌تر است، چون توزیع پواسون بریده‌شدهٔ روی طول فهرست ($\lambda$) و طول شرط‌ها ($\eta$) به فهرست‌های کوتاه‌تر احتمال بیشتری می‌دهد. در نتیجه، حاصل‌ضرب درست‌نمایی در پیشین — یعنی احتمال پسین — برای فهرست A بزرگ‌تر خواهد بود و BRL آن را ترجیح می‌دهد؛ دقیقاً همان چیزی که در جعبهٔ «تُنُکی پادشاه است» بالا گفته شد.

مزایا

این بخش دربارهٔ مزایای کلیِ قوانین IF-THEN بحث می‌کند.

قوانین IF-THEN به‌راحتی تفسیر می‌شوند. آن‌ها احتمالاً تفسیرپذیرترین مدل‌های تفسیرپذیر هستند. این ادعا فقط زمانی صادق است که تعداد قوانین کم باشد، شرط‌های قوانین کوتاه باشند (حداکثر ۳ شرط، به نظر من)، و قوانین در یک فهرست تصمیم یا یک مجموعهٔ تصمیمِ بدون همپوشانی سازمان‌دهی شده باشند.

قوانین تصمیم می‌توانند به همان اندازهٔ درخت‌های تصمیم بیانگر باشند، در حالی که فشرده‌تر هستند. درخت‌های تصمیم اغلب از زیردرخت‌های تکراری رنج می‌برند، یعنی وقتی تقسیم‌های یک گره‌فرزندِ چپ و یک گره‌فرزندِ راست ساختار یکسانی دارند.

پیش‌بینی با قوانین IF-THEN سریع است، چون فقط باید چند عبارت باینری بررسی شوند تا مشخص شود کدام قوانین اعمال می‌شوند.

قوانین تصمیم در برابر تبدیل‌های تک‌نوای (monotonic transformations) ویژگی‌های ورودی مقاوم هستند، چون فقط آستانهٔ داخل شرط‌ها تغییر می‌کند. همچنین در برابر داده‌های پرت مقاوم‌اند، چون تنها اهمیت دارد که یک شرط اعمال می‌شود یا نه.

قوانین IF-THEN معمولاً مدل‌های تُنُک (sparse) تولید می‌کنند، به این معنا که ویژگی‌های زیادی در آن‌ها گنجانده نمی‌شود. این قوانین تنها ویژگی‌های مرتبط را برای مدل انتخاب می‌کنند. برای مثال، یک مدل خطی به‌طور پیش‌فرض به هر ویژگی ورودی یک وزن اختصاص می‌دهد؛ اما ویژگی‌های نامرتبط را می‌توان به‌سادگی توسط قوانین IF-THEN نادیده گرفت.

قوانین ساده، مانند قوانین OneR، می‌توانند به‌عنوان معیار مرجع (baseline) برای الگوریتم‌های پیچیده‌تر استفاده شوند.

محدودیت‌ها

این بخش به کاستی‌های کلیِ قوانین IF-THEN می‌پردازد.

تحقیقات و ادبیات مربوط به قوانین IF-THEN بر دسته‌بندی متمرکز است و رگرسیون را تقریباً به‌طور کامل نادیده می‌گیرد. اگرچه همیشه می‌توان یک هدف پیوسته را به بازه‌ها تقسیم کرد و آن را به یک مسئلهٔ دسته‌بندی تبدیل کرد، همیشه بخشی از اطلاعات از دست می‌رود. به‌طور کلی، رویکردهایی که هم برای رگرسیون و هم برای دسته‌بندی قابل استفاده باشند، جذاب‌ترند.

اغلب اوقات، ویژگی‌ها نیز باید دسته‌ای باشند. یعنی ویژگی‌های عددی باید دسته‌بندی شوند اگر بخواهید از آن‌ها استفاده کنید. راه‌های زیادی برای بریدن یک ویژگی پیوسته به بازه‌ها وجود دارد، اما این کار بی‌اهمیت نیست و سؤالات زیادی بدون پاسخ روشن به همراه دارد. ویژگی به چند بازه تقسیم شود؟ معیار تقسیم چیست: طول ثابت بازه‌ها، کوانتیل‌ها یا چیز دیگری؟ دسته‌بندی ویژگی‌های پیوسته موضوعی بی‌اهمیت نیست که اغلب نادیده گرفته می‌شود، و افراد فقط از نزدیک‌ترین روش در دسترس استفاده می‌کنند (همان‌طور که من در مثال‌ها انجام دادم).

بسیاری از الگوریتم‌های قدیمی‌تر یادگیری قانون مستعد بیش‌برازش هستند. الگوریتم‌های ارائه‌شده در اینجا همگی دست‌کم چند محافظ در برابر بیش‌برازش دارند: OneR محدود است چون فقط می‌تواند از یک ویژگی استفاده کند (فقط زمانی مشکل‌ساز است که آن ویژگی سطوح بسیار زیادی داشته باشد یا ویژگی‌های زیادی وجود داشته باشند، که معادل مسئلهٔ آزمون چندگانه است)، RIPPER هرس انجام می‌دهد، و فهرست‌های قانون بیزی یک توزیع پیشین بر فهرست‌های تصمیم اعمال می‌کنند.

قوانین تصمیم، مانند درخت‌های تصمیم، در توصیف روابط خطی میان ویژگی‌ها و خروجی ضعیف عمل می‌کنند. این مشکلی است که با درخت‌های تصمیم مشترک است. درخت‌ها و قوانین تصمیم فقط می‌توانند توابع پیش‌بینیِ پله‌ای تولید کنند، که در آن‌ها تغییرات پیش‌بینی همیشه جهش‌های گسسته هستند و هرگز منحنی‌های صاف نیستند. این موضوع با این مسئله مرتبط است که ورودی‌ها باید دسته‌ای باشند؛ در درخت‌های تصمیم، این کار به‌طور ضمنی از طریق تقسیم‌کردن ویژگی‌ها انجام می‌شود.

نرم‌افزار و جایگزین‌ها

OneR در بستهٔ R به نام OneR پیاده‌سازی شده است، که برای مثال‌های این کتاب استفاده شد. OneR همچنین در کتابخانهٔ یادگیری ماشین Weka پیاده‌سازی شده و به همین دلیل در Java، R و Python در دسترس است.

RIPPER نیز در Weka پیاده‌سازی شده است. برای مثال‌ها، از پیاده‌سازی R مربوط به JRIP در بستهٔ RWeka استفاده کردم.

SBRL به‌صورت یک بستهٔ R (که برای مثال‌ها استفاده کردم)، در Python، یا به‌صورت یک پیاده‌سازی C در دسترس است.

علاوه بر این، توصیه می‌کنم بستهٔ imodels را نیز بررسی کنید که مدل‌های مبتنی بر قانون مانند فهرست‌های قانون بیزی، CORELS، OneR، فهرست‌های قانون حریصانه و موارد دیگر را در قالب یک بستهٔ Python با رابط یکپارچهٔ سازگار با scikit-learn پیاده‌سازی می‌کند.

تلاش نمی‌کنم همهٔ جایگزین‌های یادگیری مجموعه‌ها و فهرست‌های قانون تصمیم را فهرست کنم، اما به چند کار جامع اشاره می‌کنم. کتاب Foundations of Rule Learning نوشتهٔ Fürnkranz، Gamberger و Lavrač (۲۰۱۲) را توصیه می‌کنم. این کتابی مفصل دربارهٔ یادگیری قوانین است، برای کسانی که می‌خواهند عمیق‌تر به این موضوع بپردازند. این کتاب چارچوبی جامع برای اندیشیدن دربارهٔ یادگیری قوانین ارائه می‌دهد و بسیاری از الگوریتم‌های یادگیری قانون را معرفی می‌کند. همچنین بررسی یادگیرنده‌های قانون Weka را توصیه می‌کنم که RIPPER، M5Rules، OneR، PART و بسیاری دیگر را پیاده‌سازی می‌کنند.

قوانین IF-THEN را می‌توان در مدل‌های خطی نیز به کار برد، همان‌طور که در فصل مربوط به الگوریتم برازش قانون در این کتاب توضیح داده شده است.

فصل ۱۱: برازش قانون

عنوان اصلی: RuleFit
منبع: https://christophm.github.io/interpretable-ml-book/rulefit.html
نویسنده: Christoph Molnar
مترجم: مریم محمودی


الگوریتم برازش قانون (Friedman و Popescu، ۲۰۰۸) مدل‌های خطی تنکی می‌آموزد که اثرات تعاملی میان ویژگی‌ها را به‌صورت خودکار و در قالب قوانین تصمیم شناسایی و در خود جای می‌دهند.

مدل رگرسیون خطی تعامل میان ویژگی‌ها را در نظر نمی‌گیرد. آیا خوب نبود مدلی داشتیم که به‌سادگی و تفسیرپذیریِ مدل‌های خطی باشد، اما تعاملات میان ویژگی‌ها را نیز در خود جای دهد؟ برازش قانون دقیقاً همین شکاف را پر می‌کند. برازش قانون یک مدل خطی تنک می‌آموزد که هم ویژگی‌های اصلی و هم تعدادی ویژگی جدید را در بر می‌گیرد؛ این ویژگی‌های جدید همان قوانین تصمیم هستند. این ویژگی‌های تازه، تعاملات میان ویژگی‌های اصلی را ضبط می‌کنند. برازش قانون این ویژگی‌ها را به‌صورت خودکار از روی درخت‌های تصمیم تولید می‌کند. هر مسیر در یک درخت را می‌توان با ترکیب تصمیم‌های تقسیم (split) در قالب یک قانون بازنویسی کرد؛ به شکل ۱۱.۱ نگاه کنید. پیش‌بینیِ گره‌ها کنار گذاشته می‌شود و فقط شرط‌های تقسیم در قوانین تصمیم استفاده می‌شوند:

شکل ۱۱.۱: از یک درخت با ۳ گره پایانی، ۴ قانون قابل تولید است.

توضیح مترجم: نکتهٔ کلیدی این‌جا این است که قانون فقط از گره‌های پایانی (برگ) ساخته نمی‌شود، بلکه از هر گرهی که در مسیر درخت قرار دارد — از جمله گره‌های میانی — نیز یک قانون ساخته می‌شود. برای همین یک درخت با ۳ برگ (که یعنی ۲ گرهٔ تصمیم دارد) به‌جای ۳ قانون، ۴ قانون تولید می‌کند.

مثال مترجم برای درک بهتر خوانندگان: فرض کنید درختی داریم با این ساختار: ابتدا شرط temp > 12؛ اگر برقرار بود، سپس شرط hum <= 80. از این درخت چهار قانون قابل استخراج است:

۱. temp > 12 → ۱ وگرنه ۰ (از گرهٔ ریشه) ۲. temp <= 12 → ۱ وگرنه ۰ (شاخهٔ مخالف همان گره) ۳. temp > 12 AND hum <= 80 → ۱ وگرنه ۰ (مسیر تا برگ اول) ۴. temp > 12 AND hum > 80 → ۱ وگرنه ۰ (مسیر تا برگ دوم)

همان‌طور که می‌بینید، حتی شرط تنهای temp > 12 (بدون ادامهٔ مسیر تا یک برگ) هم یک قانون جداگانه محسوب می‌شود. برای نمایش بصری ساختار «ریشه ← شاخه‌ها ← برگ‌ها» در یک درخت تصمیم، می‌توانید این آموزش تصویری دربارهٔ درخت‌های تصمیم را ببینید.

این درخت‌های تصمیم از کجا می‌آیند؟ درخت‌ها برای پیش‌بینی متغیر هدف مورد نظر آموزش داده می‌شوند. این کار تضمین می‌کند که تقسیم‌بندی‌ها برای وظیفهٔ پیش‌بینی معنادار باشند. هر الگوریتمی که تعداد زیادی درخت تولید کند، مثلاً یک جنگل تصادفی، می‌تواند برای برازش قانون به کار رود. هر درخت به قوانین تصمیم تجزیه می‌شود که به‌عنوان ویژگی‌های اضافی در یک مدل رگرسیون خطی تنک (Lasso) استفاده می‌شوند.

مقالهٔ برازش قانون از داده‌های مسکن بوستون برای نمایش این ایده استفاده کرده است: هدف پیش‌بینی میانهٔ ارزش خانه در یک محلهٔ بوستون است. یکی از قوانین تولیدشده توسط برازش قانون این است: اگر تعداد اتاق‌ها > ۶.۶۴ و غلظت اکسید نیتریک < ۰.۶۷ آن‌گاه ۱ وگرنه ۰.

برازش قانون همچنین یک معیار اهمیت ویژگی ارائه می‌دهد که به شناسایی جملات خطی و قوانینی که برای پیش‌بینی‌ها اهمیت دارند کمک می‌کند. اهمیت ویژگی از روی وزن‌های مدل رگرسیون محاسبه می‌شود. این معیار اهمیت را می‌توان برای ویژگی‌های اصلی (که هم به‌صورت «خام» و هم احتمالاً در بسیاری از قوانین تصمیم استفاده شده‌اند) تجمیع کرد.

برازش قانون همچنین نمودارهای وابستگی جزئی (partial dependence plots) را معرفی می‌کند تا میانگین تغییر پیش‌بینی در اثر تغییر یک ویژگی را نشان دهد. نمودار وابستگی جزئی یک روش مستقل از مدل است که با هر مدلی قابل استفاده است و در فصل نمودارهای وابستگی جزئی توضیح داده شده است.

تفسیر و مثال

از آنجا که برازش قانون در نهایت یک مدل خطی برآورد می‌کند، تفسیر آن همانند مدل‌های خطی «معمولی» است. تنها تفاوت این است که این مدل ویژگی‌های جدیدی دارد که از قوانین تصمیم مشتق شده‌اند. قوانین تصمیم ویژگی‌های دودویی هستند: مقدار ۱ به این معناست که همهٔ شرط‌های قانون برقرارند؛ در غیر این صورت مقدار ۰ است. برای جملات خطی در برازش قانون، تفسیر همانند مدل‌های رگرسیون خطی است: اگر ویژگی به اندازهٔ یک واحد افزایش یابد، پیش‌بینی به اندازهٔ وزن متناظر آن ویژگی تغییر می‌کند.

در این مثال از برازش قانون برای پیش‌بینی تعداد دوچرخه‌های کرایه‌شده در یک روز مشخص استفاده می‌کنیم. جدول ۱۱.۱ پنج مورد از قوانینی را که برازش قانون تولید کرده، به همراه وزن Lasso و اهمیت آن‌ها نشان می‌دهد. نحوهٔ محاسبه بعداً در این فصل توضیح داده می‌شود. مهم‌ترین قانون این بود: «temp بیشتر از ۱۲ و hum کمتر یا مساوی ۸۶»، با وزن ۶۲۶. تفسیر آن این است: اگر دما بیشتر از ۱۲ درجه و رطوبت کمتر یا مساوی ۸۶٪ باشد، پیش‌بینی تعداد دوچرخه‌ها به اندازهٔ ۶۲۶ افزایش می‌یابد، به شرطی که مقادیر سایر ویژگی‌ها ثابت بمانند. در مجموع، از ۸ ویژگی اصلی، ۳۶۸ قانون از این دست ایجاد شد؛ عدد نسبتاً بزرگی! اما به لطف Lasso، تنها ۳۳ مورد از این ۳۶۸ قانون وزنی متفاوت از صفر دارند.

جدول ۱۱.۱: قوانین تولیدشده توسط برازش قانون به همراه وزن‌هایشان در مدل خطی.

توصیفوزناهمیت
temp بیشتر از ۱۲ و hum کمتر یا مساوی ۸۶626311
cnt_2d_bfr بیشتر از ۵۳۸۲ و hum کمتر یا مساوی ۸۰661299
cnt_2d_bfr بیشتر از ۲۷۰۳ و weather در {“GOOD”}426213
cnt_2d_bfr بیشتر از ۵۰۴۷ و temp بیشتر از ۹376178
۴ ≤ windspeed ≤ ۲۴-32161

محاسبهٔ اهمیت‌های سراسری ویژگی‌ها نشان می‌دهد که دما و روند زمانی مهم‌ترین ویژگی‌ها هستند، همان‌طور که در شکل ۱۱.۲ نمایش داده شده است. سنجهٔ اهمیت ویژگی، هم اهمیت جملهٔ خام ویژگی و هم اهمیت همهٔ قوانین تصمیمی که آن ویژگی در آن‌ها ظاهر می‌شود را در بر می‌گیرد.

شکل ۱۱.۲: سنجه‌های اهمیت ویژگی برای مدل برازش قانون در پیش‌بینی تعداد دوچرخه‌ها. مهم‌ترین ویژگی‌ها برای پیش‌بینی‌ها، تعداد قبلی، رطوبت و دما بودند.

الگوی تفسیر

تفسیر مشابه مدل‌های خطی است: پیش‌بینی به اندازهٔ $\beta_j$ تغییر می‌کند اگر ویژگی $X_j$ به اندازهٔ یک واحد تغییر کند، به شرطی که همهٔ ویژگی‌های دیگر ثابت بمانند. تفسیر وزن یک قانون تصمیم حالت خاصی از همین قاعده است: اگر همهٔ شرط‌های قانون تصمیم $r_k$ برقرار باشند، پیش‌بینی به اندازهٔ $\alpha_k$ (وزن آموخته‌شدهٔ قانون $r_k$ در مدل خطی) تغییر می‌کند.

برای دسته‌بندی (با استفاده از رگرسیون لجستیک به‌جای رگرسیون خطی): اگر همهٔ شرط‌های قانون تصمیم $r_k$ برقرار باشند، نسبت شانس (odds) برای رویداد در مقابل عدم رویداد در ضریب $\alpha_k$ ضرب می‌شود.

توضیح مترجم: این‌جا با حالت رگرسیون خطی فرق دارد. در رگرسیون خطی، وزن به‌صورت جمعی به پیش‌بینی اضافه می‌شود (مثلاً پیش‌بینی ۶۲۶ واحد بیشتر می‌شود). اما در رگرسیون لجستیک، اثر روی نسبت شانس (odds) ضربی است، نه جمعی.

مثال مترجم برای درک بهتر خوانندگان: فرض کنید $\alpha_k = 1.5$ برای قانونی است که شرایطش برقرار است. تفسیر درست این است: «odds جدید = ۱.۵ × odds قبلی» — یعنی نسبت شانس ۵۰٪ افزایش می‌یابد، نه این‌که عدد ۱.۵ به odds قبلی اضافه شود.

⚠️ مراقب برون‌یابی (extrapolation) باشید

عبارت «به شرطی که همهٔ ویژگی‌های دیگر ثابت بمانند» در اینجا کمی نامعقول است، چرا که یک ویژگی می‌تواند هم یک مؤلفهٔ خطی داشته باشد و هم در چند قانون ظاهر شود. تغییر ویژگی اصلی در این صورت چند مؤلفهٔ مدل را همزمان تغییر می‌دهد؛ بنابراین در واقع همهٔ ویژگی‌های مدل ثابت نمی‌مانند.

توضیح مترجم: برای مثال، اگر ویژگی «دما» هم به‌صورت خطی در مدل حضور داشته باشد و هم در قوانینی مثل «دما > ۱۲» یا «دما > ۹ و cnt_2d_bfr > ۵۰۴۷» به کار رفته باشد، افزایش یک واحدی دما می‌تواند هم‌زمان جملهٔ خطی و چند قانون را فعال یا غیرفعال کند. در این حالت نمی‌توان گفت «فقط دما تغییر کرده و بقیهٔ ویژگی‌ها ثابت مانده‌اند»، چون خودِ قوانین از جنس همان دما ساخته شده‌اند.

نظریه

بیایید عمیق‌تر به جزئیات فنی الگوریتم برازش قانون بپردازیم. برازش قانون از دو مؤلفه تشکیل شده است: مؤلفهٔ اول «قوانین» را از روی درخت‌های تصمیم می‌سازد، و مؤلفهٔ دوم یک مدل خطی را با ویژگی‌های اصلی و قوانین جدید به‌عنوان ورودی برازش می‌کند (از همین‌رو نام اصلی «RuleFit» یا «برازش قانون»).

گام ۱: تولید قوانین

یک قانون چه شکلی دارد؟ قوانین تولیدشده توسط الگوریتم شکل ساده‌ای دارند. برای مثال: اگر $x_2 < 3$ و $x_5 < 7$ آن‌گاه ۱ وگرنه ۰.

قوانین با تجزیهٔ درخت‌های تصمیم ساخته می‌شوند: هر مسیر به یک گره در درخت را می‌توان به یک قانون تصمیم تبدیل کرد. درخت‌های مورد استفاده برای قوانین، برای پیش‌بینی متغیر هدف برازش می‌شوند. بنابراین تقسیم‌بندی‌ها و قوانین حاصل، برای پیش‌بینی همان متغیری که به آن علاقه‌مندید بهینه شده‌اند. کافی است تصمیم‌های دودویی‌ای را که به یک گرهٔ خاص می‌رسند با «AND» به هم زنجیر کنید — و یک قانون به دست می‌آید. مطلوب است که تعداد زیادی قانون متنوع و معنادار تولید شود. برای برازش یک مجموعهٔ درخت‌های تصمیم از طریق رگرسیون یا دسته‌بندی متغیر هدف $\mathbf{y}$ با ویژگی‌های اصلی $\mathbf{X}$، از تقویت گرادیانی (gradient boosting) استفاده می‌شود. هر درخت حاصل به چند قانون تبدیل می‌شود.

توضیح مترجم: تقویت گرادیانی یک روش ساخت مجموعهٔ درخت است که در آن درخت‌ها یکی‌یکی و پی‌درپی ساخته می‌شوند؛ هر درخت جدید سعی می‌کند خطاهای باقی‌ماندهٔ درخت(های) قبلی را جبران کند، نه این‌که از صفر دوباره کل مسئله را حل کند. نتیجهٔ نهایی، مجموع وزن‌دارِ پیش‌بینی همهٔ این درخت‌هاست. برای نمایش بصری این ایده — که چطور هر درخت جدید روی خطای درخت‌های قبلی می‌سازد — می‌توانید به این توضیح تصویری الگوریتم تقویت گرادیانی مراجعه کنید.

نه‌فقط درخت‌های تقویت‌شده، بلکه هر الگوریتم مجموعهٔ درختی می‌تواند برای تولید درخت‌های برازش قانون استفاده شود. یک مجموعهٔ درخت را می‌توان با این فرمول کلی توصیف کرد:

$$\hat{f}(\mathbf{x}) = a_0 + \sum_{m=1}^M a_m \hat{f}_m(\mathbf{x})$$

$M$ تعداد درخت‌ها و $\hat{f}_m(\mathbf{x})$ تابع پیش‌بینی $m$امین درخت است. مقادیر $a$ وزن‌ها هستند. مجموعه‌های بگ‌شده (bagged)، جنگل تصادفی، AdaBoost و MART مجموعه‌های درختی تولید می‌کنند و می‌توانند برای برازش قانون استفاده شوند.

قوانین را از تمام درخت‌های مجموعه می‌سازیم. هر قانون $r_m$ به این شکل است:

$$r_m(\mathbf{x}) = \prod_{j \in \mathrm{T}_m} I(x_j \in s_{jm})$$

توضیح مترجم: این فرمول چیز پیچیده‌ای نیست — فقط راه ریاضی نوشتنِ «AND» است. چون هر $I(\cdot)$ فقط مقدار ۰ یا ۱ می‌گیرد، حاصل‌ضرب چند تا از این‌ها فقط زمانی ۱ می‌شود که همهٔ آن‌ها هم‌زمان ۱ باشند (دقیقاً مثل AND منطقی). اگر حتی یکی از شرط‌ها صفر باشد، کل حاصل‌ضرب صفر می‌شود.

مثال مترجم برای درک بهتر خوانندگان: برای نمونه‌ای با temp=20، hum=70، windspeed=15 و قانون $I(\mathrm{temp}>15) \cdot I(\mathrm{hum}<80)$: چون $I(20>15)=1$ و $I(70<80)=1$، حاصل‌ضرب برابر $1 \times 1 = 1$ است (قانون فعال است). اما اگر hum=90 بود: $I(90<80)=0$، پس حاصل‌ضرب برابر $1 \times 0 = 0$ می‌شد (قانون غیرفعال).

که در آن $\mathrm{T}_m$ مجموعهٔ ویژگی‌های استفاده‌شده در $m$امین درخت است، $I$ تابع اندیکاتور است که وقتی ویژگی $x_j$ در زیرمجموعهٔ مشخص‌شدهٔ مقادیر $s_{jm}$ برای ویژگی $j$ام (بر اساس تقسیم‌بندی‌های درخت) باشد برابر ۱ و در غیر این صورت برابر ۰ است. برای ویژگی‌های عددی، $s_{jm}$ یک بازه در محدودهٔ مقادیر ویژگی است. این بازه یکی از دو حالت زیر را دارد:

$$x_{s_{jm},\mathrm{lower}} < x_j$$

$$x_j < x_{s_{jm},\mathrm{upper}}$$

تقسیم‌بندی‌های بیشتر روی همان ویژگی می‌تواند به بازه‌های پیچیده‌تری منجر شود. برای ویژگی‌های دسته‌ای، زیرمجموعهٔ $s$ شامل برخی دسته‌های خاص همان ویژگی است.

مثالی ساخته‌شده برای دادهٔ کرایهٔ دوچرخه:

$$r_{17}(\mathbf{x}) = I(x_{\mathrm{temp}} < 15) \cdot I(x_{\mathrm{weather}} \in {\mathrm{good}, \mathrm{misty}}) \cdot I(10 \leq x_{\mathrm{windspeed}} < 20)$$

این قانون اگر هر سه شرط برقرار باشند ۱ برمی‌گرداند، در غیر این صورت ۰. برازش قانون همهٔ قوانین ممکن را از یک درخت استخراج می‌کند، نه فقط از گره‌های برگ. بنابراین قانون دیگری که ساخته می‌شود این است:

$$r_{18}(\mathbf{x}) = I(x_{\mathrm{temp}} < 15) \cdot I(x_{\mathrm{weather}} \in {\mathrm{good}, \mathrm{misty}})$$

در مجموع، تعداد قوانین تولیدشده از یک مجموعهٔ $M$ درخت که هرکدام $t_m$ گرهٔ پایانی دارند، برابر است با:

$$K = \sum_{m=1}^M 2(t_m - 1)$$

یک ترفند که نویسندگان برازش قانون معرفی کرده‌اند این است که درخت‌ها را با عمق تصادفی می‌آموزند تا قوانین متنوعی با طول‌های مختلف تولید شوند. توجه کنید که مقدار پیش‌بینی‌شده در هر گره را کنار می‌گذاریم و فقط شرط‌هایی را که ما را به یک گره می‌رسانند نگه می‌داریم، و سپس از روی آن‌ها یک قانون می‌سازیم. وزن‌دهی قوانین تصمیم در گام ۲ برازش قانون انجام می‌شود.

راه دیگری برای نگاه به گام ۱: برازش قانون مجموعهٔ جدیدی از ویژگی‌ها را از روی ویژگی‌های اصلی شما تولید می‌کند. این ویژگی‌ها دودویی هستند و می‌توانند تعاملات نسبتاً پیچیده‌ای از ویژگی‌های اصلی شما را نمایش دهند. قوانین به‌گونه‌ای انتخاب می‌شوند که برای وظیفهٔ پیش‌بینی مفید باشند. قوانین به‌صورت خودکار از روی ماتریس متغیرهای همراه $\mathbf{X}$ تولید می‌شوند. به بیان ساده می‌توانید قوانین را ویژگی‌های جدیدی بر پایهٔ ویژگی‌های اصلی خود در نظر بگیرید.

💡 شرط‌های کمتر، تفسیرپذیری بهتر

برای تفسیرپذیری بهتر، تعداد شرط‌ها در هر قانون را بین ۱ تا ۳ نگه دارید.

گام ۲: مدل خطی تنک

در گام ۱ تعداد بسیار زیادی قانون به دست می‌آورید. از آنجا که گام اول را می‌توان صرفاً یک تبدیل ویژگی در نظر گرفت، هنوز کار برازش مدل تمام نشده است. همچنین می‌خواهید تعداد قوانین را کاهش دهید. علاوه بر قوانین، همهٔ ویژگی‌های «خام» مجموعه‌دادهٔ اصلی شما نیز در مدل خطی تنک استفاده خواهند شد. هر قانون و هر ویژگی اصلی به یک ویژگی در مدل خطی تبدیل می‌شود و یک برآورد وزن دریافت می‌کند. ویژگی‌های خام اصلی اضافه می‌شوند چون درخت‌ها در بازنمایی روابط خطی سادهٔ میان $Y$ و $X_j$ ضعیف عمل می‌کنند. پیش از آموزش مدل خطی تنک، ویژگی‌های اصلی را وینزوریزه (winsorize) می‌کنیم تا در برابر داده‌های پرت مقاوم‌تر باشند:

$$l_j^*(x_j) = \min(\delta_j^+, \max(\delta_j^-, x_j))$$

که در آن $\delta_j^-$ و $\delta_j^+$ کوانتیل‌های $\delta$ توزیع دادهٔ $\mathbf{x}_j$ هستند. انتخاب مقدار ۰.۰۵ برای $\delta$ به این معناست که هر مقداری از ویژگی $X_j$ که در ۵٪ پایین‌ترین یا ۵٪ بالاترین مقادیر قرار دارد، به‌ترتیب در کوانتیل ۵٪ یا ۹۵٪ محدود می‌شود. به‌عنوان یک قاعدهٔ سرانگشتی، می‌توانید $\delta = 0.025$ را انتخاب کنید.

توضیح مترجم: وینزوریزه کردن یعنی به‌جای حذف مقادیر پرت، آن‌ها را «هَرَس» می‌کنیم — یعنی مقادیر خیلی بزرگ را با بزرگ‌ترین مقدار قابل‌قبول (مثلاً کوانتیل ۹۷.۵٪) و مقادیر خیلی کوچک را با کوچک‌ترین مقدار قابل‌قبول (کوانتیل ۲.۵٪) جایگزین می‌کنیم. داده حذف نمی‌شود، فقط «سقف» و «کف» می‌گیرد. برای مقایسهٔ بصری توزیع داده پیش و پس از وینزوریزه کردن، می‌توانید این مقاله دربارهٔ وینزوریزه کردن را ببینید.

مثال مترجم برای درک بهتر خوانندگان: فرض کنید ستون windspeed این مقادیر را دارد: [2, 5, 8, 10, 12, 60]. اگر کوانتیل ۹۵٪ برابر ۱۵ باشد، مقدار پرت ۶۰ به ۱۵ تبدیل می‌شود: [2, 5, 8, 10, 12, 15]. میانگین و انحراف معیار دیگر تحت‌تأثیر آن مقدار عجیب ۶۰ نیستند.

علاوه بر این، جملات خطی باید نرمال‌سازی شوند تا اهمیت پیشینی یکسانی با یک قانون تصمیم معمولی داشته باشند:

$$l_j(x_j) = 0.4 \cdot \frac{l^*_j(x_j)}{\mathrm{std}(l^*_j(x_j))}$$

عدد $0.4$ میانگین انحراف معیار قوانین با توزیع پوششیِ یکنواخت $s_k \sim U(0, 1)$ است.

توضیح مترجم (استخراج ریاضی اضافه): یک قانون تصمیم، متغیری دودویی با احتمال موفقیت $s$ (پوشش) است، پس انحراف معیارش $\sqrt{s(1-s)}$ است. اگر فرض کنیم پوشش $s$ به‌طور یکنواخت بین ۰ و ۱ پخش شده، میانگین این انحراف معیار روی همهٔ مقادیر ممکن $s$ برابر است با:

$$\int_0^1 \sqrt{s(1-s)},ds = \frac{\pi}{8} \approx 0.393 \approx 0.4$$

یعنی عدد $0.4$ صرفاً «انحراف معیار متوسط یک قانون تصادفی معمولی» است، و هدف از ضرب کردن جمله‌های خطی در این عدد این است که مقیاس ویژگی‌های خام (که می‌توانند هر بازه‌ای داشته باشند، مثلاً دما بین ۰ تا ۴۰) با مقیاس قوانین صفر/یک قابل‌مقایسه شود.

هر دو نوع ویژگی را ترکیب می‌کنیم تا ماتریس ویژگی جدیدی بسازیم و یک مدل خطی تنک با Lasso و ساختار زیر آموزش دهیم:

$$\hat{f}(\mathbf{x}) = \hat{\beta}_0 + \sum_{k=1}^K \hat{\alpha}_k r_k(\mathbf{x}) + \sum_{j=1}^p \hat{\beta}_j l_j(x_j)$$

که در آن $\hat{\alpha}_k$ وزن برآوردشده برای قانون $k$ و $\hat{\beta}_j$ وزن ویژگی اصلی $j$ است. از آنجا که برازش قانون از Lasso استفاده می‌کند، تابع زیان محدودیت اضافه‌ای می‌گیرد که برخی وزن‌ها را وادار به گرفتن برآورد صفر می‌کند:

$$({\hat{\alpha}}_1^K, {\hat{\beta}}_0^p) = \arg\min_{{\hat{\alpha}}_1^K, {\hat{\beta}}_0^p} \sum_{i=1}^n L(y^{(i)}, \hat{f}(\mathbf{x}^{(i)}))$$

$$+ \lambda \cdot \left(\sum_{k=1}^K |\hat{\alpha}_k| + \sum_{j=1}^p |\hat{\beta}_j|\right)$$

نتیجه یک مدل خطی است که برای همهٔ ویژگی‌های اصلی و همهٔ قوانین، اثرات خطی دارد. تفسیر آن مانند مدل‌های خطی است؛ تنها تفاوت این است که برخی از ویژگی‌ها اکنون قوانین دودویی هستند.

گام ۳ (اختیاری): اهمیت ویژگی

برای جملات خطی ویژگی‌های اصلی، اهمیت ویژگی با استفاده از پیش‌بین استانداردشده اندازه‌گیری می‌شود:

$$I_j = |\hat{\beta}_j| \cdot \mathrm{std}(l_j(x_j))$$

که در آن $\hat{\beta}_j$ وزن حاصل از مدل Lasso و $\mathrm{std}(l_j(x_j))$ انحراف معیار جملهٔ خطی روی داده است.

برای جملات قانون تصمیم، اهمیت با فرمول زیر محاسبه می‌شود:

$$I_k = |\hat{\alpha}_k| \cdot \sqrt{s_k(1-s_k)}$$

که در آن $\hat{\alpha}_k$ وزن Lasso مرتبط با قانون تصمیم و $s_k$ پوشش (support) ویژگی در داده است، یعنی درصد نقاط داده‌ای که قانون تصمیم برای آن‌ها اعمال می‌شود (که در آن $r_k(\mathbf{x})=1$):

$$s_k = \frac{1}{n} \sum_{i=1}^n r_k(\mathbf{x}^{(i)})$$

یک ویژگی هم می‌تواند به‌صورت جملهٔ خطی ظاهر شود و هم احتمالاً در بسیاری از قوانین تصمیم. چگونه اهمیت کلی یک ویژگی را اندازه‌گیری کنیم؟ اهمیت $J_j(\mathbf{x}_j)$ یک ویژگی را می‌توان برای هر پیش‌بینی منفرد اندازه گرفت:

$$J_j(x_j) = I_j(x_j) + \sum_{k \mid x_j \in r_k} \frac{I_k(r_k)}{m_k}$$

که در آن $I_j$ اهمیت جملهٔ خطی و $I_k$ اهمیت قوانین تصمیمی است که $X_j$ در آن‌ها ظاهر می‌شود، و $m_k$ تعداد ویژگی‌های تشکیل‌دهندهٔ قانون $r_k$ است. جمع اهمیت ویژگی روی همهٔ نمونه‌ها، اهمیت سراسری ویژگی را به دست می‌دهد:

$$J_j(\mathbf{x}_j) = \sum_{i=1}^n J_j(x^{(i)}_j)$$

توضیح مترجم: وقتی یک قانون از چند شرط تشکیل شده (مثلاً «temp > 12 AND hum <= 86» که $m_k=2$ ویژگی دارد)، منطقی نیست کل اهمیت آن قانون را به‌طور کامل به هر دو ویژگی نسبت بدهیم — چون این کار اهمیت را دوبار می‌شمارد. به همین دلیل اهمیت قانون به‌طور مساوی بین ویژگی‌های تشکیل‌دهنده‌اش تقسیم می‌شود.

مثال مترجم برای درک بهتر خوانندگان: طبق جدول ۱۱.۱، قانون «temp > 12 & hum <= 86» اهمیت $I_k=311$ دارد و از ۲ ویژگی تشکیل شده ($m_k=2$). پس این قانون به اهمیت کلی temp مقدار $311/2=155.5$ اضافه می‌کند، و همان مقدار ۱۵۵.۵ به اهمیت کلی hum نیز اضافه می‌شود. این عدد بعداً با سهم این دو ویژگی از جمله‌های خطی و سایر قوانینی که در آن‌ها ظاهر شده‌اند، جمع می‌شود تا اهمیت نهایی و سراسری هر ویژگی به دست بیاید.

می‌توان زیرمجموعه‌ای از نمونه‌ها را انتخاب کرد و اهمیت ویژگی را برای آن گروه محاسبه کرد.

مزایا

برازش قانون به‌طور خودکار تعاملات ویژگی را به مدل‌های خطی اضافه می‌کند. بنابراین، مشکل مدل‌های خطی را که نیازمند افزودن دستی جملات تعاملی هستند حل می‌کند، و تا حدی نیز به مسئلهٔ مدل‌سازی روابط غیرخطی کمک می‌کند.

برازش قانون هم وظایف دسته‌بندی و هم رگرسیون را پشتیبانی می‌کند.

قوانین تولیدشده به‌راحتی تفسیرپذیرند، چون قوانین تصمیم دودویی هستند. یا قانون برای یک نمونه صدق می‌کند یا نه. تفسیرپذیری خوب فقط زمانی تضمین می‌شود که تعداد شرط‌های درون یک قانون زیاد نباشد. یک قانون با ۱ تا ۳ شرط منطقی به نظر می‌رسد. این یعنی حداکثر عمق ۳ برای درخت‌های مجموعهٔ درختی.

حتی اگر مدل قوانین زیادی داشته باشد، همهٔ آن‌ها برای هر نمونه اعمال نمی‌شوند. برای یک نمونهٔ منفرد، تنها تعداد کمی قانون (با وزن غیرصفر) اعمال می‌شود. این ویژگی، تفسیرپذیری محلی را بهبود می‌بخشد.

برازش قانون مجموعه‌ای از ابزارهای تشخیصی مفید پیشنهاد می‌کند. این ابزارها مستقل از مدل هستند، بنابراین می‌توانید آن‌ها را در بخش روش‌های مستقل از مدل این کتاب بیابید: اهمیت ویژگی، نمودارهای وابستگی جزئی و تعاملات ویژگی.

محدودیت‌ها

گاهی برازش قانون تعداد زیادی قانون تولید می‌کند که در مدل Lasso وزن غیرصفر می‌گیرند. تفسیرپذیری با افزایش تعداد ویژگی‌های موجود در مدل کاهش می‌یابد. یک راه‌حل امیدوارکننده، اجبار به یکنواختی (monotonic) اثرات ویژگی است، به این معنا که افزایش یک ویژگی باید به افزایش پیش‌بینی منجر شود.

یک نکتهٔ روایی: مقالات ادعا می‌کنند که عملکرد برازش قانون خوب است — اغلب نزدیک به عملکرد پیش‌بینی جنگل تصادفی! — اما در معدود مواردی که شخصاً آن را امتحان کرده‌ام، عملکرد ناامیدکننده بود. پس فقط کافی است برای مسئلهٔ خودتان امتحانش کنید و ببینید چطور عمل می‌کند.

محصول نهایی فرایند برازش قانون یک مدل خطی با ویژگی‌های اضافهٔ فانتزی (قوانین تصمیم) است. اما از آنجا که این یک مدل خطی است، تفسیر وزن‌ها همچنان غیرشهودی است. این مدل همان «پانویس» مدل رگرسیون خطی معمولی را با خود دارد: «… به شرطی که همهٔ ویژگی‌ها ثابت بمانند.» وقتی قوانین همپوشان دارید، این موضوع کمی پیچیده‌تر می‌شود. برای مثال، یکی از قوانین تصمیم (ویژگی‌ها) برای پیش‌بینی دوچرخه می‌تواند این باشد: «temp > 10» و قانون دیگری می‌تواند «temp > 15 & weather=‘GOOD’» باشد. اگر هوا خوب و دما بالای ۱۵ درجه باشد، دما به‌طور خودکار بالای ۱۰ درجه نیز هست. در مواردی که قانون دوم صدق کند، قانون اول نیز صدق می‌کند. تفسیر وزن برآوردشده برای قانون دوم این است: «با فرض ثابت ماندن همهٔ ویژگی‌های دیگر، پیش‌بینی تعداد دوچرخه‌ها با خوب بودن هوا و دمای بالای ۱۵ درجه به اندازهٔ $\beta_2$ افزایش می‌یابد.» اما اکنون کاملاً روشن می‌شود که عبارت «همهٔ ویژگی‌های دیگر ثابت» مشکل‌ساز است، چون اگر قانون ۲ صدق کند، قانون ۱ نیز صدق می‌کند و این تفسیر بی‌معنا می‌شود.

نرم‌افزار و جایگزین‌ها

الگوریتم برازش قانون در R پیاده‌سازی شده است (Fokkema، ۲۰۲۰ — به پیوست د مراجعه کنید)، و می‌توانید نسخهٔ Python آن را در گیت‌هاب بیابید.

چارچوب بسیار مشابهی به نام skope-rules وجود دارد؛ این ماژول پایتون نیز قوانین را از مجموعه‌های درختی استخراج می‌کند. تفاوت آن در نحوهٔ یادگیری قوانین نهایی است: نخست، skope-rules قوانین با عملکرد پایین را بر اساس آستانه‌های بازخوانی (recall) و دقت (precision) حذف می‌کند. سپس، قوانین تکراری و مشابه با انتخابی بر پایهٔ تنوع جملات منطقی (متغیر + عملگر بزرگ‌تر/کوچک‌تر) و عملکرد (نمرهٔ F1) قوانین حذف می‌شوند. این گام نهایی به Lasso متکی نیست، بلکه فقط بر نمرهٔ F1 خارج از کیسه (out-of-bag) و جملات منطقی تشکیل‌دهندهٔ قوانین تکیه دارد.

بستهٔ imodels نیز پیاده‌سازی‌هایی از دیگر مجموعه‌قوانین، مانند مجموعه‌قوانین بیزی، مجموعه‌قوانین تقویت‌شده (Boosted) و مجموعه‌قوانین SLIPPER را به‌عنوان یک بستهٔ پایتون با رابط یکپارچهٔ scikit-learn در بر دارد. علاوه بر این، تقویت مبتنی بر مدل (model-based boosting) (Bühlmann و Hothorn، ۲۰۰۷ — به پیوست د مراجعه کنید) نیز وجود دارد که امکان ترکیب مؤلفه‌های خطی و مؤلفه‌های قانون را فراهم می‌کند و در بستهٔ R به نام mboost پیاده‌سازی شده است.

فصل ۱۲: نمودارهای Ceteris Paribus

عنوان اصلی: Ceteris Paribus Plots
منبع: https://christophm.github.io/interpretable-ml-book/ceteris-paribus.html
نویسنده: Christoph Molnar
مترجم: مریم محمودی


نمودارهای Ceteris Paribus (CP) (Kuźba و همکاران، ۲۰۱۹) نشان می‌دهند که تغییر در یک ویژگی واحد، پیش‌بینی یک نقطه داده را چطور تغییر می‌دهد.

نمودارهای Ceteris Paribus یکی از ساده‌ترین تحلیل‌هایی هستند که می‌توان انجام داد، با وجود نام لاتین پیچیده‌اش، که به معنای «سایر شرایط مساوی» است1 و یعنی یک ویژگی را تغییر می‌دهیم اما بقیه را دست‌نخورده نگه می‌داریم. این روش آن‌قدر ساده است چون فقط به یک ویژگی در هر لحظه نگاه می‌کند، مقادیر آن را به‌طور نظام‌مند تغییر می‌دهد، و نشان می‌دهد پیش‌بینی در سراسر بازهٔ آن ویژگی چگونه تغییر می‌کند. اما Ceteris Paribus روش مدل‌مستقلی است که برای شروع کتاب عالی است، چون اصول پایه‌ای تفسیر مدل‌مستقل را آموزش می‌دهد. همچنین، سادگی آن نباید فریبتان دهد: با ترکیب خلاقانهٔ چند منحنی Ceteris Paribus2، می‌توانید مدل‌ها را مقایسه کنید، ویژگی‌ها را مقایسه کنید، و مدل‌های دسته‌بندی چندکلاسه را بررسی کنید. منحنی‌های CP بلوک‌های سازندهٔ منحنی‌های Individual Conditional Expectation و نمودارهای وابستگی جزئی هستند، همان‌طور که در شکل ۱۲.۱ نشان داده شده است.

  • نمودارهای ICE، نمودارهای CP هستند که همهٔ منحنی‌های CP را برای کل مجموعه داده در بر دارند.
  • یک نمودار وابستگی جزئی (PDP) میانگین همهٔ منحنی‌های CP یک مجموعه داده است.

شکل ۱۲.۱: رابطه میان Ceteris Paribus، ICE و PDP.


الگوریتم

بیایید با الگوریتم Ceteris Paribus شروع کنیم. این بخش نمونهٔ کوچکی هم هست از این‌که چطور وقتی از ریاضیات استفاده می‌کنیم، چیزها ممکن است پیچیده‌تر از آنچه واقعاً هستند به نظر برسند. الگوریتم زیر برای ویژگی‌های عددی است:

ورودی: نقطه داده $\mathbf{x}^{(i)}$ برای توضیح و ویژگی $j$

۱. یک شبکه مقادیر با فاصله مساوی بسازید: $z_1, \ldots, z_K$، که معمولاً $z_1 = \min(\mathbf{x}_j)$ و $z_K = \max(\mathbf{x}_j)$ است.

۲. برای هر مقدار شبکه $z_k \in \{z_1, \ldots, z_K\}$:

  • یک نقطه داده جدید بسازید $\mathbf{x}^{(i)}_{x_j := z_k}$.
  • پیش‌بینی $\hat{f}(\mathbf{x}^{(i)}_{x_j := z_k})$ را به دست آورید.

۳. منحنی‌های CP را نمایش دهید:

  • خطی برای نقاط داده $\left\{z_k,\; \hat{f}(\mathbf{x}^{(i)}_{x_j := z_k})\right\}_{k=1}^{K}$ رسم کنید.
  • نقطه‌ای برای نقطه داده اصلی $\left(x_j^{(i)},\; \hat{f}(\mathbf{x}^{(i)})\right)$ رسم کنید.

هرچه تعداد مقادیر شبکه بیشتر باشد، منحنی CP دقیق‌تر و ریزدانه‌تر خواهد بود، اما تعداد فراخوانی‌هایی که باید به تابع پیش‌بینی مدل انجام دهید نیز بیشتر می‌شود.

و برای یک ویژگی دسته‌ای:

۱. فهرست دسته‌های منحصربه‌فرد $z_1, \ldots, z_K$ را بسازید.

۲. برای هر دسته $z_k \in \{z_1, \ldots, z_K\}$:

  • یک نقطه داده جدید $\mathbf{x}^{(i)}_{x_j := z_k}$ بسازید.
  • پیش‌بینی $\hat{f}(\mathbf{x}^{(i)}_{x_j := z_k})$ را به دست آورید.

۳. یک نمودار میله‌ای یا نقطه‌ای بسازید که دسته‌ها روی محور افقی و پیش‌بینی‌ها روی محور عمودی قرار بگیرند.

اما این توضیح پیچیده‌تر از آنچه لازم بود به نظر می‌رسید. بیایید نمودارهای CP را با چند مثال ملموس‌تر کنیم.


مثال‌ها

برای اولین مثال، به جنگل تصادفی‌ای نگاه می‌کنیم که احتمال مادگی یک پنگوئن را پیش‌بینی می‌کند. اولین پنگوئن در مجموعه داده آزمون را بررسی می‌کنیم، یک پنگوئن که عمق منقارش چند میلی‌متر است (با جنسیت واقعی مشخص). شکل ۱۲.۲ نشان می‌دهد که کاهش عمق منقار این پنگوئن، ابتدا احتمال پیش‌بینی‌شدهٔ مادگی را کمی افزایش می‌دهد، اما سپس آن را به‌شدت کاهش می‌دهد.

شکل ۱۲.۲: نمودار Ceteris Paribus برای عمق منقار و یک پنگوئن. خط، مقدار پیش‌بینی‌شده برای این پنگوئن خاص را هنگام تغییر عمق منقار نشان می‌دهد. عمق منقار واقعی پنگوئن با یک نقطه مشخص شده است.

از آن‌جا که این یک وظیفهٔ دسته‌بندی دودویی است، نمایش $\mathbb{P}(Y = \text{male})$ کاری زائد خواهد بود – چراکه این مقدار فقط معکوس نمودار $\mathbb{P}(Y = \text{female})$ خواهد بود. اما اگر بیش از دو کلاس داشتیم، می‌توانستیم منحنی‌های Ceteris Paribus را برای همهٔ کلاس‌ها در یک نمودار رسم کنیم.

دوباره باید به یاد داشته باشیم که تغییر یک ویژگی می‌تواند وابستگی آن را با ویژگی‌های دیگر بشکند. نگاه‌کردن به همبستگی و دیگر معیارهای وابستگی می‌تواند مفید باشد. عمق منقار با جرم بدن و طول بال‌چه همبسته است. پس هنگام نگاه‌کردن به شکل ۱۲.۲، باید مراقب باشیم کاهش‌های شدید عمق منقار را در این نمودار Ceteris Paribus بیش از حد تفسیر نکنیم.

توضیح مترجم: «Ceteris paribus» عبارتی لاتین به معنای «سایر شرایط ثابت/مساوی» است. این اصطلاح در اقتصاد و علوم اجتماعی هم رایج است و به این معناست که وقتی اثر یک متغیر را بررسی می‌کنیم، فرض می‌کنیم بقیهٔ متغیرها تغییر نمی‌کنند – دقیقاً همان کاری که این نمودارها انجام می‌دهند: فقط یک ویژگی را تغییر می‌دهند و بقیهٔ ویژگی‌های نقطهٔ داده را ثابت نگه می‌دارند.

فراتر از وابستگی‌های زوجی نگاه کنید

شکل ۱۲.۳ مثالی را نشان می‌دهد که در آن به‌طور مصنوعی ویژگی عمق منقار سبک‌ترین پنگوئن گونهٔ Gentoo را تغییر می‌دهیم. این نقطه داده وقتی فقط به ترکیب جرم بدن و عمق منقار نگاه کنیم، واقع‌بینانه است. همچنین وقتی فقط به عمق منقار و گونه نگاه کنیم نیز واقع‌بینانه است. اما وقتی عمق منقار جدید، جرم بدن و گونه را با هم در نظر بگیریم، غیرواقعی است.

شکل ۱۲.۳: نمودار پراکندگی عمق منقار و جرم بدن. دستکاری عمق منقار یک پنگوئن می‌تواند یک نقطه داده غیرواقعی ایجاد کند.

سپس، مدل SVM‌ای را بررسی می‌کنیم که تعداد دوچرخه‌های اجاره‌شده را بر اساس اطلاعات آب‌وهوایی و فصلی پیش‌بینی می‌کند. یک روز از یک فصل خاص را با شرایط آب‌وهوایی معین انتخاب می‌کنیم و می‌بینیم تغییر ویژگی‌ها چگونه پیش‌بینی را تغییر می‌دهد. اما این بار آن را برای همهٔ ویژگی‌ها نمایش می‌دهیم، به شکل ۱۲.۴ نگاه کنید. تغییر تعداد دوچرخه‌های اجاره‌شده در ۲ روز قبل، بیشترین تأثیر را بر پیش‌بینی می‌گذارد. همچنین، دمای بالاتر برای اجارهٔ دوچرخهٔ بیشتر بهتر بوده است. اگر پیش‌بینی برای یک روز غیرکاری بود، مدل SVM تعداد اجارهٔ کمتری پیش‌بینی می‌کرد.

شکل ۱۲.۴: نحوهٔ تغییر پیش‌بینی تعداد اجارهٔ دوچرخه با تغییر تک‌تک ویژگی‌ها.

نسخهٔ مینیمال با Sparkline

نمودارهای CP را می‌توان در قالب Sparkline بسته‌بندی کرد؛ یک نمودار خطی مینیمالیستی که با کار (Tufte، ۱۹۸۳) رایج شد.

به‌طور کلی، نمودارهای CP نشان می‌دهند که تغییرات ویژگی – از تغییرات کوچک تا تغییرات بزرگ در همهٔ جهت‌ها – چگونه روی پیش‌بینی اثر می‌گذارد. با مقایسهٔ همهٔ ویژگی‌ها در کنار هم با یک محور عمودی مشترک، می‌توانیم ببینیم کدام ویژگی تأثیر بیشتری بر پیش‌بینی این نقطه داده دارد. با این حال، همبستگی میان ویژگی‌ها یک نگرانی است، به‌خصوص هنگام تفسیر منحنی CP دور از مقدار اصلی (که با نقطه مشخص شده است). برای مثال، افزایش دما تا ۳۰ درجهٔ سلسیوس اما ثابت نگه‌داشتن فصل، کاملاً غیرواقعی خواهد بود.

نمودارهای Ceteris Paribus بسیار انعطاف‌پذیرند. می‌توانیم منحنی‌های CP را برای مدل‌های مختلف محاسبه کنیم تا بفهمیم آن‌ها چگونه با ویژگی‌ها متفاوت رفتار می‌کنند. در شکل ۱۲.۵، نمودارهای Ceteris Paribus را برای مدل‌های مختلف در پیش‌بینی کرایهٔ دوچرخه مقایسه می‌کنیم.

شکل ۱۲.۵: منحنی‌های Ceteris Paribus برای وظیفهٔ پیش‌بینی کرایهٔ دوچرخه در مدل‌های مختلف: مدل خطی، جنگل تصادفی، SVM و درخت تصمیم.

این‌جا می‌بینیم مدل‌ها رفتار بسیار متفاوتی دارند: مدل خطی همان کاری را می‌کند که مدل‌های خطی انجام می‌دهند و رابطهٔ میان دما و تعداد پیش‌بینی‌شدهٔ اجارهٔ دوچرخه را به‌صورت خطی مدل‌سازی می‌کند. درخت یک جهش نشان می‌دهد. جنگل تصادفی و مدل SVM افزایشی هموارتر نشان می‌دهند که در دمای بالا مسطح می‌شود، و در مورد SVM، برای دماهای بسیار بالا کمی کاهش می‌یابد.

در مقایسه‌ها خلاق باشید

نمودارهای Ceteris Paribus ساده‌اند، اما وقتی چند منحنی CP را با هم ترکیب کنید، به‌طرز شگفت‌انگیزی روشنگرند:

  • ویژگی‌ها را مقایسه کنید.
  • مدل‌های حاصل از الگوریتم‌های یادگیری ماشین متفاوت یا با تنظیمات فراپارامتری متفاوت را مقایسه کنید.
  • احتمال کلاس‌ها را مقایسه کنید.
  • نقاط داده متفاوت را مقایسه کنید (به منحنی‌های ICE هم نگاه کنید).
  • داده را زیرمجموعه‌بندی کنید (مثلاً بر اساس یک ویژگی دودویی) و منحنی‌های CP را مقایسه کنید.

نقاط قوت

نمودارهای Ceteris Paribus فوق‌العاده ساده برای پیاده‌سازی و درک هستند. این ویژگی آن‌ها را نقطهٔ شروع خوبی برای مبتدیان می‌سازد، اما همچنین برای انتقال تفسیرپذیری مدل‌مستقل به دیگران، به‌خصوص افراد غیرمتخصص، مناسب است.

نمودارهای CP می‌توانند محدودیت‌های روش‌های تخصیص‌محور را جبران کنند. روش‌های مبتنی بر تخصیص مانند SHAP یا LIME نشان نمی‌دهند تابع پیش‌بینی نسبت به تغییرات محلی چقدر حساس است. نمودارهای Ceteris Paribus می‌توانند مکمل تکنیک‌های تخصیص‌محور باشند و هنگام تفسیر پیش‌بینی‌های فردی، تصویری کامل ارائه دهند.

نمودارهای Ceteris Paribus بلوک‌های سازندهٔ انعطاف‌پذیری هستند. آن‌ها بلوک‌های سازندهٔ سایر روش‌های تفسیر هستند، اما همچنین می‌توانید در ترکیب این خطوط در میان مدل‌ها، کلاس‌ها، تنظیمات فراپارامتری و ویژگی‌ها خلاقیت به خرج دهید تا بینش‌های ظریفی دربارهٔ پیش‌بینی‌های مدل ایجاد کنید.

محدودیت‌ها

نمودارهای Ceteris Paribus فقط تغییر یک ویژگی را در هر لحظه نشان می‌دهند. این یعنی نمی‌بینیم دو ویژگی چگونه با هم تعامل دارند. البته می‌توانید دو ویژگی را تغییر دهید، به‌خصوص اگر یکی پیوسته و دیگری دودویی باشد، و آن‌ها را در همان نمودار CP رسم کنید. اما این فرآیندی دستی‌تر است.

وقتی ویژگی‌ها همبسته باشند، تفسیر آسیب می‌بیند. وقتی ویژگی‌ها همبسته‌اند، همهٔ بخش‌های منحنی محتمل نیستند یا حتی ممکن است کاملاً غیرواقعی باشند. این مشکل را می‌توان با محدودکردن بازهٔ نمودارهای Ceteris Paribus به بازه‌های کوتاه‌تر، دست‌کم برای ویژگی‌های همبسته، کاهش داد. اما این هم به معنای آن است که به یک مدل یا رویه‌ای نیاز داریم که به ما بگوید این بازه‌ها چه هستند.

به‌طور کلی، باید در تفسیر علّی محتاط بود؛ یا اگر تفسیر علّی می‌خواهید، مطمئن شوید خودِ مدل علّی است. این مشکل در همهٔ روش‌های تفسیر وجود دارد، اما خطر تفسیر علّی نادرست ممکن است در نمودارهای CP بیشتر باشد، چون آستانهٔ نمایش این نمودارها به افراد غیرمتخصص پایین‌تر است.

نرم‌افزار و جایگزین‌ها

همهٔ نمودارهای این فصل با بستهٔ R به نام ceterisParibus ساخته شده‌اند. این بسته پیاده‌سازی Python هم دارد. همچنین می‌توانید با هر ابزاری که بتواند نمودارهای ICE تولید کند، مانند ICEBox و iml، نمودارهای CP نیز بسازید؛ کافی است یک «مجموعه داده» ارائه دهید که فقط شامل همان یک نقطه دادهٔ موردنظر باشد. با این حال، بستهٔ ceterisParibus مناسب‌تر است چون مقایسهٔ منحنی‌های Ceteris Paribus را ساده‌تر می‌کند.


  1. من طرفدار نام لاتین این روش نیستم، چون در مدرسه به ما قول داده بودند که زبان لاتین در یادگیری زبان‌های دیگر برگرفته از لاتین، مثل ایتالیایی، کمک می‌کند. اما می‌دانید چه چیزی حتی بهتر کمک می‌کند وقتی هدفتان یادگیری ایتالیایی است؟ درست است. فقط ایتالیایی یاد بگیرید. ↩

  2. منظور از «منحنی CP» یک خط واحد است، و منظور از «نمودار CP» نموداری است که یک یا چند منحنی CP را نشان می‌دهد. ↩

فصل ۱۳: انتظار شرطی فردی (ICE)

عنوان اصلی: Individual Conditional Expectation (ICE)
منبع: https://christophm.github.io/interpretable-ml-book/ice.html
نویسنده: Christoph Molnar
مترجم: مریم محمودی


نمودارهای انتظار شرطی فردی (Individual Conditional Expectation یا ICE) یک خط برای هر نمونه نشان می‌دهند که مشخص می‌کند پیش‌بینی آن نمونه هنگام تغییر یک ویژگی چگونه تغییر می‌کند.

یک نمودار ICE (Goldstein و همکاران، ۲۰۱۵) وابستگی پیش‌بینی به یک ویژگی را برای هر نمونه به‌طور جداگانه به تصویر می‌کشد، به‌طوری‌که برای هر نمونهٔ مجموعه داده یک خط به دست می‌آید. مقادیر یک خط (و یک نمونه) را می‌توان با ثابت نگه‌داشتن همهٔ ویژگی‌های دیگر، ساختن نسخه‌های جدیدی از این نمونه با جایگزینی مقدار آن ویژگی با مقادیری از یک شبکه، و گرفتن پیش‌بینی از مدل جعبه‌سیاه برای این نمونه‌های تازه‌ساخته‌شده، محاسبه کرد. نتیجه، مجموعه‌ای از نقاط برای یک نمونه است که شامل مقدار ویژگی از شبکه و پیش‌بینی متناظر آن است. به‌عبارت دیگر، نمودارهای ICE همهٔ منحنی‌های Ceteris Paribus یک مجموعه داده را در یک نمودار واحد نشان می‌دهند.

برای درک بهتر (توضیح مترجم): فرض کنید می‌خواهیم برای یک روز مشخص (نمونهٔ شمارهٔ ۱) خط ICE مربوط به رطوبت را بسازیم. دما، سرعت باد و سایر ویژگی‌های این روز را ثابت نگه می‌داریم و فقط رطوبت را با مقادیر شبکهٔ ۲۰، ۴۰، ۶۰ و ۸۰ درصد جایگزین می‌کنیم. به این ترتیب چهار نسخهٔ ساختگی از همین روز به دست می‌آید و مدل جعبه‌سیاه برای هر کدام یک پیش‌بینی می‌دهد؛ مثلاً ۵۴۰۰، ۵۳۰۰، ۵۱۰۰ و ۴۳۰۰ دوچرخه (این اعداد فرضی‌اند، فقط برای توضیح آمده‌اند و در کتاب وجود ندارند). وصل‌کردن چهار نقطهٔ (۲۰، ۵۴۰۰)، (۴۰، ۵۳۰۰)، (۶۰، ۵۱۰۰) و (۸۰، ۴۳۰۰) به هم، همان خط ICE این روز است. تکرار همین کار برای همهٔ روزهای مجموعه داده، یک خط برای هر روز می‌دهد و مجموع این خط‌ها همان نمودار ICE است.

مثال‌ها

شکل ۱۳.۱ نمودارهای ICE را برای پیش‌بینی اجارهٔ دوچرخه نشان می‌دهد. مدل پیش‌بینی زیربنایی یک جنگل تصادفی است. به نظر می‌رسد همهٔ منحنی‌ها روندی مشابه دارند، بنابراین تعامل آشکاری وجود ندارد.

شکل ۱۳.۱: نمودارهای ICE پیش‌بینی اجارهٔ دوچرخه بر اساس دما، رطوبت و سرعت باد.

توضیح مترجم (متن داخل تصویر): برچسب‌های محور افقی، از چپ به راست: Temperature = دما، Humidity = رطوبت، Windspeed = سرعت باد. برچسب محور عمودی: Predicted bike rentals = اجارهٔ پیش‌بینی‌شدهٔ دوچرخه.

شکل ۱۳.۲: منحنی‌های ICE برای جنگل تصادفی پیش‌بینی‌کنندهٔ اجارهٔ دوچرخه. خطوط بر اساس فصل رنگ‌آمیزی شده‌اند. بالای نمودارهای ICE، نمودارهای جعبه‌ای توزیع رطوبت به تفکیک فصل را نشان می‌دهند.

توضیح مترجم (متن داخل تصویر): برچسب محور افقی: Humidity = رطوبت؛ برچسب محور عمودی: Predicted bike rentals = اجارهٔ پیش‌بینی‌شدهٔ دوچرخه. راهنمای رنگ (season = فصل): WINTER = زمستان، SPRING = بهار، SUMMER = تابستان، FALL = پاییز.

توجه: در تصویر منتشرشده در نسخهٔ وب کتاب، نمودارهای جعبه‌ای‌ای که زیرنویس به آن‌ها اشاره می‌کند (و در متن نیز به آن‌ها ارجاع شده است) دیده نمی‌شوند. زیرنویس و متن همان‌طور که در منبع آمده‌اند ترجمه شده‌اند.

اما می‌توانیم با تغییردادن نمودار ICE، تعامل‌های احتمالی را نیز بررسی کنیم. شکل ۱۳.۲ دوباره نمودار ICE رطوبت را نشان می‌دهد، با این تفاوت که این بار خطوط بر اساس فصل رنگ‌آمیزی شده‌اند. این نمودار چند نکته را نشان می‌دهد: اول – که جای تعجب ندارد – فصل‌های مختلف «عرض از مبدأ» متفاوتی دارند. یعنی، برای مثال، روزهای زمستان پیش‌بینی کمتری دارند و تابستان بیشترین پیش‌بینی را، مستقل از رطوبت. اما شکل ۱۳.۲ همچنین نشان می‌دهد که اثر رطوبت برای فصل‌های مختلف متفاوت است: در زمستان، افزایش رطوبت فقط به‌طور جزئی تعداد پیش‌بینی‌شدهٔ اجارهٔ دوچرخه را کاهش می‌دهد. برای تابستان، اجارهٔ پیش‌بینی‌شدهٔ دوچرخه بین رطوبت نسبی ۲۰٪ تا ۶۰٪ تقریباً ثابت می‌ماند و بالاتر از ۶۰٪ به‌طور قابل توجهی افت می‌کند. اثرات رطوبت برای بهار و پاییز به نظر می‌رسد ترکیبی از «ثبات زمستان» و «افت تابستان» باشند. با این حال، همان‌طور که نمودارهای جعبه‌ای در شکل ۱۳.۲ نشان می‌دهند، نباید اثرات رطوبت بسیار پایین را برای تابستان و پاییز بیش از حد تفسیر کنیم.

از شفافیت و رنگ استفاده کنید

اگر خطوط در یک نمودار به‌شدت روی هم قرار می‌گیرند، می‌توانید آن‌ها را کمی شفاف کنید. اگر این کار کمکی نکرد، شاید بهتر باشد سراغ نمودار وابستگی جزئی بروید. با رنگ‌آمیزی خطوط بر اساس مقدار یک ویژگی دیگر، می‌توانید تعامل‌ها را بررسی کنید.

توضیح مترجم: در متن اصلی این کادر، جمله به‌صورت «If lines overlap heavily in a boxplot» آمده است. با توجه به مفهوم جمله، منظور نویسنده نمودار ICE (و نه نمودار جعبه‌ای) است؛ به همین دلیل در ترجمه از واژهٔ «نمودار» استفاده شده است.

بیایید به وظیفهٔ دسته‌بندی پنگوئن‌ها برگردیم و ببینیم پیش‌بینی هر نمونه چگونه با ویژگی bill_length_mm (طول منقار) مرتبط است. جنگل تصادفی‌ای را تحلیل می‌کنیم که احتمال مادگی یک پنگوئن را بر اساس اندازه‌گیری‌های بدنی پیش‌بینی می‌کند. شکل ۱۳.۳ یک نمودار ICE نسبتاً زشت است. اما گاهی واقعیت همین است. دلیل آن این است که مدل برای اکثر پنگوئن‌ها نسبتاً مطمئن است و بین ۰ و ۱ می‌پرد.

شکل ۱۳.۳: نمودار ICE احتمال پنگوئن گونهٔ Adelie بر اساس طول منقار. هر خط نشان‌دهندهٔ یک پنگوئن است.

توضیح مترجم (متن داخل تصویر): برچسب محور افقی: Bill length in mm = طول منقار (برحسب میلی‌متر)؛ برچسب محور عمودی: P(female) = احتمال مادگی.

توجه: متن فصل می‌گوید مدل احتمال مادگی (female) پنگوئن را پیش‌بینی می‌کند و محور عمودی تصویر هم P(female) است، اما زیرنویس منبع «P(Adelie)» نوشته است. این ناهماهنگی در منبع وجود دارد؛ زیرنویس مطابق منبع ترجمه شده و اصلاح نشده است.

نمودار ICE مرکزی‌شده (c-ICE)

نمودارهای ICE با یک مشکل روبه‌رو هستند: گاهی تشخیص این‌که آیا منحنی‌های ICE به این دلیل بین نقاط داده متفاوت‌اند که از پیش‌بینی‌های متفاوتی شروع می‌شوند، دشوار است. یک راه‌حل ساده این است که منحنی‌ها را در یک نقطهٔ مشخص از ویژگی مرکزی‌سازی کنیم و فقط تفاوت پیش‌بینی نسبت به آن نقطه را نمایش دهیم. نموداری که از این کار حاصل می‌شود، نمودار ICE مرکزی‌شده (c-ICE) نامیده می‌شود. لنگرانداختن منحنی‌ها در انتهای پایینی ویژگی، انتخاب خوبی است. هر منحنی این‌گونه تعریف می‌شود:

$$ICE^{(i)}_j(x_j) = \hat{f}(x_j, \mathbf{x}^{(i)}_{-j}) - \hat{f}(a, \mathbf{x}_{-j}^{(i)})$$

که در آن $\hat{f}$ مدل برازش‌شده و $a$ نقطهٔ لنگر است.

بیایید نگاهی به یک نمودار ICE مرکزی‌شده برای دما در پیش‌بینی اجارهٔ دوچرخه بیندازیم:

شکل ۱۳.۴: نمودارهای ICE مرکزی‌شدهٔ تعداد پیش‌بینی‌شدهٔ دوچرخه‌ها بر اساس دما. خطوط تفاوت پیش‌بینی را نسبت به پیش‌بینی در حداقل دمای مشاهده‌شده نشان می‌دهند.

توضیح مترجم (متن داخل تصویر): برچسب محور افقی: temp = دما (نام ویژگی در مجموعه داده). برچسب محور عمودی: «Different to prediction at temp = -5.2» یعنی «تفاوت با پیش‌بینی در دمای ‎-5.2»؛ مقدار ‎-5.2 همان حداقل دمای مشاهده‌شده است که نقطهٔ لنگر $a$ در فرمول بالا را مشخص می‌کند. به همین دلیل همهٔ منحنی‌ها در این نقطه از صفر شروع می‌شوند.

نمودارهای ICE مرکزی‌شده مقایسهٔ منحنی‌های نمونه‌های مختلف را آسان‌تر می‌کنند. این می‌تواند زمانی مفید باشد که نه به‌دنبال تغییر مطلق یک مقدار پیش‌بینی‌شده، بلکه به‌دنبال تفاوت پیش‌بینی نسبت به یک نقطهٔ ثابت از بازهٔ ویژگی باشیم.

برای درک بهتر (توضیح مترجم): فرض کنید پیش‌بینی مدل برای دو روز، یکی زمستانی و دیگری تابستانی، در چهار دمای شبکه به‌صورت زیر باشد (اعداد فرضی و صرفاً برای توضیح‌اند). نقطهٔ لنگر را حداقل مقدار شبکه، یعنی $a = 0$، می‌گیریم و پیش‌بینی در این نقطه را از همهٔ مقادیر کم می‌کنیم:

دما ۰دما ۱۰دما ۲۰دما ۳۰
پیش‌بینی روز ۱ (زمستان)۲۰۰۰۲۵۰۰۳۰۰۰۲۸۰۰
پیش‌بینی روز ۲ (تابستان)۵۰۰۰۵۵۰۰۶۰۰۰۵۸۰۰
c-ICE روز ۱۰۵۰۰۱۰۰۰۸۰۰
c-ICE روز ۲۰۵۰۰۱۰۰۰۸۰۰

در نمودار ICE معمولی، دو منحنی با فاصلهٔ ثابت ۳۰۰۰ از هم قرار دارند و تشخیص شکل آن‌ها دشوار است؛ اما در c-ICE هر دو منحنی دقیقاً بر هم منطبق می‌شوند. یعنی اثر دما روی هر دو روز یکسان است و تفاوت آن‌ها فقط در «سطح پایهٔ» پیش‌بینی است. اگر منحنی‌ها پس از مرکزی‌سازی از هم جدا می‌شدند، نشانه‌ای از ناهمگنی (و احتمالاً تعامل) بود.

نمودار ICE مشتقی (d-ICE)

راه دیگری که می‌تواند تشخیص بصری ناهمگنی را آسان‌تر کند، نگاه‌کردن به مشتقات فردی تابع پیش‌بینی نسبت به یک ویژگی است. نموداری که از این کار حاصل می‌شود، نمودار ICE مشتقی (d-ICE) نامیده می‌شود. مشتقات یک تابع (یا منحنی) به شما می‌گویند که آیا تغییری رخ می‌دهد و در چه جهتی رخ می‌دهد. با نمودار ICE مشتقی، به‌راحتی می‌توان بازه‌هایی از مقادیر ویژگی را یافت که در آن‌ها پیش‌بینی‌های جعبه‌سیاه برای (دست‌کم برخی) نمونه‌ها تغییر می‌کند. اگر بین ویژگی موردبررسی $X_j$ و سایر ویژگی‌ها $X_{-j}$ تعاملی وجود نداشته باشد، آنگاه تابع پیش‌بینی را می‌توان این‌گونه بیان کرد:

$$\hat{f}(\mathbf{x}) = \hat{f}(x_j, \mathbf{x}_C) = g(x_j) + h(\mathbf{x}_{-j}), \quad\text{with}\quad\frac{\partial \hat{f}(\mathbf{x})}{\partial x_j} = g’(x_j)$$

بدون تعامل، مشتقات جزئی فردی باید برای همهٔ نمونه‌ها یکسان باشند. اگر متفاوت باشند، به‌دلیل وجود تعامل است و در نمودار d-ICE قابل مشاهده می‌شود. علاوه بر نمایش منحنی‌های فردی مشتق تابع پیش‌بینی نسبت به ویژگی $j$، نمایش انحراف معیار مشتق نیز کمک می‌کند تا مناطقی از ویژگی $j$ که در آن‌ها ناهمگنی در مشتقات برآوردشده وجود دارد، برجسته شوند. محاسبهٔ نمودار ICE مشتقی زمان زیادی می‌برد و از نظر عملی چندان کاربردی نیست.

برای درک بهتر (توضیح مترجم): همان دو روز مثال قبل را در نظر بگیرید و مشتق را با تفاضل پیش‌بینی‌ها در هر بازهٔ ۱۰ واحدی دما تقریب بزنید (اعداد فرضی‌اند). برای روز ۱ تفاضل‌ها +۵۰۰، +۵۰۰ و -۲۰۰ و برای روز ۲ نیز دقیقاً +۵۰۰، +۵۰۰ و -۲۰۰ است؛ یعنی مشتق‌ها یکسان‌اند و این با نبود تعامل سازگار است. حال فرض کنید پیش‌بینی‌های روز ۲ به‌جای آن ۵۰۰۰، ۵۵۰۰، ۶۶۰۰ و ۵۸۰۰ بود. تفاضل‌ها +۵۰۰، +۱۱۰۰ و -۸۰۰ می‌شدند و در بازهٔ دمای ۱۰ تا ۲۰ با روز ۱ (+۵۰۰) تفاوت داشتند. نمودار d-ICE دقیقاً همین بازه‌ها را برجسته می‌کند و نشان می‌دهد اثر دما روی روز ۲ با روز ۱ فرق دارد، یعنی بین دما و دیگر ویژگی‌ها تعامل وجود دارد.

نقاط قوت

منحنی‌های انتظار شرطی فردی درک‌شان بدیهی و آسان است. هر خط، پیش‌بینی‌های یک نمونه را هنگام تغییر ویژگی موردنظر نشان می‌دهد.

منحنی‌های ICE می‌توانند روابط ناهمگن را آشکار کنند.

محدودیت‌ها

منحنی‌های ICE تنها می‌توانند یک ویژگی را به‌طور معنادار نمایش دهند، چون نمایش دو ویژگی نیازمند رسم چند سطح روی‌هم‌قرارگرفته خواهد بود و در نمودار چیزی قابل مشاهده نخواهد بود.

منحنی‌های ICE از مشکل همبستگی رنج می‌برند: اگر ویژگی موردنظر با سایر ویژگی‌ها همبسته باشد، برخی نقاط روی خطوط ممکن است بر اساس توزیع مشترک ویژگی‌ها، نقاط داده نامعتبری باشند.

توضیح مترجم: برای مثال، اگر ویژگی موردنظر «دما» باشد و دما با «فصل» همبسته باشد، ساختن نسخه‌ای از یک روز زمستانی با دمای ۳۵ درجهٔ سانتی‌گراد نقطه‌ای می‌سازد که در واقعیت (تقریباً) هرگز دیده نمی‌شود. مدل برای چنین نقطه‌ای بیرون از دادهٔ آموزشی پیش‌بینی می‌کند و بخشی از خط ICE بر پایهٔ پیش‌بینی‌های غیرقابل‌اعتماد رسم می‌شود. نوار کوتاه (rug) زیر نمودارها در شکل‌های این فصل نشان می‌دهد مقادیر مشاهده‌شدهٔ ویژگی در کجا متراکم‌اند و می‌تواند به شناسایی چنین نواحی کمک کند.

اگر تعداد زیادی منحنی ICE رسم شود، نمودار می‌تواند شلوغ شود و چیزی قابل مشاهده نخواهد بود. راه‌حل: یا به خطوط کمی شفافیت اضافه کنید یا فقط نمونه‌ای از خطوط را رسم کنید.

در نمودارهای ICE ممکن است دیدن میانگین کار آسانی نباشد. این مشکل راه‌حل ساده‌ای دارد: منحنی‌های انتظار شرطی فردی را با نمودار وابستگی جزئی ترکیب کنید.

نرم‌افزار و جایگزین‌ها

نمودارهای ICE در بسته‌های R به نام‌های iml (Molnar، Bischl و Casalicchio، ۲۰۱۸) (که برای این مثال‌ها استفاده شده)، ICEbox و pdp پیاده‌سازی شده‌اند. بستهٔ دیگر R به نام condvis نیز کاری بسیار مشابه ICE انجام می‌دهد. در Python، می‌توانید از PiML (Sudjianto و همکاران، ۲۰۲۳) استفاده کنید.

فصل ۱۴: LIME

عنوان اصلی: LIME
منبع: https://christophm.github.io/interpretable-ml-book/lime.html
نویسنده: Christoph Molnar
مترجم: مریم محمودی


مدل‌های جانشین محلی (Local Surrogate Models) مدل‌هایی تفسیرپذیر هستند که برای توضیح پیش‌بینی‌های فردیِ مدل‌های یادگیری ماشین جعبه‌سیاه به کار می‌روند. توضیحات محلی تفسیرپذیر مستقل از مدل (Local Interpretable Model-agnostic Explanations یا LIME)، که Ribeiro و همکاران (۲۰۱۶) آن را پیشنهاد کرده‌اند، رویکردی برای برازش مدل‌های جانشین است. مدل‌های جانشین آموزش داده می‌شوند تا پیش‌بینی‌های مدل جعبه‌سیاهِ زیربنایی را تقریب بزنند.

توضیح مترجم: در این فصل «مدل جانشین» (surrogate model) به مدلی ساده و تفسیرپذیر گفته می‌شود که به‌جای مدل جعبه‌سیاه، رفتار آن را تقلید می‌کند. «محلی» (local) یعنی این تقلید فقط در اطراف یک نمونهٔ مشخص مدنظر است، نه در کل فضای ورودی؛ فصل مدل‌های جایگزین حالت سراسری (global) همین ایده را شرح می‌دهد.

ایده بسیار شهودی است. ابتدا داده‌های آموزشی را فراموش کنید و تصور کنید فقط خودِ مدل جعبه‌سیاه را در اختیار دارید، که می‌توانید به آن نقاط داده‌ای بدهید و پیش‌بینی‌های مدل را بگیرید. هر چند بار که بخواهید می‌توانید جعبه را بیازمایید. هدف شما این است که بفهمید چرا مدل یادگیری ماشین یک پیش‌بینی مشخص را انجام داده است. LIME آزمایش می‌کند وقتی گونه‌های مختلفی از داده‌های شما را به مدل یادگیری ماشین می‌دهید، پیش‌بینی‌ها چه می‌شوند. LIME یک مجموعه داده جدید تولید می‌کند که از نمونه‌های اختلال‌یافته (perturbed) و پیش‌بینی‌های متناظر مدل جعبه‌سیاه تشکیل شده است. سپس LIME روی این مجموعه داده جدید یک مدل تفسیرپذیر آموزش می‌دهد که بر اساس نزدیکیِ نمونه‌های تولیدشده به نمونهٔ مورد نظر وزن‌دهی شده است. مدل تفسیرپذیر می‌تواند هر چیزی از Lasso تا درخت تصمیم باشد. مدل آموخته‌شده باید پیش‌بینی‌های مدل یادگیری ماشین را به‌صورت محلی به‌خوبی تقریب بزند، اما لازم نیست تقریب سراسری خوبی باشد. این نوع دقت را وفاداری محلی (local fidelity) نیز می‌نامند.

از نظر ریاضی، مدل‌های جانشین محلی با قید تفسیرپذیری را می‌توان به‌صورت زیر بیان کرد:

$$\text{explanation}(\mathbf{x}) = \arg\min_{g \in G} L(\hat{f},g,\pi_{\mathbf{x}}) + \Omega(g)$$

مدل توضیح‌دهنده برای نمونهٔ $\mathbf{x}$، مدل $g$ است (مثلاً یک مدل رگرسیون خطی) که تابع زیان $L$ (مثلاً میانگین مربعات خطا) را کمینه می‌کند؛ این تابع زیان اندازه می‌گیرد که توضیح تا چه حد به پیش‌بینی مدل اصلی $\hat{f}$ (مثلاً یک مدل xgboost) نزدیک است، در حالی که پیچیدگی مدل $\Omega(g)$ پایین نگه داشته می‌شود (مثلاً ترجیح ویژگی‌های کمتر). $G$ خانوادهٔ توضیحات ممکن است، برای مثال همهٔ مدل‌های رگرسیون خطی ممکن. معیار مجاورت $\pi_{\mathbf{x}}$ مشخص می‌کند همسایگی پیرامون نمونهٔ $\mathbf{x}$ که برای توضیح در نظر می‌گیریم چقدر بزرگ است. در عمل، LIME فقط بخش زیان را بهینه می‌کند. کاربر باید پیچیدگی را تعیین کند، مثلاً با انتخاب حداکثر تعداد ویژگی‌هایی که مدل رگرسیون خطی مجاز به استفاده از آن‌هاست.

دستورالعمل آموزش مدل‌های جانشین محلی:

  • نمونهٔ مورد نظر خود را که می‌خواهید توضیحی برای پیش‌بینی جعبه‌سیاه آن داشته باشید انتخاب کنید.
  • مجموعه داده خود را اختلال دهید (perturb) و پیش‌بینی‌های جعبه‌سیاه را برای این نقاط جدید به دست آورید.
  • نمونه‌های جدید را بر اساس نزدیکی‌شان به نمونهٔ مورد نظر وزن‌دهی کنید.
  • یک مدل تفسیرپذیرِ وزن‌دار روی مجموعه داده‌ای که شامل گونه‌هاست آموزش دهید.
  • پیش‌بینی را با تفسیر مدل محلی توضیح دهید.

در پیاده‌سازی‌های فعلی در R و Python، برای مثال، می‌توان رگرسیون خطی را به‌عنوان مدل جانشین تفسیرپذیر برگزید. از پیش باید $K$ را انتخاب کنید، یعنی تعداد ویژگی‌هایی که می‌خواهید در مدل تفسیرپذیر شما باشد. هرچه $K$ کمتر باشد، تفسیر مدل آسان‌تر است. $K$ بزرگ‌تر به‌طور بالقوه مدل‌هایی با وفاداری بالاتر تولید می‌کند. روش‌های متعددی برای آموزش مدل‌هایی با دقیقاً $K$ ویژگی وجود دارد. انتخاب خوب، Lasso است. یک مدل Lasso با پارامتر منظم‌سازی $\lambda$ بزرگ، مدلی بدون هیچ ویژگی به دست می‌دهد. با آموزش مجدد مدل‌های Lasso و کاهش تدریجی $\lambda$، یکی پس از دیگری، ویژگی‌ها برآوردهای وزنی پیدا می‌کنند که با صفر تفاوت دارد. اگر در مدل $K$ ویژگی وجود داشته باشد، به تعداد ویژگی مطلوب رسیده‌اید. راهبردهای دیگر، انتخاب پیشروی (forward) یا پسروی (backward) ویژگی‌هاست. یعنی یا از مدل کامل (= شامل همهٔ ویژگی‌ها) شروع می‌کنید یا از مدلی که فقط عرض از مبدأ دارد، و سپس آزمون می‌کنید که افزودن یا حذف کدام ویژگی بیشترین بهبود را می‌آورد، تا زمانی که به مدلی با $K$ ویژگی برسید.

برای درک بهتر (توضیح مترجم): فرض کنید می‌خواهیم $K=2$ ویژگی داشته باشیم و مدل محلی روی چهار ویژگی (دما، رطوبت، باد، فشار) برازش می‌شود. با $\lambda$ خیلی بزرگ همهٔ ضرایب صفرند. $\lambda$ را کم‌کم کم می‌کنیم؛ ابتدا ضریب دما از صفر جدا می‌شود (۱ ویژگی)، کمی بعد ضریب رطوبت (۲ ویژگی). همین‌جا متوقف می‌شویم، چون $K=2$ ویژگی با ضریب غیرصفر داریم. (مثال فرضی و صرفاً برای توضیح است و در کتاب وجود ندارد.)

چگونه گونه‌های داده را به دست می‌آورید؟ این به نوع داده بستگی دارد، که می‌تواند متن، تصویر یا داده جدولی باشد. برای متن و تصویر، راه‌حل این است که کلمه‌های منفرد یا ابرپیکسل‌ها (super-pixels) را روشن یا خاموش کنیم. در مورد داده جدولی، LIME نمونه‌های جدید را با اختلال دادن به هر ویژگی به‌طور جداگانه می‌سازد، به این صورت که از یک توزیع نرمال نمونه می‌گیرد که میانگین و انحراف معیارش از همان ویژگی گرفته شده است.

LIME برای داده‌های جدولی

داده جدولی، داده‌ای است که در قالب جدول می‌آید و هر سطر یک نمونه و هر ستون یک ویژگی را نشان می‌دهد. نمونه‌های LIME پیرامون نمونهٔ مورد نظر گرفته نمی‌شوند، بلکه از مرکز جرم (mass center) داده‌های آموزشی گرفته می‌شوند، که مسئله‌ساز است. اما این کار احتمال اینکه نتیجهٔ پیش‌بینی برخی از نقاط نمونه با نقطهٔ داده مورد نظر متفاوت باشد را افزایش می‌دهد، و اینکه LIME دست‌کم بتواند مقداری توضیح بیاموزد. شکل ۱۴.۱ به‌صورت بصری توضیح می‌دهد که نمونه‌گیری و آموزش مدل محلی چگونه کار می‌کند:

شکل ۱۴.۱: الگوریتم LIME برای داده جدولی. الف) سطح پیش‌بینی بر حسب ویژگی‌های $x_1$ و $x_2$. کلاس‌های پیش‌بینی‌شده: ۱ (تیره) یا ۰ (روشن). ب) نمونهٔ مورد نظر (نقطهٔ بزرگ) و داده‌های نمونه‌گیری‌شده (نقطه‌های کوچک). ج) اختصاص وزن‌ها بر اساس فاصله تا نمونهٔ مورد نظر. د) علامت‌های (+/−) طبقه‌بندی‌های مدل آموخته‌شدهٔ محلی را از نمونه‌های وزن‌دار نشان می‌دهند. خط سفید مرز تصمیم ($P(c=1) = 0.5$) را مشخص می‌کند.

توضیح مترجم (متن داخل تصویر): تنها متن‌های داخل تصویر عبارت‌اند از عنوان چهار پنل (A تا D = الف تا د) و برچسب محورها ($x_1$ و $x_2$)، که نماد ریاضی‌اند و ترجمه نمی‌شوند. در پنل الف ناحیهٔ آبی روشن کلاس ۰ و ناحیهٔ خاکستری تیره کلاس ۱ است؛ در پنل ب نقطهٔ زرد نمونهٔ مورد نظر است؛ در پنل ج اندازهٔ نقطه‌ها نشان‌دهندهٔ وزن (نزدیکی به نمونهٔ مورد نظر) است؛ و در پنل د علامت «+» و «−» پیش‌بینی طبقه‌بندی مدل محلی (خط سفید) را نشان می‌دهد.

همان‌طور که همیشه، شیطان در جزئیات است. تعریف یک همسایگی معنادار پیرامون یک نقطه دشوار است. LIME در حال حاضر از یک کرنل هموارساز نمایی (exponential smoothing kernel) برای تعریف همسایگی استفاده می‌کند. کرنل هموارساز تابعی است که دو نمونهٔ داده می‌گیرد و یک معیار مجاورت برمی‌گرداند. پهنای کرنل (kernel width) تعیین می‌کند همسایگی چقدر بزرگ باشد: پهنای کرنل کوچک یعنی یک نمونه باید بسیار نزدیک باشد تا بر مدل محلی اثر بگذارد؛ پهنای کرنل بزرگ‌تر یعنی نمونه‌هایی که دورترند نیز بر مدل اثر می‌گذارند. اگر به پیاده‌سازی Python برای LIME (فایل lime/lime_tabular.py) نگاه کنید، خواهید دید که از یک کرنل هموارساز نمایی (روی داده‌های نرمال‌شده) استفاده می‌کند و پهنای کرنل برابر ۰٫۷۵ برابرِ جذر تعداد ستون‌های داده‌های آموزشی است. این شبیه یک خط کد بی‌گناه به نظر می‌رسد، اما فیلی است که در اتاق نشیمن شما، کنار ظروف چینی خوبی که از پدربزرگ و مادربزرگتان گرفته‌اید، نشسته است. مشکل بزرگ این است که راه خوبی برای یافتن بهترین کرنل یا پهنا نداریم. و اصلاً عدد ۰٫۷۵ از کجا آمده است؟ در برخی سناریوها، می‌توانید با تغییر پهنای کرنل توضیح خود را به‌راحتی وارونه کنید، همان‌طور که در شکل ۱۴.۲ نشان داده شده است: مدل رگرسیون خطی حاصل به پهنای کرنل بستگی دارد. آیا اثر محلی «حقیقی» ویژگی برای $x = 1.6$ باید منفی باشد، مثبت باشد، یا اثری نداشته باشد؟

توضیح مترجم: عبارت «elephant in the room» در انگلیسی اصطلاحی است برای مسئلهٔ بزرگ و آشکاری که همه از آن چشم می‌پوشند. نویسنده با تصویر طنزآمیز «فیلی در اتاق نشیمن، کنار ظروف چینی گران‌بها» می‌گوید این خط کد ساده در واقع حساس و پرخطر است؛ چون هر تغییری در آن می‌تواند توضیح را به‌کلی عوض کند.

شکل ۱۴.۲: توضیح پیش‌بینی نمونهٔ $x = 1.6$ با پهنای کرنل‌های مختلف. پیش‌بینی‌های مدل با خط ضخیم نشان داده شده‌اند و توزیع داده‌ها با علامت‌های کوتاه روی محور افقی (rug) نمایش داده شده است. سه مدل جانشین محلی با پهنای کرنل‌های متفاوت محاسبه شده‌اند.

توضیح مترجم (متن داخل تصویر): برچسب محور افقی: x. برچسب محور عمودی: Black Box prediction = پیش‌بینی جعبه‌سیاه. عنوان راهنما: Kernel width = پهنای کرنل، با سه مقدار ۰٫۱ (خط ممتد تیره)، ۰٫۷۵ (نقطه‌چین سبز) و ۲ (خط‌چین زرد). علامت «X» روی منحنی، نمونهٔ مورد توضیح ($x = 1.6$) را نشان می‌دهد. همان‌طور که در تصویر دیده می‌شود، شیب خط محلی برای پهنای ۰٫۱ منفی، برای ۰٫۷۵ تقریباً صفر و برای ۲ مثبت است.

این مثال فقط یک ویژگی را نشان می‌دهد. در فضاهای ویژگیِ با ابعاد بالا بدتر می‌شود. همچنین بسیار نامشخص است که آیا معیار فاصله باید با همهٔ ویژگی‌ها یکسان رفتار کند. آیا یک واحد فاصله برای ویژگی $X_1$ با یک واحد برای ویژگی $X_2$ یکسان است؟ معیارهای فاصله کاملاً دلخواه هستند و فاصله‌ها در ابعاد (یعنی ویژگی‌های) مختلف ممکن است اصلاً قابل مقایسه نباشند.

بیایید یک مثال عینی را ببینیم. به داده‌های پنگوئن برمی‌گردیم که دربارهٔ دسته‌بندی یک پنگوئن به ماده یا نر بر اساس اندازه‌گیری‌های بدن است. جنگل تصادفی‌ای را که برای این کار آموزش دیده تحلیل می‌کنیم. توضیحات با ۲ ویژگی ساخته شده‌اند. نتایج مدل‌های خطی محلیِ تُنک (sparse) که برای دو نمونه با کلاس‌های پیش‌بینی‌شدهٔ متفاوت آموزش دیده‌اند در شکل ۱۴.۳ نشان داده شده است. در اینجا، جرم بدنی بیشتر و منقار بلندتر با P(ماده) کمتر مرتبط‌اند.

شکل ۱۴.۳: توضیحات LIME برای دو نمونه از مجموعه داده پنگوئن. محور افقی اثر ویژگی را نشان می‌دهد که برابر وزن ضربدر مقدار واقعی ویژگی است.

توضیح مترجم (متن داخل تصویر): عنوان هر پنل: Actual prediction = پیش‌بینی واقعیِ جنگل تصادفی (پنل بالا ۰٫۰۷، پنل پایین ۰٫۹۵)؛ LocalModel prediction = پیش‌بینی مدل محلی (پنل بالا ۰٫۴۶، پنل پایین ۰٫۶۴). برچسب محور افقی: effect = اثر. برچسب میله‌ها: body_mass_g = جرم بدن (گرم) و bill_depth_mm = عمق منقار (میلی‌متر) به همراه مقدار آن ویژگی برای نمونه (پنل بالا: ۳۷۵۰ و ۱۸٫۷؛ پنل پایین: ۳۲۵۰ و ۱۸).

توجه: متن منبع می‌گوید «جرم بدنی بیشتر و منقار بلندتر»، در حالی که ویژگی دوم در تصویر عمق منقار (bill_depth_mm) است، نه طول منقار. همچنین پیوند «داده‌های پنگوئن» در متن اصلی به بخش داده‌های دوچرخه (#bike-data) اشاره می‌کند. ترجمه عیناً از متن منبع پیروی کرده است و در اینجا فقط ناهماهنگی گزارش می‌شود.

LIME برای داده‌های متنی

LIME برای متن با LIME برای داده جدولی تفاوت دارد. گونه‌های داده به شکل متفاوتی تولید می‌شوند: با شروع از متن اصلی، متن‌های جدید با حذف تصادفی کلمه‌ها از متن اصلی ساخته می‌شوند. مجموعه داده با ویژگی‌های دودویی برای هر کلمه نمایش داده می‌شود. اگر کلمهٔ متناظر در متن گنجانده شده باشد، ویژگی ۱ و اگر حذف شده باشد ۰ است.

به‌عنوان مثالی برای دسته‌بندی متن، با ۱۹۵۶ نظر از ۵ ویدیوی مختلف یوتیوب کار می‌کنیم. خوشبختانه نویسندگانی که از این مجموعه داده در مقاله‌ای دربارهٔ دسته‌بندی هرزنامه (spam) استفاده کرده‌اند، آن را آزادانه در دسترس قرار داده‌اند (Alberto و همکاران، ۲۰۱۵). نظرها از طریق API یوتیوب از پنج ویدیو از ده ویدیوی پربازدید یوتیوب در نیمهٔ اول سال ۲۰۱۵ جمع‌آوری شده‌اند. هر ۵ ویدیو موزیک ویدیو هستند. یکی از آن‌ها «Gangnam Style» اثر هنرمند کره‌ای Psy است. هنرمندان دیگر Katy Perry، LMFAO، Eminem و Shakira هستند. دو نظر را در جدول ۱۴.۱ ببینید، یکی هرزنامه (class=1) و دیگری معتبر (class=0). نظرها به‌صورت دستی به‌عنوان هرزنامه یا معتبر برچسب خورده‌اند. هرزنامه با «۱» و نظرهای معتبر با «۰» کدگذاری شده است. همچنین می‌توانید به یوتیوب بروید و بخش نظرات را ببینید. اما لطفاً در جهنم یوتیوب گرفتار نشوید و در نهایت به تماشای ویدیوهای میمون‌هایی که از گردشگران روی ساحل کوکتل می‌دزدند و می‌نوشند نپردازید. تشخیص‌دهندهٔ هرزنامهٔ گوگل نیز احتمالاً از سال ۲۰۱۵ تا کنون بسیار تغییر کرده است. ویدیوی رکوردشکن در تعداد بازدید، «Gangnam Style»، را اینجا تماشا کنید.

جدول ۱۴.۱: دو نمونه از نظرها.

CONTENTCLASS
267PSY is a good guy0
173For Christmas Song visit my channel! ;)1

توضیح مترجم: متن نظرها دادهٔ اصلی مجموعه داده است و عیناً به انگلیسی حفظ شد. معنای آن‌ها: نظر ۲۶۷: «PSY آدم خوبی است» (معتبر، ۰)؛ نظر ۱۷۳: «برای آهنگ کریسمس به کانال من سر بزنید! ;)» (هرزنامه، ۱). اعداد ۲۶۷ و ۱۷۳ شمارهٔ سطر در مجموعه داده‌اند.

مدل جعبه‌سیاه یک درخت تصمیم عمیق است که روی ماتریس سند-کلمه (document word matrix) آموزش دیده است. هر نظر یک سند (= یک سطر) است و هر ستون تعداد تکرارهای یک کلمهٔ مشخص است. درخت‌های تصمیم کوتاه فهمیدنشان آسان است، اما در این مورد درخت بسیار عمیق است. همچنین، به‌جای این درخت می‌توانست یک شبکهٔ عصبی بازگشتی (recurrent neural network) یا یک ماشین بردار پشتیبان (support vector machine) باشد که روی بردارنمایی‌های کلمه (word embeddings، بردارهای انتزاعی) آموزش دیده است.

گام بعدی ساختن چند گونه از مجموعه داده‌هایی است که در مدل محلی استفاده می‌شوند. برای مثال، چند گونه از یکی از نظرها را در جدول ۱۴.۲ ببینید. هر ستون متناظر با یک کلمه در جمله است. هر سطر یک گونه است؛ ۱ یعنی کلمه بخشی از این گونه است و ۰ یعنی کلمه حذف شده است. جملهٔ متناظر با یکی از گونه‌ها «Christmas Song visit my ;)» است. ستون «prob» احتمال پیش‌بینی‌شدهٔ هرزنامه بودن را برای هر یک از گونه‌های جمله نشان می‌دهد. ستون «weight» مجاورت گونه به جملهٔ اصلی را نشان می‌دهد، که به‌صورت ۱ منهای نسبت کلمه‌های حذف‌شده محاسبه می‌شود؛ برای مثال اگر ۱ کلمه از ۷ کلمه حذف شده باشد، مجاورت برابر ۱ − ۱/۷ = ۰٫۸۶ است.

جدول ۱۴.۲: گونه‌هایی از یکی از نظرهای یوتیوب، به همراه وزن‌هایشان (بر اساس فاصله) و احتمال پیش‌بینی‌شدهٔ هرزنامه بودن.

ForChristmasSongvisitmychannel!;)probweight
10110010.170.57
01111010.170.71
10011110.990.71
10111110.990.86
01110010.170.57

برای درک بهتر (توضیح مترجم): جمله ۷ کلمه دارد: For، Christmas، Song، visit، my، channel!، ;). در سطر دوم جدول، کلمه‌های For و channel! حذف شده‌اند (۲ کلمه از ۷)، پس وزن = ۱ − ۲/۷ ≈ ۰٫۷۱. در سطر اول ۳ کلمه حذف شده‌اند (Christmas، my و channel!) و وزن = ۱ − ۳/۷ ≈ ۰٫۵۷ است. به‌طور شهودی، گونه‌ای که کلمه‌های کمتری از آن حذف شده به جملهٔ اصلی نزدیک‌تر است و وزن بیشتری در برازش مدل محلی دارد. دقت کنید که هرگاه کلمهٔ «channel!» حذف شده باشد (سطرهای ۱، ۲ و ۵) احتمال هرزنامه ۰٫۱۷ و هرگاه حاضر باشد (سطرهای ۳ و ۴) ۰٫۹۹ است؛ همین الگو است که LIME در گام بعد کشف می‌کند.

و در نهایت جدول ۱۴.۳ دو جمله (یکی هرزنامه، یکی غیرهرزنامه) را همراه با وزن‌های محلیِ برآوردشده‌شان که الگوریتم LIME یافته است نشان می‌دهد: کلمهٔ «channel» نشان‌دهندهٔ احتمال بالای هرزنامه بودن است. برای نظر غیرهرزنامه، هیچ وزن غیرصفری برآورد نشد، زیرا مهم نیست کدام کلمه حذف شود، کلاس پیش‌بینی‌شده تغییر نمی‌کند.

جدول ۱۴.۳: توضیحات LIME برای دسته‌بندی متن.

caselabel_probfeaturefeature_weight
10.1701170PSY0.000000
10.1701170a0.000000
10.1701170good0.000000
20.9939024channel!6.180747
20.9939024For0.000000
20.9939024Song0.000000

توضیح مترجم: ستون‌ها: case = شمارهٔ نمونه (۱ همان نظر «PSY is a good guy» و ۲ همان نظر «For Christmas Song visit my channel! ;)» است)؛ label_prob = احتمال پیش‌بینی‌شدهٔ مدل جعبه‌سیاه برای کلاس هرزنامه؛ feature = کلمه؛ feature_weight = وزن آن کلمه در مدل خطی محلی. وزن صفر یعنی حذف آن کلمه پیش‌بینی را تغییر نمی‌دهد.

LIME برای داده‌های تصویری

این بخش توسط Verena Haunschmid نوشته شده است.

LIME برای تصاویر با LIME برای داده جدولی و متن متفاوت کار می‌کند. به‌طور شهودی، اختلال دادن به پیکسل‌های منفرد چندان معنا نخواهد داشت، زیرا بیش از یک پیکسل در تعیین یک کلاس نقش دارند. تغییر تصادفی پیکسل‌های منفرد احتمالاً پیش‌بینی‌ها را چندان تغییر نمی‌دهد. بنابراین، گونه‌هایی از تصاویر با بخش‌بندی تصویر به «ابرپیکسل» (superpixel) و خاموش یا روشن کردن ابرپیکسل‌ها ساخته می‌شوند. ابرپیکسل‌ها پیکسل‌های به‌هم‌پیوسته‌ای با رنگ‌های مشابه هستند و می‌توان آن‌ها را با جایگزین‌کردن هر پیکسل با یک رنگ تعریف‌شده توسط کاربر، مانند خاکستری، خاموش کرد. کاربر همچنین می‌تواند برای خاموش‌کردن یک ابرپیکسل در هر جایگشت (permutation) یک احتمال مشخص کند.

در این مثال، به یک دسته‌بندی که توسط شبکهٔ عصبی Inception V3 انجام شده نگاه می‌کنیم. تصویر مورد استفاده مقداری نان را نشان می‌دهد که من پخته‌ام و در یک کاسه قرار دارد (شکل ۱۴.۴ را ببینید). از آنجا که برای هر تصویر می‌توانیم چند برچسب پیش‌بینی‌شده داشته باشیم (مرتب‌شده بر اساس احتمال)، می‌توانیم برچسب‌های برتر را توضیح دهیم. پیش‌بینی برتر «Bagel» (نان بیگل) با احتمال $\mathbb{P}(Y = \text{Bagel}) = 0.77$ است، و پس از آن «Strawberry» (توت‌فرنگی) با احتمال $\mathbb{P}(Y = \text{Strawberry}) = 0.04$. تصاویر زیر توضیحات LIME را برای «Bagel» و «Strawberry» نشان می‌دهند. توضیحات را می‌توان مستقیماً روی نمونه‌های تصویر نمایش داد. سبز یعنی این بخش از تصویر احتمال برچسب را افزایش می‌دهد و قرمز یعنی کاهش می‌دهد.

شکل ۱۴.۴: چپ: تصویر یک کاسه نان. وسط و راست: توضیحات LIME برای ۲ کلاس برتر (Bagel، Strawberry) برای دسته‌بندی تصویر توسط شبکهٔ عصبی Inception V3 گوگل.

توضیح مترجم (متن داخل تصویر): این تصویر هیچ متن، محور یا برچسب نوشتاری ندارد. از چپ به راست: تصویر اصلی، توضیح LIME برای برچسب Bagel (نان بیگل) و توضیح LIME برای برچسب Strawberry (توت‌فرنگی). ناحیه‌های سبز بخش‌هایی‌اند که احتمال برچسب را افزایش می‌دهند و ناحیه‌های قرمز بخش‌هایی که آن را کاهش می‌دهند؛ خط زرد مرز ابرپیکسل‌های انتخاب‌شده را نشان می‌دهد.

پیش‌بینی و توضیح برای «Bagel» بسیار منطقی است، حتی اگر پیش‌بینی نادرست باشد – این‌ها آشکارا بیگل نیستند، چون سوراخ وسط آن‌ها وجود ندارد.

نقاط قوت

حتی اگر مدل یادگیری ماشین زیربنایی را جایگزین کنید، همچنان می‌توانید از همان مدل محلیِ تفسیرپذیر برای توضیح استفاده کنید. فرض کنید افرادی که به توضیحات نگاه می‌کنند درخت‌های تصمیم را از همه بهتر می‌فهمند. چون از مدل‌های جانشین محلی استفاده می‌کنید، درخت‌های تصمیم را به‌عنوان توضیح به کار می‌برید بی‌آنکه واقعاً مجبور باشید برای انجام پیش‌بینی‌ها از درخت تصمیم استفاده کنید. برای مثال، می‌توانید از SVM استفاده کنید. و اگر معلوم شود مدل xgboost بهتر کار می‌کند، می‌توانید SVM را جایگزین کنید و همچنان برای توضیح پیش‌بینی‌ها از یک درخت تصمیم استفاده کنید.

مدل‌های جانشین محلی از ادبیات و تجربهٔ آموزش و تفسیر مدل‌های تفسیرپذیر بهره می‌برند.

هنگام استفاده از Lasso یا درخت‌های کوتاه، توضیحات حاصل کوتاه (= گزینشی) و احتمالاً تقابلی (contrastive) هستند. بنابراین، توضیحات دوستانه برای انسان را می‌سازند.

LIME یکی از معدود روش‌هایی است که برای داده‌های جدولی، متن و تصویر کار می‌کند.

معیار وفاداری (اینکه مدل تفسیرپذیر چقدر خوب پیش‌بینی‌های جعبه‌سیاه را تقریب می‌زند) تصور خوبی به ما می‌دهد که مدل تفسیرپذیر در توضیح پیش‌بینی‌های جعبه‌سیاه در همسایگی نمونهٔ مورد نظر چقدر قابل اعتماد است.

LIME در Python (کتابخانهٔ lime) و R (بستهٔ lime و بستهٔ iml) پیاده‌سازی شده و بسیار آسان است.

توضیحاتی که با مدل‌های جانشین محلی ساخته می‌شوند می‌توانند از ویژگی‌های (تفسیرپذیر) دیگری غیر از آنچه مدل اصلی روی آن‌ها آموزش دیده استفاده کنند. البته این ویژگی‌های تفسیرپذیر باید از نمونه‌های داده مشتق شوند. یک دسته‌بند متن می‌تواند به بردارنمایی‌های انتزاعی کلمه به‌عنوان ویژگی تکیه کند، اما توضیح می‌تواند بر مبنای حضور یا غیاب کلمه‌ها در یک جمله باشد. یک مدل رگرسیون می‌تواند به یک تبدیل غیرتفسیرپذیر از برخی ویژگی‌ها تکیه کند، اما توضیحات را می‌توان با ویژگی‌های اصلی ساخت. برای مثال، مدل رگرسیون می‌تواند روی مؤلفه‌های یک تحلیل مؤلفه‌های اصلی (PCA) از پاسخ‌های یک نظرسنجی آموزش دیده باشد، اما LIME ممکن است روی سؤال‌های اصلی نظرسنجی آموزش ببیند. استفاده از ویژگی‌های تفسیرپذیر برای LIME می‌تواند مزیت بزرگی نسبت به روش‌های دیگر باشد، به‌ویژه وقتی مدل با ویژگی‌های غیرتفسیرپذیر آموزش دیده باشد.

محدودیت‌ها

انتخاب همسایگی یک مسئلهٔ حل‌نشده است هنگامی که LIME با داده جدولی به کار می‌رود. به نظر من، این بزرگ‌ترین مشکل LIME است و دلیلی است که توصیه می‌کنم LIME را فقط با احتیاط فراوان به کار ببرید. برای هر کاربرد، باید تنظیمات مختلف کرنل را امتحان کنید و خودتان ببینید آیا توضیحات معنادار هستند یا نه. متأسفانه، این بهترین توصیه‌ای است که می‌توانم برای یافتن پهنای کرنل مناسب ارائه کنم.

نمونه‌گیری در پیاده‌سازی فعلی LIME می‌تواند بهبود یابد. نقاط داده از یک توزیع گاوسی نمونه‌گیری می‌شوند و همبستگی بین ویژگی‌ها نادیده گرفته می‌شود. این می‌تواند به نقاط داده‌ای بی‌احتمال منجر شود، که سپس ممکن است برای آموزش مدل‌های توضیح محلی استفاده شوند.

پیچیدگی مدل توضیح‌دهنده باید از پیش تعریف شود. این فقط یک شکایت کوچک است، چون در نهایت کاربر همیشه باید توازن میان وفاداری و تُنکی (sparsity) را تعیین کند.

مشکل واقعاً بزرگ دیگر ناپایداری توضیحات است. در مقاله‌ای (Alvarez-Melis و Jaakkola، ۲۰۱۸)، نویسندگان نشان دادند که در یک محیط شبیه‌سازی‌شده، توضیحات دو نقطهٔ بسیار نزدیک به هم تفاوت زیادی داشتند. همچنین، طبق تجربهٔ من، اگر فرایند نمونه‌گیری را تکرار کنید، توضیحاتی که بیرون می‌آیند می‌توانند متفاوت باشند. ناپایداری یعنی اعتماد به توضیحات دشوار است و باید بسیار انتقادی باشید.

توضیحات LIME را می‌توان توسط دانشمند داده دستکاری کرد تا سوگیری‌ها پنهان شوند (Slack و همکاران، ۲۰۲۰). امکان دستکاری، اعتماد به توضیحات تولیدشده با LIME را دشوارتر می‌کند.

نتیجه‌گیری: مدل‌های جانشین محلی، با LIME به‌عنوان یک پیاده‌سازی مشخص، بسیار امیدبخش هستند. اما این روش هنوز در مرحلهٔ توسعه است و پیش از آنکه بتوان آن را با اطمینان به کار برد، بسیاری از مشکلات باید حل شوند.

برای درک بهتر (توضیح مترجم): ناپایداری یعنی دو اجرای LIME روی همان نمونه ممکن است توضیح‌های متفاوتی بدهند، چون نمونه‌گیری تصادفی است. اگر LIME را دو بار روی یک نمونه اجرا کنید و یک بار «channel» با وزن ۶٫۲ و بار دیگر «visit» با وزن ۳ ویژگی مهم گزارش شود، نمی‌توان به یک توضیح تکیه کرد. راه عملی (پیشنهاد مترجم، نه از متن کتاب): چند بار با بذرهای تصادفی مختلف اجرا کنید و فقط ویژگی‌هایی را معتبر بدانید که در اجراهای مختلف تکرار می‌شوند. (اعداد فرضی‌اند و در کتاب وجود ندارند.)

نرم‌افزار

پیاده‌سازی اصلی Python در بستهٔ lime قرار دارد. پیاده‌سازی‌های دیگر Python را می‌توانید در PiML و eli5 بیابید. در R می‌توانید از iml یا DALEX استفاده کنید.

فصل ۱۵: توضیحات خلاف واقع

عنوان اصلی: Counterfactual Explanations
منبع: https://christophm.github.io/interpretable-ml-book/counterfactual.html
نویسنده: Christoph Molnar
مترجم: مریم محمودی


نویسندگان: Susanne Dandl و Christoph Molnar

توضیح خلاف واقع (counterfactual explanation) یک وضعیت علّی را به این شکل بیان می‌کند: «اگر X رخ نداده بود، Y هم رخ نمی‌داد.» برای مثال: «اگر یک جرعه از این قهوهٔ داغ را نمی‌نوشیدم، زبانم نمی‌سوخت.» رویداد Y این است که زبانم سوخته است؛ علت X این است که قهوهٔ داغ نوشیده‌ام. تفکر خلاف واقع مستلزم تصور یک واقعیت فرضی است که با حقایق مشاهده‌شده در تضاد است (برای مثال، دنیایی که در آن قهوهٔ داغ ننوشیده‌ام)؛ از همین رو «خلاف واقع» نامیده می‌شود. توانایی تفکر خلاف واقع است که ما انسان‌ها را در مقایسه با جانوران دیگر بسیار باهوش می‌کند.

توضیح مترجم: در این فصل «توضیح خلاف واقع» معادل counterfactual explanation است. «خلاف واقع» یعنی وضعیتی که در واقعیت رخ نداده، ولی می‌پرسیم «اگر رخ داده بود چه می‌شد؟». مثال ساده‌تر برای حالت یادگیری ماشین: «اگر درآمد من ۱۰ میلیون بیشتر بود، وامم تأیید می‌شد.» این جمله هم یک واقعیت (درآمد کنونی) و هم یک جهان فرضی (درآمد بیشتر) دارد.

در یادگیری ماشین تفسیرپذیر، توضیحات خلاف واقع را می‌توان برای توضیح پیش‌بینی‌های نمونه‌های منفرد به کار برد.1 اگر آن را به‌صورت یک گراف نمایش دهیم (شکل ۱۵.۱)، رابطهٔ میان ورودی‌ها و پیش‌بینی بسیار ساده است: مقادیر ویژگی‌ها پیش‌بینی را ایجاد می‌کنند. حتی اگر در واقعیت رابطهٔ میان ورودی‌ها و پیامدی که باید پیش‌بینی شود علّی نباشد، می‌توانیم ورودی‌های یک مدل را علت پیش‌بینی بدانیم.

شکل ۱۵.۱: روابط علّی میان ورودی‌های یک مدل یادگیری ماشین و پیش‌بینی‌ها، وقتی مدل صرفاً یک جعبه‌سیاه در نظر گرفته می‌شود. ورودی‌ها پیش‌بینی را ایجاد می‌کنند (این لزوماً بازتاب‌دهندهٔ رابطهٔ علّی واقعیِ داده‌ها نیست).

توضیح مترجم (متن داخل تصویر): تصویر یک گراف جهت‌دار است. گره‌های بالایی با برچسب‌های x1، x2، x3 و «…» ویژگی‌های ورودی را نشان می‌دهند (نقطه‌چین یعنی ویژگی‌های دیگر) و گرهٔ پایینی با برچسب prediction = «پیش‌بینی» است. فلش‌ها از هر ویژگی به پیش‌بینی می‌رسند. نام‌های x1 تا x3 نماد ریاضی‌اند و ترجمه نمی‌شوند.

با توجه به این گراف ساده، به‌آسانی می‌توان دید که چگونه می‌توانیم حالت‌های خلاف واقع را برای پیش‌بینی‌های مدل‌های یادگیری ماشین شبیه‌سازی کنیم: کافی است پیش از انجام پیش‌بینی، مقادیر ویژگی‌های یک نمونه را تغییر دهیم و تحلیل کنیم که پیش‌بینی چگونه تغییر می‌کند. ما به سناریوهایی علاقه‌مندیم که در آن‌ها پیش‌بینی به شیوه‌ای معنادار تغییر می‌کند، مانند وارونه شدن کلاس پیش‌بینی‌شده (برای مثال، پذیرفته یا رد شدن درخواست اعتبار)، یا سناریوهایی که در آن‌ها پیش‌بینی به آستانه‌ای مشخص می‌رسد (برای مثال، احتمال سرطان به ۱۰٪ می‌رسد). توضیح خلاف واقع برای یک پیش‌بینی، کوچک‌ترین تغییر در مقادیر ویژگی‌ها را توصیف می‌کند که پیش‌بینی را به یک خروجی از پیش تعیین‌شده تغییر می‌دهد.

هم روش‌های توضیح خلاف واقعِ مستقل از مدل (model-agnostic) و هم روش‌های وابسته به مدل (model-specific) وجود دارند، اما در این فصل بر روش‌های مستقل از مدل تمرکز می‌کنیم که فقط با ورودی‌ها و خروجی‌های مدل کار می‌کنند (و نه با ساختار درونی مدل‌های خاص).

پیش از بحث دربارهٔ چگونگی ساخت توضیحات خلاف واقع، می‌خواهم چند مورد استفاده از آن‌ها و ویژگی‌های یک توضیح خلاف واقع خوب را مطرح کنم.

در این مثال نخست، پیتر برای وام درخواست می‌دهد و نرم‌افزار بانکیِ مبتنی بر یادگیری ماشین درخواستش را رد می‌کند. او می‌خواهد بداند چرا درخواستش رد شده و چگونه می‌تواند شانس خود را برای دریافت وام افزایش دهد. پرسش «چرا» را می‌توان به‌شکل یک توضیح خلاف واقع صورت‌بندی کرد: کوچک‌ترین تغییر در ویژگی‌ها (درآمد، تعداد کارت‌های اعتباری، سن، …) که پیش‌بینی را از «رد شده» به «تأیید شده» تغییر دهد چیست؟ یک پاسخ ممکن این است: اگر پیتر سالانه ۱۰٬۰۰۰ بیشتر درآمد داشت، وام را می‌گرفت. یا اگر پیتر کارت‌های اعتباری کمتری داشت و پنج سال پیش وامی را نکول نکرده بود (default)، وام را می‌گرفت. پیتر هرگز دلایل رد درخواستش را نخواهد فهمید، چون بانک علاقه‌ای به شفافیت ندارد؛ اما آن داستان دیگری است.

در مثال دوم، می‌خواهیم مدلی را که یک پیامد پیوسته را پیش‌بینی می‌کند با توضیحات خلاف واقع توضیح دهیم. آنا می‌خواهد آپارتمانش را اجاره بدهد، اما مطمئن نیست چقدر اجاره بگیرد؛ بنابراین تصمیم می‌گیرد یک مدل یادگیری ماشین برای پیش‌بینی اجاره‌بها آموزش دهد. البته چون آنا دانشمند داده است، مسائلش را این‌گونه حل می‌کند. پس از وارد کردن همهٔ جزئیات دربارهٔ متراژ، موقعیت مکانی، مجاز بودن حیوان خانگی و مانند آن، مدل به او می‌گوید می‌تواند ۹۰۰ یورو اجاره بگیرد. او انتظار ۱۰۰۰ یورو یا بیشتر داشت، اما به مدلش اعتماد دارد و تصمیم می‌گیرد با مقادیر ویژگی‌های آپارتمان بازی کند تا ببیند چگونه می‌تواند ارزش آپارتمان را بهبود دهد. او درمی‌یابد که اگر آپارتمان ۱۵ m² بزرگ‌تر بود، می‌شد آن را بیش از ۱۰۰۰ یورو اجاره داد. جالب است، اما دانشی غیرقابل اجراست، چون او نمی‌تواند آپارتمانش را بزرگ‌تر کند. سرانجام، با دست‌کاری فقط ویژگی‌هایی که در اختیار خودش است (آشپزخانهٔ توکار دارد/ندارد، حیوان خانگی مجاز است/نیست، نوع کف و غیره)، متوجه می‌شود که اگر اجازهٔ نگهداری حیوان خانگی را بدهد و پنجره‌هایی با عایق بهتر نصب کند، می‌تواند ۱۰۰۰ یورو اجاره بگیرد. آنا به‌طور شهودی با توضیحات خلاف واقع کار کرده است تا پیامد را تغییر دهد. توجه کنید که آنا با مدل پیش‌بینی اجاره‌بها کار کرد و لزوماً به این موضوع علاقه‌مند نبود که آیا این عوامل در «دنیای واقعی» واقعاً علت اجارهٔ بالاتر هستند یا نه.

⚠️ هشدار

به‌طور پیش‌فرض، توضیحات خلاف واقع (به‌عنوان یک روش IML) به‌تنهایی از ادعاهای علّی دربارهٔ دنیای واقعی پشتیبانی نمی‌کنند. برای این کار به یک مدل علّی نیاز است.

توضیح مترجم: تفاوت «علّی بودن در مدل» و «علّی بودن در دنیای واقعی» مهم است: اگر مدل اجاره‌بها یاد گرفته باشد که «پذیرش حیوان خانگی ⇒ اجارهٔ بالاتر»، این فقط رفتار مدل است؛ ممکن است این الگو در داده‌ها فقط همبستگی باشد (مثلاً آپارتمان‌های لوکس بیشتر حیوان خانگی می‌پذیرند). بنابراین توضیح خلاف واقع می‌گوید «مدل چه پیش‌بینی می‌کند»، نه «واقعیت چه می‌شود».

توضیحات خلاف واقع توضیحات دوستانه برای انسان هستند، زیرا نسبت به نمونهٔ کنونی تقابلی (contrastive) و گزینشی (selective) هستند؛ یعنی معمولاً بر تعداد کمی از تغییرهای ویژگی‌ها تمرکز می‌کنند. اما توضیحات خلاف واقع از «اثر راشومون» (Rashomon effect) رنج می‌برند. راشومون فیلمی ژاپنی است که در آن قتل یک سامورایی از زبان افراد مختلف روایت می‌شود. هر یک از روایت‌ها پیامد را به یک اندازه خوب توضیح می‌دهد، اما روایت‌ها با یکدیگر در تضادند. همین اتفاق می‌تواند برای توضیحات خلاف واقع نیز رخ دهد، چون معمولاً چندین توضیح خلاف واقعِ متفاوت وجود دارد. هر توضیح خلاف واقع «داستان» متفاوتی از چگونگی رسیدن به یک پیامد مشخص روایت می‌کند. یک توضیح خلاف واقع ممکن است بگوید ویژگی A را تغییر بده، توضیح دیگر ممکن است بگوید A را ثابت نگه دار اما ویژگی B را تغییر بده، که یک تناقض است. این مسئلهٔ چند حقیقتی را می‌توان یا با گزارش همهٔ توضیحات خلاف واقع حل کرد، یا با داشتن معیاری برای ارزیابی توضیحات خلاف واقع و انتخاب بهترین آن‌ها.

توضیح مترجم: «تقابلی» یعنی توضیح به‌جای پاسخ به «چرا این پیش‌بینی؟»، به «چرا این پیش‌بینی و نه پیش‌بینی دیگر؟» پاسخ می‌دهد؛ و «گزینشی» یعنی از میان همهٔ ویژگی‌ها فقط چند عامل مهم را برمی‌گزیند. این دو ویژگی در بخش «توضیحات دوستانه برای انسان» فصل تفسیرپذیری آمده‌اند. «اثر راشومون» در کتاب به همین معناست که چند توضیح هم‌اندازه خوب ولی ناسازگار با هم وجود دارد.

حال که از معیارها سخن گفتیم، یک توضیح خلاف واقع خوب را چگونه تعریف کنیم؟ نخست، کاربرِ توضیح خلاف واقع تغییری معنادار در پیش‌بینیِ یک نمونه (واقعیت جایگزین) را تعریف می‌کند. نخستین الزام بدیهی این است که یک نمونهٔ خلاف واقع باید پیش‌بینیِ از پیش تعیین‌شده را تا حد امکان دقیق تولید کند. همیشه نمی‌توان توضیح خلاف واقعی با پیش‌بینیِ از پیش تعیین‌شده یافت. برای مثال، در یک مسئلهٔ دسته‌بندی با دو کلاس، یک کلاس نادر و یک کلاس پرتکرار، ممکن است مدل همیشه یک نمونه را در کلاس پرتکرار دسته‌بندی کند. تغییر مقادیر ویژگی‌ها به‌گونه‌ای که برچسب پیش‌بینی‌شده از کلاس پرتکرار به کلاس نادر وارونه شود ممکن است ناممکن باشد. بنابراین می‌خواهیم این الزام را که پیش‌بینیِ توضیح خلاف واقع باید دقیقاً با پیامد از پیش تعیین‌شده برابر باشد، تعدیل کنیم. در مثال دسته‌بندی، می‌توانیم به‌دنبال توضیح خلاف واقعی باشیم که در آن احتمال پیش‌بینی‌شدهٔ کلاس نادر به‌جای ۲٪ کنونی به ۱۰٪ افزایش یابد. پرسش آن‌گاه این است که حداقل تغییرها در ویژگی‌ها چیست تا احتمال پیش‌بینی‌شده از ۲٪ به ۱۰٪ (یا نزدیک به ۱۰٪) تغییر کند؟

💡 از احتمال‌ها استفاده کنید

برای مسائل دسته‌بندی، بهتر است توضیح خلاف واقع بر حسب احتمال‌های پیش‌بینی‌شده تعریف شود، نه پیامدهای کلاسی.

معیار کیفی دیگر این است که یک توضیح خلاف واقع از نظر مقادیر ویژگی‌ها باید تا حد امکان به نمونه شبیه باشد. فاصلهٔ میان دو نمونه را می‌توان، برای مثال، با فاصلهٔ منهتن (Manhattan distance) یا، در صورتی که هم ویژگی‌های گسسته و هم پیوسته داشته باشیم، با فاصلهٔ گاور (Gower distance) اندازه گرفت. توضیح خلاف واقع نه‌تنها باید به نمونهٔ اصلی نزدیک باشد، بلکه باید تا حد امکان ویژگی‌های کمتری را تغییر دهد. برای سنجش اینکه یک توضیح خلاف واقع در این معیار چقدر خوب است، می‌توانیم به‌سادگی تعداد ویژگی‌های تغییریافته را بشماریم یا، به زبان پیچیدهٔ ریاضی، نرم $L_0$ میان توضیح خلاف واقع و نمونهٔ واقعی را اندازه بگیریم.

سوم اینکه، اغلب مطلوب است که چند توضیح خلاف واقعِ متنوع تولید شود تا فردِ موضوع تصمیم (decision subject) به چند راه عملی برای ایجاد پیامدی متفاوت دسترسی پیدا کند. برای مثال، با ادامهٔ مثال وام، یک توضیح خلاف واقع ممکن است فقط دو برابر شدن درآمد را برای دریافت وام پیشنهاد کند، در حالی که توضیح خلاف واقع دیگری ممکن است نقل مکان به شهری نزدیک و افزایش اندکی در درآمد را برای دریافت وام پیشنهاد کند. می‌توان گفت در حالی که توضیح اول ممکن است برای برخی افراد شدنی باشد، توضیح دوم ممکن است برای دیگران عملی‌تر باشد. بنابراین، افزون بر اینکه تنوع راه‌های گوناگون رسیدن به پیامد دلخواه را در اختیار فردِ موضوع تصمیم می‌گذارد، به افراد «متنوع» نیز امکان می‌دهد ویژگی‌هایی را تغییر دهند که برایشان مناسب است.

آخرین الزام این است که یک نمونهٔ خلاف واقع باید مقادیر ویژگیِ محتمل داشته باشد. معنا ندارد برای مثال اجاره‌بها توضیحی خلاف واقع تولید شود که در آن متراژ آپارتمان منفی باشد یا تعداد اتاق‌ها ۲۰۰ تعیین شده باشد. حتی بهتر است توضیح خلاف واقع بر اساس توزیع توأم داده‌ها محتمل باشد؛ برای مثال، آپارتمانی با ۱۰ اتاق و ۲۰ m² نباید توضیح خلاف واقع به حساب بیاید. در حالت ایده‌آل، اگر تعداد متر مربع افزایش می‌یابد، افزایش تعداد اتاق‌ها نیز باید پیشنهاد شود.

توضیح مترجم: متن اصلی در این بخش پنج خواسته را مطرح می‌کند: (الف) نزدیکی پیش‌بینی به پیامد مطلوب، (ب) شباهت به نمونهٔ اصلی، (پ) تغییر دادن کمترین تعداد ویژگی (تنک بودن)، (ت) تنوع میان چند توضیح، و (ث) محتمل بودن مقادیر ویژگی. خود کتاب در ادامه از «چهار معیار» سخن می‌گوید و، برای نمونه، دربارهٔ روش Wachter می‌نویسد که معیارهای «اول و دوم» را در نظر می‌گیرد و «دو معیار آخر» (تغییرهای کم و مقادیر محتمل) را نه؛ و چهار هدف روش Dandl با (الف)، (ب)، (پ) و (ث) متناظرند. این شمارش در منبع کاملاً یکدست نیست و در ترجمه همان‌طور حفظ شده است.

تولید توضیحات خلاف واقع

یک رویکرد ساده و ساده‌لوحانه برای تولید توضیحات خلاف واقع، جست‌وجو به روش آزمون و خطاست. این رویکرد شامل تغییر تصادفی مقادیر ویژگی‌های نمونهٔ مورد نظر و توقف در لحظه‌ای است که خروجی مطلوب پیش‌بینی شود. مانند مثالی که آنا سعی کرد نسخه‌ای از آپارتمانش را بیابد که بتواند برایش اجارهٔ بیشتری بگیرد. اما رویکردهایی بهتر از آزمون و خطا وجود دارد. نخست، یک تابع زیان (loss function) بر پایهٔ معیارهای بالا تعریف می‌کنیم. این زیان، نمونهٔ مورد نظر، یک توضیح خلاف واقع و پیامد (خلاف واقع)ِ مطلوب را به‌عنوان ورودی می‌گیرد. سپس می‌توانیم با یک الگوریتم بهینه‌سازی، توضیح خلاف واقعی را بیابیم که این زیان را کمینه می‌کند. بسیاری از روش‌ها به همین شیوه عمل می‌کنند، اما در تعریف تابع زیان و روش بهینه‌سازی با هم تفاوت دارند.

در ادامه بر دو روش از آن‌ها تمرکز می‌کنیم: نخست روش Wachter و همکاران (۲۰۱۸) که توضیح خلاف واقع را به‌عنوان یک روش تفسیر معرفی کردند، و دوم روش Dandl و همکاران (۲۰۲۰) که هر چهار معیار بالا را در نظر می‌گیرد.

روش Wachter و همکاران

Wachter و همکاران پیشنهاد می‌کنند زیان زیر کمینه شود:

$$L(\mathbf{x}, \mathbf{x}^{\prime}, y^{\prime}, \lambda) = \lambda \cdot (\hat{f}(\mathbf{x}^{\prime}) - y^{\prime})^2 + d(\mathbf{x}, \mathbf{x}^{\prime})$$

جملهٔ اول، فاصلهٔ درجه دو میان پیش‌بینی مدل برای توضیح خلاف واقع $\mathbf{x}^{\prime}$ و پیامد مطلوب $y^{\prime}$ است که کاربر باید از پیش آن را تعریف کند. جملهٔ دوم، فاصلهٔ $d$ میان نمونه‌ای است که باید توضیح داده شود، $\mathbf{x}$، و توضیح خلاف واقع $\mathbf{x}^{\prime}$. این زیان اندازه می‌گیرد که پیامد پیش‌بینی‌شدهٔ توضیح خلاف واقع چقدر از پیامد از پیش تعیین‌شده دور است و توضیح خلاف واقع چقدر از نمونهٔ مورد نظر فاصله دارد. تابع فاصلهٔ $d$ به‌صورت فاصلهٔ منهتنِ وزن‌دار با وارون انحراف مطلق میانه (MAD: median absolute deviation) هر ویژگی تعریف می‌شود.

$$d(x,x^\prime)=\sum_{j=1}^p\frac{|x_j-x^\prime_j|}{MAD_j}$$

فاصلهٔ کل، مجموع همهٔ $p$ فاصلهٔ ویژگی‌به‌ویژگی است، یعنی تفاضل‌های مطلق مقادیر ویژگی میان نمونهٔ $\mathbf{x}$ و توضیح خلاف واقع $\mathbf{x}’$. فاصله‌های ویژگی‌به‌ویژگی با وارون انحراف مطلق میانهٔ ویژگی $j$ روی مجموعه داده مقیاس‌بندی می‌شوند که به‌صورت زیر تعریف می‌شود:

$$MAD_j = \text{median}_{i \in {1, \ldots, n}} \left( |x^{(i)}_j - \text{median}_{l \in {1, \ldots, n}}(x^{(l)}_j)| \right)$$

میانهٔ یک بردار مقداری است که نیمی از مقادیر بردار از آن بزرگ‌تر و نیم دیگر از آن کوچک‌ترند. MAD معادل واریانس یک ویژگی است، اما به‌جای استفاده از میانگین به‌عنوان مرکز و جمع روی فاصله‌های مجذور، از میانه به‌عنوان مرکز و جمع روی فاصله‌های مطلق استفاده می‌کنیم. تابع فاصلهٔ پیشنهادی نسبت به فاصلهٔ اقلیدسی این مزیت را دارد که نسبت به داده‌های پرت مقاوم‌تر است. مقیاس‌بندی با MAD لازم است تا همهٔ ویژگی‌ها به یک مقیاس برسند – نباید فرق کند که اندازهٔ یک آپارتمان را به متر مربع می‌سنجید یا به فوت مربع.

توضیح مترجم: در این فصل «زیان» (loss) معادل تابعی است که باید کمینه شود. در فرمول بالا نماد $\mathbf{x}^{\prime}$ (x پرایم) توضیح خلاف واقع است، $y^{\prime}$ پیامد مطلوب و $\hat{f}$ مدل یادگیری ماشین. فاصلهٔ منهتن یعنی جمع قدرمطلق تفاضل‌ها (مجموع «قدم‌ها» در یک شبکهٔ شهری)، که برخلاف فاصلهٔ اقلیدسی تفاضل‌ها را مجذور نمی‌کند و به همین دلیل یک اختلاف بسیار بزرگ، کل فاصله را بیش از حد بزرگ نمی‌کند.

برای درک بهتر (توضیح مترجم): فرض کنید ویژگی «متراژ» در داده‌ها مقادیر ۴۰، ۵۰، ۶۰، ۷۰ و ۱۲۰ دارد. میانهٔ آن ۶۰ است. قدرمطلق فاصله‌ها از ۶۰ می‌شود ۲۰، ۱۰، ۰، ۱۰ و ۶۰ که میانهٔ آن‌ها $MAD=10$ است. حالا اگر توضیح خلاف واقع متراژ را ۱۵ واحد تغییر دهد، فاصلهٔ این ویژگی $15/10=1.5$ می‌شود. به همین ترتیب، ویژگی‌ای که MAD آن ۱ است و ۱ واحد تغییر می‌کند فاصلهٔ ۱ دارد؛ یعنی مقیاس ویژگی‌ها یکسان شده است. (مثال عددی فرضی است و در کتاب وجود ندارد.)

پارامتر $\lambda$ فاصله در پیش‌بینی (جملهٔ اول) را با فاصله در مقادیر ویژگی (جملهٔ دوم) متعادل می‌کند. زیان برای یک $\lambda$ مشخص حل می‌شود و یک توضیح خلاف واقع $\mathbf{x}^{\prime}$ برمی‌گرداند. مقدار بزرگ‌تر $\lambda$ یعنی توضیحات خلاف واقعی را ترجیح می‌دهیم که پیش‌بینی‌شان به پیامد مطلوب $y^{\prime}$ نزدیک است، در حالی که مقدار کوچک‌تر یعنی توضیحات خلاف واقع $\mathbf{x}^{\prime}$ را ترجیح می‌دهیم که از نظر مقادیر ویژگی به $\mathbf{x}$ بسیار شبیه‌اند. اگر $\lambda$ بسیار بزرگ باشد، نمونه‌ای انتخاب می‌شود که پیش‌بینی‌اش به $y^{\prime}$ نزدیک‌تر از همه است، صرف‌نظر از اینکه چقدر از $\mathbf{x}$ دور باشد. در نهایت، کاربر باید تصمیم بگیرد چگونه میان این الزام که پیش‌بینیِ توضیح خلاف واقع با پیامد مطلوب برابر باشد و این الزام که توضیح خلاف واقع به $\mathbf{x}$ شبیه باشد، توازن برقرار کند. نویسندگان این روش پیشنهاد می‌کنند به‌جای انتخاب مقداری برای $\lambda$، تحملی (tolerance) مانند $\epsilon$ انتخاب شود که مشخص می‌کند پیش‌بینی نمونهٔ خلاف واقع مجاز است تا چه اندازه از $y^{\prime}$ دور باشد. این قید را می‌توان این‌گونه نوشت:

$$|\hat{f}(\mathbf{x}^{\prime}) - y^{\prime}| \leq \epsilon$$

برای کمینه کردن این تابع زیان، می‌توان از هر الگوریتم بهینه‌سازی مناسبی مانند Nelder-Mead استفاده کرد. اگر به گرادیان‌های مدل یادگیری ماشین دسترسی داشته باشید، می‌توانید از روش‌های مبتنی بر گرادیان مانند ADAM استفاده کنید. نمونهٔ $\mathbf{x}$ که باید توضیح داده شود، خروجی مطلوب $y^{\prime}$ و پارامتر تحمل $\epsilon$ باید از پیش تعیین شوند. تابع زیان نسبت به $\mathbf{x}^{\prime}$ کمینه می‌شود و توضیح خلاف واقعِ (به‌طور محلی) بهینهٔ $\mathbf{x}^{\prime}$ بازگردانده می‌شود، در حالی که $\lambda$ افزایش می‌یابد تا زمانی که جواب به‌قدر کافی نزدیک پیدا شود (= در محدودهٔ پارامتر تحمل):

$$\arg\min_{\mathbf{x}^{\prime}} \max_{\lambda} L(\mathbf{x}, \mathbf{x}^{\prime}, y^{\prime}, \lambda).$$

توضیح مترجم: Nelder-Mead روشی بهینه‌سازی است که به گرادیان نیاز ندارد و فقط با مقدار تابع کار می‌کند؛ ADAM روشی مبتنی بر گرادیان است. چون در این فصل مدل «جعبه‌سیاه» فرض می‌شود و معمولاً گرادیان در دسترس نیست، روش‌های بدون گرادیان اهمیت دارند.

در مجموع، دستورالعمل تولید توضیحات خلاف واقع ساده است:

  1. نمونهٔ $\mathbf{x}$ که باید توضیح داده شود، پیامد مطلوب $y^{\prime}$، تحمل $\epsilon$ و یک مقدار اولیهٔ (پایین) برای $\lambda$ را انتخاب کنید.
  2. یک نمونهٔ تصادفی را به‌عنوان توضیح خلاف واقع اولیه نمونه‌برداری کنید.
  3. زیان را با نقطهٔ شروع، همان توضیح خلاف واقعِ نمونه‌برداری‌شدهٔ اولیه، بهینه کنید.
  4. تا زمانی که $|\hat{f}(\mathbf{x}^{\prime}) - y^{\prime}| > \epsilon$:
    • $\lambda$ را افزایش دهید.
    • زیان را با نقطهٔ شروع، توضیح خلاف واقع فعلی، بهینه کنید.
    • توضیح خلاف واقعی را که زیان را کمینه می‌کند برگردانید.
  5. گام‌های ۲ تا ۴ را تکرار کنید و فهرست توضیحات خلاف واقع را یا آن یکی را که زیان را کمینه می‌کند برگردانید.

روش پیشنهادی چند عیب دارد. این روش فقط معیارهای اول و دوم را در نظر می‌گیرد، نه دو معیار آخر («تولید توضیحات خلاف واقع با تغییر تنها چند ویژگی و مقادیر ویژگیِ محتمل») را. $d$ جواب‌های تنک را ترجیح نمی‌دهد، چون افزایش ۱۰ ویژگی به اندازهٔ ۱ همان فاصله‌ای را از $\mathbf{x}$ می‌دهد که افزایش یک ویژگی به اندازهٔ ۱۰. ترکیب‌های ویژگیِ غیرواقع‌گرایانه جریمه نمی‌شوند.

این روش ویژگی‌های دسته‌ای (categorical) با سطوح متفاوت زیاد را به‌خوبی مدیریت نمی‌کند. نویسندگان روش پیشنهاد کرده‌اند روش را برای هر ترکیبی از مقادیر ویژگی‌های دسته‌ای جداگانه اجرا کنیم، اما اگر چند ویژگی دسته‌ای با مقادیر بسیار داشته باشید، این به انفجار ترکیبی می‌انجامد. برای مثال، شش ویژگی دسته‌ای با ده سطح یکتا به معنای یک میلیون اجرا خواهد بود.

اکنون به رویکرد دیگری نگاه می‌کنیم که بر این مشکلات غلبه می‌کند.

روش Dandl و همکاران

Dandl و همکاران پیشنهاد می‌کنند یک زیان چهارهدفه به‌طور هم‌زمان کمینه شود:

$$L(\mathbf{x},\mathbf{x’},y’,\mathbf{X}^{\text{obs}})=\big(o_1(\hat{f}(\mathbf{x’}),y’),o_2(\mathbf{x}, \mathbf{x’}),o_3(\mathbf{x},\mathbf{x’}),o_4(\mathbf{x’},\mathbf{X}^{\text{obs}})\big) $$

هر یک از چهار هدف $o_1$ تا $o_4$ با یکی از چهار معیار بالا متناظر است. هدف اول $o_1$ بازتاب می‌دهد که پیش‌بینیِ توضیح خلاف واقع ما $\mathbf{x’}$ باید تا حد امکان به پیش‌بینی مطلوب ما $y’$ نزدیک باشد. بنابراین می‌خواهیم فاصلهٔ میان $\hat{f}(\mathbf{x’})$ و $y’$ را کمینه کنیم، که در اینجا با متریک منهتن (نرم $L_1$) محاسبه می‌شود:

$$ o_1(\hat{f}(\mathbf{x’}), y’) = \begin{cases} 0 & \text{if } \hat{f}(\mathbf{x’}) \in y’ \\ \inf\limits_{y’ \in y’} \left| \hat{f}(\mathbf{x’}) - y’ \right| & \text{else} \end{cases} $$

توضیح مترجم: در فرمول بالا $y’$ یک مجموعهٔ پیامدهای مطلوب است (مثلاً بازهٔ «احتمال بیش از ۵۰٪»)، نه الزاماً یک عدد. اگر پیش‌بینی درون این مجموعه باشد، هدف $o_1$ صفر است؛ وگرنه برابر است با فاصلهٔ پیش‌بینی تا نزدیک‌ترین عضو مجموعه ($\inf$ یعنی کوچک‌ترین مقدار ممکن). نماد $y’$ در متن اصلی هم برای مجموعه و هم برای عضو آن به کار رفته است (در عبارت $\inf_{y’ \in y’}$) که یک ابهام نمادگذاری در خود منبع است و عیناً حفظ شد.

هدف دوم $o_2$ بازتاب می‌دهد که توضیح خلاف واقع ما باید تا حد امکان به نمونهٔ $\mathbf{x}$ ما شبیه باشد. این هدف فاصلهٔ میان $\mathbf{x’}$ و $\mathbf{x}$ را به‌صورت فاصلهٔ گاور (Gower distance) می‌سنجد:

$$o_2(\mathbf{x},\mathbf{x’})=\frac{1}{p}\sum_{j=1}^{p}\delta_G(x_j, x’_j)$$

که در آن $p$ تعداد ویژگی‌هاست. مقدار $\delta_G$ به نوع ویژگیِ $x_j$ بستگی دارد:

$$ \delta_G(x_j, x’_j) = \begin{cases} \frac{1}{\widehat{R}_j} |x_j - x’_j| & \text{if } x_j \text{ numerical} \\ \mathbb{I}_{x_j \neq x’_j} & \text{if } x_j \text{ categorical} \end{cases} $$

تقسیم فاصلهٔ یک ویژگی عددی $j$ بر $\widehat{R}_j$، یعنی دامنهٔ مشاهده‌شده (observed value range)، مقدار $\delta_G$ را برای همهٔ ویژگی‌ها بین ۰ و ۱ مقیاس‌بندی می‌کند.

توضیح مترجم: numerical = عددی (پیوسته)، categorical = دسته‌ای (گسسته). $\mathbb{I}$ تابع نشانگر است: اگر مقدار دسته‌ای تغییر کرده باشد ۱ و اگر تغییر نکرده باشد ۰ می‌دهد. $\widehat{R}_j$ برابر است با بزرگ‌ترین منهای کوچک‌ترین مقدار مشاهده‌شدهٔ ویژگی $j$ در داده.

برای درک بهتر (توضیح مترجم): فرض کنید سه ویژگی داریم: سن (دامنهٔ مشاهده‌شده ۵۰ سال)، مدت وام (دامنه ۶۰ ماه) و شغل (دسته‌ای). اگر یک توضیح خلاف واقع سن را ۱۰ سال کم کند، مدت را ۳۰ ماه کم کند و شغل را تغییر ندهد، آنگاه $\delta_G$ برای هر ویژگی به ترتیب $10/50=0.2$، $30/60=0.5$ و $0$ است و $o_2=(0.2+0.5+0)/3\approx 0.233$. (مثال عددی فرضی است و در کتاب نیست.)

فاصلهٔ گاور می‌تواند هم ویژگی‌های عددی و هم دسته‌ای را مدیریت کند، اما نمی‌شمارد که چند ویژگی تغییر کرده‌اند. بنابراین، تعداد ویژگی‌ها را در یک هدف سوم $o_3$ با نرم $L_0$ می‌شماریم:

$$o_3(\mathbf{x},\mathbf{x’})=||\mathbf{x}-\mathbf{x’}||_0=\sum_{j=1}^{p}I_{x’_j\neq x_j}.$$

با کمینه کردن $o_3$ معیار سوم خود، یعنی تغییرهای تنک ویژگی‌ها، را دنبال می‌کنیم.

هدف چهارم $o_4$ بازتاب می‌دهد که توضیحات خلاف واقع ما باید ترکیب‌های محتمل از مقادیر ویژگی داشته باشند. می‌توانیم با استفاده از داده‌های آموزشی یا مجموعه داده‌ای دیگر استنباط کنیم یک نقطهٔ داده چقدر «محتمل» است. این مجموعه داده را با $\mathbf{X}^{\text{obs}}$ نشان می‌دهیم. به‌عنوان تقریبی برای درست‌نمایی (likelihood)، $o_4$ میانگین فاصلهٔ گاور میان $\mathbf{x’}$ و نزدیک‌ترین نقطهٔ داده‌ٔ مشاهده‌شده $x^{[1]}\in \mathbf{X}^{\text{obs}}$ را اندازه می‌گیرد:

$$o_4(\mathbf{x’},\mathbf{X}^{\text{obs}})=\frac{1}{p}\sum_{j=1}^{p}\delta_G(x’_j,x^{[1]}_j)$$

در مقایسه با Wachter و همکاران، $L(\mathbf{x},\mathbf{x}‘,y’,\mathbf{X}^{\text{obs}})$ هیچ جملهٔ توازن/وزن‌دهی مانند $\lambda$ ندارد. ما نمی‌خواهیم چهار هدف $o_1$، $o_2$، $o_3$ و $o_4$ را با جمع کردن و وزن‌دهی در یک هدف واحد ادغام کنیم، بلکه می‌خواهیم هر چهار جمله را هم‌زمان بهینه کنیم.

چگونه می‌توانیم این کار را انجام دهیم؟ از الگوریتم ژنتیک مرتب‌سازی نامغلوب (Nondominated Sorting Genetic Algorithm) استفاده می‌کنیم (Deb و همکاران، ۲۰۰۲) که به‌اختصار NSGA-II نامیده می‌شود. NSGA-II الگوریتمی برگرفته از طبیعت است که قانون داروین یعنی «بقای اصلح» را به کار می‌گیرد. شایستگی (fitness) یک توضیح خلاف واقع را با بردار مقادیر هدفش $(o_1,o_2,o_3,o_4)$ نشان می‌دهیم. هرچه مقادیر هدف‌ها برای یک توضیح خلاف واقع کمتر باشد، «شایسته‌تر» است.

توضیح مترجم: در متن اصلی «Nondominated» آمده است؛ در این ترجمه «نامغلوب/غیرمغلوب» (در مقابل dominated = مغلوب) به کار رفته است. یک توضیح خلاف واقع وقتی بر دیگری «غلبه» دارد که در هیچ هدفی بدتر و دست‌کم در یک هدف بهتر باشد. توضیحاتی که هیچ‌کدام بر دیگری غلبه ندارند «نامغلوب»اند. در این ترجمه «نامغلوب» یکدست به کار می‌رود.

الگوریتم از چهار گام تشکیل شده است که تا برآورده شدن یک معیار توقف تکرار می‌شوند، برای مثال حداکثر تعداد تکرار/نسل. شکل ۱۵.۲ چهار گام یک نسل را نشان می‌دهد.

شکل ۱۵.۲: نمایش یک نسل از الگوریتم NSGA-II.

توضیح مترجم (متن داخل تصویر): تصویر چهار پنل دارد. عنوان پنل‌ها از چپ به راست: Selection, Recombination, Mutation = انتخاب، ترکیب، جهش؛ Nondominated Sorting Algorithm = الگوریتم مرتب‌سازی نامغلوب؛ Crowding Distance Sorting Algorithm = الگوریتم مرتب‌سازی فاصلهٔ تراکمی؛ Selection = انتخاب. در پنل اول برچسب‌های هر کاندیدا (شکل آدمک) عبارت‌اند از: Income +€30000 = درآمد ۳۰٬۰۰۰ یورو بیشتر؛ No. cards -1 / Income €5000 = تعداد کارت‌ها ۱ کمتر / درآمد ۵٬۰۰۰ یورو؛ No. cards -2 / Income €6000 = تعداد کارت‌ها ۲ کمتر / درآمد ۶٬۰۰۰ یورو؛ Income €23000 = درآمد ۲۳٬۰۰۰ یورو. در پنل دوم، دسته‌هایی از کاندیداها بر اساس رتبهٔ نامغلوبی چیده شده‌اند و دسته‌های دارای علامت ضربدر قرمز کنار گذاشته می‌شوند. در پنل سوم اعداد ۱ تا ۸ رتبهٔ هر کاندیدا بر اساس فاصلهٔ تراکمی‌اند و ضربدر قرمز کاندیداهای حذف‌شده را نشان می‌دهد. پنل آخر مجموعهٔ انتخاب‌شده برای نسل بعد است.

در نسل اول، گروهی از کاندیداهای توضیح خلاف واقع با تغییر تصادفی برخی ویژگی‌ها نسبت به نمونهٔ $\mathbf{x}$ که باید توضیح داده شود مقداردهی اولیه می‌شود. با ادامهٔ مثال اعتباری بالا، یک توضیح خلاف واقع می‌تواند افزایش درآمد به اندازهٔ ۳۰٬۰۰۰ یورو را پیشنهاد کند، در حالی که دیگری پیشنهاد می‌کند در پنج سال گذشته نکول وجود نداشته باشد و سن ده سال کمتر باشد. همهٔ مقادیر ویژگیِ دیگر با مقادیر $\mathbf{x}$ برابرند. سپس هر کاندیدا با چهار تابع هدف بالا ارزیابی می‌شود. از میان آن‌ها، برخی کاندیداها را تصادفی برمی‌گزینیم، به‌طوری که کاندیداهای شایسته‌تر با احتمال بیشتری انتخاب می‌شوند. کاندیداها جفت‌جفت با هم ترکیب می‌شوند تا فرزندانی شبیه به آن‌ها تولید کنند، به این صورت که مقادیر ویژگی‌های عددی‌شان میانگین‌گیری می‌شود یا ویژگی‌های دسته‌ای‌شان با هم آمیخته (crossover) می‌شوند. افزون بر این، مقادیر ویژگیِ فرزندان را اندکی جهش می‌دهیم تا کل فضای ویژگی کاوش شود.

از دو گروه حاصل، یکی والدین و دیگری فرزندان، فقط نیمهٔ بهتر را با دو الگوریتم مرتب‌سازی می‌خواهیم. الگوریتم مرتب‌سازی نامغلوب کاندیداها را بر اساس مقادیر هدفشان مرتب می‌کند. اگر کاندیداها به یک اندازه خوب باشند، الگوریتم مرتب‌سازی فاصلهٔ تراکمی (crowding distance) کاندیداها را بر اساس تنوعشان مرتب می‌کند.

با توجه به رتبه‌بندی دو الگوریتم مرتب‌سازی، نیمهٔ امیدبخش‌ترین و/یا متنوع‌ترین کاندیداها را برمی‌گزینیم. از این مجموعه برای نسل بعد استفاده می‌کنیم و فرایند انتخاب، ترکیب و جهش را دوباره آغاز می‌کنیم. با تکرار پی‌درپی این گام‌ها، امیدواریم به مجموعه‌ای متنوع از کاندیداهای امیدبخش با مقادیر هدف پایین نزدیک شویم. از این مجموعه می‌توانیم آن‌هایی را برگزینیم که از همه بیشتر از آن‌ها راضی هستیم، یا می‌توانیم با برجسته کردن اینکه کدام ویژگی‌ها و چند بار تغییر کرده‌اند، خلاصه‌ای از همهٔ توضیحات خلاف واقع ارائه دهیم.

برای درک بهتر (توضیح مترجم): فرض کنید در نسل اول چهار کاندیدا داریم: A (درآمد +۳۰٬۰۰۰)، B (بدون نکول و سن −۱۰)، C و D. هر کدام چهار مقدار $(o_1,o_2,o_3,o_4)$ دارند. «ترکیب» یعنی ساختن فرزندی از A و B که مثلاً میانگین درآمدشان را و یکی از دو ویژگی دسته‌ایشان را می‌گیرد؛ «جهش» یعنی تغییر کوچکی در همان فرزند (مثلاً ۲۰۰ یورو درآمد بیشتر). سپس والدین و فرزندان با هم مرتب می‌شوند و فقط نیمهٔ بهتر به نسل بعد می‌رسد. (مثال فرضی است و در کتاب نیست.)

مثال

مثال زیر بر پایهٔ مثال مجموعه داده اعتباری در Dandl و همکاران (۲۰۲۰) است. مجموعه داده German Credit Risk را می‌توان در پلتفرم چالش‌های یادگیری ماشین kaggle.com یافت. نویسندگان یک ماشین بردار پشتیبان (با کرنل پایهٔ شعاعی) را برای پیش‌بینی احتمال اینکه یک مشتری ریسک اعتباری خوبی دارد آموزش دادند. مجموعه داده متناظر ۵۲۲ مشاهدهٔ کامل و نه ویژگی دارد که اطلاعات اعتباری و اطلاعات مشتری را شامل می‌شوند.

هدف یافتن توضیحات خلاف واقع برای مشتری‌ای با مقادیر ویژگی جدول ۱۵.۱ است.

جدول ۱۵.۱: مقادیر ویژگیِ یک مشتری مشخص.

agesexjobhousingsavingsamountdur.purpose
58funskilledfreelittle614348car

توضیح مترجم: نام ستون‌ها و مقادیر دسته‌ای جدول عیناً مطابق مجموعه داده به انگلیسی حفظ شده‌اند. معنی: age = سن، sex = جنسیت (f = زن/female، m = مرد/male)، job = شغل (unskilled = غیرماهر، skilled = ماهر)، housing = وضعیت مسکن (free = رایگان/بدون اجاره)، savings = پس‌انداز (little = اندک)، amount = مبلغ وام، dur. = مدت (duration، به ماه)، purpose = هدف وام (car = خرید خودرو).

پیش‌بینی SVM این است که احتمال اینکه این شخص ریسک اعتباری خوبی داشته باشد ۲۴٫۲٪ است. توضیحات خلاف واقع باید پاسخ دهند که ویژگی‌های ورودی باید چگونه تغییر کنند تا احتمال پیش‌بینی‌شده بزرگ‌تر از ۵۰٪ شود. جدول ۱۵.۲ ده توضیح خلاف واقع بهتر را نشان می‌دهد. پنج ستون اول تغییرهای پیشنهادیِ ویژگی‌ها را شامل می‌شوند (فقط ویژگی‌های تغییریافته نمایش داده شده‌اند)، سه ستون بعدی مقادیر هدف را نشان می‌دهند ($o_1$ در همهٔ موارد برابر ۰ است) و ستون آخر احتمال پیش‌بینی‌شده را نمایش می‌دهد.

جدول ۱۵.۲: ده توضیح خلاف واقع بهتری که برای این مشتری یافت شد.

agesexjobamountdur.o₂o₃o₄f(x’)
skilled‎-200.10820.0360.501
skilled‎-240.11420.0290.525
skilled‎-220.11120.0330.513
‎-6skilled‎-240.12630.0180.505
‎-3skilled‎-240.12030.0240.515
‎-1skilled‎-240.11630.0270.522
‎-3m‎-240.19530.0120.501
‎-6m‎-250.20230.0110.501
‎-30mskilled‎-240.28540.0050.590
‎-4m‎-1254‎-240.20440.0020.506

توضیح مترجم: اعداد جدول مقدار «تغییر» نسبت به مشتری جدول ۱۵.۱ هستند و فقط ویژگی‌های تغییریافته پر شده‌اند: مثلاً dur. برابر ‎−۲۰ یعنی مدت وام ۲۰ ماه کوتاه‌تر شود، و job برابر skilled یعنی شغل از «غیرماهر» به «ماهر» تغییر کند. $o_2$ فاصلهٔ گاور، $o_3$ تعداد ویژگی‌های تغییریافته، $o_4$ فاصلهٔ متوسط تا نزدیک‌ترین نمونهٔ مشاهده‌شده و f(x’) احتمال پیش‌بینی‌شدهٔ ریسک اعتباری خوب است. اعداد عیناً مطابق جدول اصلی‌اند.

همهٔ توضیحات خلاف واقع احتمال پیش‌بینی‌شدهٔ بزرگ‌تر از ۵۰٪ دارند و هیچ‌کدام بر دیگری غلبه ندارند. نامغلوب (nondominated) یعنی هیچ‌یک از توضیحات خلاف واقع در همهٔ هدف‌ها مقادیر کوچک‌تری نسبت به توضیحات دیگر ندارد. می‌توانیم توضیحات خلاف واقع خود را مجموعه‌ای از جواب‌های توازنی (trade-off) در نظر بگیریم.

همهٔ آن‌ها کاهش مدت را از ۴۸ ماه تا حداقل ۲۳ ماه پیشنهاد می‌کنند و برخی از آن‌ها پیشنهاد می‌کنند که زن به‌جای غیرماهر بودن، ماهر شود. برخی توضیحات خلاف واقع حتی تغییر جنسیت از زن به مرد را پیشنهاد می‌کنند، که سوگیری جنسیتی (gender bias) مدل را نشان می‌دهد. این تغییر همیشه با کاهشی میان یک تا ۳۰ سال در سن همراه است. همچنین می‌بینیم که اگرچه برخی توضیحات خلاف واقع تغییر چهار ویژگی را پیشنهاد می‌کنند، همین توضیحات نزدیک‌ترین‌ها به داده‌های آموزشی هستند.

توضیح مترجم: متن می‌گوید همهٔ توضیحات «حداقل ۲۳ ماه» کاهش مدت را پیشنهاد می‌کنند؛ در جدول ۱۵.۲ کوچک‌ترین کاهش ‎−۲۰ و بزرگ‌ترین ‎−۲۵ است و ۴۸−۲۵=۲۳ کوتاه‌ترین مدت پیشنهادی را می‌دهد. یعنی عبارت «از ۴۸ ماه تا حداقل ۲۳ ماه» به کوتاه‌ترین مدت پیشنهادی (۲۳ ماه) اشاره دارد، نه به کاهش ۲۳ ماهه. همچنین عبارت «سوگیری جنسیتی» یعنی مدل برای دو مشتریِ مشابه که فقط جنسیتشان فرق دارد پیش‌بینی متفاوتی می‌دهد؛ این نتیجه‌ای دربارهٔ مدل است، نه دربارهٔ واقعیت. و جملهٔ آخر می‌گوید توضیحات چهارتغییره، با اینکه تنک نیستند، به نقاط داده‌ای واقعی نزدیک‌ترند ($o_4$ کوچک‌تر در ردیف‌های ۹ و ۱۰ جدول).

نقاط قوت

تفسیر توضیحات خلاف واقع بسیار روشن است. اگر مقادیر ویژگیِ یک نمونه مطابق توضیح خلاف واقع تغییر کند، پیش‌بینی به پیش‌بینیِ از پیش تعیین‌شده تغییر می‌کند. هیچ فرض اضافی و هیچ جادویی در پس‌زمینه وجود ندارد. این همچنین یعنی توضیحات خلاف واقع به اندازهٔ روش‌هایی مانند LIME خطرناک نیستند، که در آن‌ها معلوم نیست مدل محلی را تا چه حد می‌توان برای تفسیر برون‌یابی کرد.

روش خلاف واقع یک نمونهٔ جدید می‌سازد، اما می‌توانیم یک توضیح خلاف واقع را با گزارش اینکه کدام مقادیر ویژگی تغییر کرده‌اند نیز خلاصه کنیم. این به ما دو گزینه برای گزارش نتایج می‌دهد. می‌توانید یا نمونهٔ خلاف واقع را گزارش کنید یا برجسته کنید که کدام ویژگی‌ها میان نمونهٔ مورد نظر و نمونهٔ خلاف واقع تغییر کرده‌اند.

روش خلاف واقع به دسترسی به داده‌ها یا مدل نیاز ندارد. فقط به دسترسی به تابع پیش‌بینیِ مدل نیاز دارد، که برای نمونه از طریق یک API وب نیز کار می‌کند. این برای شرکت‌هایی جذاب است که توسط اشخاص ثالث ممیزی می‌شوند یا برای کاربران توضیح ارائه می‌دهند بی‌آنکه مدل یا داده‌ها را افشا کنند. یک شرکت به دلیل اسرار تجاری یا حفاظت از داده‌ها علاقه دارد از مدل و داده‌ها محافظت کند. توضیحات خلاف واقع توازنی میان توضیح پیش‌بینی‌های مدل و حفاظت از منافع مالک مدل برقرار می‌کنند.

این روش با سامانه‌هایی که از یادگیری ماشین استفاده نمی‌کنند نیز کار می‌کند. می‌توانیم برای هر سامانه‌ای که ورودی دریافت و خروجی بازمی‌گرداند توضیح خلاف واقع بسازیم. سامانه‌ای که اجاره‌بهای آپارتمان‌ها را پیش‌بینی می‌کند می‌تواند از قواعد دست‌نویس نیز تشکیل شده باشد و توضیحات خلاف واقع باز هم کار می‌کنند.

روش توضیح خلاف واقع نسبتاً آسان پیاده‌سازی می‌شود، چون در اصل یک تابع زیان است (با یک یا چند هدف) که با کتابخانه‌های بهینه‌سازیِ استاندارد قابل بهینه‌سازی است. برخی جزئیات اضافی را باید در نظر گرفت، مانند محدود کردن مقادیر ویژگی به بازه‌های معنادار (مثلاً فقط متراژهای مثبت برای آپارتمان).

توضیحات خلاف واقع برای هدف توجیه (justification) مفیدند، به‌ویژه برای جبران (recourse)، چون صادقانه (truthful) و ساده‌اند. در مقایسه با سایر روش‌های تفسیر، آن‌ها فقط برآوردی از چیزی نیستند، مانند مقادیر Shapley. اما توضیحات خلاف واقع صرفاً نمونه‌های دادهٔ تازه‌ساخته‌شده‌ای هستند که می‌توانیم گزارش کنیم مدل برایشان چه پیش‌بینی می‌کند.

توضیح مترجم: «جبران» (recourse) به این معناست که فردی که تصمیم نامطلوب گرفته است (مثلاً رد وام) بداند برای رسیدن به تصمیم مطلوب چه کاری شدنی است؛ مثال پیتر در ابتدای فصل همین است. در متن انگلیسی جملهٔ آخر همین بند به‌صورت «just data newly created data instances» نوشته شده که ظاهراً یک غلط تایپی در منبع است («data» تکرار شده)؛ ترجمه بر اساس معنای مقصود است.

محدودیت‌ها

برای هر نمونه معمولاً چندین توضیح خلاف واقع خواهید یافت (اثر راشومون). این ناراحت‌کننده است – بیشتر مردم توضیح‌های ساده را بر پیچیدگی دنیای واقعی ترجیح می‌دهند. این یک چالش عملی نیز هست. فرض کنید برای یک نمونه ۲۳ توضیح خلاف واقع تولید کرده‌ایم. آیا همه را گزارش می‌کنیم؟ فقط بهترین را؟ اگر همه نسبتاً «خوب» باشند اما بسیار متفاوت باشند چه؟ این پرسش‌ها باید برای هر پروژه از نو پاسخ داده شوند. داشتن چند توضیح خلاف واقع می‌تواند مزیت هم باشد، چون انسان‌ها می‌توانند آن‌هایی را برگزینند که با دانش پیشین‌شان سازگار است.

توضیحات خلاف واقع برای بینش دربارهٔ مدل و داده چندان مفید نیستند، چون بینش‌های حاصل از یک توضیح خلاف واقع مختص یک نمونه و یک پیش‌بینیِ خلاف واقع است. این بینشی بسیار محدود است، حتی در مقایسه با سایر روش‌های محلی.

نرم‌افزار و جایگزین‌ها

روش توضیح خلاف واقع چندهدفهٔ Dandl و همکاران در یک مخزن GitHub پیاده‌سازی شده است.

در بستهٔ Python به نام Alibi، نویسندگان یک روش خلاف واقع ساده و نیز یک روش گسترش‌یافته را پیاده‌سازی کرده‌اند که از نمونه‌های اولیهٔ کلاس (class prototypes) برای بهبود تفسیرپذیری و همگرایی خروجی‌های الگوریتم استفاده می‌کند (Van Looveren و Klaise، ۲۰۲۱).

Karimi و همکاران (۲۰۲۰) نیز پیاده‌سازی Python الگوریتم MACE خود را در یک مخزن GitHub ارائه کردند. آن‌ها معیارهای لازم برای توضیحات خلاف واقعِ درست را به فرمول‌های منطقی ترجمه کردند و از حل‌کننده‌های ارضاپذیری (satisfiability solvers) برای یافتن توضیحات خلاف واقعی که آن‌ها را برآورده می‌کنند استفاده کردند.

Mothilal و همکاران (۲۰۲۰) DiCE (Diverse Counterfactual Explanation) را برای تولید مجموعه‌ای متنوع از توضیحات خلاف واقع بر پایهٔ فرایندهای نقطه‌ای دترمینانی (determinantal point processes) توسعه دادند. DiCE هم یک روش مستقل از مدل و هم یک روش مبتنی بر گرادیان را پیاده‌سازی می‌کند.

راه دیگر برای جست‌وجوی توضیحات خلاف واقع، الگوریتم Growing Spheres از Laugel و همکاران (۲۰۱۷) است. آن‌ها در مقاله‌شان واژهٔ «خلاف واقع» را به کار نمی‌برند، اما روش بسیار مشابه است. آن‌ها نیز یک تابع زیان تعریف می‌کنند که توضیحات خلاف واقعی را ترجیح می‌دهد که کمترین تغییر ممکن را در مقادیر ویژگی داشته باشند. آن‌ها به‌جای بهینه‌سازی مستقیم تابع، پیشنهاد می‌کنند ابتدا یک کره پیرامون نقطهٔ مورد نظر رسم شود، از نقاط درون آن کره نمونه‌برداری شود و بررسی شود که آیا یکی از نقاط نمونه‌برداری‌شده پیش‌بینی مطلوب را می‌دهد یا نه. سپس کره را به‌تناسب منقبض یا منبسط می‌کنند تا یک توضیح خلاف واقعِ (تنک) پیدا و در نهایت بازگردانده شود.

Anchors از Ribeiro و همکاران (۲۰۱۸) نقطهٔ مقابل توضیحات خلاف واقع است؛ فصل قوانین محدوده‌دار (Anchors) را ببینید.


  1. «Counterfactuals» اصطلاحی است که برای چند منظور به کار می‌رود. در استنتاج علّی (causal inference) معنای دیگری دارد و به مداخله‌های علّیِ فرضی مربوط است. ↩

فصل ۱۶: قوانین محدوده‌دار (Anchors)

عنوان اصلی: Scoped Rules (Anchors)
منبع: https://christophm.github.io/interpretable-ml-book/anchors.html
نویسنده: Christoph Molnar
مترجم: مریم محمودی


نویسندگان: Tobias Goerke و Magdalena Lang (با ویرایش‌های بعدی از Christoph Molnar)

روش انکر (Anchors) پیش‌بینی‌های منفردِ هر مدل طبقه‌بندی جعبه‌سیاه را با یافتن یک قانون تصمیم توضیح می‌دهد که پیش‌بینی را به‌اندازهٔ کافی «لنگر می‌اندازد» (anchor). یک قانون زمانی پیش‌بینی را لنگر می‌اندازد که تغییر در مقادیر سایر ویژگی‌ها بر پیش‌بینی اثری نداشته باشد. انکر از تکنیک‌های یادگیری تقویتی در ترکیب با یک الگوریتم جستجوی گراف استفاده می‌کند تا تعداد فراخوانی‌های مدل (و در نتیجه زمان اجرای لازم) را به حداقل برساند و در عین حال بتواند از بهینه‌های محلی رهایی یابد. Ribeiro و همکاران (۲۰۱۸) الگوریتم انکر را پیشنهاد کردند – همان پژوهشگرانی که الگوریتم LIME را معرفی کردند.

توضیح مترجم: در این فصل anchor به‌صورت «انکر» (جمع: «انکرها») نوشته می‌شود و در معنای لغوی آن «لنگر» است: قانونی که پیش‌بینی را مثل لنگر کشتی «ثابت نگه می‌دارد». «محمول» (predicate) هم معادل یک شرط روی یک ویژگی است، مانند «جنسیت = زن» یا «دما بین ۷ و ۱۴». هر انکر مجموعه‌ای از چنین شرط‌هاست که با «و» به هم وصل شده‌اند. عنوان فصل، «قوانین محدوده‌دار»، به همین ویژگی اشاره دارد که هر قانون دامنهٔ اعتبار (پوشش) مشخصی دارد.

مانند الگوریتم پیشین خود، رویکرد انکر یک راهبرد مبتنی بر اختلال (perturbation-based) را برای تولید توضیحات محلی دربارهٔ پیش‌بینی‌های مدل‌های یادگیری ماشین جعبه‌سیاه به کار می‌گیرد. اما به‌جای مدل‌های جانشینی که LIME استفاده می‌کند، توضیحات حاصل به‌صورت قوانین ساده و قابل‌فهمِ IF-THEN (اگر-آنگاه) بیان می‌شوند که انکر نام دارند. این قوانین قابل‌استفادهٔ مجدد هستند، زیرا محدوده‌دار (scoped) هستند: انکرها مفهوم پوشش (coverage) را شامل می‌شوند و دقیقاً بیان می‌کنند که بر چه نمونه‌های دیگری، که ممکن است هنوز دیده نشده باشند، اعمال می‌شوند. یافتن انکرها شامل یک مسئلهٔ اکتشاف (exploration) یا راهزن چندبازو (multi-armed bandit) است که ریشه در شاخهٔ یادگیری تقویتی دارد. برای این منظور، برای هر نمونه‌ای که توضیح داده می‌شود، همسایه‌ها یا اختلال‌ها ایجاد و ارزیابی می‌شوند. این کار به رویکرد اجازه می‌دهد ساختار جعبه‌سیاه و پارامترهای درونی آن را نادیده بگیرد، به‌گونه‌ای که این‌ها هم مشاهده‌نشده و هم تغییرنیافته باقی بمانند. بنابراین الگوریتم مستقل از مدل (model-agnostic) است، یعنی می‌توان آن را بر هر رده از مدل‌ها به کار برد.

نویسندگان در مقالهٔ خود هر دو الگوریتم خود را مقایسه می‌کنند و نشان می‌دهند که این دو برای رسیدن به نتیجه چقدر متفاوت از همسایگی یک نمونه استفاده می‌کنند. برای این منظور، شکل ۱۶.۱ نشان می‌دهد که LIME و انکر چگونه یک طبقه‌بند دودویی پیچیده (که یا $-$ یا $+$ را پیش‌بینی می‌کند) را با دو نمونهٔ نمونه‌وار به‌صورت محلی توضیح می‌دهند. نتایج LIME نشان نمی‌دهند که چقدر وفادارند، چون LIME فقط یک مرز تصمیم خطی را یاد می‌گیرد که با فرض یک فضای اختلال $\mathcal{D}$ بهترین تقریب را از مدل ارائه می‌دهد. با همان فضای اختلال، رویکرد انکر توضیحاتی می‌سازد که پوشش آن‌ها با رفتار مدل تطبیق داده شده است و مرزهایشان را به‌روشنی بیان می‌کند. بنابراین این توضیحات ذاتاً وفادارند و دقیقاً بیان می‌کنند که برای کدام نمونه‌ها معتبرند. این ویژگی انکرها را به‌ویژه شهودی و آسان برای فهم می‌کند.

شکل ۱۶.۱: LIME در مقابل انکر – یک تصویرسازی نمونه. الهام‌گرفته از شکلی در Ribeiro، Singh و Guestrin (2018).

توضیح مترجم (متن داخل تصویر): در تصویر، ناحیهٔ آبی کلاس $-$ و ناحیهٔ کرم کلاس $+$ را نشان می‌دهد و مرز میان آن‌ها مرز تصمیم پیچیدهٔ مدل جعبه‌سیاه است. خط‌چین مایل با برچسب LIME همان مرز تصمیم خطیِ LIME است که فقط در نزدیکی نقطهٔ مورد نظر مرز واقعی را تقریب می‌زند. مستطیل خط‌چین با برچسب anchor (انکر) ناحیه‌ای است که قانون انکر پوشش می‌دهد و کاملاً درون ناحیهٔ آبی قرار می‌گیرد؛ یعنی حدود اعتبار آن روشن است. نام‌های LIME و anchor در تصویر بدون ترجمه ماندند.

همان‌طور که پیش‌تر گفته شد، نتایج یا توضیحات الگوریتم به شکل قوانینی به نام انکر ارائه می‌شوند. مثال سادهٔ زیر چنین انکری را نشان می‌دهد. برای مثال، فرض کنید یک مدل جعبه‌سیاه دومتغیره داریم که پیش‌بینی می‌کند یک مسافر از فاجعهٔ تایتانیک جان سالم به در برده است یا نه. اکنون می‌خواهیم بدانیم چرا مدل برای یک فرد مشخص (جدول ۱۶.۱ را ببینید) پیش‌بینی می‌کند که او زنده مانده است. الگوریتم انکر نتیجه‌ای مانند آنچه در ادامه می‌آید به‌عنوان توضیح ارائه می‌دهد.

ویژگی (Feature)مقدار (Value)
سن (Age)۲۰
جنسیت (Sex)زن (female)
کلاس (Class)اول (first)
قیمت بلیت (Ticket price)۳۰۰$
سایر ویژگی‌ها (More attributes)…
زنده ماند (Survived)درست (true)

جدول ۱۶.۱: نمونه‌ای که باید توضیح داده شود.

و توضیح انکرِ متناظر چنین است:

IF SEX = female AND Class = first THEN PREDICT Survived = true WITH PRECISION 97% AND COVERAGE 15%

توضیح مترجم: معنی قانون بالا: «اگر جنسیت زن و کلاس مسافرتی اول باشد، آنگاه پیش‌بینی کن که زنده می‌ماند، با دقت ۹۷٪ و پوشش ۱۵٪.» عبارت‌های IF، THEN، PREDICT، PRECISION و COVERAGE عیناً مطابق قالب منبع نگه داشته شده‌اند.

این مثال نشان می‌دهد که انکرها چگونه می‌توانند بینش‌هایی اساسی دربارهٔ پیش‌بینی یک مدل و استدلال پشت آن ارائه دهند. نتیجه نشان می‌دهد مدل کدام ویژگی‌ها را در نظر گرفته است که در این مورد زن بودن و کلاس اول هستند. انسان‌ها، که برای درستی (correctness) نقشی بسیار مهم دارند، می‌توانند از این قانون برای اعتبارسنجی رفتار مدل استفاده کنند. انکر علاوه بر این به ما می‌گوید که این قانون بر ۱۵٪ از نمونه‌های فضای اختلال اعمال می‌شود. در آن موارد، توضیح ۹۷٪ دقیق است، یعنی محمول‌های نمایش‌داده‌شده تقریباً به‌طور کامل مسئول خروجی پیش‌بینی‌شده‌اند.

یک انکر $A$ به‌صورت رسمی چنین تعریف می‌شود:

$$ \mathbb{E}_{\mathcal{D}_\mathbf{x}(\mathbf{z}|A)}[1_{\hat{f}(\mathbf{x})=\hat{f}(\mathbf{z})}] \geq \tau; A(\mathbf{x})=1 $$

که در آن:

  • $\mathbf{x}$ نمونه‌ای است که توضیح داده می‌شود (مثلاً یک سطر در یک مجموعه‌داده جدولی).
  • $A$ مجموعه‌ای از محمول‌ها (predicates) است، یعنی قانون یا انکر حاصل، به‌طوری که $A(\mathbf{x})=1$ است وقتی همهٔ محمول‌های ویژگیِ تعریف‌شده توسط $A$ با مقادیر ویژگی‌های $\mathbf{x}$ مطابقت داشته باشند.
  • $\hat{f}$ مدل طبقه‌بندی‌ای را نشان می‌دهد که باید توضیح داده شود (مثلاً یک مدل شبکهٔ عصبی مصنوعی). می‌توان از آن برای پیش‌بینی برچسب $\mathbf{x}$ و اختلال‌های آن پرس‌وجو کرد.
  • $\mathcal{D}_{\mathbf{x}} (\cdot|A)$ توزیع همسایه‌های $\mathbf{x}$ را نشان می‌دهد که با $A$ مطابقت دارند.
  • $0 \leq \tau \leq 1$ یک آستانهٔ دقت را مشخص می‌کند. فقط قوانینی که وفاداری محلی‌ای دست‌کم برابر با $\tau$ داشته باشند، نتیجهٔ معتبر محسوب می‌شوند.

توضیح مترجم: نماد $\mathbb{E}$ امید ریاضی و $1_{\hat{f}(\mathbf{x})=\hat{f}(\mathbf{z})}$ تابع نشانگر است: اگر مدل برای همسایهٔ $\mathbf{z}$ همان کلاسی را پیش‌بینی کند که برای $\mathbf{x}$ پیش‌بینی کرده است مقدار ۱ و در غیر این صورت مقدار ۰ می‌دهد. پس امید ریاضیِ آن همان «کسری از همسایه‌هاست که پیش‌بینی‌شان با پیش‌بینی $\mathbf{x}$ یکی است». «دقت» (precision) در این فصل به همین معنا به کار می‌رود و با دقت (precision) در معیارهای ارزیابی طبقه‌بندی، که بر پایهٔ برچسب‌های واقعی تعریف می‌شود، یکی نیست: اینجا هیچ برچسب واقعی‌ای در کار نیست و دقت فقط می‌سنجد که قانون چقدر «پیش‌بینی مدل» را ثابت نگه می‌دارد.

توصیف رسمی ممکن است ترسناک به نظر برسد و می‌توان آن را با کلمات چنین بیان کرد:

با داشتن نمونهٔ $\mathbf{x}$ که باید توضیح داده شود، باید قانون یا انکر $A$ را چنان یافت که بر $\mathbf{x}$ اعمال شود، در حالی که کسری دست‌کم برابر با $\tau$ از همسایه‌های $\mathbf{x}$ که همان $A$ بر آن‌ها قابل‌اعمال است، همان کلاسِ پیش‌بینی‌شده برای $\mathbf{x}$ را بگیرند. دقتِ یک قانون از ارزیابی همسایه‌ها یا اختلال‌ها (با پیروی از $\mathcal{D}_\mathbf{x} (\mathbf{z}|A)$) به‌وسیلهٔ مدل یادگیری ماشینِ داده‌شده به دست می‌آید (که با تابع نشانگر $1_{\hat{f}(\mathbf{x}) = \hat{f}(\mathbf{z})}$ نمایش داده می‌شود).

💡 دقت را با احتیاط تنظیم کنید

آستانهٔ دقت $\tau$ را عاقلانه تنظیم کنید: $\tau$ بالاتر قوانین قوی‌تری تضمین می‌کند، اما ممکن است پوشش را کاهش دهد. مقادیر متفاوت را آزمایش کنید تا میان دقت و پوشش تعادل برقرار شود.

یافتن انکرها

اگرچه توصیف ریاضیِ انکرها ممکن است روشن و سرراست به نظر برسد، ساختن قوانین مشخص عملاً شدنی نیست. این کار مستلزم ارزیابی $1_{\hat{f}(\mathbf{x}) = \hat{f}(\mathbf{z})}$ برای همهٔ $\mathbf{z} \in \mathcal{D}_\mathbf{x}(\cdot|A)$ است، که در فضاهای ورودیِ پیوسته یا بزرگ ممکن نیست. از این رو نویسندگان پیشنهاد می‌کنند پارامتر $0 \leq \delta \leq 1$ برای ساختن یک تعریف احتمالاتی معرفی شود. به این ترتیب، نمونه‌ها تا زمانی که اطمینان آماری دربارهٔ دقتشان حاصل شود، استخراج می‌شوند. تعریف احتمالاتی چنین است:

$$\mathbb{P}(prec(A) \geq \tau) \geq 1 - \delta \quad \textrm{with} \quad prec(A) = \mathbb{E}_{\mathcal{D}_\mathbf{x}(\mathbf{z}|A)}[1_{\hat{f}(\mathbf{x}) = \hat{f}(\mathbf{z})}]$$

دو تعریف پیشین با مفهوم پوشش ترکیب و گسترش داده می‌شوند. منطق آن یافتن قوانینی است که ترجیحاً بر بخش بزرگی از فضای ورودی مدل اعمال شوند. پوشش به‌صورت رسمی چنین تعریف می‌شود: احتمال اینکه یک انکر بر همسایه‌هایش، یعنی فضای اختلالش، اعمال شود:

$$cov(A) = \mathbb{E}_{\mathcal{D}_{(\mathbf{x})}}[A(\mathbf{z})]$$

افزودن این عنصر به تعریف نهایی انکر می‌انجامد که بیشینه‌سازی پوشش را در نظر می‌گیرد:

$$\underset{A :\textrm{s.t.};\mathbb{P}(prec(A) \geq \tau) \geq 1 - \delta}{\textrm{max}} cov(A)$$

بنابراین این روش به‌دنبال قانونی است که در میان همهٔ قوانین مجاز (همهٔ آن‌هایی که با توجه به تعریف احتمالاتی آستانهٔ دقت را برآورده می‌کنند) بالاترین پوشش را داشته باشد. گمان می‌شود این قوانین مهم‌ترند، چون بخش بزرگ‌تری از مدل را توصیف می‌کنند. توجه کنید که قوانینِ دارای محمول‌های بیشتر تمایل دارند دقت بالاتری از قوانینِ دارای محمول‌های کمتر داشته باشند. به‌ویژه قانونی که همهٔ ویژگی‌های $\mathbf{x}$ را ثابت می‌کند، همسایگیِ ارزیابی‌شده را به نمونه‌های یکسان فرومی‌کاهد. در نتیجه مدل همهٔ همسایه‌ها را یکسان طبقه‌بندی می‌کند و دقت قانون $1$ است. در عین حال، قانونی که ویژگی‌های زیادی را ثابت می‌کند بیش از حد اختصاصی است و فقط بر تعداد اندکی نمونه اعمال می‌شود. از این رو میان دقت و پوشش یک موازنه (trade-off) وجود دارد.

توضیح مترجم: در منبع جملهٔ «ساختن قوانین مشخص عملاً شدنی نیست» (infeasible) دربارهٔ محاسبهٔ دقیق و کامل دقت در همهٔ نقاط یک فضای پیوسته است؛ به همین دلیل از نمونه‌گیری و «اطمینان آماری» با پارامتر $\delta$ استفاده می‌شود: عبارت $\mathbb{P}(prec(A) \geq \tau) \geq 1 - \delta$ می‌گوید با احتمال دست‌کم $1-\delta$ دقتِ واقعیِ قانون از $\tau$ کمتر نیست. برای نمونه $\delta = 0.05$ یعنی ۹۵٪ اطمینان.

برای درک بهتر (توضیح مترجم): فرض کنید برای نمونهٔ تایتانیک بالا، مدل در یک فضای اختلالِ ۱٬۰۰۰ نمونه‌ای کار می‌کند و آستانهٔ دقت $\tau = 0.95$ است. قانون $A_1$: «جنسیت = زن» بر ۵۰۰ نمونه اعمال می‌شود (پوشش ۵۰٪) و مدل در ۴۷۰ مورد از آن‌ها «زنده ماند» پیش‌بینی می‌کند (دقت ۹۴٪) پس این قانون مجاز نیست. قانون $A_2$: «جنسیت = زن و کلاس = اول» بر ۱۵۰ نمونه اعمال می‌شود (پوشش ۱۵٪) و در ۱۴۶ مورد (دقت حدود ۹۷٪) مدل همان پیش‌بینی را می‌دهد؛ پس مجاز است. اگر ویژگی‌های دیگر مانند سن و قیمت بلیت را هم ثابت کنیم، دقت شاید به ۱۰۰٪ برسد اما پوشش مثلاً به ۰٫۵٪ فرو می‌افتد. الگوریتم از میان قوانین مجاز، قانونی را برمی‌گزیند که بیشترین پوشش را دارد. (اعداد فرضی‌اند و در کتاب نیامده‌اند.)

رویکرد انکر برای یافتن توضیحات از چهار مؤلفهٔ اصلی استفاده می‌کند.

تولید کاندیدا (Candidate Generation): کاندیدهای جدید توضیح را تولید می‌کند. در دور اول، به ازای هر ویژگیِ $\mathbf{x}$ یک کاندید ساخته می‌شود که مقدار همان ویژگی را در اختلال‌های ممکن ثابت می‌کند. در هر دور دیگر، بهترین کاندیدهای دور قبل با یک محمول ویژگی که هنوز در آن‌ها وجود ندارد، گسترش می‌یابند.

شناسایی بهترین کاندید (Best Candidate Identification): قوانین کاندید باید از این نظر مقایسه شوند که کدام قانون $\mathbf{x}$ را بهتر توضیح می‌دهد. برای این منظور، اختلال‌هایی که با قاعدهٔ مورد بررسی مطابقت دارند ایجاد می‌شوند و با فراخوانی مدل ارزیابی می‌شوند. با این حال، این فراخوانی‌ها باید به حداقل برسند تا سربار محاسباتی محدود شود. به همین دلیل، در هستهٔ این مؤلفه یک راهزن چندبازوی اکتشاف محض (pure-exploration Multi-Armed Bandit یا MAB) قرار دارد. دقیق‌تر بگوییم، KL-LUCB از Kaufmann و Kalyanakrishnan (۲۰۱۳) است. MABها برای کاوش و بهره‌برداری کارآمد از راهبردهای مختلف (که به قیاس با ماشین‌های قمار «بازو» (arm) نامیده می‌شوند) با استفاده از انتخاب ترتیبی به کار می‌روند. در این چارچوب، هر قانون کاندید به‌منزلهٔ یک بازو دیده می‌شود که می‌توان آن را کشید. هر بار که کشیده می‌شود، همسایه‌های متناظر ارزیابی می‌شوند و به این ترتیب اطلاعات بیشتری دربارهٔ بازدهی (payoff) قانون کاندید، که در مورد انکر همان دقت است، به دست می‌آوریم. بنابراین دقت بیان می‌کند که قانون نمونهٔ مورد توضیح را چقدر خوب توصیف می‌کند.

اعتبارسنجی دقت کاندید (Candidate Precision Validation): در صورتی که هنوز اطمینان آماری وجود نداشته باشد که کاندید از آستانهٔ $\tau$ فراتر می‌رود، نمونه‌های بیشتری می‌گیرد.

جستجوی پرتویی اصلاح‌شده (Modified Beam Search): همهٔ مؤلفه‌های بالا در یک جستجوی پرتویی (beam search) گرد هم می‌آیند، که یک الگوریتم جستجوی گراف و گونه‌ای از الگوریتم جستجوی سطح‌اول (breadth-first) است. این الگوریتم $B$ کاندید برتر هر دور را به دور بعد می‌برد (که $B$ عرض پرتو (Beam Width) نامیده می‌شود). سپس از همین $B$ قانون برتر برای ساختن قوانین جدید استفاده می‌شود. جستجوی پرتویی حداکثر $featureCount(\mathbf{x})$ دور انجام می‌دهد، چون هر ویژگی را حداکثر یک بار می‌توان در یک قانون گنجاند. بنابراین در هر دور $i$، کاندیدهایی با دقیقاً $i$ محمول تولید می‌کند و $B$ کاندید برتر از میان آن‌ها را برمی‌گزیند. از این رو، با بزرگ گرفتن $B$ احتمال اینکه الگوریتم از بهینه‌های محلی دوری کند بیشتر می‌شود. در مقابل، این کار به تعداد زیادی فراخوانی مدل نیاز دارد و در نتیجه بار محاسباتی را افزایش می‌دهد.

توضیح مترجم: «راهزن چندبازو» نام مسئله‌ای است که از تشبیه به یک سالن ماشین‌های قمار آمده است: هر ماشین (بازو) سود احتمالی نامعلومی دارد و شما با تعداد محدودی کشیدن باید بفهمید کدام ماشین بهتر است. اینجا هر «قانون کاندید» یک بازو و «دقت» آن همان سود است؛ MAB کمک می‌کند به‌جای ارزیابی یکنواخت همهٔ کاندیدها، نمونه‌های بیشتری را به کاندیدهای امیدبخش اختصاص دهیم و کاندیدهای بد زود کنار گذاشته شوند. «جستجوی پرتویی» نیز یعنی در هر مرحله فقط $B$ گزینهٔ برتر نگه داشته و بسط داده می‌شوند، نه همهٔ گزینه‌ها.

این چهار مؤلفه در شکل ۱۶.۲ نشان داده شده‌اند.

شکل ۱۶.۲: مؤلفه‌های الگوریتم انکر و روابط متقابل آن‌ها (ساده‌شده).

توضیح مترجم (متن داخل تصویر): تصویر یک نمودار گردشی است. جعبهٔ بالا: Instance x to be explained = نمونهٔ x که باید توضیح داده شود. کادر خط‌چین سمت چپ: Parameters = پارامترها: Model f = مدل f؛ Perturbation space D = فضای اختلال D. کادر خط‌چین سمت راست: Hyperparameters = هایپرپارامترها: Beam Width B = عرض پرتو B؛ Precision Threshold τ = آستانهٔ دقت τ. سپس جعبهٔ Beam Search = جستجوی پرتویی. بعد از آن: Generate new candidates by extending previous round’s B best candidates = تولید کاندیدهای جدید با گسترش B کاندید برتر دور قبل؛ Use Multi-Armed Bandit to select B best candidates = استفاده از راهزن چندبازو برای انتخاب B کاندید برتر. در کادر خط‌چین زیر آن: Generate x’s neighbors by calling D(·|currentRule) = تولید همسایه‌های x با فراخوانی D(·|currentRule) یعنی با شرط قانون جاری؛ Call f on perturbations and measure precision = فراخوانی f روی اختلال‌ها و اندازه‌گیری دقت. سپس: Check if best rule passes τ = بررسی اینکه آیا بهترین قانون از τ عبور می‌کند؛ اگر No (خیر) به جستجوی پرتویی برمی‌گردد و اگر Yes (بله) به Measure coverage = اندازه‌گیری پوشش می‌رسد. جعبهٔ نقطه‌چین پایانی: Return candidate having highest coverage = anchor = بازگرداندن کاندیدی که بیشترین پوشش را دارد = انکر.

این رویکرد دستورپختی به‌ظاهر عالی برای به دست آوردن کارآمد اطلاعات از نظر آماری مستحکم دربارهٔ این است که چرا یک سیستم یک نمونه را آن‌گونه که طبقه‌بندی کرده، طبقه‌بندی کرده است. این روش به‌طور نظام‌مند با ورودی مدل آزمایش می‌کند و با مشاهدهٔ خروجی‌های متناظر نتیجه‌گیری می‌کند. برای کاهش تعداد فراخوانی‌های مدل به روش‌های یادگیری ماشینِ جاافتاده و پژوهیده‌شده (MABها) تکیه دارد. این به‌نوبهٔ خود زمان اجرای الگوریتم را به‌شدت کاهش می‌دهد.

پیچیدگی و زمان اجرا

دانستن رفتار مجانبیِ زمان اجرای رویکرد انکر به ارزیابی اینکه انتظار می‌رود روی مسائل خاص چقدر خوب عمل کند کمک می‌کند. فرض کنید $B$ عرض پرتو و $p$ تعداد همهٔ ویژگی‌ها باشد. آنگاه الگوریتم انکر تابع کران زیر است:

$$\mathcal{O}(B \cdot p^2 + p^2 \cdot \mathcal{O}_{\textrm{MAB} [B \cdot p, B]})$$

این کران از هایپرپارامترهای مستقل از مسئله، مانند اطمینان آماری $\delta$، انتزاع می‌کند. نادیده گرفتن هایپرپارامترها به کاهش پیچیدگی کران کمک می‌کند (برای اطلاعات بیشتر مقالهٔ اصلی را ببینید). چون MAB در هر دور $B$ کاندید برتر را از میان $B \cdot p$ کاندید استخراج می‌کند، در بیشتر MABها و زمان‌های اجرای آن‌ها، عامل $p^2$ بیش از هر پارامتر دیگری ضرب می‌شود.

بنابراین آشکار می‌شود: کارایی الگوریتم هنگامی که ویژگی‌های زیادی وجود دارند کاهش می‌یابد.

توضیح مترجم: در نمادگذاری بالا $\mathcal{O}_{\textrm{MAB} [B \cdot p, B]}$ هزینهٔ اجرای یک MAB است که باید $B$ بازوی برتر را از میان $B \cdot p$ بازو بیابد؛ این عبارت داخل کران کلی به‌عنوان یک جمله قرار گرفته و خودِ منبع جزئیات آن را به مقالهٔ اصلی واگذار کرده است. نتیجهٔ عملی: اگر تعداد ویژگی‌ها $p$ دو برابر شود، هزینه در بهترین حالت حدود چهار برابر می‌شود، چون $p^2$ در کران ظاهر شده است.

مثال داده‌های جدولی

داده‌های جدولی داده‌های ساختاریافته‌ای هستند که با جدول نمایش داده می‌شوند، به‌طوری که ستون‌ها ویژگی‌ها و سطرها نمونه‌ها را تجسم می‌بخشند. برای مثال، از داده‌های اجارهٔ دوچرخه استفاده می‌کنیم تا توانایی رویکرد انکر را در توضیح پیش‌بینی‌های یادگیری ماشین برای نمونه‌های منتخب نشان دهیم. برای این کار، رگرسیون را به یک مسئلهٔ طبقه‌بندی تبدیل می‌کنیم و یک جنگل تصادفی را به‌عنوان مدل جعبه‌سیاهمان آموزش می‌دهیم. این مدل باید طبقه‌بندی کند که تعداد دوچرخه‌های اجاره‌شده بالاتر از خط روند است یا پایین‌تر از آن. همچنین از ویژگی‌های اضافی مانند تعداد روزها از ابتدای سال ۲۰۱۱ به‌عنوان روند زمانی، ماه و روز هفته استفاده می‌کنیم.

پیش از ساختن توضیحات انکر، باید یک تابع اختلال تعریف کرد. یک راه ساده برای انجام این کار استفاده از یک فضای اختلال پیش‌فرضِ شهودی برای موارد توضیحِ جدولی است که می‌توان آن را مثلاً با نمونه‌گیری از داده‌های آموزشی ساخت. هنگام ایجاد اختلال در یک نمونه، این رویکرد پیش‌فرض مقادیر ویژگی‌هایی را که مشمول محمول‌های انکر هستند حفظ می‌کند و ویژگی‌های ثابت‌نشده را، با احتمالی مشخص، با مقادیری جایگزین می‌کند که از نمونه‌ای دیگر که تصادفی نمونه‌گیری شده است گرفته می‌شود. این فرایند نمونه‌های جدیدی می‌سازد که شبیه نمونهٔ توضیح‌داده‌شده‌اند، اما برخی مقادیر را از نمونه‌های تصادفی دیگر گرفته‌اند. بنابراین شبیه همسایه‌های نمونهٔ توضیح‌داده‌شده هستند.

برای درک بهتر (توضیح مترجم): فرض کنید می‌خواهیم روز ۴۰ را توضیح دهیم: دما $-2$ درجه، فصل زمستان، هوا خوب. اگر انکر فعلی فقط «دما $<0$» را ثابت کرده باشد، یک اختلال چنین ساخته می‌شود: مقدار دما همان $-2$ می‌ماند، ولی فصل و هوا از یک روز تصادفی دیگر در داده‌های آموزشی (مثلاً «تابستان» و «بد») گرفته می‌شوند. این نمونهٔ ساختگی به مدل داده می‌شود و می‌پرسیم هنوز «پایین‌تر از روند» پیش‌بینی می‌شود یا نه. نسبتِ پاسخ‌های «بله» در هزاران اختلال از این دست همان دقت انکر است. (مثال عددی فرضی است و در کتاب نیامده است.)

نتایج (شکل ۱۶.۳) به‌طور شهودی قابل تفسیرند و برای هر نمونهٔ توضیح‌داده‌شده نشان می‌دهند کدام ویژگی‌ها برای پیش‌بینی مدل از همه مهم‌ترند. چون انکرها محمول‌های اندکی دارند، پوشش بالایی هم دارند و بنابراین بر موارد دیگر هم اعمال می‌شوند. قوانین نشان‌داده‌شده در بالا با $\tau = 0.9$ تولید شده‌اند. پس انکرهایی را درخواست می‌کنیم که اختلال‌های ارزیابی‌شدهٔ آن‌ها برچسب را با دقتی دست‌کم $90%$ وفادارانه پشتیبانی کنند. همچنین برای افزایش گویایی و کاربردپذیری ویژگی‌های عددی از گسسته‌سازی استفاده شد.

شکل ۱۶.۳: انکرها در حال توضیح شش نمونه از مجموعه‌دادهٔ اجارهٔ دوچرخه. هر سطر یک توضیح یا انکر را نشان می‌دهد و هر میله محمول‌های ویژگی‌ای را نشان می‌دهد که انکر شامل آن‌هاست. محور x دقت یک قانون را نشان می‌دهد و ضخامت میله با پوشش آن متناظر است. قانون «پایه» (base) هیچ محمولی ندارد. این انکرها نشان می‌دهند که مدل عمدتاً دما را برای پیش‌بینی‌ها در نظر می‌گیرد.

توضیح مترجم (متن داخل تصویر): محور افقی با عنوان Precision = دقت (از ۰٫۰ تا ۱٫۰). برچسب‌های عمودی سمت چپ: «’ below ’ cases» = موارد «پایین‌تر از روند» (سه نمونهٔ ۷۰۰، ۱۰۶ و ۴۰) و «’ above ’ cases» = موارد «بالاتر از روند» (سه نمونهٔ ۲۰۰، ۶۱۰ و ۴۷۵)؛ اعداد، شمارهٔ سطر نمونه در داده‌اند. Cov = Coverage = پوشش، با مقدار کنار هر میله (مثلاً Cov: 0.189 یعنی پوشش ۰٫۱۸۹). متن داخل میله‌ها محمول است: IN [0,7) یعنی مقدار ویژگی در بازهٔ بسته‌ـ‌باز ۰ تا ۷؛ IN <0 یعنی کمتر از ۰؛ IN >=28 یعنی دست‌کم ۲۸؛ = BAD یعنی وضعیت آب‌وهوا برابر «بد». راهنما (legend): base = قانون پایه (بدون محمول)، temp = دما، weathersit = وضعیت آب‌وهوا. نام ویژگی‌ها مطابق ستون‌های مجموعه‌داده، به انگلیسی ماندند. مطابق متن، ستون temp در همهٔ شش انکر ظاهر می‌شود و فقط در نمونهٔ ۱۰۶ محمول وضعیت آب‌وهوا هم اضافه شده است.

همهٔ قوانین پیشین برای نمونه‌هایی تولید شدند که مدل دربارهٔ آن‌ها با اطمینان و بر پایهٔ چند ویژگی تصمیم می‌گیرد. اما نمونه‌های دیگر چنین به‌روشنی طبقه‌بندی نمی‌شوند، چون ویژگی‌های بیشتری اهمیت دارند. در چنین مواردی انکرها اختصاصی‌تر می‌شوند، ویژگی‌های بیشتری را دربر می‌گیرند و بر نمونه‌های کمتری اعمال می‌شوند، همان‌طور که مثلاً در شکل ۱۶.۴ می‌بینیم.

شکل ۱۶.۴: توضیح نمونه‌های نزدیک به مرزهای تصمیم به قوانین اختصاصی‌ای می‌انجامد که شمار بیشتری محمول ویژگی دارند و پوشش کمتری. همچنین قانون تهی، یعنی ویژگی پایه، اهمیت کمتری می‌یابد. این را می‌توان نشانه‌ای از مرز تصمیم تفسیر کرد، چون نمونه در یک همسایگی ناپایدار قرار دارد.

توضیح مترجم (متن داخل تصویر): دو نمونه نمایش داده شده‌اند: نمونهٔ ۴۵۲ در گروه «’ above ’ cases» (بالاتر از روند) با پوشش Cov: 0.003 و نمونهٔ ۳۰۰ در گروه «’ below ’ cases» (پایین‌تر از روند) با پوشش Cov: 0.004؛ محور افقی Precision = دقت. در هر میله چند محمول با رنگ‌های متفاوت پشت سر هم آمده‌اند، مانند = SUMMER (فصل = تابستان)، = MAR (ماه = مارس)، = TUE (روز هفته = سه‌شنبه)، = 2012 (سال)، = MISTY (وضعیت آب‌وهوا = مه‌آلود) و = NO HOLIDAY (تعطیل نیست)؛ بقیه مقدارهای عددی ویژگی‌ها هستند (مثلاً = 451، = 29، = 299، = 81.2917، = 14.09، = 13.250121). برچسب‌هایی که بالای/زیر میله با علامت ^ یا v آمده‌اند محمول‌های بسیار باریکی‌اند که درون میله جا نمی‌شدند. راهنما (legend): base = قانون پایه، season = فصل، days_since_2011 = روزها از ۲۰۱۱، yr = سال، mnth = ماه، hum = رطوبت، temp = دما، weekday = روز هفته، weathersit = وضعیت آب‌وهوا، windspeed = سرعت باد، holiday = تعطیلی. نام ویژگی‌ها مطابق مجموعه‌داده، به انگلیسی ماندند. به‌ویژه توجه کنید هر انکر تقریباً همهٔ ویژگی‌ها را شامل می‌شود و پوشش‌ها (۰٫۰۰۳ و ۰٫۰۰۴) بسیار کوچک‌اند.

انتخاب فضای اختلال پیش‌فرض انتخابی راحت است، اما ممکن است تأثیر زیادی بر الگوریتم داشته باشد و بنابراین به نتایج سوگیرانه بینجامد. برای مثال، اگر مجموعهٔ آموزشی نامتوازن باشد (تعداد نمونه‌های هر کلاس نابرابر باشد)، فضای اختلال هم نامتوازن است. این وضعیت بر قانون‌یابی و دقتِ نتیجه نیز اثر می‌گذارد. این ممکن است ناخواسته باشد و می‌توان از راه‌های گوناگون با آن مواجه شد. برای مثال می‌توان یک فضای اختلال سفارشی تعریف کرد. این اختلال سفارشی می‌تواند به شکل متفاوتی نمونه‌گیری کند، مثلاً از یک مجموعه‌داده نامتوازن یا از یک توزیع نرمال. اما این کار یک عارضهٔ جانبی دارد: همسایه‌های نمونه‌گیری‌شده نماینده نیستند و دامنهٔ پوشش را تغییر می‌دهند. به‌عنوان جایگزین، می‌توانیم مقادیر پارامتر اطمینانِ $\delta$ و پارامتر خطای $\epsilon$ در MAB را تغییر دهیم. این کار باعث می‌شود MAB نمونه‌های بیشتری بگیرد و در نهایت به این بینجامد که کلاس اقلیت در عدد مطلق بیشتر نمونه‌گیری شود.

💡 نامتوازنی کلاس‌ها را بررسی کنید

هنگام تعریف یک فضای اختلال سفارشی، راهبردهای نمونه‌گیری‌ای را در نظر بگیرید که نامتوازنی کلاس‌ها را رعایت می‌کنند. برای مثال، از نمونه‌گیری طبقه‌ای (stratified sampling) استفاده کنید تا مطمئن شوید کلاس‌های اقلیت به‌درستی در فضای اختلال نمایندگی می‌شوند.

توضیح مترجم: پارامتر $\epsilon$ در این فصل تعریف نشده و از مقالهٔ اصلی KL-LUCB می‌آید: خطای قابل‌قبول در تشخیص بهترین بازوها. کوچک‌تر گرفتن $\delta$ و $\epsilon$ یعنی الگوریتم باید اطمینان بیشتری کسب کند و در نتیجه نمونهٔ بیشتری می‌گیرد؛ هزینهٔ آن فراخوانی‌های بیشتر مدل و زمان اجرای بیشتر است. «نمونه‌گیری طبقه‌ای» یعنی نمونه‌ها را جداگانه از هر کلاس چنان بگیریم که سهم هر کلاس در نمونه به‌دلخواه (مثلاً مساوی) تعیین شود.

نقاط قوت

رویکرد انکر چند مزیت نسبت به LIME دارد. نخست، خروجی الگوریتم آسان‌تر فهمیده می‌شود، چون قوانین آسان برای تفسیر هستند (حتی برای افراد غیرمتخصص).

علاوه بر این، انکرها زیرمجموعه‌پذیرند (subsettable) و با گنجاندن مفهوم پوشش حتی معیاری از اهمیت را هم بیان می‌کنند. دوم، رویکرد انکر وقتی پیش‌بینی‌های مدل در همسایگی یک نمونه غیرخطی یا پیچیده باشند، کار می‌کند. چون این رویکرد به‌جای برازش مدل‌های جانشین از تکنیک‌های یادگیری تقویتی استفاده می‌کند، احتمال کمتری دارد که مدل را کم‌برازش (underfit) کند.

گذشته از این، الگوریتم مستقل از مدل است و بنابراین بر هر مدلی قابل‌اعمال است.

انکرها می‌توانند برای توجیه پیش‌بینی‌ها مفید باشند، چون استواری پیش‌بینی‌ها (یا نبود آن) را در برابر تغییرات برخی ویژگی‌ها نشان می‌دهند.

افزون بر این، الگوریتم بسیار کارآمد است، چون می‌توان آن را موازی‌سازی کرد، با استفاده از MABهایی که از نمونه‌گیری دسته‌ای (batch sampling) پشتیبانی می‌کنند (مثلاً BatchSAR).

توضیح مترجم: منظور از «زیرمجموعه‌پذیر» در متن اصلی (subsettable) این است که هر انکر خودش یک زیرمجموعهٔ مشخص از فضای ورودی را توصیف می‌کند و عدد پوشش می‌گوید این زیرمجموعه چه بخشی از فضاست؛ به همین دلیل پوشش را می‌توان معیاری از «اهمیت» قانون دانست. منبع این واژه را بیشتر توضیح نداده است.

محدودیت‌ها

این الگوریتم، مانند بیشتر توضیح‌دهنده‌های مبتنی بر اختلال، از یک پیکربندی بسیار تنظیم‌پذیر و پراثیر رنج می‌برد. نه‌تنها باید هایپرپارامترهایی مانند عرض پرتو یا آستانهٔ دقت تنظیم شوند تا نتایج معناداری به دست آید، بلکه تابع اختلال نیز باید به‌صراحت برای یک حوزه/مورد استفاده طراحی شود. به این فکر کنید که داده‌های جدولی چگونه مختل می‌شوند، و به این فکر کنید که چگونه همان مفاهیم را بر داده‌های تصویری اعمال کنید (نکته: نمی‌توان اعمال کرد). خوشبختانه در برخی حوزه‌ها (مثلاً جدولی) می‌توان از رویکردهای پیش‌فرض استفاده کرد که برپاسازی اولیهٔ توضیح را آسان می‌کند.

همچنین، بسیاری از سناریوها به گسسته‌سازی نیاز دارند (discretization)، چون در غیر این صورت نتایج بیش از حد اختصاصی می‌شوند، پوشش کمی دارند و به فهم مدل کمکی نمی‌کنند. گسسته‌سازی می‌تواند کمک کند، اما اگر بی‌دقت به کار رود ممکن است مرزهای تصمیم را محو کند و در نتیجه دقیقاً عکس اثر مطلوب را بگذارد. چون بهترین تکنیک گسسته‌سازی وجود ندارد، کاربران باید پیش از تصمیم دربارهٔ نحوهٔ گسسته‌سازی داده‌ها، با داده‌ها آشنا باشند تا به نتایج ضعیف نرسند.

ساختن انکرها، مانند همهٔ توضیح‌دهنده‌های مبتنی بر اختلال، به فراخوانی‌های بسیار زیاد مدل یادگیری ماشین نیاز دارد. اگرچه الگوریتم از MABها برای حداقل کردن تعداد فراخوانی‌ها استفاده می‌کند، زمان اجرای آن هنوز بسیار به عملکرد مدل وابسته است و بنابراین بسیار متغیر است.

سرانجام، مفهوم پوشش در برخی حوزه‌ها تعریف نشده است. برای مثال، هیچ تعریف آشکار یا همه‌گیری وجود ندارد که ابرپیکسل‌های (superpixels) یک تصویر چگونه با ابرپیکسل‌های تصاویر دیگر مقایسه می‌شوند.

توضیح مترجم: «گسسته‌سازی» یعنی تبدیل یک ویژگی عددی پیوسته به چند بازه؛ مثلاً دما به بازه‌های [0,7)، [7,14) و … که در شکل ۱۶.۳ هم دیده می‌شوند. مثال تصویر در متن منبع برای نشان دادن این است که «جایگزین کردن مقدار یک ویژگی با مقدار نمونهٔ دیگر» برای جدول معنا دارد، اما برای پیکسل‌های یک تصویر روش مشخصی ندارد؛ به همین دلیل تابع اختلال باید برای هر حوزه جداگانه طراحی شود. «ابرپیکسل» نیز ناحیه‌ای از پیکسل‌های مجاور و مشابه است که در روش‌های توضیح تصویر به‌جای تک‌تک پیکسل‌ها به کار می‌رود.

نرم‌افزار و جایگزین‌ها

در حال حاضر دو پیاده‌سازی در دسترس است: anchor، یک بستهٔ پایتون (که Alibi نیز آن را یکپارچه کرده است)، و یک پیاده‌سازی جاوا. اولی مرجع نویسندگان الگوریتم انکر است و دومی پیاده‌سازی‌ای با کارایی بالاست که با یک رابط R به نام anchors عرضه می‌شود و برای مثال‌های این فصل به کار رفت. تا کنون، پیاده‌سازی انکر فقط از داده‌های جدولی پشتیبانی می‌کند. با این حال، انکرها را از نظر نظری می‌توان برای هر حوزه یا نوع داده ساخت.

فصل ۱۷: مقادیر شپلی

عنوان اصلی: Shapley Values
منبع: https://christophm.github.io/interpretable-ml-book/shapley.html
نویسنده: Christoph Molnar
مترجم: مریم محمودی


یک پیش‌بینی را می‌توان با این فرض توضیح داد که هر مقدار ویژگیِ نمونه یک «بازیکن» در یک بازی است که در آن پیش‌بینی همان «پرداخت» (payout) است. مقادیر شپلی (Shapley values) – روشی برگرفته از نظریهٔ بازی‌های ائتلافی (coalitional game theory) – به ما می‌گویند «پرداخت» را چگونه به‌طور منصفانه میان ویژگی‌ها توزیع کنیم.

توضیح مترجم: در این فصل Shapley value به‌صورت «مقدار شپلی» نوشته می‌شود. ائتلاف (coalition) مجموعه‌ای از بازیکنان است که با هم همکاری می‌کنند؛ در اینجا بازیکنان همان مقادیر ویژگی‌ها هستند. پرداخت (payout) سودی است که از همکاری به دست می‌آید و باید میان بازیکنان تقسیم شود؛ در اینجا این سود همان پیش‌بینی مدل (منهای میانگین پیش‌بینی) است. نام شپلی از Lloyd Shapley، ریاضی‌دان و اقتصاددان برنده نوبل، گرفته شده که این مفهوم را در سال ۱۹۵۳ معرفی کرد.

💡 کتابی دربارهٔ SHAP

به دنبال راهنمایی جامع و عملی برای SHAP و مقادیر شپلی هستید؟ کتاب Interpreting Machine Learning Models with SHAP پاسخگوی نیاز شماست. با مثال‌های عملی پایتون از بستهٔ shap، یاد می‌گیرید چگونه مدل‌هایی از ساده تا پیچیده را توضیح دهید. این کتاب به سازوکار درونی SHAP می‌پردازد، قالب‌هایی برای تفسیر ارائه می‌دهد و محدودیت‌های کلیدی را برجسته می‌کند و بینش‌هایی را که برای به‌کارگیری مطمئن و مؤثر SHAP لازم دارید در اختیار شما می‌گذارد.

ایدهٔ کلی

سناریوی زیر را فرض کنید: شما یک مدل یادگیری ماشین برای پیش‌بینی قیمت آپارتمان آموزش داده‌اید. برای یک آپارتمان مشخص، مدل ۳۰۰٬۰۰۰ یورو پیش‌بینی می‌کند و شما باید این پیش‌بینی را توضیح دهید. این آپارتمان ۵۰ متر مربع مساحت دارد، در طبقهٔ دوم قرار گرفته، در نزدیکی آن پارکی وجود دارد و نگهداری گربه در آن ممنوع است، همان‌طور که در شکل ۱۷.۱ نشان داده شده است. میانگین پیش‌بینی برای همهٔ آپارتمان‌ها ۳۱۰٬۰۰۰ یورو است. هدف ما توضیح این است که هر یک از این مقادیر ویژگی چه سهمی در پیش‌بینی داشته است. هر مقدار ویژگی در مقایسه با میانگین پیش‌بینی چه مقدار به پیش‌بینی کمک کرده است؟

توضیح مترجم (متن داخل تصویر): در تصویر، نماد درخت‌ها با علامت ✓ یعنی «پارک در نزدیکی هست»؛ ساختمان با برچسب «50 m² / 2nd floor» یعنی «۵۰ مترمربع / طبقهٔ دوم»؛ نماد گربه با علامت ✗ یعنی «نگهداری گربه ممنوع است»؛ و عدد سمت راست پیکان، €300,000، قیمت پیش‌بینی‌شده (۳۰۰٬۰۰۰ یورو) است. نوشته‌های انگلیسی تصویر بدون تغییر ماندند.

پاسخ برای مدل‌های رگرسیون خطی ساده است. اثر هر ویژگی برابر است با وزن آن ویژگی ضرب در مقدار ویژگی. این روش تنها به‌دلیل خطی بودن مدل کار می‌کند. برای مدل‌های پیچیده‌تر به راه‌حل دیگری نیاز داریم. برای مثال، LIME مدل‌های محلی را برای تخمین اثرها پیشنهاد می‌کند. راه‌حل دیگر از نظریهٔ بازی‌های تعاونی (cooperative game theory) می‌آید: مقدار شپلی، که Shapley (۱۹۵۳) آن را معرفی کرد، روشی برای تخصیص پرداخت به بازیکنان بر اساس سهم‌شان در پرداخت کل است. بازیکنان در یک ائتلاف همکاری می‌کنند و از این همکاری سود مشخصی دریافت می‌کنند.

بازیکنان؟ بازی؟ پرداخت؟ ارتباط این‌ها با پیش‌بینی‌های یادگیری ماشین و تفسیرپذیری چیست؟ «بازی» همان وظیفهٔ پیش‌بینی برای یک نمونهٔ منفرد از مجموعه‌داده است. «سود» (gain) برابر است با پیش‌بینی واقعی برای این نمونه منهای میانگین پیش‌بینی برای همهٔ نمونه‌ها. «بازیکنان» مقادیر ویژگیِ نمونه هستند که برای دریافت سود با هم همکاری می‌کنند (= پیش‌بینی یک مقدار مشخص). در مثال آپارتمان ما، مقادیر ویژگی park-nearby (پارک در نزدیکی)، cat-banned (ممنوعیت گربه)، area-50 (مساحت ۵۰) و floor-2nd (طبقهٔ دوم) با هم کار کردند تا به پیش‌بینی ۳۰۰٬۰۰۰ یورو برسند. هدف ما توضیح تفاوت میان پیش‌بینی واقعی (۳۰۰٬۰۰۰ یورو) و میانگین پیش‌بینی (۳۱۰٬۰۰۰ یورو) است: تفاوتی برابر با ‎-۱۰٬۰۰۰ یورو.

پاسخ می‌تواند چنین باشد: park-nearby ۳۰٬۰۰۰ یورو سهم داشت؛ area-50 ۱۰٬۰۰۰ یورو سهم داشت؛ floor-2nd سهمی برابر ۰ یورو داشت؛ cat-banned سهمی برابر ‎-۵۰٬۰۰۰ یورو داشت. سهم‌ها روی هم ‎-۱۰٬۰۰۰ یورو می‌شوند، یعنی پیش‌بینی نهایی منهای میانگین قیمت پیش‌بینی‌شدهٔ آپارتمان.

مقدار شپلی را برای یک ویژگی چگونه محاسبه می‌کنیم؟

مقدار شپلی میانگینِ سهم حاشیه‌ای (marginal contribution) یک مقدار ویژگی در همهٔ ائتلاف‌های ممکن است. حالا همه‌چیز روشن شد؟

شکل ۱۷.۲ نشان می‌دهد سهم حاشیه‌ایِ مقدار ویژگی cat-banned را وقتی به ائتلافی از park-nearby و area-50 اضافه می‌شود چگونه محاسبه کنیم. ما وضعیتی را شبیه‌سازی می‌کنیم که فقط park-nearby، cat-banned و area-50 در یک ائتلاف هستند؛ برای این کار یک آپارتمان دیگر را به‌طور تصادفی از داده‌ها بیرون می‌کشیم و مقدارِ آن را برای ویژگی طبقه به کار می‌بریم. مقدار floor-2nd با floor-1st که به‌طور تصادفی بیرون کشیده شده بود جایگزین شد. سپس قیمت آپارتمانی را با این ترکیب پیش‌بینی می‌کنیم (۳۱۰٬۰۰۰ یورو). در گام دوم، cat-banned را با جایگزین‌کردن آن با یک مقدار تصادفی از ویژگی مجاز/ممنوع‌بودن گربه، از همان آپارتمانِ تصادفی بیرون‌کشیده‌شده، از ائتلاف حذف می‌کنیم. در این مثال این مقدار cat-allowed (گربه مجاز) بود، اما می‌توانست دوباره cat-banned باشد. قیمت آپارتمان را برای ائتلاف park-nearby و area-50 پیش‌بینی می‌کنیم (۳۲۰٬۰۰۰ یورو). سهم cat-banned برابر بود با ۳۱۰٬۰۰۰ یورو − ۳۲۰٬۰۰۰ یورو = ‎-۱۰٬۰۰۰ یورو. این تخمین به مقادیر آپارتمان تصادفیِ بیرون‌کشیده‌شده بستگی دارد که برای مقادیر ویژگی‌های گربه و طبقه نقش «اهداکننده» (donor) را داشت. اگر این مرحلهٔ نمونه‌گیری را تکرار کنیم و سهم‌ها را میانگین بگیریم، تخمین‌های بهتری به دست می‌آوریم.

توضیح مترجم (متن داخل تصویر): در این تصویر هر دو ردیف آپارتمانی با «50 m² / 1st floor» (۵۰ مترمربع / طبقهٔ اول) و پارک در نزدیکی (✓) هستند. در ردیف بالا گربه ممنوع است (✗) و قیمت پیش‌بینی‌شده €310,000 است؛ در ردیف پایین گربه مجاز است (✓) و قیمت پیش‌بینی‌شده €320,000 است. تفاوت این دو قیمت (۳۱۰٬۰۰۰ − ۳۲۰٬۰۰۰ = ‎-۱۰٬۰۰۰ یورو) سهم حاشیه‌ای cat-banned در این تکرار است. «طبقهٔ اول» در هر دو ردیف همان مقدار اهداکننده است که جایگزین «طبقهٔ دوم» شده است.

ما این محاسبه را برای همهٔ ائتلاف‌های ممکن تکرار می‌کنیم. مقدار شپلی میانگین همهٔ سهم‌های حاشیه‌ای در همهٔ ائتلاف‌های ممکن است. زمان محاسبه با افزایش تعداد ویژگی‌ها به‌صورت نمایی افزایش می‌یابد. یک راه‌حل برای قابل‌مدیریت نگه‌داشتن زمان محاسبه این است که سهم‌ها را فقط برای چند نمونه از ائتلاف‌های ممکن محاسبه کنیم.

شکل ۱۷.۳ همهٔ ائتلاف‌هایی از مقادیر ویژگی را نشان می‌دهد که برای تعیین مقدار شپلیِ دقیق cat-banned لازم‌اند. سطر اول ائتلافِ بدون هیچ مقدار ویژگی را نشان می‌دهد. سطرهای دوم، سوم و چهارم ائتلاف‌های مختلف با اندازهٔ فزایندهٔ ائتلاف را نشان می‌دهند که با «|» از هم جدا شده‌اند. در مجموع ائتلاف‌های ممکن عبارت‌اند از:

  • {} (ائتلاف تهی)
  • {park-nearby}
  • {area-50}
  • {floor-2nd}
  • {park-nearby,area-50}
  • {park-nearby,floor-2nd}
  • {area-50,floor-2nd}
  • {park-nearby,area-50,floor-2nd}

برای هر یک از این ائتلاف‌ها، قیمت پیش‌بینی‌شدهٔ آپارتمان را با و بدون مقدار ویژگی cat-banned محاسبه می‌کنیم و تفاضل آن‌ها را به‌عنوان سهم حاشیه‌ای می‌گیریم. مقدار شپلی میانگینِ (وزن‌دار) همهٔ سهم‌های حاشیه‌ای است. برای به‌دست‌آوردن یک پیش‌بینی از مدل یادگیری ماشین، مقادیر ویژگی‌هایی را که در ائتلاف نیستند با مقادیر ویژگیِ تصادفی از مجموعه‌دادهٔ آپارتمان‌ها جایگزین می‌کنیم. اگر مقادیر شپلی را برای همهٔ مقادیر ویژگی تخمین بزنیم، توزیع کامل پیش‌بینی (منهای میانگین) را میان مقادیر ویژگی به دست می‌آوریم.

توضیح مترجم (متن داخل تصویر): نماد ممنوعیت (دایره با خط مورب) در سطر اول همان ائتلاف تهی است. در سطرهای بعد، نمادِ درخت با ✓ یعنی park-nearby، «50m²» یعنی area-50 و ساختمان با برچسب «2nd floor» (طبقهٔ دوم) یعنی floor-2nd. خط‌های عمودی «|» ائتلاف را از مقادیری که در ائتلاف نیستند جدا می‌کنند. نوشته‌های «50m²» و «2nd floor» در تصویر بدون ترجمه ماندند.

برای درک بهتر (توضیح مترجم): برای اینکه وزن‌دهی در «میانگین وزن‌دار» روشن شود، حالت ساده‌ای را با سه بازیکن A، B و C در نظر بگیرید و سهم B را حساب کنید. ائتلاف‌هایی که B در آن‌ها نیست عبارت‌اند از {}، {A}، {C} و {A,C}. شپلی به هر ترتیب ورود بازیکنان وزن یکسانی می‌دهد و ۶ ترتیب ممکن است (۳! = ۶): B در ۲ ترتیب اول وارد می‌شود (به ائتلاف تهی می‌پیوندد)، در ۱ ترتیب بعد از A و در ۱ ترتیب بعد از C، و در ۲ ترتیب آخر به ائتلاف {A,C} می‌پیوندد. پس به ائتلاف‌های {}، {A}، {C} و {A,C} به‌ترتیب وزن‌های ۲/۶، ۱/۶، ۱/۶ و ۲/۶ می‌رسد. اگر سهم حاشیه‌ایِ B در این ائتلاف‌ها به‌ترتیب ۴، ۶، ۲ و ۸ باشد، مقدار شپلی برابر است با $\frac{2}{6}\cdot 4 + \frac{1}{6}\cdot 6 + \frac{1}{6}\cdot 2 + \frac{2}{6}\cdot 8 = \frac{8+6+2+16}{6} = \frac{32}{6} \approx 5.33$. این همان «میانگین وزن‌دار» است که در بخش «نظریهٔ مقدار شپلی» با فرمول دقیق آمده است.

مثال‌ها و تفسیر

تفسیر مقدار شپلی برای ویژگی $j$ چنین است: مقدار $j$-امین ویژگی، در مقایسه با میانگین پیش‌بینی برای مجموعه‌داده، به‌اندازهٔ $\phi_j$ به پیش‌بینیِ این نمونهٔ مشخص کمک کرده است. مقدار شپلی هم برای طبقه‌بندی (اگر با احتمال‌ها سروکار داشته باشیم) و هم برای رگرسیون کار می‌کند.

ما از مقدار شپلی برای تحلیل پیش‌بینی‌های یک مدل جنگل تصادفی (random forest) استفاده می‌کنیم که جنسیت پنگوئن را پیش‌بینی می‌کند. شکل ۱۷.۴ مقادیر شپلی را برای یک پنگوئن نر نشان می‌دهد. مقدار پیش‌بینی‌شدهٔ P(female)=۰٫۲۱ برای این پنگوئن، ‎-۰٫۳۱ زیر میانگین احتمالِ P(female) است که ۰٫۵۱ می‌باشد. طول منقار بیشترین سهم را در احتمال ماده‌بودن داشت، اما بیشتر عوامل (به‌درستی) به سمت نر بودن اشاره می‌کردند. مجموع سهم‌ها تفاوت میان پیش‌بینی واقعی و میانگین پیش‌بینی (۰٫۵۱) را به دست می‌دهد.

توضیح مترجم (متن داخل تصویر): بالای نمودار چهار سطر آمده است: Actual class: male (کلاس واقعی: نر)، Actual prediction: 0.21 (پیش‌بینی واقعی: ۰٫۲۱)، Average prediction: 0.51 (میانگین پیش‌بینی: ۰٫۵۱) و Difference: -0.31 (تفاوت: ‎-۰٫۳۱). برچسب محور افقی Feature value contribution یعنی «سهم مقدار ویژگی». برچسب‌های محور عمودی به شکل «ویژگی=مقدار» هستند: bill_length_mm=37.2 (طول منقار ۳۷٫۲ میلی‌متر)، flipper_length_mm=178 (طول باله ۱۷۸ میلی‌متر)، bill_depth_mm=18.1 (عمق منقار ۱۸٫۱ میلی‌متر)، species=Adelie (گونه: آدلی) و body_mass_g=3900 (وزن بدن ۳۹۰۰ گرم). نام‌های انگلیسی ویژگی‌ها در تصویر بدون ترجمه ماندند.

توضیح مترجم: در متن منبع، جمله‌ای که می‌گوید پیش‌بینی «‎-۰٫۳۱ زیر میانگین» است، چون خودِ تفاوت منفی است، عملاً «علامت منفی» را دو بار به کار برده است؛ منظور این است که پیش‌بینی ۰٫۳۱ واحد کمتر از میانگین است (۰٫۲۱ − ۰٫۵۱ = ‎-۰٫۳۰ با گردکردنِ مقادیر نمایش‌داده‌شده؛ تصویر ‎-۰٫۳۱ را نشان می‌دهد). همچنین عدد داخل پرانتزِ جملهٔ آخر (۰٫۵۱) در منبع همان میانگین پیش‌بینی است نه خودِ تفاوت (‎-۰٫۳۱)؛ ترجمه عین منبع را حفظ کرده است. نکتهٔ دیگر: مقادیر شپلیِ این نمودار با نمونه‌گیری (۱۰۰ نمونه) تخمین زده شده‌اند، بنابراین مجموع میله‌هایی که از روی نمودار به‌صورت تقریبی می‌خوانید لزوماً دقیقاً با تفاوت بالای نمودار برابر نمی‌شود؛ برابری دقیق (خاصیت کارایی) برای مقادیر شپلیِ دقیق برقرار است.

مقادیر شپلی همیشه به یک مجموعه‌دادهٔ مرجع نیاز دارند که اعضای غایبِ تیم از آن نمونه‌گیری شوند. در این مورد من از همهٔ نقاط داده، یعنی همهٔ پنگوئن‌ها، صرف‌نظر از گونه استفاده کردم. پنگوئن فعلی یک پنگوئن Adelie است و می‌توانیم مقادیر شپلی‌ای را هم محاسبه کنیم که فقط با پنگوئن‌های هم‌گونه مقایسه می‌کنند. این کار مشکل نمونه‌گیری و ترکیب مقادیر غیرواقع‌گرایانه را کاهش می‌دهد. شکل ۱۷.۵ تفسیری متفاوت را نیز نشان می‌دهد. وقتی پنگوئن ما را با دیگر پنگوئن‌های Adelie مقایسه می‌کنیم، دلیل احتمال پایینِ ماده‌بودنِ آن وزن بدنش است.

توضیح مترجم (متن داخل تصویر): ساختار برچسب‌ها مانند شکل ۱۷.۴ است؛ در اینجا Average prediction: 0.48 (میانگین پیش‌بینی: ۰٫۴۸) و Difference: -0.28 (تفاوت: ‎-۰٫۲۸) است، چون میانگین فقط روی پنگوئن‌های Adelie گرفته شده است. میلهٔ species=Adelie (گونه: آدلی) ناپیداست، زیرا مرجع فقط شامل همین گونه است و بنابراین این ویژگی تفاوتی ایجاد نمی‌کند (سهم آن صفر است). بیشترین سهم منفی از آنِ body_mass_g=3900 (وزن بدن ۳۹۰۰ گرم) است که با متن هم‌خوانی دارد.

💡 داده‌های مرجع را انتخاب کنید

تفسیر مقدار شپلی همیشه نسبت به مجموعه‌داده‌ای است که برای جایگزینی مقادیر بازیکنان غایب استفاده شده است. مطمئن شوید یک مجموعه‌دادهٔ مرجع معنادار انتخاب می‌کنید.

برای درک بهتر (توضیح مترجم): فرض کنید می‌خواهید بگویید یک پنگوئن «سنگین» است. اگر مرجع شما همهٔ پنگوئن‌ها باشد، وزن ۳۹۰۰ گرم نسبتاً کم است، چون گونهٔ Gentoo سنگین‌تر است؛ اما اگر مرجع فقط پنگوئن‌های Adelie باشد، همین وزن می‌تواند حدوداً معمولی یا حتی بالاتر از میانگین باشد. به همین ترتیب، در شکل ۱۷.۴ سهم species=Adelie منفی و قابل‌توجه است و در شکل ۱۷.۵ صفر است. مقدار شپلی پاسخ می‌دهد «نسبت به چه مرجعی؟»، نه یک اثر مطلق.

برای مجموعه‌دادهٔ اجارهٔ دوچرخه نیز یک جنگل تصادفی آموزش می‌دهیم تا تعداد دوچرخه‌های اجاره‌شده در یک روز را با توجه به اطلاعات آب‌وهوا و تقویم پیش‌بینی کند. توضیحات ساخته‌شده برای پیش‌بینی جنگل تصادفی در یک روز مشخص در شکل ۱۷.۶ نشان داده شده است.

توضیح مترجم (متن داخل تصویر): بالای نمودار سه سطر آمده است: Actual prediction: 4945 (پیش‌بینی واقعی: ۴۹۴۵)، Average prediction: 4524 (میانگین پیش‌بینی: ۴۵۲۴) و Difference: 422 (تفاوت: ۴۲۲). برچسب محور افقی Feature value contribution یعنی «سهم مقدار ویژگی». برچسب‌های محور عمودی از بالا به پایین: temp=15.813349 (دما)، season=FALL (فصل: پاییز)، hum=48.3333 (رطوبت)، weather=GOOD (وضعیت هوا: خوب)، holiday=N (تعطیلی: خیر)، workday=N (روز کاری: خیر)، windspeed=17.291561 (سرعت باد) و cnt_2d_bfr=2913 (تعداد دوچرخه‌های اجاره‌شده در دو روز قبل). نام‌های انگلیسی ویژگی‌ها در تصویر بدون ترجمه ماندند.

با پیش‌بینی ۴۹۴۵ دوچرخهٔ اجاره‌ای، این روز ۴۲۲ زیر میانگین پیش‌بینی یعنی ۴۵۲۴ است. دما و رطوبت بزرگ‌ترین سهم‌های مثبت را داشتند. تعداد کم در دو روز قبل بزرگ‌ترین سهم منفی را داشت. مجموع مقادیر شپلی تفاوت پیش‌بینی واقعی و میانگین پیش‌بینی (۴۲۲) را به دست می‌دهد.

توضیح مترجم: در منبع جملهٔ «۴۲۲ زیر میانگین» با خودِ شکل ناهم‌خوان است: تصویر Difference: 422 را نشان می‌دهد، یعنی پیش‌بینی (۴۹۴۵) از میانگین (۴۵۲۴) بیشتر است و نه کمتر (۴۹۴۵ − ۴۵۲۴ = ۴۲۱ با گردکردن ۴۲۲ نمایش داده شده است). متن عیناً مطابق منبع ترجمه شد. همچنین در شکل، پس از temp بلافاصله season=FALL (فصل پاییز) بزرگ‌ترین سهم مثبت را دارد و بزرگ‌تر از رطوبت است؛ متنِ منبع فقط دما و رطوبت را نام برده است. ویژگیِ منفیِ اصلی cnt_2d_bfr=2913 است که «تعداد کم دو روز قبل» را نشان می‌دهد.

⚠️ مقادیر شپلی خلاف‌واقع (counterfactual) نیستند

در تفسیر مقدار شپلی دقت کنید: مقدار شپلی میانگین سهم یک مقدار ویژگی در پیش‌بینی، در ائتلاف‌های مختلف است. مقدار شپلی تفاوتِ پیش‌بینی هنگامی که ویژگی را از مدل حذف کنیم نیست.

توضیح مترجم: «خلاف‌واقع» یعنی پاسخ به پرسش «اگر مقدار این ویژگی را تغییر می‌دادیم یا ویژگی را حذف می‌کردیم، پیش‌بینی چه می‌شد؟». مقدار شپلی به چنین پرسشی پاسخ نمی‌دهد؛ برای آن به روش‌هایی مانند توضیحات خلاف‌واقع نیاز است.

نظریهٔ مقدار شپلی

این بخش برای خوانندهٔ کنجکاو عمیق‌تر به تعریف و محاسبهٔ مقدار شپلی می‌پردازد. اگر به جزئیات فنی علاقه‌ای ندارید، از این بخش بگذرید و مستقیم به «نقاط قوت و محدودیت‌ها» بروید.

ما می‌خواهیم بدانیم هر ویژگی چگونه بر پیش‌بینی یک نقطهٔ داده اثر می‌گذارد. در یک مدل خطی، محاسبهٔ اثرهای منفرد آسان است. پیش‌بینی یک مدل خطی برای یک نمونهٔ داده به این صورت است:

$$\hat{f}(\mathbf{x})=\beta_0+\beta_{1}x_{1}+\ldots+\beta_{p}x_{p}$$

که در آن $\mathbf{x}$ نمونه‌ای است که می‌خواهیم سهم‌ها را برای آن محاسبه کنیم. هر $x_j$ یک مقدار ویژگی است، با $j = 1,\ldots,p$. $\beta_j$ وزنِ متناظر با ویژگی $j$ است.

سهم $\phi_j$ از $j$-امین ویژگی در پیش‌بینی $\hat{f}(\mathbf{x})$ چنین است:

$$\phi_j(\hat{f})=\beta_{j}x_j-\beta_{j}\mathbb{E}[X_{j}]$$

که در آن $\beta_j \mathbb{E}[X_{j}]$ تخمین اثر میانگین برای ویژگی $j$ است. سهم، تفاوت میان اثر ویژگی و اثر میانگین است. عالی! حالا می‌دانیم هر ویژگی چقدر به پیش‌بینی کمک کرده است. اگر همهٔ سهم‌های ویژگی را برای یک نمونه جمع کنیم، نتیجه چنین است:

$$ \begin{aligned} \sum_{j=1}^{p}\phi_j(\hat{f})=&\sum_{j=1}^p(\beta_{j}x_j- \beta_{j} \mathbb{E}[X_{j}]) \\ =&(\beta_0+\sum_{j=1}^p\beta_{j}x_j)-(\beta_0+\sum_{j=1}^p \beta_{j} \mathbb{E}[X_{j}]) \\ =&\hat{f}(\mathbf{x})-\mathbb{E}[\hat{f}(\mathbf{X})] \end{aligned} $$

این همان مقدار پیش‌بینی‌شده برای نقطهٔ داده $\mathbf{x}$ منهای میانگین مقدار پیش‌بینی‌شده است. سهم‌های ویژگی می‌توانند منفی باشند.

برای درک بهتر (توضیح مترجم): فرض کنید مدل خطی قیمت آپارتمان (به هزار یورو) چنین باشد: $\hat{f}(\mathbf{x}) = 100 + 4\cdot\text{area} + 20\cdot\text{park}$، که در آن $\text{area}$ مساحت به مترمربع و $\text{park}$ برابر ۱ است اگر پارک در نزدیکی باشد و ۰ در غیر این صورت. فرض کنید میانگین مساحت در داده‌ها ۶۰ و میانگین $\text{park}$ برابر ۰٫۵ باشد. برای آپارتمانی با مساحت ۵۰ و پارک نزدیک، $\phi_{\text{area}} = 4\cdot 50 - 4\cdot 60 = -40$ و $\phi_{\text{park}} = 20\cdot 1 - 20\cdot 0.5 = 10$. مجموع سهم‌ها ‎-۳۰ است. از طرف دیگر پیش‌بینی برای این آپارتمان $100 + 200 + 20 = 320$ و میانگین پیش‌بینی $100 + 240 + 10 = 350$ است و تفاوت آن‌ها هم ‎-۳۰ می‌شود؛ یعنی سهم‌ها دقیقاً تفاوت پیش‌بینی و میانگین پیش‌بینی را توضیح می‌دهند.

آیا می‌توانیم همین کار را برای هر نوع مدلی انجام دهیم؟ خوب است این را به‌عنوان یک ابزار مستقل از مدل (model-agnostic) داشته باشیم. چون معمولاً در انواع دیگر مدل‌ها وزن‌هایی مشابه نداریم، به راه‌حل دیگری نیاز داریم.

کمک از جایی غیرمنتظره می‌رسد: نظریهٔ بازی‌های تعاونی. مقدار شپلی راه‌حلی برای محاسبهٔ سهم ویژگی‌ها در پیش‌بینی‌های منفرد برای هر مدل یادگیری ماشین است.

تعریف

مقدار شپلی از طریق یک تابع مقدار (value function) $val$ از بازیکنان در $S$ تعریف می‌شود.

مقدار شپلی یک مقدار ویژگی، سهم آن در پرداخت است که روی همهٔ ترکیب‌های ممکن مقادیر ویژگی وزن‌دهی و جمع می‌شود:

$$\phi_j(val)=\sum_{S\subseteq{1,\ldots,p} \setminus {j}}\frac{|S|!\left(p-|S|-1\right)!}{p!}\left(val\left(S\cup{j}\right)-val(S)\right)$$

که در آن $S$ زیرمجموعه‌ای از ویژگی‌های به‌کاررفته در مدل است، $\mathbf{x}$ بردار مقادیر ویژگیِ نمونه‌ای است که باید توضیح داده شود و $p$ تعداد ویژگی‌هاست. $val_{\mathbf{x}}(S)$ پیش‌بینی برای مقادیر ویژگی در مجموعهٔ $S$ است که روی ویژگی‌های $X_C$ حاشیه‌ای‌سازی (marginalize) شده‌اند؛ $X_C$ همهٔ ویژگی‌هایی هستند که در $S$ نیستند ($S \cap C = \emptyset$ و $S \cup C = {1, \ldots, p}$):

$$val_{\mathbf{x}}(S)=\int\hat{f}(x_{1},\ldots,x_{p})d\mathbb{P}_{X_C}-\mathbb{E}[\hat{f}(\mathbf{X})]$$

در واقع برای هر ویژگی که در $S$ نیست یک انتگرال‌گیری انجام می‌دهید و در نتیجه چندین انتگرال دارید. یک مثال مشخص: مدل یادگیری ماشین با ۴ ویژگی $X_1$، $X_2$، $X_3$ و $X_4$ کار می‌کند و ما پیش‌بینی را برای ائتلاف $S$ که از مقادیر ویژگی $x_1$ و $x_3$ تشکیل شده است ارزیابی می‌کنیم:

$$val_{\mathbf{x}}(S)=val_{\mathbf{x}}({1,3})=\int_{\mathbb{R}}\int_{\mathbb{R}}\hat{f}(x_{1},X_{2},x_{3},X_{4})d\mathbb{P}_{X_2X_4}-\mathbb{E}[\hat{f}(\mathbf{X})]$$

این شبیه سهم‌های ویژگی در مدل خطی است!

توضیح مترجم: فرمول مقدار شپلی را می‌توان چنین خواند: برای هر ائتلاف $S$ که شامل ویژگی $j$ نیست، می‌پرسیم افزودن ویژگی $j$ پیش‌بینی را چقدر تغییر می‌دهد ($val(S\cup{j})-val(S)$)، سپس این تغییرها را با وزنِ $\frac{|S|!,(p-|S|-1)!}{p!}$ میانگین می‌گیریم. این وزن همان نسبتِ ترتیب‌های ورودی (جایگشت‌های) بازیکنان است که در آن‌ها دقیقاً اعضای $S$ پیش از $j$ آمده‌اند. در $val_{\mathbf{x}}(S)$، ویژگی‌های غایب ($X_C$) با انتگرال روی توزیع‌شان «حاشیه‌ای‌سازی» می‌شوند، یعنی پیش‌بینی روی همهٔ مقادیر ممکن آن‌ها میانگین گرفته می‌شود؛ و منهای $\mathbb{E}[\hat{f}(\mathbf{X})]$ باعث می‌شود پرداخت ائتلاف تهی صفر باشد.

📝 با کاربردهای متعدد واژهٔ «مقدار» گیج نشوید

مقدار ویژگی (feature value) مقدار عددی یا دسته‌ای یک ویژگی و یک نمونه است؛ مقدار شپلی (Shapley value) سهم ویژگی در پیش‌بینی است؛ تابع مقدار (value function) تابع پرداخت برای ائتلاف‌های بازیکنان (مقادیر ویژگی) است.

مقدار شپلی تنها روش انتسابی است که ویژگی‌های کارایی (Efficiency)، تقارن (Symmetry)، بازیکن ساکت (Dummy) و جمع‌پذیری (Additivity) را برآورده می‌کند؛ این ویژگی‌ها در کنار هم می‌توانند تعریفی از یک پرداخت منصفانه به‌شمار آیند.

کارایی (Efficiency) سهم‌های ویژگی باید با تفاوت پیش‌بینی برای $\mathbf{x}$ و میانگین برابر باشند.

$$\sum\nolimits_{j=1}^p\phi_j=\hat{f}(\mathbf{x})-\mathbb{E}[\hat{f}(\mathbf{X})]$$

تقارن (Symmetry) اگر دو مقدار ویژگی $j$ و $k$ در همهٔ ائتلاف‌های ممکن به یک اندازه سهم داشته باشند، سهم‌های آن‌ها باید یکسان باشد. اگر

$$val(S \cup {j})=val(S\cup{k})$$

برای همهٔ

$$S\subseteq{1,\ldots, p} \setminus {j,k}$$

آنگاه

$$\phi_j=\phi_{k}$$

بازیکن ساکت (Dummy) ویژگی $j$ که مقدار پیش‌بینی‌شده را تغییر نمی‌دهد – مهم نیست به کدام ائتلاف از مقادیر ویژگی افزوده شود – باید مقدار شپلی ۰ داشته باشد. اگر

$$val(S\cup{j})=val(S)$$

برای همهٔ

$$S\subseteq{1,\ldots,p}$$

آنگاه

$$\phi_j=0$$

جمع‌پذیری (Additivity) برای یک بازی با پرداخت‌های ترکیبی $val + val^+$، مقادیر شپلی متناظر به این صورت است:

$$\phi_j+\phi_j^{+}$$

فرض کنید یک جنگل تصادفی آموزش داده‌اید، یعنی پیش‌بینی میانگینِ بسیاری از درخت‌های تصمیم است. خاصیت جمع‌پذیری تضمین می‌کند که برای یک مقدار ویژگی می‌توانید مقدار شپلی را برای هر درخت جداگانه محاسبه کنید، آن‌ها را میانگین بگیرید و مقدار شپلی آن مقدار ویژگی را برای جنگل تصادفی به دست آورید.

توضیح مترجم: اصطلاح Additivity در اینجا «جمع‌پذیری» ترجمه شده است، چون موضوع آن جمع‌شدنِ پرداخت‌های دو بازی (و مقادیر شپلی‌شان) است. توجه کنید در رابطهٔ $\phi_j+\phi_j^{+}$ نمادِ $^{+}$ نشان‌دهندهٔ بازی دوم است (و نه توان). مثلاً اگر پیش‌بینی جنگل میانگین $T$ درخت باشد، یعنی $val = \frac{1}{T}\sum_{t=1}^T val_t$، مقدار شپلی جنگل برابر میانگین مقادیر شپلی درخت‌هاست.

📝 درک شهودی از مقادیر شپلی

مقادیر ویژگی به ترتیبی تصادفی وارد یک اتاق می‌شوند. همهٔ مقادیر ویژگیِ حاضر در اتاق در بازی مشارکت می‌کنند (= در پیش‌بینی سهم دارند). مقدار شپلی یک مقدار ویژگی، میانگینِ تغییری است که پیش‌بینیِ ائتلافِ حاضر در اتاق هنگام پیوستن آن مقدار ویژگی به آن‌ها دریافت می‌کند.

تخمین مقادیر شپلی

برای محاسبهٔ مقدار شپلیِ دقیق، همهٔ ائتلاف‌های (مجموعه‌های) ممکن از مقادیر ویژگی باید با و بدون $j$-امین ویژگی ارزیابی شوند. وقتی تعداد ویژگی‌ها بیش از چندتاست، راه‌حل دقیق این مسئله دشوار می‌شود، چون با افزودن ویژگی‌های بیشتر، تعداد ائتلاف‌های ممکن به‌صورت نمایی افزایش می‌یابد. Štrumbelj و Kononenko (۲۰۱۴) یک تقریب را با نمونه‌گیری مونت‌کارلو پیشنهاد کردند:

$$\hat{\phi}_{j} = \frac{1}{M}\sum_{m=1}^M\left(\hat{f}(\mathbf{x}^{(m)}_{+j}) - \hat{f}(\mathbf{x}^{(m)}_{-j})\right)$$

که در آن $\hat{f}(\mathbf{x}^{(m)}_{+j})$ پیش‌بینی برای $\mathbf{x}$ است، اما با تعداد تصادفی از مقادیر ویژگی که با مقادیر ویژگیِ یک نقطهٔ داده تصادفی $\mathbf{z}$ جایگزین شده‌اند، به‌جز مقدار مربوط به ویژگی $j$. بردار ویژگی $\mathbf{x}^{(m)}_{-j}$ تقریباً با $\mathbf{x}^{(m)}_{+j}$ یکسان است، اما مقدار $x^{(m)}_j$ نیز از $\mathbf{z}$ نمونه‌برداری‌شده گرفته می‌شود. هر یک از این $M$ نمونهٔ جدید نوعی «هیولای فرانکنشتاین» است که از دو نمونه سرهم شده است. توجه کنید که در الگوریتم زیر، ترتیب ویژگی‌ها در واقع تغییر نمی‌کند – هر ویژگی هنگامی که به تابع پیش‌بینی داده می‌شود در همان موقعیت بردار باقی می‌ماند. ترتیب در اینجا فقط به‌عنوان یک «ترفند» به کار می‌رود: با دادن یک ترتیب جدید به ویژگی‌ها، سازوکاری تصادفی به دست می‌آوریم که به ما کمک می‌کند «هیولای فرانکنشتاین» را سرهم کنیم. برای ویژگی‌هایی که در سمت چپ ویژگی $X_j$ قرار می‌گیرند، مقادیر را از مشاهدات اصلی برمی‌داریم و برای ویژگی‌های سمت راست، مقادیر را از یک نمونهٔ تصادفی می‌گیریم.

تخمین تقریبی شپلی برای یک مقدار ویژگی:

  • خروجی: مقدار شپلی برای مقدار $j$-امین ویژگی
  • ورودی‌های لازم: تعداد تکرارها $M$، نمونهٔ مورد نظر $\mathbf{x}$، اندیس ویژگی $j$، ماتریس داده $\mathbf{X}$ و مدل یادگیری ماشین $f$
  • برای همهٔ $m = 1,\ldots,M$:
    • یک نمونهٔ تصادفی $\mathbf{z}$ را از ماتریس داده $\mathbf{X}$ بیرون بکش
    • یک جایگشت تصادفی $\mathbf{o}$ از مقادیر ویژگی‌ها انتخاب کن
    • نمونهٔ $\mathbf{x}$ را مرتب کن: $\mathbf{x}_{\mathbf{o}}=(x_{(1)},\ldots,x_{(j)},\ldots,x_{(p)})$
    • نمونهٔ $\mathbf{z}$ را مرتب کن: $\mathbf{z}_{\mathbf{o}}=(z_{(1)},\ldots,z_{(j)},\ldots,z_{(p)})$
    • دو نمونهٔ جدید بساز
      • با $j$: $\mathbf{x}_{+j}=(x_{(1)},\ldots,x_{(j-1)},x_{(j)},z_{(j+1)},\ldots,z_{(p)})$
      • بدون $j$: $\mathbf{x}_{-j}=(x_{(1)},\ldots,x_{(j-1)},z_{(j)},z_{(j+1)},\ldots,z_{(p)})$
    • سهم حاشیه‌ای را محاسبه کن: $\phi_j^{(m)}=\hat{f}(\mathbf{x}_{+j})-\hat{f}(\mathbf{x}_{-j})$
  • مقدار شپلی را به‌صورت میانگین محاسبه کن: $\phi_j(\mathbf{x}) = \frac{1}{M}\sum_{m=1}^M\phi_j^{(m)}$

برای درک بهتر (توضیح مترجم): یک تکرار از الگوریتم را روی مثال آپارتمان اجرا می‌کنیم. ویژگی‌ها: $x = (\text{park-nearby}, \text{area-50}, \text{cat-banned}, \text{floor-2nd})$ و $j$ همان ویژگی cat-banned است. فرض کنید نمونهٔ تصادفیِ بیرون‌کشیده‌شده $\mathbf{z} = (\text{park-nearby}, \text{area-50}, \text{cat-allowed}, \text{floor-1st})$ و جایگشت تصادفی چنین باشد: park، area، cat، floor. ویژگی‌های پیش از cat (یعنی park و area) از $\mathbf{x}$ و ویژگی‌های پس از آن (floor) از $\mathbf{z}$ گرفته می‌شوند. «با $j$» می‌شود $\mathbf{x}_{+j} = (\text{park-nearby}, \text{area-50}, \text{cat-banned}, \text{floor-1st})$ که فرض می‌کنیم مدل برای آن ۳۱۰٬۰۰۰ یورو پیش‌بینی کند؛ و «بدون $j$» می‌شود $\mathbf{x}_{-j} = (\text{park-nearby}, \text{area-50}, \text{cat-allowed}, \text{floor-1st})$ با پیش‌بینی ۳۲۰٬۰۰۰ یورو. پس $\phi_j^{(1)} = 310{,}000 - 320{,}000 = -10{,}000$؛ این دقیقاً همان تکرار شکل ۱۷.۲ است. اگر این کار را مثلاً $M = 1000$ بار با نمونه‌ها و جایگشت‌های تصادفیِ مختلف تکرار و میانگین‌گیری کنیم، تخمین مقدار شپلی cat-banned به دست می‌آید. توجه کنید که برای ارزیابی مدل، ویژگی‌ها همچنان در ترتیب اصلی‌شان به آن داده می‌شوند.

💡 برای سرعت، اندازهٔ نمونه را کاهش دهید

هنگام تخمین مقادیر شپلی استفاده از اندازهٔ نمونهٔ کوچک‌تر $M$ را برای کاهش زمان محاسبه در نظر بگیرید، اما مراقب افزایش واریانس تخمین باشید.

این روش باید برای هر یک از ویژگی‌ها تکرار شود تا همهٔ مقادیر شپلی به دست آیند. در فصل SHAP راه‌های کارآمد دیگری برای تخمین مقادیر شپلی خواهیم دید.

نقاط قوت

تفاوت میان پیش‌بینی و میانگین پیش‌بینی به‌طور منصفانه میان مقادیر ویژگیِ نمونه توزیع می‌شود – این همان خاصیت کارایی (Efficiency) مقادیر شپلی است. این خاصیت مقدار شپلی را از روش‌های دیگری مانند LIME متمایز می‌کند. LIME تضمین نمی‌کند که پیش‌بینی به‌طور منصفانه میان ویژگی‌ها توزیع شود. مقادیر شپلی یک توضیح کامل ارائه می‌دهند.

مقدار شپلی توضیحات مقایسه‌ای (contrastive) را ممکن می‌کند. به‌جای مقایسهٔ یک پیش‌بینی با میانگین پیش‌بینی کل مجموعه‌داده، می‌توانید آن را با یک زیرمجموعه یا حتی با یک نقطهٔ داده مقایسه کنید. این ویژگیِ مقایسه‌ای‌بودن نیز چیزی است که مدل‌های محلی مانند LIME ندارند.

مقدار شپلی تنها روش توضیحی است که نظریهٔ استوار دارد. بدیهیات (axioms) – کارایی، تقارن، بازیکن ساکت، جمع‌پذیری – به توضیح پایه‌ای معقول می‌دهند. روش‌هایی مانند LIME فرض می‌کنند مدل یادگیری ماشین به‌طور محلی رفتار خطی دارد، اما هیچ نظریه‌ای وجود ندارد که توضیح دهد چرا این فرض باید کار کند.

توضیح مترجم: «بدیهیات» (axioms) در اینجا همان چهار خاصیتی است که در بخش تعریف آمد. ادعای «تنها روش با نظریهٔ استوار» ادعای نویسنده است؛ منظور این است که مقدار شپلی تنها روش انتساب است که این چهار خاصیت را با هم برآورده می‌کند، نه اینکه روش‌های دیگر هیچ پشتوانهٔ نظری ندارند.

برای درک بهتر (توضیح مترجم): «توضیح مقایسه‌ای» را با مثال آپارتمان ببینید: به‌جای پرسیدن «چرا قیمت ۳۰۰٬۰۰۰ یورو است، نسبت به میانگین کل ۳۱۰٬۰۰۰ یورو؟»، می‌توانیم بپرسیم «چرا قیمت این آپارتمان از قیمت آپارتمان‌های هم‌محله‌اش (مثلاً با میانگین ۲۸۰٬۰۰۰ یورو) بیشتر است؟». کافی است مجموعهٔ مرجعی که برای جایگزینی مقادیر بازیکنان غایب به کار می‌رود را به همان آپارتمان‌های هم‌محله محدود کنیم؛ مقادیر شپلی آن‌گاه تفاوت با همین گروه را توضیح می‌دهند، مانند آنچه در شکل ۱۷.۵ برای پنگوئن‌های هم‌گونه دیدیم.

محدودیت‌ها

مقدار شپلی به زمان محاسبهٔ زیادی نیاز دارد. در ۹۹٫۹٪ از مسائل دنیای واقعی فقط راه‌حل تقریبی عملی است. محاسبهٔ دقیق مقدار شپلی از نظر محاسباتی پرهزینه است، چون $2^k$ ائتلاف ممکن از مقادیر ویژگی وجود دارد و «غیاب» یک ویژگی باید با بیرون‌کشیدن نمونه‌های تصادفی شبیه‌سازی شود، که واریانس تخمین مقادیر شپلی را افزایش می‌دهد. با نمونه‌گیری از ائتلاف‌ها و محدودکردن تعداد تکرارهای $M$ با تعداد نمایی ائتلاف‌ها مقابله می‌شود. کاهش $M$ زمان محاسبه را کم می‌کند، اما واریانس مقدار شپلی را افزایش می‌دهد. قاعدهٔ سرانگشتیِ خوبی برای تعداد تکرارهای $M$ وجود ندارد. $M$ باید آن‌قدر بزرگ باشد که مقادیر شپلی به‌دقت تخمین زده شوند، اما آن‌قدر کوچک که محاسبه در زمان معقولی کامل شود. باید بتوان $M$ را بر اساس کران‌های چرنوف (Chernoff bounds) انتخاب کرد، اما من مقاله‌ای ندیده‌ام که این کار را برای مقادیر شپلی در پیش‌بینی‌های یادگیری ماشین انجام داده باشد.

توضیح مترجم: در منبع تعداد ائتلاف‌ها $2^k$ نوشته شده است؛ از متن روشن است که $k$ همان تعداد ویژگی‌هاست (در بخش‌های پیشین این تعداد با $p$ نشان داده شد). کران‌های چرنوف نامساوی‌هایی احتمالاتی هستند که نشان می‌دهند میانگین نمونه‌ای با چه احتمالی از میانگین واقعی دور می‌شود، و می‌توانند برای تعیین تعداد نمونهٔ لازم به کار روند.

مقدار شپلی می‌تواند اشتباه تفسیر شود. مقدار شپلی یک مقدار ویژگی، تفاوتِ مقدار پیش‌بینی‌شده پس از حذف آن ویژگی از آموزش مدل نیست. تفسیر مقدار شپلی این است: با توجه به مجموعهٔ فعلی مقادیر ویژگی، سهم یک مقدار ویژگی در تفاوت میان پیش‌بینی واقعی و میانگین پیش‌بینی همان مقدار شپلیِ تخمین‌زده‌شده است.

توضیحات مقدار شپلی را نباید به‌معنای محلی بودن از نوع گرادیان‌ها یا همسایگی تفسیر کرد. (Bilodeau و همکاران، ۲۰۲۴) برای مثال، مقدار شپلیِ مثبت به این معنا نیست که افزایش ویژگی پیش‌بینی را افزایش می‌دهد. در عوض، مقدار شپلی باید نسبت به مجموعه‌دادهٔ مرجعی که برای تخمین به کار رفته تفسیر شود. به همین دلیل توصیه می‌کنم مقادیر شپلی را، برای مثال، با نمودارهای ceteris paribus یا نمودارهای ICE همراه کنید تا تصویر کامل را ببینید.

💡 با ceteris paribus و ICE ترکیب کنید

مقادیر شپلی را با نمودارهای ceteris paribus یا ICE همراه کنید تا درکی از حساسیت محلی نسبت به تغییر ویژگی‌ها به دست آورید.

مقدار شپلی اگر به دنبال توضیحات تُنُک (sparse) هستید (توضیحاتی که ویژگی‌های کمی دارند) روش توضیح نادرستی است. توضیحات ساخته‌شده با روش مقدار شپلی از همهٔ ویژگی‌ها استفاده می‌کنند. انسان‌ها توضیحات گزینشی را ترجیح می‌دهند، مانند آنچه LIME تولید می‌کند. LIME ممکن است برای توضیحاتی که افراد غیرمتخصص باید با آن‌ها سروکار داشته باشند انتخاب بهتری باشد. راه‌حل دیگر SHAP است که Lundberg و Lee (۲۰۱۷) آن را معرفی کردند؛ این روش بر مقدار شپلی مبتنی است اما می‌تواند توضیحاتی با ویژگی‌های کم نیز ارائه دهد.

مقدار شپلی برای هر ویژگی یک مقدار ساده برمی‌گرداند، اما هیچ مدل پیش‌بینی‌ای مانند LIME نمی‌دهد. این یعنی نمی‌توان از آن برای بیان‌کردن تغییر پیش‌بینی در برابر تغییر ورودی استفاده کرد، مانند: «اگر سالانه ۳۰۰ یورو بیشتر درآمد داشتم، امتیاز اعتباری‌ام ۵ واحد افزایش می‌یافت.»

مانند بسیاری از روش‌های تفسیر مبتنی بر جایگشت دیگر، روش مقدار شپلی وقتی ویژگی‌ها همبسته‌اند از گنجاندن نمونه‌های داده غیرواقع‌گرایانه رنج می‌برد. برای شبیه‌سازی اینکه یک مقدار ویژگی از ائتلاف غایب است، ویژگی را حاشیه‌ای‌سازی می‌کنیم. این کار با نمونه‌گیری مقادیر از توزیع حاشیه‌ای ویژگی انجام می‌شود. تا وقتی ویژگی‌ها مستقل‌اند این مشکلی ندارد. وقتی ویژگی‌ها وابسته‌اند، ممکن است مقادیر ویژگی‌ای را نمونه‌گیری کنیم که برای این نمونه معنا ندارند. اما از همان‌ها برای محاسبهٔ مقدار شپلی ویژگی استفاده می‌کنیم. یک راه‌حل ممکن این است که ویژگی‌های همبسته را با هم جایگشت دهیم و یک مقدار شپلی مشترک برای آن‌ها به دست آوریم. یک سازگاری دیگر نمونه‌گیری شرطی است: ویژگی‌ها مشروط به ویژگی‌هایی نمونه‌گیری می‌شوند که از قبل در تیم هستند. نمونه‌گیری شرطی مشکل نقاط داده غیرواقع‌گرایانه را برطرف می‌کند، اما مشکل تازه‌ای پدید می‌آورد: مقادیر حاصل دیگر مقادیر شپلیِ بازی ما نیستند، زیرا اصل تقارن را نقض می‌کنند، چنان‌که Sundararajan و Najmi (۲۰۲۰) دریافتند و Janzing و همکاران (۲۰۲۰) بیشتر دربارهٔ آن بحث کردند.

توضیح مترجم: «حاشیه‌ای‌سازی» ویژگیِ غایب یعنی مقدار آن را از توزیع کلی (حاشیه‌ایِ) خودش نمونه می‌گیریم، بدون توجه به مقدار ویژگی‌های دیگر. اگر مثلاً «مساحت» و «تعداد اتاق» همبسته باشند، ممکن است آپارتمانی ۲۰ مترمربعی با ۸ اتاق ساخته شود که در عمل وجود ندارد؛ پیش‌بینی مدل برای چنین نمونه‌ای قابل‌اعتماد نیست. «نمونه‌گیری شرطی» این مشکل را با نمونه‌گیری مساحت به‌شرط تعداد اتاقِ موجود کم می‌کند، اما همان‌طور که منبع می‌گوید، حاصل دیگر با تعریف اصلی مقدار شپلی (با اصل تقارن) سازگار نیست.

نرم‌افزار و جایگزین‌ها

مقادیر شپلی هم در بستهٔ iml و هم در بستهٔ fastshap برای R پیاده‌سازی شده‌اند. در Julia می‌توانید از Shapley.jl استفاده کنید.

SHAP، یک روش تخمین جایگزین و اکوسیستمی برای مقادیر شپلی، در فصل بعد ارائه می‌شود.

رویکرد دیگری breakDown نام دارد که در بستهٔ R با نام breakDown پیاده‌سازی شده است (Staniak و Biecek، ۲۰۱۸). BreakDown نیز سهم هر ویژگی را در پیش‌بینی نشان می‌دهد، اما آن‌ها را گام‌به‌گام محاسبه می‌کند. بیایید قیاس بازی را دوباره به کار ببریم: با یک تیم تهی شروع می‌کنیم، مقدار ویژگی‌ای را که بیشترین سهم را در پیش‌بینی دارد اضافه می‌کنیم و تا زمانی که همهٔ مقادیر ویژگی اضافه شوند تکرار می‌کنیم. میزان سهم هر مقدار ویژگی به مقادیر ویژگی‌ای بستگی دارد که از قبل در «تیم» هستند، و این بزرگ‌ترین عیب روش breakDown است. این روش از روش مقدار شپلی سریع‌تر است و برای مدل‌های بدون برهم‌کنش، نتایج یکسان است.

توضیح مترجم: «برهم‌کنش» (interaction) یعنی اثر یک ویژگی به مقدار ویژگی دیگر وابسته باشد. در مدل بدون برهم‌کنش (مانند مدل خطی) ترتیب افزودن ویژگی‌ها اهمیتی ندارد، پس breakDown و مقدار شپلی نتیجهٔ یکسانی می‌دهند؛ در مدل‌های دارای برهم‌کنش ممکن است ترتیب افزودنِ ویژگی‌ها نتیجهٔ breakDown را تغییر دهد، در حالی که مقدار شپلی با میانگین‌گیری روی همهٔ ترتیب‌ها این وابستگی به ترتیب را از بین می‌برد.

فصل ۱۸: شپ (SHAP)

عنوان اصلی: SHAP
منبع: https://christophm.github.io/interpretable-ml-book/shap.html
نویسنده: Christoph Molnar
مترجم: مریم محمودی


SHAP (SHapley Additive exPlanations)، که Lundberg و Lee (۲۰۱۷) آن را معرفی کردند، روشی برای توضیح پیش‌بینی‌های منفرد است. SHAP بر پایهٔ مقادیر شپلیِ بهینه از دیدگاه نظریهٔ بازی‌ها (game-theoretically optimal Shapley values) بنا شده است. توصیه می‌کنم ابتدا فصل مقادیر شپلی را بخوانید.

برای اینکه بفهمیم چرا SHAP چیزی مستقل است و فقط امتدادی از فصل مقادیر شپلی نیست، کمی تاریخچه لازم است: در سال ۱۹۵۳ لوید شپلی (Lloyd Shapley) مفهوم مقادیر شپلی را برای نظریهٔ بازی‌ها معرفی کرد. استفاده از مقادیر شپلی برای توضیح پیش‌بینی‌های یادگیری ماشین نخستین بار توسط Štrumbelj و Kononenko (۲۰۱۱) و Štrumbelj و Kononenko (۲۰۱۴) پیشنهاد شد. با این حال، این پیشنهادها چندان محبوب نشدند. چند سال بعد، Lundberg و Lee (۲۰۱۷) SHAP را پیشنهاد دادند که در اصل روشی تازه برای تخمین مقادیر شپلی به‌منظور تفسیر پیش‌بینی‌های یادگیری ماشین بود، همراه با نظریه‌ای که مقادیر شپلی را به LIME و دیگر روش‌های انتساب پسینی (post-hoc attribution methods) پیوند می‌دهد، و اندکی نظریهٔ اضافه دربارهٔ مقادیر شپلی.

توضیح مترجم: در این فصل روش انتساب (attribution method) روشی است که سهم هر ویژگی را در یک پیش‌بینی تعیین می‌کند، و پسینی (post-hoc) یعنی پس از آموزش مدل و بدون تغییر در آن اعمال می‌شود. نام SHAP مخفف SHapley Additive exPlanations است و در متن به‌صورت Latin نوشته می‌شود؛ منظور از «مقدار شپلی» همان Shapley value است.

ممکن است بگویید SHAP تنها نام‌گذاری مجدد (rebranding) مقادیر شپلی است (که درست است)، اما این نگاه این واقعیت را نادیده می‌گیرد که SHAP نشان‌دهندهٔ تغییری در محبوبیت و کاربرد مقادیر شپلی هم بود و راه‌های تازه‌ای برای تخمین مقادیر شپلی و تجمیع آن‌ها به شیوه‌های جدید معرفی کرد. همچنین SHAP مقادیر شپلی را به مدل‌های متنی و تصویری آورد.

این فصل می‌توانست به‌راحتی زیرفصلی از فصل مقادیر شپلی باشد، اما می‌توانید آن را «مقادیر شپلی ۲٫۰» برای تفسیر مدل‌های یادگیری ماشین نیز ببینید. تأکید این فصل بر راه‌های تازهٔ تخمین مقادیر شپلی و انواع جدید نمودارهاست. اما پیش از آن، کمی نظریه.

💡 کتابی دربارهٔ SHAP

به دنبال راهنمایی جامع و عملی برای SHAP و مقادیر شپلی هستید؟ کتاب Interpreting Machine Learning Models with SHAP پاسخگوی نیاز شماست. با مثال‌های عملی پایتون از بستهٔ shap، یاد می‌گیرید چگونه مدل‌هایی از ساده تا پیچیده را توضیح دهید. این کتاب به سازوکار درونی SHAP می‌پردازد، قالب‌هایی برای تفسیر ارائه می‌دهد و محدودیت‌های کلیدی را برجسته می‌کند و بینش‌هایی را که برای به‌کارگیری مطمئن و مؤثر SHAP لازم دارید در اختیار شما می‌گذارد.

نظریهٔ SHAP

هدف SHAP توضیح پیش‌بینی یک نمونه $\mathbf{x}$ از طریق محاسبهٔ سهم هر ویژگی در پیش‌بینی است. SHAP مقادیر شپلی را از نظریهٔ بازی‌های ائتلافی محاسبه می‌کند، همان‌طور که در فصل مقادیر شپلی بحث کردیم. مقادیر ویژگیِ یک نمونهٔ داده نقش بازیکنان را در یک ائتلاف دارند. مقادیر شپلی به ما می‌گویند «پرداخت» (= پیش‌بینی) را چگونه به‌طور منصفانه میان ویژگی‌ها توزیع کنیم. یک بازیکن می‌تواند یک مقدار ویژگی منفرد باشد، مثلاً برای داده‌های جدولی. یک بازیکن می‌تواند گروهی از مقادیر ویژگی هم باشد. برای نمونه، برای توضیح یک تصویر می‌توان پیکسل‌ها را در ابرپیکسل‌ها (superpixels) گروه‌بندی کرد و پیش‌بینی را میان آن‌ها توزیع کرد. یکی از نوآوری‌هایی که SHAP به همراه می‌آورد این است که توضیح مبتنی بر مقدار شپلی به‌صورت یک روش انتساب ویژگی افزایشی (additive feature attribution method)، یعنی یک مدل خطی، نمایش داده می‌شود. این دیدگاه LIME و مقادیر شپلی را به هم متصل می‌کند. SHAP توضیح را این‌گونه مشخص می‌کند:

$$g(\mathbf{z}‘)=\phi_0+\sum_{j=1}^M\phi_j z_j’$$

که در آن $g$ مدل توضیح‌دهنده، $\mathbf{z}’ = (z_1’, \ldots, z_M’)^T \in \lbrace 0,1 brace ^M$ بردار ائتلاف (coalition vector)، $M$ بیشینهٔ اندازهٔ ائتلاف و $\phi_j \in \mathbb{R}$ انتساب ویژگی $j$ است، یعنی همان مقادیر شپلی. آنچه من «بردار ائتلاف» می‌نامم در مقالهٔ SHAP «ویژگی‌های ساده‌شده» (simplified features) نامیده می‌شود. گمان می‌کنم این نام از آن رو انتخاب شد که مثلاً برای داده‌های تصویری، تصاویر در سطح پیکسل نمایش داده نمی‌شوند بلکه در ابرپیکسل‌ها تجمیع می‌شوند. مفید است به $\mathbf{z}‘$ به‌عنوان توصیف‌کنندهٔ ائتلاف‌ها فکر کنید: در بردار ائتلاف، مقدار ۱ یعنی مقدار ویژگیِ متناظر «حاضر» (present) و مقدار ۰ یعنی «غایب» (absent) است. اما باز هم تأکید می‌کنم که «ویژگی» در اینجا می‌تواند با ویژگی‌هایی که مدل به کار برده تفاوت داشته باشد، مثل ابرپیکسل‌ها به‌جای پیکسل‌ها. نکتهٔ مهم این است که بتوانیم میان این دو نمایش نگاشت داشته باشیم. برای محاسبهٔ مقادیر شپلی، شبیه‌سازی می‌کنیم که فقط برخی مقادیر ویژگی در بازی شرکت دارند («حاضر») و برخی ندارند («غایب»). نمایش به‌صورت مدل خطیِ ائتلاف‌ها ترفندی برای محاسبهٔ $\phi_j$ها است. برای $\mathbf{x}$، نمونهٔ مورد نظر، بردار ائتلاف $\mathbf{x}’$ برداری از همهٔ ۱‌هاست، یعنی همهٔ مقادیر ویژگی «حاضر» هستند. فرمول ساده می‌شود به:

$$g(\mathbf{x}’)=\phi_0+\sum_{j=1}^M\phi_j$$

این فرمول را با نمادگذاری مشابه در فصل مقدار شپلی می‌یابید. دربارهٔ تخمین واقعی در ادامهٔ این فصل بیشتر خواهد آمد. پیش از ورود به جزئیات تخمین، ابتدا دربارهٔ ویژگی‌های $\phi$ها صحبت کنیم.

مقادیر شپلی تنها راه‌حلی هستند که ویژگی‌های کارایی (Efficiency)، تقارن (Symmetry)، بازیکن ساکت (Dummy) و جمع‌پذیری (Additivity) را برآورده می‌کنند. SHAP نیز چون مقادیر شپلی را محاسبه می‌کند، این ویژگی‌ها را برآورده می‌کند. در مقالهٔ SHAP از Lundberg و Lee (۲۰۱۷) ناهمخوانی‌هایی میان ویژگی‌های SHAP و ویژگی‌های شپلی می‌یابید. SHAP سه ویژگی مطلوب زیر را توصیف می‌کند:

۱) دقت محلی (Local accuracy)

$$\hat{f}(\mathbf{x})=g(\mathbf{x}‘)=\phi_0+\sum_{j=1}^M\phi_j x_j’$$

اگر $\phi_0=\mathbb{E}[\hat{f}(X)]$ تعریف کنید و همهٔ $x_j’$ را برابر ۱ بگذارید، این همان ویژگی کارایی شپلی است. فقط با نامی دیگر و با استفاده از بردار ائتلاف.

$$\hat{f}(\mathbf{x}) = \phi_0 + \sum_{j=1}^M \phi_j x_j’ = \mathbb{E}[\hat{f}(X)] + \sum_{j=1}^M\phi_j$$

۲) غیاب (Missingness)

$$x_j’=0 \Rightarrow \phi_j=0$$

ویژگی غیاب می‌گوید ویژگیِ غایب انتساب صفر می‌گیرد. توجه کنید که $x_j’$ به ائتلاف‌ها اشاره دارد که در آن‌ها مقدار ۰ نشان‌دهندهٔ غیاب یک مقدار ویژگی است. در نمادگذاری ائتلاف، همهٔ مقادیر ویژگی $x_j’$ نمونه‌ای که باید توضیح داده شود باید «۱» باشند. این ویژگی جزو ویژگی‌های مقادیر شپلیِ «معمولی» نیست. پس چرا برای SHAP به آن نیاز داریم؟ Lundberg آن را «ویژگی حسابداری جزئی» (minor book-keeping property) می‌نامد. یک ویژگی غایب می‌تواند – در نظر – مقدار شپلی دلخواهی داشته باشد بی‌آنکه به ویژگی دقت محلی آسیبی بزند، زیرا در $x_j’=0$ ضرب می‌شود. ویژگی غیاب تضمین می‌کند ویژگی‌های غایب مقدار شپلی ۰ بگیرند. در عمل، این فقط برای ویژگی‌هایی که ثابت هستند اهمیت دارد.

۳) سازگاری (Consistency)

فرض کنید $\hat{f}_\mathbf{x}(\mathbf{z}‘) = \hat{f}(h_\mathbf{x}(\mathbf{z}’))$ و $\mathbf{z}_{-j}‘$ نشان دهد که $z_j’=0$. برای هر دو مدل $\hat{f}$ و $\hat{f}’$ که در شرط زیر صدق کنند:

$$\hat{f}_\mathbf{x}^{\prime}(\mathbf{z}‘) - \hat{f}_\mathbf{x}’(\mathbf{z}_{-j}‘) \geq \hat{f}_\mathbf{x}(\mathbf{z}’) - \hat{f}_\mathbf{x}(\mathbf{z}_{-j}’)$$

برای همهٔ ورودی‌های $\mathbf{z}’\in\lbrace 0,1 brace ^M$، آنگاه:

$$\phi_j(\hat{f}’, \mathbf{x}) \geq \phi_j (\hat{f}, \mathbf{x})$$

نمادگذاری $\phi_j(\hat{f}, \mathbf{x})$ تأکید می‌کند که مقادیر شپلی به کدام مدل و کدام نقطهٔ داده بستگی دارند. ویژگی سازگاری می‌گوید اگر مدلی چنان تغییر کند که سهم حاشیه‌ای یک مقدار ویژگی افزایش یابد یا ثابت بماند (بدون توجه به ویژگی‌های دیگر)، مقدار شپلی نیز افزایش می‌یابد یا ثابت می‌ماند. از ویژگی سازگاری، ویژگی‌های خطی‌بودن (Linearity)، بازیکن ساکت و تقارن شپلی نتیجه می‌شوند، همان‌طور که در ضمیمهٔ Lundberg و Lee (۲۰۱۷) توضیح داده شده است.

توضیح مترجم: در سازگاری، $h_\mathbf{x}$ تابعی است که بردار ائتلاف را به یک نمونهٔ معتبر در فضای ویژگی‌های اصلی نگاشت می‌کند (در بخش KernelSHAP توضیح داده می‌شود)، و $\hat{f}_\mathbf{x}(\mathbf{z}‘)$ یعنی پیش‌بینی مدل برای نمونهٔ حاصل از ائتلاف $\mathbf{z}’$. تفاضل $\hat{f}_\mathbf{x}(\mathbf{z}‘) - \hat{f}_\mathbf{x}(\mathbf{z}_{-j}’)$ همان سهم حاشیه‌ای ویژگی $j$ در ائتلاف $\mathbf{z}’$ است (پیش‌بینی با ویژگی $j$ منهای پیش‌بینی بدون آن). همچنین در متن منبع، فهرست ویژگی‌های شپلی («کارایی، تقارن، بازیکن ساکت، جمع‌پذیری») با ویژگی‌هایی که از سازگاری نتیجه می‌شوند («خطی‌بودن، بازیکن ساکت، تقارن») یکسان نیست؛ این تفاوت در همان منبع آمده و عیناً ترجمه شد.

برای درک بهتر (توضیح مترجم): فرض کنید مدلی با سه ویژگی داریم و می‌خواهیم نمونهٔ $\mathbf{x}$ را توضیح دهیم، با $\phi_0 = 0.5$ (میانگین پیش‌بینی) و پیش‌بینی $\hat{f}(\mathbf{x}) = 0.8$. اگر $\phi_1 = 0.2$، $\phi_2 = 0.15$ و $\phi_3 = -0.05$ باشد، دقت محلی برقرار است چون $0.5 + 0.2 + 0.15 - 0.05 = 0.8$. در ائتلاف‌های ساخته‌شده برای محاسبه، ویژگی‌های غایب ($z_j’ = 0$) مقدار خود را از یک نمونهٔ دیگر می‌گیرند. ویژگی غیاب فقط تضمین می‌کند اگر ویژگیِ $j$ در بردار ائتلافِ آنچه توضیح داده می‌شود برابر ۰ باشد، انتسابش دقیقاً $\phi_j = 0$ باشد و عددی دلخواه نباشد؛ مثلاً اگر ویژگی ۳ ثابت باشد و در توضیح غایب فرض شود، سهم آن صفر ثبت می‌شود و مجموع دقت محلی را به هم نمی‌زند.

تخمین SHAP

این بخش دربارهٔ سه راه برای تخمین مقادیر شپلی به‌منظور توضیح پیش‌بینی‌هاست: KernelSHAP، روش جایگشت (Permutation Method) و TreeSHAP.

KernelSHAP

وضعیت KernelSHAP کمی گیج‌کننده است: این روش تمام انگیزهٔ پیدایش SHAP بود، آن را به LIME و دیگر روش‌های انتساب پیوند داد و در مقالهٔ اصلی Lundberg و Lee (۲۰۱۷) معرفی شد. همچنین بسیاری از نوشته‌های وبلاگی و مانند آن دربارهٔ SHAP از KernelSHAP سخن می‌گویند. اما KernelSHAP در مقایسه با TreeSHAP و روش جایگشت کند است، و به همین دلیل بستهٔ پایتون shap دیگر از آن استفاده نمی‌کند. حتی اگر دیگر پیش‌فرض نباشد، KernelSHAP به فهم مقادیر شپلی کمک می‌کند و نشان می‌دهد مقادیر شپلی و LIME چگونه به هم مرتبط‌اند، و برخی پیاده‌سازی‌ها هنوز از آن استفاده می‌کنند.

تخمین KernelSHAP پنج گام دارد:

  • نمونه‌گیری از بردارهای ائتلاف $\mathbf{z}_k’ \in \lbrace 0,1 brace ^M, \quad k \in \lbrace 1,\ldots,K brace $ (۱ = ویژگی در ائتلاف حاضر است، ۰ = ویژگی در ائتلاف غایب است).
  • به دست آوردن پیش‌بینی برای هر $\mathbf{z}_k’$، ابتدا با تبدیل $\mathbf{z}_k’$ به فضای ویژگی اصلی و سپس اعمال مدل $\hat{f}: \hat{f}(h_{\mathbf{x}}(\mathbf{z}_k’))$.
  • محاسبهٔ وزن هر ائتلاف $\mathbf{z}_k’$ با هستهٔ SHAP (SHAP kernel).
  • برازش یک مدل خطی وزن‌دار.
  • بازگرداندن مقادیر شپلی $\phi_k$، یعنی ضرایب مدل خطی.

می‌توانیم با پرتاب مکرر سکه یک ائتلاف تصادفی بسازیم تا رشته‌ای از ۰ و ۱ به دست آید. برای مثال بردار $(1,0,1,0)^T$ یعنی ائتلافی از ویژگی اول و سوم داریم. $K$ ائتلافِ نمونه‌گیری‌شده به مجموعه‌دادهٔ مدل رگرسیون تبدیل می‌شوند. هدف مدل رگرسیون پیش‌بینیِ مدل برای یک ائتلاف است. (شاید بگویید: «صبر کنید! مدل روی این داده‌های ائتلافِ دودویی آموزش ندیده و نمی‌تواند برایشان پیش‌بینی کند.») برای رفتن از ائتلاف‌های مقادیر ویژگی به نمونه‌های دادهٔ معتبر، به تابعی مانند $h_\mathbf{x}(\mathbf{z}’) = \mathbf{z}$ نیاز داریم که در آن $h_\mathbf{x}: \lbrace 0,1 brace ^M\rightarrow\mathbb{R}^p$. تابع $h_\mathbf{x}$ مقادیر ۱ را به مقدار متناظر از نمونه‌ای که می‌خواهیم توضیح دهیم، یعنی $\mathbf{x}$، نگاشت می‌کند. برای داده‌های جدولی، مقادیر ۰ را به مقادیر نمونهٔ دیگری که از داده نمونه‌گیری می‌کنیم نگاشت می‌کند. این یعنی «مقدار ویژگی غایب است» را برابر می‌گیریم با «مقدار ویژگی با یک مقدار ویژگی تصادفی از داده جایگزین شده است». برای داده‌های جدولی، شکل ۱۸.۱ نگاشت از ائتلاف‌ها به مقادیر ویژگی را نشان می‌دهد.

توضیح مترجم (متن داخل تصویر): بالای تصویر Coalitions (ائتلاف‌ها) با پیکانی که با $h_x(z’)$ برچسب خورده به Feature values (مقادیر ویژگی) اشاره دارد. سطر اول Instance x (نمونهٔ $x$): ائتلاف $x’$ برای سه ویژگی Age (سن)، Weight (وزن) و Color (رنگ) هر سه ۱ است و نمونهٔ متناظر $x$ دارای Age = 0.5، Weight = 20 و Color = Blue (آبی) است. سطر دوم Instance with "absent" features (نمونه‌ای با ویژگی‌های «غایب»): $z’$ دارای مقادیر ۱ برای Age و ۰ برای Weight و Color است، و نمونهٔ متناظر $z$ سن ۰٫۵ را حفظ می‌کند ولی Weight = 20 خط می‌خورد و با 17 جایگزین می‌شود، و Color = Blue خط می‌خورد و با Pink (صورتی) جایگزین می‌شود (مقادیر قرمز در تصویر، مقادیر گرفته‌شده از نمونهٔ تصادفی دیگرند). نوشته‌های انگلیسی تصویر بدون تغییر ماندند.

$h_{\mathbf{x}}$ برای داده‌های جدولی ویژگی $X_j$ و $X_{-j}$ (ویژگی‌های دیگر) را مستقل در نظر می‌گیرد و روی توزیع حاشیه‌ای (marginal distribution) انتگرال می‌گیرد:

$$\hat{f}(h_{\mathbf{x}}(\mathbf{z}’)) = \mathbb{E}_{X_{-j}}[\hat{f}(x_j, X_{-j})]$$

نمونه‌گیری از توزیع حاشیه‌ای یعنی نادیده‌گرفتن ساختار وابستگی میان ویژگی‌های حاضر و غایب. بنابراین KernelSHAP از همان مشکل همهٔ روش‌های تفسیرِ مبتنی بر جایگشت (permutation) رنج می‌برد. تخمین احتمالاً به نمونه‌های نامحتمل وزن می‌دهد. نتایج می‌توانند غیرقابل‌اعتماد شوند. اگر از توزیع شرطی (conditional distribution) نمونه‌گیری کنیم، تابع ارزش (value function) تغییر می‌کند و در نتیجه بازی‌ای که مقادیر شپلی پاسخ آن هستند تغییر می‌کند. در نتیجه مقادیر شپلی تفسیر متفاوتی دارند: برای مثال، ویژگی‌ای که شاید مدل اصلاً از آن استفاده نکرده باشد، هنگام نمونه‌گیری شرطی می‌تواند مقدار شپلی غیرصفر داشته باشد. در بازی حاشیه‌ای، این مقدار ویژگی همیشه مقدار شپلی ۰ می‌گیرد، زیرا در غیر این صورت اصل بازیکن ساکت (Dummy) را نقض می‌کرد. این نسخهٔ نمونه‌گیری شرطیِ SHAP وجود دارد و Aas و همکاران (۲۰۲۱) آن را پیشنهاد کردند.

⚠️ مقادیر شپلی شرطی ممکن است به ویژگی‌های بی‌استفاده مقدار شپلی غیرصفر بدهند

مشکل امید ریاضی شرطی این است که ویژگی‌هایی که هیچ تأثیری بر تابع پیش‌بینی $\hat{f}$ ندارند ممکن است تخمین TreeSHAP غیرصفر بگیرند، همان‌طور که Sundararajan و Najmi (۲۰۲۰) و Janzing و همکاران (۲۰۲۰) نشان دادند. تخمین غیرصفر می‌تواند وقتی رخ دهد که ویژگی با ویژگی دیگری که واقعاً بر پیش‌بینی اثر دارد همبسته باشد.

برای درک بهتر (توضیح مترجم): فرض کنید مدل فقط از «مساحت» استفاده می‌کند و «تعداد اتاق» را اصلاً نمی‌بیند، اما در داده‌ها این دو همبسته‌اند. در بازی حاشیه‌ای، تغییر دادن «تعداد اتاق» پیش‌بینی را تغییر نمی‌دهد، پس سهم آن دقیقاً صفر است. در نمونه‌گیری شرطی، وقتی «تعداد اتاق» را ثابت می‌کنیم، مقادیر «مساحت» شرطی بر آن نمونه‌گیری می‌شود و پیش‌بینی تغییر می‌کند؛ بنابراین مقدار شپلیِ غیرصفر به «تعداد اتاق» نسبت داده می‌شود، حتی اگر مدل آن را به کار نبرده باشد.

برای تصاویر، شکل ۱۸.۲ یک نگاشت ممکن را توصیف می‌کند. اختصاص‌دادن میانگین رنگ پیکسل‌های اطراف یا مشابه آن نیز گزینه‌ای دیگر خواهد بود.

توضیح مترجم (متن داخل تصویر): بالای تصویر Coalitions of superpixels (ائتلاف‌هایی از ابرپیکسل‌ها) با پیکانی که با $h_x(z’)$ برچسب خورده به Image (تصویر) اشاره دارد. سطر اول Instance x (نمونهٔ $x$): طرح دست‌کشیدهٔ تصویر با سه ناحیهٔ sp1 (پس‌زمینه)، sp2 (پتو) و sp3 (سر سگ) و جدول sp1 | sp2 | sp3 با مقادیر 1 | 1 | 1؛ در کنار آن تصویر اصلی (سگی پیچیده در پتو در جنگل). سطر دوم Instance x with absent features (نمونهٔ $x$ با ویژگی‌های غایب): جدول 1 | 1 | 0، یعنی sp3 غایب است، و تصویر متناظر که در آن ناحیهٔ سر سگ خاکستری شده است. نوشته‌های انگلیسی تصویر بدون تغییر ماندند.

تفاوت بزرگ میان SHAP و LIME در وزن‌دهی نمونه‌ها در مدل رگرسیون است. LIME نمونه‌ها را بر اساس نزدیکی‌شان به نمونهٔ اصلی وزن می‌دهد. هرچه تعداد ۰‌ها در بردار ائتلاف بیشتر باشد، وزن در LIME کمتر است. SHAP نمونه‌های نمونه‌گیری‌شده را بر اساس وزنی که ائتلاف در تخمین مقدار شپلی می‌گرفت وزن می‌دهد. ائتلاف‌های کوچک (با ۱‌های کم) و ائتلاف‌های بزرگ (یعنی با ۱‌های زیاد) بیشترین وزن‌ها را می‌گیرند. شهود پشت آن این است: زمانی بیشترین چیز را دربارهٔ ویژگی‌های منفرد یاد می‌گیریم که بتوانیم اثرشان را در انزوا مطالعه کنیم. اگر یک ائتلاف از یک ویژگی تنها تشکیل شده باشد، می‌توانیم دربارهٔ اثر اصلی منزوی آن ویژگی بر پیش‌بینی یاد بگیریم. اگر یک ائتلاف از همهٔ ویژگی‌ها به جز یکی تشکیل شده باشد، می‌توانیم دربارهٔ اثر کل آن ویژگی (اثر اصلی به‌علاوهٔ برهم‌کنش‌های ویژگی) یاد بگیریم. اگر یک ائتلاف از نیمی از ویژگی‌ها تشکیل شده باشد، دربارهٔ سهم یک ویژگی منفرد کم یاد می‌گیریم، چون ائتلاف‌های ممکن با نیمی از ویژگی‌ها بسیار زیادند. برای رسیدن به وزن‌دهیِ سازگار با شپلی، Lundberg و Lee (۲۰۱۷) هستهٔ SHAP را پیشنهاد دادند:

$$\pi_{\mathbf{x}}(\mathbf{z}‘) = \frac{(M-1)}{\binom{M}{|\mathbf{z}’|} |\mathbf{z}‘| (M - |\mathbf{z}’|)}$$

در اینجا $M$ بیشینهٔ اندازهٔ ائتلاف و $|\mathbf{z}‘|$ تعداد ویژگی‌های حاضر در نمونهٔ $\mathbf{z}’$ است. Lundberg و Lee (۲۰۱۷) نشان می‌دهند که رگرسیون خطی با این وزن هسته مقادیر شپلی را می‌دهد. اگر هستهٔ SHAP را روی داده‌های ائتلاف با LIME به کار ببرید، LIME نیز مقادیر شپلی را تخمین می‌زند!

برای درک بهتر (توضیح مترجم): فرض کنید $M = 4$ ویژگی داریم. برای ائتلافی با ۱ ویژگی حاضر ($|\mathbf{z}‘| = 1$): $\pi = \frac{3}{\binom{4}{1}\cdot 1\cdot 3} = \frac{3}{12} = 0.25$. برای ائتلافی با ۲ ویژگی حاضر: $\pi = \frac{3}{\binom{4}{2}\cdot 2\cdot 2} = \frac{3}{24} = 0.125$. برای ائتلافی با ۳ ویژگی حاضر: $\pi = \frac{3}{\binom{4}{3}\cdot 3\cdot 1} = \frac{3}{12} = 0.25$. پس هستهٔ SHAP به ائتلاف‌های کوچک و بزرگ وزن بیشتری می‌دهد تا ائتلاف‌های میانی، همان‌طور که متن می‌گوید. (برای $|\mathbf{z}’| = 0$ و $|\mathbf{z}’| = M$ مخرج صفر می‌شود و وزن عملاً بی‌نهایت در نظر گرفته می‌شود؛ این دو ائتلاف تهی و کامل نقش قیدهای $\phi_0$ و دقت محلی را دارند.)

می‌توانیم در نمونه‌گیری ائتلاف‌ها کمی هوشمندتر باشیم: کوچک‌ترین و بزرگ‌ترین ائتلاف‌ها بیشترِ وزن را به خود اختصاص می‌دهند. اگر بخشی از بودجهٔ نمونه‌گیری $K$ را برای گنجاندن این ائتلاف‌های پروزن به کار ببریم و کورکورانه نمونه نگیریم، تخمین‌های بهتری از مقادیر شپلی به دست می‌آوریم. از همهٔ ائتلاف‌های ممکن با ۱ و $M-1$ ویژگی شروع می‌کنیم که در مجموع $2M$ ائتلاف می‌شود. وقتی بودجهٔ کافی باقی مانده باشد (بودجهٔ فعلی $K - 2M$ است)، می‌توانیم ائتلاف‌های با ۲ ویژگی و با $M-2$ ویژگی را نیز بگنجانیم و همین‌طور ادامه دهیم. از اندازه‌های ائتلافِ باقی‌مانده با وزن‌های بازتنظیم‌شده نمونه‌گیری می‌کنیم.

داده، هدف و وزن‌ها را داریم؛ همه‌چیزی که برای ساختن مدل رگرسیون خطی وزن‌دارمان لازم است:

$$g(\mathbf{z}‘) = \phi_0 + \sum_{j=1}^M \phi_j z_j’$$

مدل خطی $g$ را با بهینه‌سازی تابع زیان $L$ زیر آموزش می‌دهیم:

$$L(\hat{f}, g, \pi_{\mathbf{x}}) = \sum_{\mathbf{z}’ \in \mathbf{Z}} [\hat{f}(h_{\mathbf{x}}(\mathbf{z}‘)) - g(\mathbf{z}’)]^2 \pi_{\mathbf{x}}(\mathbf{z}’)$$

که در آن $\mathbf{Z}$ داده‌های آموزشی است. این همان مجموع مربعات خطای قدیمیِ خسته‌کننده‌ای است که معمولاً برای مدل‌های خطی بهینه می‌کنیم. ضرایب برآوردشدهٔ مدل، یعنی $\phi_j$ها، مقادیر شپلی هستند.

از آنجا که در یک وضعیت رگرسیون خطی هستیم، می‌توانیم از ابزارهای استاندارد رگرسیون هم بهره ببریم. برای مثال می‌توانیم جمله‌های تنظیم‌سازی (regularization) اضافه کنیم تا مدل تُنُک (sparse) شود. اگر یک جریمهٔ L1 به زیان $L$ اضافه کنیم، می‌توانیم توضیح‌های تُنُک بسازیم. (البته مطمئن نیستم ضرایب حاصل همچنان مقادیر شپلی معتبر باشند.)

TreeSHAP

Lundberg و همکاران (۲۰۱۹) TreeSHAP را پیشنهاد دادند، گونه‌ای از SHAP برای مدل‌های یادگیری ماشین مبتنی بر درخت مانند درخت‌های تصمیم، جنگل‌های تصادفی و درخت‌های تقویت‌شده با گرادیان. TreeSHAP به‌عنوان جایگزینی سریع و مختص مدل برای KernelSHAP معرفی شد. TreeSHAP چقدر سریع‌تر است؟ در مقایسه با KernelSHAP دقیق، پیچیدگی محاسباتی را از $O(TL2^M)$ به $O(TLD^2)$ کاهش می‌دهد، که در آن $T$ تعداد درخت‌ها، $L$ بیشینهٔ تعداد برگ‌ها در هر درخت و $D$ بیشینهٔ عمق هر درخت است.

TreeSHAP در دو نسخه می‌آید:

  • نسخهٔ «مداخله‌ای» (Interventional) مقادیر شپلی کلاسیک را محاسبه می‌کند.
  • نسخهٔ «وابسته به مسیر درخت» (Tree-path dependent) چیزی شبیه مقادیر SHAP شرطی را محاسبه می‌کند.

پیاده‌سازی اصلی در بستهٔ پایتون shap نسخهٔ وابسته به مسیر درخت بود، اما اکنون نسخهٔ مداخله‌ای است.

تخمین هم برای نسخهٔ مداخله‌ای و هم برای نسخهٔ وابسته به مسیر درخت نسبتاً پیچیده است، پس فقط ایدهٔ کلی را می‌گویم (بخوانید: خودم نسخهٔ کامل را کاملاً نفهمیده‌ام). در اصل، TreeSHAP از ساختار درخت بهره می‌گیرد تا مقادیر شپلی را کارآمدتر محاسبه کند.

TreeSHAP مداخله‌ای همان مقادیر SHAP معمول را محاسبه می‌کند. توصیف زیر برای تخمین مقادیر شپلی برای یک درخت منفرد، برای یک نقطهٔ داده $\mathbf{x}$ که باید توضیح داده شود، و برای سادگی با این فرض است که مجموعه‌دادهٔ پس‌زمینه فقط یک نقطهٔ داده $\mathbf{z}$ دارد:

مقدار شپلی، همان‌طور که می‌دانیم، با تشکیل مکرر ائتلاف‌هایی از مقادیر ویژگی محاسبه می‌شود که شامل بازیکنان حاضر (مقادیر ویژگی از $\mathbf{x}$) و بازیکنان غایب (مقادیر ویژگی از $\mathbf{z}$) است. اما برای بسیاری از این ائتلاف‌ها، افزودن یک ویژگی از $\mathbf{x}$ پیش‌بینی را تغییر نمی‌دهد، چون یک درخت تصمیم به‌دلیل ساختار تصمیم‌گیری‌اش فقط تعداد محدودی پیش‌بینی متمایز دارد. برای مثال، یک درخت دودویی با عمق ۵ حداکثر ۳۲ پیش‌بینی ممکن دارد. پس به‌جای پیمایش همهٔ ائتلاف‌ها، تخمین‌گر TreeSHAP مداخله‌ای مسیرهای درخت را می‌کاود تا فقط با ائتلاف‌هایی کار کند که واقعاً پیش‌بینی‌ها را تغییر می‌دهند. بخش دشوار، وزن‌دهی و ترکیب درست این سهم‌های حاشیه‌ای است که الگوریتم TreeSHAP مداخله‌ای را دشوارتر برای فهمیدن می‌کند. و البته، بازگشت (recursion) لعنتی. برای به دست آوردن مقادیر شپلی برای مجموعه‌ای (ensemble) از درخت‌ها، مثلاً برای جنگل تصادفی، کافی است مقادیر شپلی را همان‌طور ترکیب کنید که پیش‌بینی‌های مجموعه ترکیب می‌شوند. در مورد جنگل تصادفی، یعنی میانگین‌گیری از مقادیر.

TreeSHAP وابسته به مسیر درخت به شیوه‌ای مشابه کار می‌کند و از ساختار درخت بهره می‌برد. ایدهٔ اصلی این است که همهٔ زیرمجموعه‌های ائتلاف $S$ را هم‌زمان در درخت به پایین هل بدهیم. و در هر شکافت، تعداد نمونه‌ها را برای زیرمجموعه‌ها دنبال می‌کنیم.

توضیح مترجم: جملهٔ «بخوانید: خودم نسخهٔ کامل را کاملاً نفهمیده‌ام» و عبارت «بازگشت لعنتی» لحن شخصی نویسنده هستند و عیناً حفظ شدند. برای جزئیات کامل الگوریتم‌ها به مقالهٔ Lundberg و همکاران (۲۰۱۹) مراجعه کنید.

برای درک بهتر (توضیح مترجم): یک درخت با دو ویژگی را در نظر بگیرید: اگر $x_1 > 5$ برو به برگ A (پیش‌بینی ۱۰)، وگرنه اگر $x_2 > 3$ برو به برگ B (پیش‌بینی ۴) و وگرنه به برگ C (پیش‌بینی ۰). این درخت فقط سه خروجی ممکن دارد، پس هرچند چهار ائتلاف ممکن از دو ویژگی وجود دارد ($\emptyset$، $\lbrace 1 brace $، $\lbrace 2 brace $، $\lbrace 1,2 brace $)، پیش‌بینی همگی فقط به مسیر طی‌شده در درخت بستگی دارد. TreeSHAP به‌جای ساختن و ارزیابی صریح هر ائتلاف، مسیرهای درخت را دنبال می‌کند و فقط ائتلاف‌هایی را در نظر می‌گیرد که مسیر (و در نتیجه پیش‌بینی) را عوض می‌کنند. این همان دلیلی است که پیچیدگی از نمایی ($2^M$) به چندجمله‌ای (بر حسب $T$ و $L$ و $D$) کاهش می‌یابد.

روش جایگشت (Permutation Method)

کارآمدترین تخمین‌گر مستقل از مدل (model-agnostic)، روش جایگشت است. ایده این است که با ساختن جایگشت‌هایی از ویژگی‌ها، هوشمندانه از ائتلاف‌ها نمونه‌گیری کنیم.

بیایید یک مثال را ببینیم (برگرفته از کتاب Interpreting Machine Learning Models with SHAP) با چهار مقدار ویژگی: $x_{\text{park}}, x_{\text{cat}}, x_{\text{area}}$ و $x_{\text{floor}}$. برای سادگی، $x^{(i)}_{\text{park}}$ را به‌صورت $x_{\text{park}}$ کوتاه می‌کنم.

یک جایگشت تصادفی از این ویژگی‌ها چنین خواهد بود:

$$(x_{\text{cat}}, x_{\text{area}}, x_{\text{park}}, x_{\text{floor}})$$

بر اساس این جایگشت، می‌توانیم سهم‌های حاشیه‌ای را با ساختن ائتلاف‌ها از چپ به راست محاسبه کنیم:

  • افزودن $x_{\text{cat}}$ به $\emptyset$
  • افزودن $x_{\text{area}}$ به $\lbrace x_{\text{cat}} brace $
  • افزودن $x_{\text{park}}$ به $\lbrace x_{\text{cat}}, x_{\text{area}} brace $
  • افزودن $x_{\text{floor}}$ به $\lbrace x_{\text{cat}}, x_{\text{area}}, x_{\text{park}} brace $

و همین را می‌توانیم به‌صورت معکوس انجام دهیم:

  • افزودن $x_{\text{floor}}$ به $\emptyset$
  • افزودن $x_{\text{park}}$ به $\lbrace x_{\text{floor}} brace $
  • افزودن $x_{\text{area}}$ به $\lbrace x_{\text{park}}, x_{\text{floor}} brace $
  • افزودن $x_{\text{cat}}$ به $\lbrace x_{\text{area}}, x_{\text{park}}, x_{\text{floor}} brace $

جایگشت در هر گام یک ویژگی را تغییر می‌دهد. این کار تعداد فراخوانی‌های مدل را کم می‌کند، چون جملهٔ دوم یک سهم حاشیه‌ای (یک پیش‌بینی مدل) برای محاسبهٔ سهم حاشیه‌ای بعدی نیز لازم است. برای مثال، ائتلاف $\lbrace x_{\text{cat}}, x_{\text{area}} brace $ هم برای محاسبهٔ سهم حاشیه‌ای $x_{\text{park}}$ به $\lbrace x_{\text{cat}}, x_{\text{area}} brace $ و هم برای سهم حاشیه‌ای $x_{\text{area}}$ به $\lbrace x_{\text{cat}} brace $ به کار می‌رود. هر جایگشتِ رو به جلو و رو به عقب برای هر ویژگی دو سهم حاشیه‌ای به ما می‌دهد. با انجام چند جایگشت از این دست، تخمین بسیار خوبی از مقادیر شپلی می‌گیریم. برای محاسبهٔ واقعی مقادیر شپلی باید مقادیر شپلی را بر حسب جایگشت‌ها به‌جای ائتلاف‌ها تعریف کنیم: $p!$ جایگشت ممکن از ویژگی‌ها وجود دارد و $o(k)$ جایگشت $k$‌ام است؛ آنگاه مقدار شپلی ویژگی $j$ را می‌توان چنین محاسبه کرد:

$$\hat{\phi}_j^{(i)} = \frac{1}{m} \sum_{k=1}^m \hat{\Delta}_{o(k), j}$$

جملهٔ $\hat{\Delta}_{o(k), j}$ سهم حاشیه‌ای $k$‌ام است. یعنی می‌توانیم مقدار شپلی را به‌صورت میانگین ساده روی همهٔ سهم‌ها محاسبه کنیم. اما انگیزهٔ تخمین با جایگشت این بود که از محاسبهٔ همهٔ ائتلاف‌ها یا جایگشت‌های ممکن پرهیز کنیم. خوبی کار این است که می‌توانیم از جایگشت‌ها نمونه بگیریم و باز هم میانگین بگیریم. چون تکرارهای رو به جلو و رو به عقب را انجام می‌دهیم، مقدار شپلی را چنین محاسبه می‌کنیم:

$$\hat{\phi}_j^{(i)} = \frac{1}{2m} \sum_{k=1}^m (\hat{\Delta}_{o(k), j} + \hat{\Delta}_{-o(k), j})$$

جایگشت $-o(k)$ نسخهٔ معکوس جایگشت است. رویهٔ جایگشت با تکرارهای رو به جلو و رو به عقب، که نمونه‌گیری آنتی‌تتیک (antithetic sampling) نیز نامیده می‌شود، در مقایسه با دیگر تخمین‌گرهای نمونه‌گیری مقدار SHAP بسیار خوب عمل می‌کند (Mitchell و همکاران، ۲۰۲۲). روش جایگشت علاوه بر این تضمین می‌کند که اصل کارایی همیشه برقرار است، یعنی وقتی مقادیر SHAP را جمع می‌زنید، برابر پیش‌بینی منهای میانگین پیش‌بینی می‌شوند. برای تصوری تقریبی از تعداد جایگشت‌هایی که شاید لازم باشد: بستهٔ shap به‌طور پیش‌فرض ۱۰ را به کار می‌برد.

توضیح مترجم: در منبع $m$ در فرمول‌ها تعریف صریح نشده است؛ از متن برمی‌آید که $m$ تعداد جایگشت‌های نمونه‌گیری‌شده است (نه لزوماً همهٔ $p!$ جایگشت)، و $\hat{\Delta}_{o(k), j}$ سهم حاشیه‌ای ویژگی $j$ در جایگشت $o(k)$ است. نمادگذاری $x_{\text{park}}$ (به‌جای $x^{(i)}_{\text{park}}$) عیناً از منبع آمده است. «آنتی‌تتیک» یعنی برای هر جایگشت، معکوس آن را هم به کار می‌بریم تا برآورد متقارن‌تر و با واریانس کمتر شود.

برای درک بهتر (توضیح مترجم): با دو ویژگی A و B و یک جایگشت $(A, B)$ و معکوس آن $(B, A)$ کار می‌کنیم. فرض کنید $\hat{f}(\emptyset) = 10$، $\hat{f}(\lbrace A brace ) = 14$، $\hat{f}(\lbrace B brace ) = 12$ و $\hat{f}(\lbrace A,B brace ) = 20$ (پیش‌بینی با ائتلاف مورد نظر). در جایگشت رو به جلو: سهم حاشیه‌ای A برابر $14-10=4$ و سهم B برابر $20-14=6$ است. در جایگشت معکوس: سهم B برابر $12-10=2$ و سهم A برابر $20-12=8$ است. مقدار شپلی A برابر $\frac{4+8}{2}=6$ و مقدار شپلی B برابر $\frac{6+2}{2}=4$ است. مجموع $6+4=10=20-10$ برابر پیش‌بینی منهای میانگین است، یعنی کارایی برقرار است.

مثال

یک طبقه‌بند جنگل تصادفی با ۱۰۰ درخت آموزش دادم تا جنس پنگوئن را پیش‌بینی کند. از SHAP برای توضیح پیش‌بینی‌های منفرد استفاده می‌کنیم. می‌توانیم به‌جای روش کندتر KernelSHAP از روش سریع TreeSHAP مداخله‌ای استفاده کنیم، چون جنگل تصادفی مجموعه‌ای از درخت‌هاست. اما این مثال به‌جای تکیه بر توزیع شرطی، از توزیع حاشیه‌ای استفاده می‌کند. این موضوع در بسته توضیح داده شده است، اما در مقالهٔ اصلی نه. تابع TreeSHAP پایتون با توزیع حاشیه‌ای کندتر است، اما همچنان سریع‌تر از KernelSHAP است، چون به‌صورت خطی با تعداد سطرهای داده مقیاس می‌گیرد.

چون در اینجا از توزیع حاشیه‌ای استفاده می‌کنیم، تفسیر همان تفسیر فصل مقادیر شپلی است. اما بستهٔ پایتون shap با یک تجسم متفاوت می‌آید: می‌توانید انتساب‌های ویژگی مانند مقادیر شپلی را به‌صورت «نیروها» تجسم کنید. هر مقدار ویژگی نیرویی است که پیش‌بینی را یا افزایش می‌دهد یا کاهش. پیش‌بینی از خط پایه (baseline) آغاز می‌شود. خط پایه برای مقادیر شپلی میانگین همهٔ پیش‌بینی‌هاست. در نمودار، هر مقدار شپلی پیکانی است که پیش‌بینی را افزایش (مقدار مثبت) یا کاهش (مقدار منفی) می‌دهد. این نیروها در پیش‌بینی واقعیِ نمونهٔ داده یکدیگر را خنثی می‌کنند.

💡 برگهٔ تقلب نمودارهای SHAP

بستهٔ پایتون shap با تجسم‌های متفاوت بسیار زیادی همراه است که می‌تواند گیج‌کننده باشد. برای همین آن‌ها را در این SHAP Plots Cheatsheet خلاصه کرده‌ام، همراه با اینکه چگونه نمودارها را تفسیر کنید.

شکل ۱۸.۳ نمودارهای نیرویی توضیح SHAP را برای دو پنگوئن از مجموعه‌دادهٔ پنگوئن‌های پالمر (Palmer penguins) نشان می‌دهد: پنگوئن اول به‌دلیل طول کم منقار، احتمال بالایی دارد که پنگوئن آدلی (Adelie) باشد. پنگوئن دوم به‌دلیل طول زیاد منقار و طول بال، بعید است آدلی باشد.

توضیح مترجم (متن داخل تصویر): در هر دو نمودار، higher ⇄ lower (بالاتر ⇄ پایین‌تر) راهنمای رنگ‌هاست: قرمز نیرویی است که پیش‌بینی را بالا می‌برد و آبی نیرویی که آن را پایین می‌آورد. base value (مقدار پایه) همان خط پایه، یعنی میانگین پیش‌بینی، و f(x) پیش‌بینی مدل برای همان پنگوئن است. نمودار بالا: f(x) = 0.80؛ نیروهای قرمز (افزایش‌دهنده) از چپ به راست bill_depth_mm = 17.4 (عمق منقار)، bill_length_mm = 39.5 (طول منقار)، flipper_length_mm = 186.0 (طول بال) و body_mass_g = 3800.0 (توده بدنی بر حسب گرم) هستند و نیروهای آبی species_Gentoo = 0.0 و species_Chinstrap = 0.0 (نشانگرهای گونه‌های Gentoo و Chinstrap؛ مقدار ۰ یعنی از آن گونه نیست). نمودار پایین: f(x) = -0.00 (یعنی تقریباً صفر)؛ همهٔ نیروها آبی‌اند: body_mass_g = 4675.0، bill_depth_mm = 19.6، species_Gentoo = 0.0، flipper_length_mm = 195.0 و bill_length_mm = 39.2. نوشته‌های انگلیسی تصویر بدون تغییر ماندند.

توضیح مترجم: میان شکل و متن/زیرنویس منبع چند ناهمخوانی دیده می‌شود که بی‌صدا اصلاح نشدند: (۱) زیرنویس می‌گوید خط پایه ۰٫۴۷ است، ولی در هر دو نمودار base value نزدیک ۰٫۵۱ خوانده می‌شود؛ (۲) متن می‌گوید پنگوئن اول «به‌دلیل طول کم منقار» احتمال بالایی دارد، اما در نمودار بالا بزرگ‌ترین نیروی قرمز مربوط به body_mass_g است و bill_length_mm نیروی کوچک‌تری دارد؛ (۳) متن می‌گوید پنگوئن دوم به‌دلیل «طول منقار و طول بال» بعید است آدلی باشد، اما در نمودار پایین بزرگ‌ترین نیرو body_mass_g است؛ (۴) نمودارها f(x) را نشان می‌دهند و متن آن را «احتمال آدلی بودن» می‌خواند، در حالی که در شکل‌های بعدی منبع (خلاصه و وابستگی) محور به «احتمال ماده بودن P(female)» اشاره دارد. این ناهمخوانی‌ها در منبع وجود دارد و ترجمه عیناً مطابق آن است.

برای درک بهتر (توضیح مترجم): نمودار نیرو را مانند «کشاکش» بخوانید: خط پایه ۰٫۵ است و سه نیرو به‌ترتیب $+0.15$، $+0.10$ و $-0.05$ پیش‌بینی را می‌کشند. مجموع نیروها $+0.20$ است، پس پیش‌بینی نهایی $0.5 + 0.20 = 0.70$ خواهد بود؛ همان نقطه‌ای که در نمودار با $f(x)$ مشخص شده است. هرچه یک پیکان بلندتر باشد، سهم آن ویژگی در جابه‌جایی پیش‌بینی از خط پایه بیشتر است.

نمودارهای تجمیعی SHAP

بخش پیشین توضیح‌هایی برای پیش‌بینی‌های منفرد نشان داد.

مقادیر شپلی را می‌توان به توضیح‌های سراسری (global) ترکیب کرد. اگر SHAP را برای هر نمونه اجرا کنیم، ماتریسی از مقادیر شپلی به دست می‌آوریم. این ماتریس برای هر نمونهٔ داده یک سطر و برای هر ویژگی یک ستون دارد. می‌توانیم با تحلیل مقادیر شپلی در این ماتریس، کل مدل را تفسیر کنیم.

با اهمیت ویژگی SHAP شروع می‌کنیم.

اهمیت ویژگی SHAP (SHAP Feature Importance)

ایدهٔ پشت اهمیت ویژگی SHAP ساده است: ویژگی‌هایی که مقادیر شپلی مطلق بزرگ دارند مهم‌اند. چون اهمیت سراسری را می‌خواهیم، میانگین مقادیر شپلیِ مطلق هر ویژگی را روی داده‌ها می‌گیریم:

$$I_j=\frac{1}{n}\sum_{i=1}^n |\phi_j^{(i)}|$$

سپس ویژگی‌ها را بر اساس اهمیت نزولی مرتب می‌کنیم و آن‌ها را رسم می‌کنیم. شکل ۱۸.۴ اهمیت ویژگی SHAP را برای جنگل تصادفیِ پیش‌تر آموزش‌دیده برای طبقه‌بندی پنگوئن‌ها نشان می‌دهد. توده بدنی (body mass) مهم‌ترین ویژگی بود و احتمال پیش‌بینی‌شده برای آدلی را ۲۵ نقطهٔ درصدی تغییر داد (۰٫۲۵ روی محور x).

توضیح مترجم (متن داخل تصویر): محور عمودی از بالا به پایین ویژگی‌ها را به ترتیب اهمیت نشان می‌دهد: body_mass_g (توده بدنی بر حسب گرم)، bill_depth_mm (عمق منقار بر حسب میلی‌متر)، bill_length_mm (طول منقار)، flipper_length_mm (طول بال)، species_Gentoo و species_Chinstrap (نشانگرهای گونه). برچسب محور افقی mean(|SHAP value|) (average impact on model output magnitude) یعنی «میانگین (|مقدار SHAP|) (تأثیر متوسط بر اندازهٔ خروجی مدل)». نوشته‌های انگلیسی تصویر بدون تغییر ماندند.

اهمیت ویژگی SHAP جایگزینی برای اهمیت ویژگی جایگشتی است. میان این دو معیار اهمیت تفاوت بزرگی هست: اهمیت ویژگی جایگشتی بر کاهش عملکرد مدل مبتنی است. SHAP بر بزرگی انتساب‌های ویژگی مبتنی است.

برای درک بهتر (توضیح مترجم): فرض کنید برای ۴ پنگوئن، مقادیر شپلی ویژگی «توده بدنی» برابر $+0.30$، $-0.20$، $+0.25$ و $-0.35$ باشد. میانگین ساده این مقادیر $0$ است و اهمیت را صفر نشان می‌داد، در حالی که ویژگی آشکارا مؤثر است؛ پس مقدار مطلق می‌گیریم: $I = \frac{0.30+0.20+0.25+0.35}{4} = 0.275$. این یعنی «به‌طور متوسط، توده بدنی پیش‌بینی را حدود ۰٫۲۷۵ (۲۷٫۵ نقطهٔ درصدی) جابه‌جا می‌کند»، صرف‌نظر از جهت.

نمودار اهمیت ویژگی مفید است، اما اطلاعاتی فراتر از خود اهمیت‌ها ندارد. برای نموداری آموزنده‌تر، در ادامه نمودار خلاصه را بررسی می‌کنیم.

نمودار خلاصهٔ SHAP (SHAP Summary Plot)

نمودار خلاصه، اهمیت ویژگی را با اثرهای ویژگی ترکیب می‌کند. هر نقطه در نمودار خلاصه یک مقدار شپلی برای یک ویژگی و یک نمونه است. موقعیت روی محور y را ویژگی و روی محور x را مقدار شپلی تعیین می‌کند. رنگ نشان‌دهندهٔ مقدار ویژگی از کم به زیاد است. نقاط هم‌پوشان در راستای محور y پراکنده (jitter) می‌شوند، تا حسی از توزیع مقادیر شپلی برای هر ویژگی به دست آوریم. ویژگی‌ها بر اساس اهمیتشان مرتب شده‌اند. در نمودار خلاصه، شکل ۱۸.۵، نخستین نشانه‌های رابطهٔ میان مقدار یک ویژگی و تأثیر آن بر پیش‌بینی را می‌بینیم. توده بدنی بالاتر سهم منفی در P(female) دارد. نمودار خلاصه همچنین نشان می‌دهد توده بدنی برای پنگوئن‌های مختلف گسترده‌ترین دامنهٔ اثرها را دارد.

توضیح مترجم (متن داخل تصویر): ویژگی‌های محور عمودی مانند شکل ۱۸.۴ هستند (body_mass_g، bill_depth_mm، bill_length_mm، flipper_length_mm، species_Gentoo، species_Chinstrap). برچسب محور افقی SHAP value (impact on model output) یعنی «مقدار SHAP (تأثیر بر خروجی مدل)». نوار رنگ سمت راست با عنوان Feature value (مقدار ویژگی) از Low (کم، آبی) تا High (زیاد، قرمز) است. در نمودار، نقاط قرمز (توده بدنی زیاد) در سمت منفی محور x و نقاط آبی (توده بدنی کم) در سمت مثبت قرار دارند که با جملهٔ متن هم‌خوان است. نوشته‌های انگلیسی تصویر بدون تغییر ماندند.

توضیح مترجم: متن منبع در اینجا از P(female) و در بخش اهمیت از «احتمال آدلی» سخن می‌گوید؛ منبع کلاس هدف را صریح مشخص نکرده و عیناً ترجمه شد.

اما برای دیدن شکل دقیق رابطه، باید به نمودارهای وابستگی SHAP نگاه کنیم.

نمودار وابستگی SHAP (SHAP Dependence Plot)

وابستگی ویژگی SHAP شاید ساده‌ترین نمودار تفسیر سراسری باشد: ۱) یک ویژگی را انتخاب کنید. ۲) برای هر نمونهٔ داده، نقطه‌ای رسم کنید که مقدار ویژگی روی محور x و مقدار شپلی متناظر روی محور y باشد. ۳) تمام.

از نظر ریاضی، نمودار شامل نقاط زیر است: $\lbrace (x_j^{(i)}, \phi_j^{(i)}) brace _{i=1}^n$

شکل ۱۸.۶ وابستگی ویژگی SHAP را برای توده بدنی نشان می‌دهد. هرچه پنگوئن سنگین‌تر باشد، احتمال ماده بودنش کمتر است.

توضیح مترجم (متن داخل تصویر): محور افقی body_mass_g (توده بدنی بر حسب گرم، از حدود ۳۰۰۰ تا ۶۰۰۰) و محور عمودی SHAP value for body_mass_g (مقدار SHAP برای توده بدنی) است. مقادیر SHAP برای توده بدنیِ کم حدود ‎+۰٫۴ و برای توده بدنیِ زیاد حدود ‎−۰٫۴ تا ‎−۰٫۵ است. نوشته‌های انگلیسی تصویر بدون تغییر ماندند.

نمودارهای وابستگی SHAP جایگزینی برای روش‌های سراسریِ اثر ویژگی مانند نمودارهای وابستگی جزئی و اثرهای محلی انباشته هستند. در حالی که نمودارهای PDP و ALE اثرهای میانگین را نشان می‌دهند، وابستگی SHAP واریانس را هم روی محور y نشان می‌دهد. به‌ویژه در حالت وجود برهم‌کنش‌ها، نمودار وابستگی SHAP روی محور y بسیار پراکنده‌تر خواهد بود. می‌توان نمودار وابستگی را با برجسته‌کردن این برهم‌کنش‌های ویژگی بهبود داد.

برای درک بهتر (توضیح مترجم): فرض کنید دو پنگوئن هر دو توده بدنی ۴۰۰۰ گرم دارند. اگر ویژگی‌ها برهم‌کنش نداشته باشند، مقدار SHAP توده بدنی برای هر دو یکسان است و نقاط روی یک منحنی صاف می‌نشینند. اما اگر اثر توده بدنی به عمق منقار وابسته باشد، یکی ممکن است ‎−۰٫۱ و دیگری ‎−۰٫۳ بگیرد؛ نقاط در یک مقدار x روی محور y پخش می‌شوند. PDP فقط میانگین آن‌ها (‎−۰٫۲) را نشان می‌داد.

مقادیر برهم‌کنش SHAP (SHAP Interaction Values)

اثر برهم‌کنش (interaction effect) اثر ترکیبیِ اضافی ویژگی‌هاست، پس از آنکه اثرهای ویژگی‌های منفرد را در نظر گرفته باشیم. شاخص برهم‌کنش شپلی (Shapley interaction index) از نظریهٔ بازی‌ها این‌گونه تعریف می‌شود:

$$\phi_{i,j}=\sum_{S\subseteq\backslash\lbrace i,j brace }\frac{|S|!(M-|S|-2)!}{2(M-1)!}\delta_{ij}(S)$$

وقتی $i\neq{}j$ و $\delta_{ij}(S)=\hat{f}_{\mathbf{x}}(S\cup\lbrace i,j brace )-\hat{f}_{\mathbf{x}}(S\cup\lbrace i brace )-\hat{f}_{\mathbf{x}}(S\cup\lbrace j brace )+\hat{f}_{\mathbf{x}}(S)$.

این فرمول اثر اصلی ویژگی‌ها را کم می‌کند تا اثر برهم‌کنشِ خالص پس از احتساب اثرهای منفرد به دست آید. مقادیر را روی همهٔ ائتلاف‌های ممکن ویژگی $S$ میانگین می‌گیریم، همان‌طور که در محاسبهٔ مقدار شپلی. وقتی مقادیر برهم‌کنش SHAP را برای همهٔ ویژگی‌ها محاسبه می‌کنیم، برای هر نمونه یک ماتریس با ابعاد $M \times M$ به دست می‌آوریم، که در آن $M$ تعداد ویژگی‌هاست. چگونه می‌توانیم از شاخص برهم‌کنش استفاده کنیم؟ برای مثال، برای رنگ‌آمیزی خودکار نمودار وابستگی ویژگی SHAP با قوی‌ترین برهم‌کنش، مانند شکل ۱۸.۷. در اینجا، توده بدنی با عمق منقار برهم‌کنش دارد.

توضیح مترجم (متن داخل تصویر): محور افقی body_mass_g (توده بدنی بر حسب گرم) و محور عمودی SHAP value for body_mass_g (مقدار SHAP برای توده بدنی) است. نوار رنگ سمت راست با عنوان bill_depth_mm (عمق منقار بر حسب میلی‌متر) مقادیر ۱۴ تا ۲۰ را نشان می‌دهد؛ بنفش تیره برای عمق‌های کم (حدود ۱۴ تا ۱۶) و سبز برای عمق‌های زیاد (حدود ۱۶ تا ۲۰). نوشته‌های انگلیسی تصویر بدون تغییر ماندند.

توضیح مترجم: زیرنویس منبع می‌گوید نمودار «وابستگی طول منقار در برهم‌کنش با توده بدنی» است، در حالی که تصویر وابستگی توده بدنی را با رنگ‌بندی بر اساس عمق منقار نشان می‌دهد (و متن بدنه هم می‌گوید «توده بدنی با عمق منقار برهم‌کنش دارد»). این ناهمخوانی در منبع وجود دارد و زیرنویس عیناً ترجمه شد. همچنین در فرمول شاخص برهم‌کنش، نمادگذاری $S\subseteq\backslash\lbrace i,j brace $ همان‌گونه که در منبع آمده نوشته شد (منظور زیرمجموعه‌های $S$ از ویژگی‌ها بدون $i$ و $j$ است).

برای درک بهتر (توضیح مترجم): برای $S=\emptyset$ و دو ویژگی $i,j$ فرض کنید $\hat{f}(\emptyset)=10$، $\hat{f}(\lbrace i brace )=14$، $\hat{f}(\lbrace j brace )=13$ و $\hat{f}(\lbrace i,j brace )=20$. آنگاه $\delta_{ij}(\emptyset)=20-14-13+10=3$. اگر اثرها جمع‌پذیر (بدون برهم‌کنش) بودند، $\hat{f}(\lbrace i,j brace )$ برابر $14+13-10=17$ می‌شد؛ مقدار اضافی ۳ همان اثر برهم‌کنش خالص است.

💡 برهم‌کنش‌ها را عمیق تحلیل کنید

موضوع SHAP و برهم‌کنش‌ها بسیار عمیق‌تر می‌رود. اگر به تحلیل پیچیده‌تری از برهم‌کنش‌های SHAP نیاز دارید، توصیه می‌کنم به بستهٔ shapiq (Muschalik و همکاران، ۲۰۲۴) نگاهی بیندازید.

خوشه‌بندی مقادیر شپلی

می‌توانید با کمک مقادیر شپلی داده‌هایتان را خوشه‌بندی کنید. هدف خوشه‌بندی یافتن گروه‌هایی از نمونه‌های مشابه است. معمولاً خوشه‌بندی بر پایهٔ ویژگی‌هاست. ویژگی‌ها اغلب مقیاس‌های متفاوتی دارند. برای مثال، قد ممکن است بر حسب متر اندازه‌گیری شود، شدت رنگ از ۰ تا ۱۰۰، و خروجی برخی حسگرها بین ‎−۱ و ۱ باشد. دشواری در محاسبهٔ فاصله میان نمونه‌هایی با ویژگی‌های اینچنین متفاوت و غیرقابل‌مقایسه است.

خوشه‌بندی SHAP با خوشه‌بندی مقادیر شپلی هر نمونه کار می‌کند. یعنی نمونه‌ها را بر اساس شباهت توضیح‌هایشان خوشه‌بندی می‌کنید. همهٔ مقادیر SHAP یک واحد دارند – واحد فضای پیش‌بینی. می‌توانید از هر روش خوشه‌بندی استفاده کنید.

شکل ۱۸.۸ از خوشه‌بندی سلسله‌مراتبی تجمیعی (hierarchical agglomerative clustering) برای مرتب‌کردن نمونه‌ها استفاده می‌کند. نمودار از بسیاری نمودارهای نیرویی تشکیل شده که هر کدام پیش‌بینی یک نمونه را توضیح می‌دهند. نمودارهای نیرویی را به‌صورت عمودی می‌چرخانیم و بر اساس شباهت خوشه‌بندی‌شان کنار هم قرار می‌دهیم.

توضیح مترجم (متن داخل تصویر): بالای نمودار فهرست کشویی sample order by similarity (ترتیب نمونه‌ها بر اساس شباهت) دیده می‌شود. محور افقی (حدود ۰ تا ۳۰۰) شمارهٔ نمونه‌ها بر اساس ترتیب خوشه‌بندی و محور عمودی f(x) خروجی (پیش‌بینی) مدل است. برچسب‌های bill_depth_mm و body_mass_g نام ویژگی‌هایی هستند که بیشترین سهم را در بخش‌های مختلف نمودار دارند. نوشته‌های انگلیسی تصویر بدون تغییر ماندند.

برای درک بهتر (توضیح مترجم): فرض کنید دو پنگوئن با اندازه‌های بدنی بسیار متفاوت، هر دو با همان دلیل (توده بدنی کم) پیش‌بینی «احتمالاً ماده» گرفته‌اند. در خوشه‌بندی بر اساس ویژگی‌های خام ممکن است در خوشه‌های متفاوت بیفتند، اما در خوشه‌بندی SHAP توضیح‌هایشان مشابه است و در یک خوشه قرار می‌گیرند. در شکل ۱۸.۸ هم بخش‌های بزرگ آبی و قرمز یکنواخت نشان می‌دهند گروه‌هایی از نمونه‌ها دلیل یکسانی برای پیش‌بینی خود دارند.

نقاط قوت

چون SHAP مقادیر شپلی را محاسبه می‌کند، همهٔ مزیت‌های مقادیر شپلی برای آن صادق است: SHAP پایهٔ نظری استوار در نظریهٔ بازی‌ها دارد. پیش‌بینی به‌طور منصفانه میان مقادیر ویژگی توزیع می‌شود. توضیح‌های مقایسه‌ای (contrastive) به دست می‌آوریم که پیش‌بینی را با میانگین پیش‌بینی مقایسه می‌کنند.

SHAP LIME و مقادیر شپلی را به هم پیوند می‌دهد. این برای فهم بهتر هر دو روش بسیار مفید است. همچنین به یکپارچه‌سازی حوزهٔ یادگیری ماشین تفسیرپذیر کمک می‌کند.

SHAP پیاده‌سازی سریع برای مدل‌های مبتنی بر درخت دارد. باور دارم این کلید محبوبیت SHAP بود، چون بزرگ‌ترین مانع پذیرش مقادیر شپلی محاسبهٔ کند آن است.

محاسبهٔ سریع این امکان را فراهم می‌کند که مقادیر شپلیِ فراوانِ لازم برای تفسیرهای سراسری مدل محاسبه شوند. روش‌های تفسیر سراسری شامل اهمیت ویژگی، وابستگی ویژگی، برهم‌کنش‌ها، خوشه‌بندی و نمودارهای خلاصه‌اند. با SHAP، تفسیرهای سراسری با توضیح‌های محلی سازگارند، چون مقادیر شپلی «واحد اتمی» تفسیرهای سراسری هستند. اگر برای توضیح‌های محلی از LIME و برای توضیح‌های سراسری از نمودارهای وابستگی جزئی به‌علاوهٔ اهمیت ویژگی جایگشتی استفاده کنید، پایهٔ مشترکی ندارید.

توضیح مترجم: «واحد اتمی» یعنی اینکه هر نمودار سراسری از تجمیع یا برش همان مقادیر شپلیِ محلی ساخته می‌شود، پس سازگاری میان توضیح محلی و سراسری تضمین است.

برای درک بهتر (توضیح مترجم): فرض کنید ماتریس مقادیر شپلی را برای ۱۰۰۰ پنگوئن محاسبه کرده‌اید. برای یک پنگوئن، سطر مربوط به آن توضیح محلی است؛ میانگین قدر مطلق یک ستون اهمیت سراسری آن ویژگی است؛ و رسم ستون در برابر مقدار ویژگی نمودار وابستگی است. همه از یک ماتریس به دست می‌آیند، پس هرگز با یکدیگر تناقض ندارند.

محدودیت‌ها

KernelSHAP کند است. این موضوع KernelSHAP را وقتی می‌خواهید مقادیر شپلی را برای نمونه‌های بسیار محاسبه کنید غیرعملی می‌کند. همچنین، همهٔ روش‌های سراسری SHAP، مانند اهمیت ویژگی SHAP، به محاسبهٔ مقادیر شپلی برای نمونه‌های فراوان نیاز دارند.

KernelSHAP وابستگی ویژگی را نادیده می‌گیرد. بیشتر روش‌های تفسیرِ مبتنی بر جایگشت دیگر هم این مشکل را دارند. با جایگزین‌کردن مقادیر ویژگی با مقادیر نمونه‌های تصادفی، معمولاً نمونه‌گیری تصادفی از توزیع حاشیه‌ای ساده‌تر است. اما اگر ویژگی‌ها وابسته، مثلاً همبسته، باشند، این به وزن‌دادن بیش‌ازحد به نقاط داده‌ای منجر می‌شود که احتمال کمی دارند.

TreeSHAP وابسته به مسیر درخت می‌تواند انتساب‌های ویژگیِ غیرشهودی تولید کند. در حالی که TreeSHAP مشکل برون‌یابی (extrapolation) به نقاط داده‌ای نامحتمل را حل می‌کند، این کار را با تغییر تابع ارزش انجام می‌دهد و بنابراین بازی را اندکی تغییر می‌دهد. TreeSHAP تابع ارزش را با تکیه بر پیش‌بینی مورد انتظار شرطی تغییر می‌دهد. با این تغییر در تابع ارزش، ویژگی‌هایی که هیچ تأثیری بر پیش‌بینی ندارند می‌توانند مقدار TreeSHAP غیرصفر بگیرند.

معایب مقادیر شپلی برای SHAP هم صادق است: مقادیر شپلی می‌توانند اشتباه تفسیر شوند.

امکان ساخت تفسیرهای عمداً گمراه‌کننده با SHAP وجود دارد که می‌تواند سوگیری‌ها را پنهان کند (Slack و همکاران، ۲۰۲۰). اگر شما دانشمند دادهٔ سازندهٔ توضیح‌ها باشید، این مشکل واقعی نیست (حتی اگر دانشمند دادهٔ شرور باشید که می‌خواهد توضیح‌های گمراه‌کننده بسازد، یک مزیت هم خواهد بود). برای دریافت‌کنندگان توضیح SHAP این یک عیب است: نمی‌توانند از صحت توضیح مطمئن باشند.

توضیح مترجم: جملهٔ طعنه‌آمیز نویسنده («دانشمند دادهٔ شرور») حفظ شد. منظور این است که توضیح SHAP را می‌توان طوری ساخت (مثلاً با دست‌کاری مدل یا داده‌های پس‌زمینه) که ویژگی‌های حساس مثل جنسیت یا نژاد در توضیح کم‌اهمیت جلوه کنند، در حالی که مدل واقعاً از آن‌ها استفاده می‌کند؛ این را Slack و همکاران (۲۰۲۰) نشان دادند.

نرم‌افزار

Lundberg، SHAP را در بستهٔ پایتون shap پیاده‌سازی کرد که اکنون تیمی بسیار بزرگ‌تر آن را نگهداری می‌کند.

این پیاده‌سازی برای مدل‌هایی کار می‌کند که با کتابخانهٔ یادگیری ماشین scikit-learn برای پایتون آموزش داده شده‌اند. بستهٔ shap برای مثال‌های این فصل هم استفاده شد. SHAP در چارچوب‌های تقویت درخت xgboost و LightGBM ادغام شده است، و آن را در PiML، یک کتابخانهٔ تفسیرپذیری عمومی‌تر، نیز می‌یابید. در R بسته‌های shapper و fastshap وجود دارند. SHAP در بستهٔ R با نام xgboost نیز گنجانده شده است. به‌طور ویژه برای برهم‌کنش‌های SHAP، بستهٔ پایتون shapiq وجود دارد.

فصل ۱۹: نمودار وابستگی جزئی (PDP)

عنوان اصلی: Partial Dependence Plot (PDP)
منبع: https://christophm.github.io/interpretable-ml-book/pdp.html
نویسنده: Christoph Molnar
مترجم: مریم محمودی


نمودار وابستگی جزئی (partial dependence plot؛ به اختصار PDP یا PD plot) اثر حاشیه‌ای (marginal effect) یک یا دو ویژگی را بر خروجی پیش‌بینی‌شدهٔ یک مدل یادگیری ماشین نشان می‌دهد (Friedman (۲۰۰۱)). نمودار وابستگی جزئی می‌تواند نشان دهد که رابطهٔ میان هدف و یک ویژگی خطی است، یکنواخت (monotonic) است، یا پیچیده‌تر. برای مثال، وقتی نمودار وابستگی جزئی روی یک مدل رگرسیون خطی اعمال می‌شود، همیشه یک رابطهٔ خطی را نشان می‌دهد.

توضیح مترجم: «اثر حاشیه‌ای» در این فصل یعنی اثر یک ویژگی بر پیش‌بینی پس از آنکه اثر ویژگی‌های دیگر با میانگین‌گیری «کنار گذاشته» شده باشد؛ نه اثر آن ویژگی در یک نمونهٔ خاص. «یکنواخت» یعنی با افزایش مقدار ویژگی، پیش‌بینی یا همواره افزایش می‌یابد یا همواره کاهش می‌یابد (بدون تغییر جهت). نام‌های PDP و PD plot در متن به‌صورت Latin می‌آیند.

تعریف و برآورد

تابع وابستگی جزئی (partial dependence function) برای رگرسیون به این صورت تعریف می‌شود:

$$\hat{f}_S(\mathbf{x}_S) = \mathbb{E}_{\mathbf{X}_C}\left[\hat{f}(\mathbf{x}_S, X_C)\right] = \int \hat{f}(\mathbf{x}_S, X_C) d\mathbb{P}(\mathbf{X}_C)$$

$\mathbf{x}_S$ ویژگی‌هایی هستند که قرار است تابع وابستگی جزئی برای آن‌ها رسم شود، و $X_C$ ویژگی‌های دیگری هستند که در مدل یادگیری ماشین $\hat{f}$ به کار رفته‌اند و در اینجا متغیرهای تصادفی در نظر گرفته می‌شوند. معمولاً در مجموعهٔ $S$ فقط یک یا دو ویژگی وجود دارد. ویژگی‌(های) موجود در $S$ همان‌هایی هستند که می‌خواهیم اثرشان را بر پیش‌بینی بدانیم. بردارهای ویژگی $\mathbf{x}_S$ و $\mathbf{x}_C$ با هم دادهٔ کل $\mathbf{X}$ را تشکیل می‌دهند. وابستگی جزئی با حاشیه‌ای‌سازی (marginalizing) خروجی مدل یادگیری ماشین روی توزیع ویژگی‌های مجموعهٔ $C$ کار می‌کند، به‌طوری که تابع حاصل رابطهٔ میان ویژگی‌های مجموعهٔ $S$ که به آن‌ها علاقه‌مندیم و خروجی پیش‌بینی‌شده را نشان دهد. با حاشیه‌ای‌سازی روی ویژگی‌های دیگر، تابعی به دست می‌آوریم که فقط به ویژگی‌های $S$ وابسته است و برهم‌کنش‌ها (interactions) با ویژگی‌های دیگر در آن لحاظ شده‌اند.

تابع جزئی $\hat{f}_S$ با محاسبهٔ میانگین‌ها در داده‌های آموزشی برآورد می‌شود، که به آن روش مونت‌کارلو (Monte Carlo) نیز گفته می‌شود:

$$\hat{f}_S(\mathbf{x}_S) = \frac{1}{n} \sum_{i=1}^n \hat{f}(\mathbf{x}_S, \mathbf{x}^{(i)}_{C})$$

این معادل میانگین‌گیری از همهٔ منحنی‌های ICE یک مجموعه‌داده است. تابع جزئی به ما می‌گوید برای مقدار(های) داده‌شدهٔ ویژگی‌های مجموعهٔ $S$، اثر حاشیه‌ایِ میانگین بر پیش‌بینی چقدر است. در این فرمول، $\mathbf{x}^{(i)}_{C}$ مقادیر واقعی ویژگی‌ها در مجموعه‌داده برای ویژگی‌هایی هستند که به آن‌ها علاقه‌ای نداریم، و $n$ تعداد نمونه‌های مجموعه‌داده است. PDP ویژگی‌های مجموعهٔ $C$ را صرف‌نظر از همبستگی‌شان با ویژگی‌های مجموعهٔ $S$ در نظر می‌گیرد. در صورت وجود همبستگی، میانگین‌هایی که برای نمودار وابستگی جزئی محاسبه می‌شوند نقاط داده‌ای را هم شامل می‌شوند که بسیار نامحتمل یا حتی غیرممکن‌اند (بخش معایب را ببینید).

برای درک بهتر (توضیح مترجم): فرض کنید مدلی ساده به‌صورت $\hat{f}(\text{temp}, \text{hum}) = 100 + 10 \cdot \text{temp} - 2 \cdot \text{hum}$ داریم و فقط سه نمونه در داده‌ها هست که رطوبتشان $40$، $60$ و $80$ است. می‌خواهیم وابستگی جزئی را برای $S = \lbrace \text{temp} \rbrace$ و $C = \lbrace \text{hum} \rbrace$ در $\text{temp} = 20$ بیابیم. دمای هر سه نمونه را $20$ قرار می‌دهیم و پیش‌بینی می‌گیریم: $\hat{f}(20, 40) = 220$، $\hat{f}(20, 60) = 180$ و $\hat{f}(20, 80) = 140$. میانگین این سه عدد $\hat{f}_S(20) = \frac{220 + 180 + 140}{3} = 180$ است. همین کار را برای $\text{temp} = 10$ تکرار می‌کنیم: $120$، $80$ و $40$ که میانگین‌شان $\hat{f}_S(10) = 80$ است. با رسم این نقاط (و نقاط دیگر دما) منحنی PDP ساخته می‌شود. چون مدل خطی است، منحنی هم خطی است و شیب آن ($\frac{180 - 80}{20 - 10} = 10$) دقیقاً ضریب $\text{temp}$ در مدل است؛ این همان جملهٔ متن است که PDP روی مدل خطی همیشه رابطهٔ خطی را نشان می‌دهد.

⚠️ هشدار — ویژگی‌های همبسته مشکل‌ساز هستند

هنگام تفسیر PDP برای ویژگی‌های (به‌شدت) همبسته احتیاط کنید: در این حالت، نمودار وابستگی جزئی شامل نمونه‌های دادهٔ غیرواقع‌گرایانه می‌شود.

برای طبقه‌بندی، آنجا که مدل یادگیری ماشین احتمال‌ها را خروجی می‌دهد، نمودار وابستگی جزئی احتمال یک کلاس معین را به ازای مقادیر مختلف ویژگی‌(های) مجموعهٔ $S$ نشان می‌دهد. یک راه ساده برای برخورد با چند کلاس این است که برای هر کلاس یک خط یا یک نمودار رسم کنیم.

نمودار وابستگی جزئی یک روش سراسری (global) است: این روش همهٔ نمونه‌ها را در نظر می‌گیرد و دربارهٔ رابطهٔ سراسری یک ویژگی با خروجی پیش‌بینی‌شده اظهارنظر می‌کند.

ویژگی‌های طبقه‌ای

تا اینجا فقط ویژگی‌های عددی را در نظر گرفتیم. برای ویژگی‌های طبقه‌ای (categorical)، وابستگی جزئی بسیار ساده محاسبه می‌شود. برای هر یک از دسته‌ها (categories)، یک برآورد PDP به دست می‌آوریم، به این صورت که همهٔ نمونه‌های داده را مجبور می‌کنیم همان دسته را داشته باشند. برای مثال، اگر به مجموعه‌دادهٔ اجارهٔ دوچرخه نگاه کنیم و به نمودار وابستگی جزئی برای فصل (season) علاقه‌مند باشیم، چهار عدد به دست می‌آوریم، یکی برای هر فصل. برای محاسبهٔ مقدار «تابستان»، فصلِ همهٔ نمونه‌های داده را با «تابستان» جایگزین می‌کنیم و میانگین پیش‌بینی‌ها را می‌گیریم.

برای درک بهتر (توضیح مترجم): فرض کنید فقط سه روز در داده‌ها داریم: روز اول زمستان و دمای ۵، روز دوم بهار و دمای ۱۵، و روز سوم تابستان و دمای ۲۵. برای «تابستان» فصل هر سه روز را به تابستان تغییر می‌دهیم و مدل را سه بار با ترکیب‌های (تابستان، ۵)، (تابستان، ۱۵) و (تابستان، ۲۵) اجرا می‌کنیم؛ میانگین این سه پیش‌بینی مقدار وابستگی جزئی برای «تابستان» است. همین کار را با بقیهٔ فصل‌ها تکرار می‌کنیم. هر دسته یک عدد دارد و در نتیجه نمودار معمولاً به‌صورت نمودار میله‌ای رسم می‌شود (مانند شکل ۱۹.۲). دمای هر نمونه در تمام این محاسبات همان مقدار واقعی‌اش می‌ماند.

مثال‌ها

در عمل، مجموعهٔ ویژگی‌های $S$ معمولاً فقط شامل یک ویژگی یا حداکثر دو ویژگی است، چون یک ویژگی نمودارهای دوبعدی تولید می‌کند و دو ویژگی نمودارهای سه‌بعدی. هر چیزی فراتر از این کاملاً دشوار است.

بیایید به مثال رگرسیون برگردیم که در آن تعداد دوچرخه‌هایی را که در یک روز معین اجاره می‌شوند پیش‌بینی می‌کنیم. ابتدا یک مدل یادگیری ماشین برازش می‌دهیم، سپس وابستگی‌های جزئی را تحلیل می‌کنیم. در این مورد، یک جنگل تصادفی (random forest) را برای پیش‌بینی تعداد دوچرخه‌ها برازش داده‌ایم و از نمودار وابستگی جزئی برای مصورسازی روابطی که مدل آموخته است استفاده کرده‌ایم، شکل ۱۹.۱ را ببینید. تأثیر ویژگی‌های آب‌وهوایی بر تعداد پیش‌بینی‌شدهٔ دوچرخه‌ها در شکل زیر مصور شده است. بزرگ‌ترین تفاوت‌ها در دما دیده می‌شود. هرچه هوا گرم‌تر باشد، دوچرخه‌های بیشتری اجاره می‌شود. این روند تا ۲۰ درجهٔ سلسیوس رو به بالاست، سپس صاف می‌شود و حدود ۳۰ درجه اندکی کاهش می‌یابد.

توضیح مترجم (متن داخل تصویر): تصویر سه نمودار کنار هم است که همگی محور y یکسانی با برچسب Predicted number of bikes (تعداد پیش‌بینی‌شدهٔ دوچرخه‌ها) دارند. برچسب محور x نمودار اول Temperature (دما)، نمودار دوم Humidity (رطوبت) و نمودار سوم Wind speed (سرعت باد) است. خط‌های ریز و تیره روی محور x (به‌اصطلاح rug) محل نقاط داده‌اند و در جاهایی که این خط‌ها پراکنده‌اند داده کم است. نوشته‌های انگلیسی تصویر بدون تغییر ماندند.

رطوبت هنگامی که از ۶۰٪ بیشتر شود، دوچرخه‌سواران بالقوه را هرچه بیشتر از اجارهٔ دوچرخه بازمی‌دارد. افزون بر این، هرچه باد بیشتر باشد، افراد کمتری دوست دارند دوچرخه‌سواری کنند، که منطقی است. جالب اینجاست که تعداد پیش‌بینی‌شدهٔ اجاره‌ها با افزایش سرعت باد از ۲۵ به ۳۵ کیلومتر بر ساعت کاهش نمی‌یابد، اما داده‌های آموزشی زیادی در این بازه نیست، پس مدل یادگیری ماشین احتمالاً نتوانسته پیش‌بینی معناداری برای این بازه یاد بگیرد. دست‌کم از نظر شهودی، انتظار دارم با افزایش سرعت باد تعداد دوچرخه‌ها کاهش یابد، به‌ویژه وقتی سرعت باد بسیار زیاد است.

توضیح مترجم: متن منبع واحد دما را سلسیوس و واحد سرعت باد را کیلومتر بر ساعت ذکر می‌کند؛ خود تصویر برای محورها واحدی نشان نمی‌دهد. جملهٔ پایانی دربارهٔ انتظار نویسنده یک قضاوت شخصی است و ادعایی دربارهٔ نتیجهٔ مدل نیست؛ خود نویسنده تأکید می‌کند که ثابت‌ماندن منحنی در بازهٔ ۲۵ تا ۳۵ نتیجهٔ کمبود داده است و نباید به‌عنوان اثر واقعی باد تفسیر شود.

برای نمایش یک نمودار وابستگی جزئی با ویژگی طبقه‌ای، اثر ویژگی فصل را بر اجارهٔ پیش‌بینی‌شدهٔ دوچرخه بررسی می‌کنیم، شکل ۱۹.۲ را ببینید. همهٔ فصل‌ها اثر مشابهی بر پیش‌بینی‌های مدل دارند؛ فقط برای زمستان مدل اجارهٔ کمتری پیش‌بینی می‌کند، و برای بهار کمی کمتر.

توضیح مترجم (متن داخل تصویر): محور x با برچسب Season (فصل) چهار میله دارد: WINTER (زمستان)، SPRING (بهار)، SUMMER (تابستان) و FALL (پاییز). محور y برچسبی ندارد (بر اساس کد منبع همان تعداد پیش‌بینی‌شدهٔ دوچرخه است و بین ۰ تا حدود ۵۵۰۰ رسم شده) و مقدارهای ۰، ۲۰۰۰ و ۴۰۰۰ روی آن نشان داده شده است. نوشته‌های انگلیسی تصویر بدون تغییر ماندند.

همچنین وابستگی جزئی را برای دسته‌بندی پنگوئن‌ها (نر/ماده) محاسبه می‌کنیم. برای اینکه کمی تنوع ایجاد کنیم، هم رویکرد جنگل تصادفی و هم رگرسیون لجستیک را تحلیل می‌کنیم. هر دو $\mathbb{P}(Y^{(i)} = \text{female})$ را بر پایهٔ اندازه‌گیری‌های بدن پیش‌بینی می‌کنند. وابستگی جزئیِ احتمال ماده‌بودن را بر پایهٔ توده بدنی (body mass) و عمق منقار (bill depth) برای جنگل تصادفی محاسبه و مصور می‌کنیم (شکل ۱۹.۳). هرچه پنگوئن سنگین‌تر باشد، احتمال ماده‌بودن آن کمتر است. الگوی مشابهی را برای عمق منقار می‌بینیم. PDP جنگل تصادفی به‌دلیل پایهٔ درخت تصمیمی‌اش بسیار ناهموارتر (rugged) است.

توضیح مترجم (متن داخل تصویر): تصویر یک شبکهٔ ۲×۲ از نمودارهاست. برچسب ستون‌ها بالای شبکه Bill depth in millimeters (عمق منقار بر حسب میلی‌متر) و Body mass in grams (توده بدنی بر حسب گرم) است و برچسب سطرها در سمت راست Logistic Regression (رگرسیون لجستیک، سطر بالا) و Random Forest (جنگل تصادفی، سطر پایین). محور y همه P(female) (احتمال ماده‌بودن) با مقدارهای ۰٫۰۰ تا ۱٫۰۰ است. منحنی‌های رگرسیون لجستیک هموارند و منحنی‌های جنگل تصادفی پله‌پله‌اند؛ این همان «ناهمواری» متن است. متن منبع در این‌جا از «عمق منقار» و «توده بدنی» نام می‌برد که با برچسب‌های تصویر یکی است. نوشته‌های انگلیسی تصویر بدون تغییر ماندند.

شکل ۱۹.۳ مشکل بزرگی دارد: همهٔ گونه‌های پنگوئن را با هم مخلوط می‌کند. اما می‌توانیم به‌سادگی PDP را به تفکیک گونه محاسبه کنیم. برای این کار فقط باید PDPهای جداگانه را با زیرمجموعه‌گرفتن از داده‌ها محاسبه کنیم و منحنی‌ها را در یک نمودار رسم کنیم، همان‌طور که در شکل ۱۹.۴ انجام دادم. تفسیری دقیق‌تر پدیدار می‌شود. برای Adelie، وزن بیشتر یعنی احتمال ماده‌بودن کمتر. برای Chinstrap، وزن چندان بر احتمال اثر نمی‌گذارد. پنگوئن‌های Gentoo به‌طور کلی سنگین‌ترند، اما آن‌ها نیز الگوی «نرها سنگین‌ترند» را نشان می‌دهند. همچنین رگرسیون لجستیک، تعجبی ندارد، هموارتر است و احتمال‌های جنگل تصادفی به سمت میانگین کشیده می‌شوند.

توضیح مترجم: عبارت «surprise, surprise» در متن اصلی لحنی طنزآمیز است و یعنی «این هیچ جای شگفتی ندارد»؛ علت این است که رگرسیون لجستیک ذاتاً تابعی هموار (سیگموید) از ترکیب خطی ویژگی‌هاست. عبارت «احتمال‌ها به سمت میانگین کشیده می‌شوند» توصیف نویسنده از شکل ۱۹.۴ است: برای Chinstrap و Gentoo، منحنی جنگل تصادفی در بازه‌ای از وزن تقریباً افقی و در سطحی میانی می‌ماند، در حالی که منحنی لجستیک دامنهٔ بیشتری را می‌پیماید.

توضیح مترجم (متن داخل تصویر): دو نمودار کنار هم‌اند با عنوان‌های Logistic Regression (رگرسیون لجستیک، چپ) و Random Forest (جنگل تصادفی، راست). برچسب محور x Body mass in grams (توده بدنی بر حسب گرم) و محور y P(female) (احتمال ماده‌بودن) است. راهنمای زیر تصویر با عنوان species (گونه) سه خط را نشان می‌دهد: Adelie (خط پر قرمز)، Chinstrap (خط نقطه‌چین سبز) و Gentoo (خط خط‌چین آبی). منحنی‌های Gentoo در بازهٔ وزنی بالاتری (تقریباً از ۴۰۰۰ تا ۶۳۰۰ گرم) و منحنی‌های Adelie و Chinstrap در بازهٔ وزنی پایین‌تر قرار دارند، چون PDP هر گونه فقط روی داده‌های همان گونه محاسبه شده است. نوشته‌های انگلیسی تصویر بدون تغییر ماندند.

همچنین می‌توانیم وابستگی جزئی دو ویژگی را همزمان مصور کنیم (شکل ۱۹.۵): در اینجا عمق منقار و طول منقار (bill length). مدل تحلیل‌شده جنگل تصادفی است. میان این دو برهم‌کنشی وجود دارد، زیرا در عمق‌های کم منقار، طول منقار تفاوتی ایجاد نمی‌کند، اما برای منقارهای بلندتر $\mathbb{P}(\text{female})$ کوچک‌تر می‌شود.

توضیح مترجم (متن داخل تصویر): برچسب محور x Bill depth in millimeters (عمق منقار بر حسب میلی‌متر) و برچسب محور y Bill length in millimeters (طول منقار بر حسب میلی‌متر) است. راهنمای رنگ سمت راست با عنوان P(female) (احتمال ماده‌بودن) از ۰٫۰ (بنفش تیره) تا ۰٫۸ (زرد) را نشان می‌دهد. خط‌های ریز کنار هر دو محور (rug) توزیع داده‌ها را نشان می‌دهند. در ناحیهٔ زرد سمت چپ (عمق منقار کم) رنگ با طول منقار تغییر نمی‌کند و در سمت راست و بالای نمودار (عمق و طول زیاد) رنگ به بنفش تیره، یعنی احتمال ماده‌بودن نزدیک صفر، می‌رود؛ این همان برهم‌کنش متن است. نوشته‌های انگلیسی تصویر بدون تغییر ماندند.

برای درک بهتر (توضیح مترجم): برای PDP دوبعدی، شبکه‌ای از جفت‌مقدارها $(a, b)$ برای (عمق منقار، طول منقار) می‌سازیم. برای هر جفت، عمق و طول منقار همهٔ پنگوئن‌های مجموعه‌داده را به $a$ و $b$ تغییر می‌دهیم، $\mathbb{P}(\text{female})$ را برای هر کدام پیش‌بینی می‌کنیم و میانگین می‌گیریم: $\hat{f}_S(a, b) = \frac{1}{n}\sum_{i=1}^n \hat{f}(a, b, \mathbf{x}_C^{(i)})$. هر سلول رنگی در شکل ۱۹.۵ یکی از این میانگین‌هاست. ویژگی‌های دیگر (مثلاً توده بدنی) برای هر پنگوئن همان مقدار واقعی‌شان می‌مانند. به همین دلیل نقطه‌های سیاه و خاکستری (دادهٔ واقعی) برای مقایسه با ناحیه‌های رنگی رسم شده‌اند: در ناحیه‌هایی که نقطه‌ای نیست (مثلاً عمق ۱۵ همراه با طول ۶۰)، رنگ حاصل به نمونه‌های ساختگی تکیه دارد که ممکن است غیرواقعی باشند؛ نکته‌ای که با هشدار مربوط به ویژگی‌های همبسته مرتبط است.

💡 نکته — کاهش برهم‌کنش‌ها، بهبود تفسیرپذیری PDP

هرچند PDP روشی مستقل از مدل (model-agnostic) است، داشتن مدلی با برهم‌کنش‌های کمتر و اثرهای همگن‌تر تفسیر PDP را ساده‌تر می‌کند و (بعضی) خطرهای تفسیر نادرست را کاهش می‌دهد. راه‌های انجام این کار کاهش عمق درخت هنگام استفاده از روش‌های مبتنی بر درخت یا افزودن قیدهای یکنوایی (monotonicity constraints) است. به‌طور جایگزین می‌توانید به شیوه‌ای مستقل از مدل برای برهم‌کنش‌های کمتر، تنکی (sparsity) و اثرهای کم‌پیچیده‌تر در یک مدل بهینه‌سازی کنید؛ Molnar و همکاران (۲۰۲۰b) را ببینید.

اهمیت ویژگی مبتنی بر PDP

Greenwell و همکاران (۲۰۱۸) یک معیار اهمیت ویژگی ساده مبتنی بر وابستگی جزئی پیشنهاد کردند. انگیزهٔ اصلی این است که یک PDP تخت نشان می‌دهد ویژگی مهم نیست، و هرچه PDP بیشتر تغییر کند، ویژگی مهم‌تر است. برای ویژگی‌های عددی، اهمیت به‌صورت انحراف هر مقدار یکتای ویژگی از منحنی میانگین تعریف می‌شود:

$$I(\mathbf{x}_S) = \sqrt{\frac{1}{K-1}\sum_{k=1}^K(\hat{f}_S(\mathbf{x}^{(k)}_S) - \frac{1}{K}\sum_{k=1}^K \hat{f}_S(\mathbf{x}^{(k)}_S))^2}$$

توجه کنید که در اینجا $\mathbf{x}^{(k)}_S$ همان $K$ مقدار یکتای (unique) ویژگی $X_S$ هستند. برای ویژگی‌های طبقه‌ای داریم:

$$I(X_S) = \frac{\max_k(\hat{f}_S(\mathbf{x}^{(k)}_S)) - \min_k(\hat{f}_S(\mathbf{x}^{(k)}_S))}{4}$$

این همان دامنهٔ مقادیر PDP برای دسته‌های یکتا تقسیم بر چهار است. این شیوهٔ عجیب برای محاسبهٔ انحراف «قاعدهٔ دامنه» (range rule) نامیده می‌شود. این قاعده وقتی فقط دامنه را می‌دانید به برآوردی تقریبی از انحراف کمک می‌کند. و مخرج چهار از توزیع نرمال استاندارد می‌آید: در توزیع نرمال، ۹۵٪ داده‌ها در بازهٔ منفی دو تا مثبت دو انحراف معیار پیرامون میانگین‌اند. پس دامنه تقسیم بر چهار برآوردی تقریبی می‌دهد که احتمالاً واریانس واقعی را کمتر از مقدار حقیقی برآورد می‌کند.

توضیح مترجم: در فرمول عددی، $\hat{f}_S(\mathbf{x}_S^{(k)})$ مقدار PDP در $k$-امین مقدار یکتاست و $\frac{1}{K}\sum_k \hat{f}_S(\mathbf{x}_S^{(k)})$ میانگین این مقادیر؛ پس $I$ در واقع انحراف معیار نمونه‌ای (با مخرج $K-1$) مقادیر منحنی PDP است. در متن منبع جملهٔ «۹۵٪ داده‌ها میان منفی دو و مثبت دو انحراف معیار هستند» تقریبی است؛ برای توزیع نرمال این ناحیه دقیقاً حدود ۹۵٫۴٪ را پوشش می‌دهد. چون این بازه چهار انحراف معیار پهناست، «دامنه ÷ ۴» به انحراف معیار نزدیک می‌شود. نویسنده خود می‌گوید این برآورد احتمالاً کمتر از مقدار واقعی است؛ دلیل شهودی آن این است که دامنهٔ مشاهده‌شدهٔ نمونهٔ کوچک معمولاً از دامنهٔ کل توزیع کوتاه‌تر است.

برای درک بهتر (توضیح مترجم): فرض کنید PDP برای ویژگی «فصل» چهار مقدار دارد: زمستان ۴۰۰۰، بهار ۴۴۰۰، تابستان ۴۷۰۰ و پاییز ۴۶۰۰. اهمیت آن $\frac{4700 - 4000}{4} = 175$ است. حالا برای ویژگی عددی با $K = 3$ مقدار یکتا و PDP برابر $3500$، $4500$ و $5500$: میانگین $4500$ و $I = \sqrt{\frac{(-1000)^2 + 0^2 + 1000^2}{3 - 1}} = \sqrt{1000000} = 1000$. هر چه منحنی «تخت‌تر» باشد، $I$ به صفر نزدیک‌تر است (مثلاً اگر هر سه مقدار $4500$ باشند، $I = 0$).

این اهمیت ویژگی مبتنی بر PDP را باید با احتیاط تفسیر کرد. این معیار فقط اثر اصلی (main effect) ویژگی را می‌گیرد و برهم‌کنش‌های ممکن ویژگی‌ها را نادیده می‌گیرد. ممکن است ویژگی‌ای بر پایهٔ روش‌های دیگر مانند اهمیت ویژگی جایگشتی بسیار مهم باشد، اما PDP آن تخت باشد، چون ویژگی عمدتاً از راه برهم‌کنش با ویژگی‌های دیگر بر پیش‌بینی اثر می‌گذارد. عیب دیگر این معیار آن است که روی مقادیر یکتا تعریف شده است. در محاسبهٔ اهمیت، به مقدار یکتایی که فقط یک نمونه دارد همان وزنی داده می‌شود که به مقداری با نمونه‌های بسیار.

نقاط قوت

محاسبهٔ نمودارهای وابستگی جزئی شهودی است: تابع وابستگی جزئی در یک مقدار ویژگی معین، میانگین پیش‌بینی را نشان می‌دهد اگر همهٔ نقاط داده را مجبور کنیم آن مقدار ویژگی را بپذیرند. در تجربهٔ من، افراد غیرمتخصص معمولاً ایدهٔ PDPها را سریع می‌فهمند.

اگر ویژگی‌ای که PDP را برایش محاسبه کرده‌اید با ویژگی‌های دیگر همبسته نباشد، PDPها کاملاً نشان می‌دهند ویژگی به‌طور میانگین چگونه بر پیش‌بینی اثر می‌گذارد. در حالت ناهمبسته، تفسیر روشن است: نمودار وابستگی جزئی نشان می‌دهد وقتی ویژگی $j$-ام تغییر می‌کند، میانگین پیش‌بینی در مجموعه‌داده چگونه تغییر می‌کند. وقتی ویژگی‌ها همبسته‌اند، پیچیده‌تر می‌شود؛ معایب را نیز ببینید.

توضیح مترجم: در متن منبع «ویژگی $j$-ام» بدون تعریف صریح آمده است؛ از زمینه برمی‌آید که منظور ویژگی‌ای است که PDP برایش رسم شده (همان $X_S$ با $S = \lbrace j \rbrace$ در تعریف ابتدای فصل).

نمودارهای وابستگی جزئی پیاده‌سازی آسانی دارند.

محاسبهٔ نمودارهای وابستگی جزئی تفسیر علّی (causal interpretation) دارد. ما روی یک ویژگی مداخله می‌کنیم و تغییرات پیش‌بینی‌ها را اندازه می‌گیریم. با این کار رابطهٔ علّی میان ویژگی و پیش‌بینی را تحلیل می‌کنیم (Zhao و Hastie (۲۰۱۹)). این رابطه برای مدل علّی است ــ چون نتیجه را صریحاً تابعی از ویژگی‌ها مدل می‌کنیم ــ اما لزوماً برای دنیای واقعی علّی نیست!

برای درک بهتر (توضیح مترجم): فرض کنید مدل برای پیش‌بینی قیمت خانه آموزش دیده و PDP مساحت نشان می‌دهد با بزرگ‌ترشدن مساحت، قیمت پیش‌بینی‌شده بالا می‌رود. این یعنی «اگر در این مدل مساحت را تغییر دهیم، خروجی مدل چنین تغییر می‌کند»؛ ادعا نمی‌کند که ساختن اتاق اضافه در دنیای واقعی همین مقدار قیمت خانه را بالا می‌برد، چون ممکن است مدل مساحت را به‌جای عاملی پنهان (مثلاً محله) به کار برده باشد. این همان تفاوت «علّی برای مدل» و «علّی برای دنیای واقعی» در متن است.

محدودیت‌ها

حداکثر واقع‌بینانهٔ تعداد ویژگی‌ها در یک تابع وابستگی جزئی که بتوان آن را معنادار مصور کرد، دو است. این تقصیر PDPها نیست، بلکه تقصیر نمایش دوبعدی (کاغذ یا صفحه) و نیز ناتوانی ما در تصور بیش از ۳ بعد است. با این حال، هنوز می‌توان PDPهای مرتبهٔ بالاتر را محاسبه کرد.

برخی نمودارهای PD توزیع ویژگی را نشان نمی‌دهند. حذف توزیع می‌تواند گمراه‌کننده باشد، چون ممکن است ناحیه‌هایی را که تقریباً داده‌ای ندارند بیش‌ازحد تفسیر کنید. این مشکل به‌سادگی با نمایش یک rug (نشانگرهای نقاط داده روی محور x) یا یک هیستوگرام حل می‌شود.

فرض استقلال بزرگ‌ترین مسئلهٔ نمودارهای PD است. فرض می‌شود ویژگی‌(های) مورد محاسبهٔ وابستگی جزئی با ویژگی‌های دیگر همبسته نیستند. برای مثال، فرض کنید می‌خواهید پیش‌بینی کنید یک فرد با چه سرعتی راه می‌رود، با داشتن وزن و قد او. برای وابستگی جزئی یکی از ویژگی‌ها، مثلاً قد، فرض می‌کنیم ویژگی‌های دیگر (وزن) با قد همبسته نیستند، که آشکارا فرضی نادرست است. برای محاسبهٔ PDP در یک قد معین (مثلاً ۲۰۰ سانتی‌متر)، روی توزیع حاشیه‌ای وزن میانگین می‌گیریم، که ممکن است شامل وزنی زیر ۵۰ کیلوگرم باشد، و این برای فردی با قد ۲ متر غیرواقع‌گرایانه است. به عبارت دیگر: وقتی ویژگی‌ها همبسته‌اند، نقاط داده‌ای تازه‌ای در نواحی از توزیع ویژگی می‌سازیم که احتمال واقعی آن‌ها بسیار کم است (مثلاً بعید است کسی ۲ متر قد داشته باشد اما کمتر از ۵۰ کیلوگرم وزن داشته باشد). یک راه‌حل این مشکل نمودارهای اثر محلی انباشته (Accumulated Local Effect) یا به اختصار نمودارهای ALE است که به‌جای توزیع حاشیه‌ای با توزیع شرطی کار می‌کنند.

اثرهای ناهمگن (heterogeneous effects) ممکن است پنهان بمانند، چون نمودارهای PD فقط اثرهای حاشیه‌ایِ میانگین را نشان می‌دهند. فرض کنید برای یک ویژگی، نیمی از نقاط داده با پیش‌بینی رابطهٔ مثبت دارند ــ هرچه مقدار ویژگی بزرگ‌تر، پیش‌بینی بزرگ‌تر ــ و نیمهٔ دیگر رابطهٔ منفی دارند ــ هرچه مقدار ویژگی کوچک‌تر، پیش‌بینی بزرگ‌تر. منحنی PD می‌تواند یک خط افقی باشد، چون اثر دو نیمهٔ مجموعه‌داده می‌تواند یکدیگر را خنثی کند. آنگاه نتیجه می‌گیرید که ویژگی بر پیش‌بینی اثری ندارد. با رسم منحنی‌های انتظار شرطی فردی به‌جای خط تجمیعی، می‌توانیم اثرهای ناهمگن را آشکار کنیم. با این حال، نمودارهای ICE نمی‌توانند نشان دهند چه زمانی اثر مثبت یا منفی است ــ جنبه‌ای کلیدی برای تفسیر. فرض کنید جهت اثر (مثبت یا منفی) به ویژگی دیگری بستگی دارد ــ وقتی مقدار ویژگی دیگر بالای آستانه‌ای معین باشد اثر مثبت است و برعکس. نمودارهای اثر ویژگی منطقه‌ای (regional feature effect plots) (Herbinger و همکاران (۲۰۲۴)؛ Herbinger، Bischl و Casalicchio (۲۰۲۲)؛ Britton (۲۰۱۹)؛ Gkolemis و همکاران (۲۰۲۴)) با افراز داده‌ها بر پایهٔ ویژگی شرطی‌کننده و محاسبهٔ PDPهای مخصوص هر زیرگروه به این موضوع می‌پردازند. این رویکرد به‌روشنی نشان می‌دهد در چه شرایطی اثر مثبت یا منفی است و ناهمگنی کلی را کاهش می‌دهد.

توضیح مترجم: مرجع Gkolemis و همکاران (۲۰۲۴) در پیوست د با عنوان «Fast and Accurate Regional Effect Plots for Automated Tabular Data Analysis» و بدون سال (n.d.) آمده است، چون ورودی منبع کتاب سال مشخصی ندارد؛ پیوند به همان ورودی است. «ویژگی شرطی‌کننده» (conditioning feature) ویژگی‌ای است که داده‌ها بر اساس مقدار آن به زیرگروه‌ها تقسیم می‌شوند.

برای درک بهتر (توضیح مترجم): فرض کنید مدلی پیش‌بینی می‌کند چه مقدار یک دارو فشار خون را تغییر می‌دهد و «دوز دارو» ویژگی مورد نظر است. برای نیمی از بیماران (گروه A) هرچه دوز بیشتر، فشار پیش‌بینی‌شده ۱۰ واحد به‌ازای هر واحد دوز کاهش می‌یابد، و برای نیمهٔ دیگر (گروه B) به همان اندازه افزایش می‌یابد. میانگین این دو اثر صفر است، پس PDP یک خط افقی است و نتیجه می‌گیریم دوز بی‌اثر است. منحنی‌های ICE دو دسته شیب متضاد را نشان می‌دهند. اگر گروه بر اساس ویژگی دیگری مثل «سن بالای ۶۰» مشخص شود، PDP منطقه‌ای دو منحنی جدا می‌سازد: یکی برای سن زیر ۶۰ با شیب منفی و یکی برای سن بالای ۶۰ با شیب مثبت؛ و روشن می‌شود در چه شرایطی اثر مثبت یا منفی است. (اعداد این مثال فقط برای توضیح ایده‌اند و از منبع نیستند.)

نرم‌افزار و جایگزین‌ها

چند بستهٔ R وجود دارد که PDPها را پیاده‌سازی می‌کنند. من برای مثال‌ها از بستهٔ iml استفاده کردم، اما pdp و DALEX هم هستند. در Python، نمودارهای وابستگی جزئی در scikit-learn، PDPBox و effector تعبیه شده‌اند. یا می‌توانید از کتابخانهٔ Python Interpretable Machine Learning (PiML) استفاده کنید. effector نمودارهای PDP منطقه‌ای را نیز پیاده‌سازی می‌کند.

جایگزین‌های PDP که در این کتاب ارائه شده‌اند نمودارهای ALE و منحنی‌های ICE هستند.

فصل ۲۰: اثرات محلی انباشته (ALE)

عنوان اصلی: Accumulated Local Effects (ALE)
منبع: https://christophm.github.io/interpretable-ml-book/ale.html
نویسنده: Christoph Molnar
مترجم: مریم محمودی


اثرات محلی انباشته (Accumulated Local Effects؛ Apley و Zhu (۲۰۲۰)) توصیف می‌کنند که ویژگی‌ها به‌طور میانگین چگونه بر پیش‌بینی یک مدل یادگیری ماشین اثر می‌گذارند. نمودارهای ALE جایگزینی سریع‌تر و بدون تورش (unbiased) برای نمودارهای وابستگی جزئی (PDPها) هستند.

پیشنهاد می‌کنم ابتدا فصل نمودارهای وابستگی جزئی را بخوانید، چون فهمیدنشان آسان‌تر است و هر دو روش هدف یکسانی دارند: هر دو توصیف می‌کنند که یک ویژگی به‌طور میانگین چگونه بر پیش‌بینی اثر می‌گذارد. در بخش بعد می‌خواهم شما را قانع کنم که نمودارهای وابستگی جزئی وقتی ویژگی‌ها همبسته‌اند مشکل جدی دارند.

توضیح مترجم: «بدون تورش» در این فصل یعنی برآورد اثر ویژگی در حضور همبستگی ویژگی‌ها دچار خطای سیستماتیک نمی‌شود (برخلاف PDP که در این حالت داده‌های غیرواقعی را در میانگین وارد می‌کند). «همبسته» (correlated) یعنی ویژگی‌ها با هم تغییر می‌کنند، مثلاً مساحت و تعداد اتاق. نام ALE، PDP و M-Plot در متن به‌صورت Latin می‌آیند.

انگیزه و شهود

اگر ویژگی‌های یک مدل یادگیری ماشین همبسته باشند، نمی‌توان به نمودار وابستگی جزئی اعتماد کرد. محاسبهٔ نمودار وابستگی جزئی برای ویژگی‌ای که با ویژگی‌های دیگر به‌شدت همبسته است، میانگین‌گیری از پیش‌بینی‌های نمونه‌های دادهٔ مصنوعی‌ای را شامل می‌شود که در واقعیت بعید هستند. این می‌تواند تخمین اثر ویژگی را به‌شدت دچار تورش کند. تصور کنید نمودارهای وابستگی جزئی را برای مدلی یادگیری ماشین محاسبه می‌کنیم که ارزش یک خانه را بر اساس تعداد اتاق‌ها و اندازهٔ سطح زیربنا پیش‌بینی می‌کند. به اثر سطح زیربنا بر ارزش پیش‌بینی‌شده علاقه‌مندیم. برای یادآوری، دستورالعمل نمودارهای وابستگی جزئی این است: ۱) ویژگی را انتخاب کنید. ۲) شبکه (grid) را تعریف کنید. ۳) به ازای هر مقدار شبکه: الف) ویژگی را با مقدار شبکه جایگزین کنید و ب) پیش‌بینی‌ها را میانگین بگیرید. ۴) منحنی را رسم کنید. برای محاسبهٔ نخستین مقدار شبکهٔ PDP — مثلاً ۳۰ متر مربع — سطح زیربنای همهٔ نمونه‌ها را با ۳۰ متر مربع جایگزین می‌کنیم، حتی برای خانه‌هایی با ۱۰ اتاق. به نظر من این خانه‌ای بسیار غیرعادی است. نمودار وابستگی جزئی این خانه‌های غیرواقع‌گرایانه را در تخمین اثر ویژگی وارد می‌کند و وانمود می‌کند همه‌چیز درست است. شکل ۲۰.۱ دو ویژگی همبسته را نشان می‌دهد و اینکه چگونه روش نمودار وابستگی جزئی از پیش‌بینی‌های نمونه‌های بعید میانگین می‌گیرد.

توضیح مترجم (متن داخل تصویر): عنوان تصویر Marginal distribution P(X₂) یعنی «توزیع حاشیه‌ای $\mathbb{P}(X_2)$» است. محور x با برچسب $x_1$ از ۰٫۰۰ تا ۱٫۰۰ و محور y با برچسب $x_2$ است. هر نقطه یک نمونهٔ داده است و نقاط روی یک روند صعودی (همبستگی مثبت) قرار دارند. خط عمودی در $x_1 = 0.75$ جایی است که PDP محاسبه می‌شود، و منحنی سمت چپ آن توزیع حاشیه‌ایِ $X_2$ روی کل دامنهٔ $x_2$ است (از حدود ۰٫۲- تا ۱٫۲). نوشته‌های انگلیسی تصویر بدون تغییر ماندند.

برای درک بهتر (توضیح مترجم): در داده‌های شکل ۲۰.۱، نمونه‌هایی که $x_1$ آن‌ها نزدیک ۰٫۷۵ است، مقدار $x_2$ آن‌ها تقریباً بین ۰٫۵ و ۱٫۰ است. اما PDP در $x_1 = 0.75$ به‌ازای هر نمونه فقط $x_1$ را جایگزین می‌کند و $x_2$ همان مقدار اصلی نمونه می‌ماند؛ در نتیجه نمونه‌ای با $x_2 = 0.2$ را هم به $x_1 = 0.75$ می‌رساند و جفت $(0.75,\ 0.2)$ می‌سازد که در ابر نقاط وجود ندارد. مدل را در چنین جفتی ارزیابی می‌کنیم، هرچند در واقعیت هرگز چنین جفتی دیده نمی‌شود.

برای به دست آوردن تخمینی از اثر ویژگی که همبستگی ویژگی‌ها را رعایت کند، چه می‌توانیم بکنیم؟ می‌توانیم روی توزیع شرطی (conditional distribution) ویژگی میانگین بگیریم، یعنی در یک مقدار شبکهٔ $X_1$، پیش‌بینی‌های نمونه‌هایی را که مقدار مشابهی برای $X_1$ دارند میانگین بگیریم. راه‌حل محاسبهٔ اثر ویژگی‌ها با استفاده از توزیع شرطی، نمودارهای حاشیه‌ای (Marginal Plots) یا M-Plots نام دارد (نامی گیج‌کننده، چون بر پایهٔ توزیع شرطی‌اند، نه توزیع حاشیه‌ای). صبر کنید، مگر قول نداده بودم دربارهٔ نمودارهای ALE صحبت کنم؟ M-Plots راه‌حلی نیستند که دنبالش هستیم. چرا M-Plots مشکل ما را حل نمی‌کنند؟ اگر پیش‌بینی‌های همهٔ خانه‌های حدوداً ۳۰ متر مربعی را میانگین بگیریم، به‌دلیل همبستگی آن‌ها، اثر ترکیبی سطح زیربنا و تعداد اتاق‌ها را تخمین می‌زنیم. فرض کنید سطح زیربنا بر ارزش پیش‌بینی‌شدهٔ خانه هیچ اثری ندارد و فقط تعداد اتاق‌ها دارد. M-Plot باز هم نشان می‌دهد اندازهٔ سطح زیربنا ارزش پیش‌بینی‌شده را افزایش می‌دهد، چون تعداد اتاق‌ها با سطح زیربنا زیاد می‌شود. شکل ۲۰.۲ برای دو ویژگی همبسته نشان می‌دهد M-Plots چگونه کار می‌کنند.

برای درک بهتر (توضیح مترجم): فرض کنید مدل قیمت خانه فقط از تعداد اتاق استفاده می‌کند: $\hat{f} = 50 \cdot \text{rooms}$ (مساحت اصلاً در فرمول نیست). اگر در داده‌ها خانهٔ حدود ۳۰ متری معمولاً ۱ اتاق و خانهٔ حدود ۹۰ متری معمولاً ۳ اتاق داشته باشد، M-Plot در ۳۰ متر میانگین پیش‌بینی ۵۰ و در ۹۰ متر ۱۵۰ را نشان می‌دهد؛ یعنی «مساحت ۱۰۰ واحد قیمت را بالا می‌برد»، هرچند مدل مساحت را نمی‌بیند. این اثر در واقع اثر اتاق‌هاست که از راه همبستگی به مساحت نسبت داده شده است. (اعداد برای توضیح ایده‌اند و از منبع نیستند.)

توضیح مترجم (متن داخل تصویر): داده‌ها و محورها مانند شکل ۲۰.۱ هستند ($x_1$ در محور x و $x_2$ در محور y). عنوان تصویر Conditional distribution mathbbP(X₂|x₁ = 0.75) است، یعنی «توزیع شرطی $\mathbb{P}(X_2 \mid x_1 = 0.75)$». نوشتهٔ mathbbP در تصویر یک خطای نمایش در نسخهٔ منبع است (فرمان LaTeX به‌جای نماد $\mathbb{P}$ چاپ شده) و عیناً حفظ شد. منحنی کنار خط عمودی در $x_1 = 0.75$ فقط روی مقادیر $x_2$ نمونه‌های نزدیک به $x_1 = 0.75$ ساخته شده و برخلاف شکل ۲۰.۱ دامنهٔ باریکی (حدود ۰٫۶ تا ۰٫۸) دارد. نوشته‌های انگلیسی تصویر بدون تغییر ماندند.

M-Plots از میانگین‌گیری روی پیش‌بینی‌های نمونه‌های دادهٔ بعید پرهیز می‌کنند، اما اثر یک ویژگی را با اثر همهٔ ویژگی‌های همبسته با آن درهم می‌آمیزند. نمودارهای ALE این مشکل را حل می‌کنند، به این صورت که — همچنین بر پایهٔ توزیع شرطی ویژگی‌ها — تفاضل پیش‌بینی‌ها را به‌جای میانگین‌ها محاسبه می‌کنند. برای اثر سطح زیربنا در ۳۰ متر مربع، روش ALE از همهٔ خانه‌های حدوداً ۳۰ متر مربعی استفاده می‌کند، پیش‌بینی مدل را به‌شرطی که وانمود کنیم این خانه‌ها ۳۱ متر مربع بودند می‌گیرد و پیش‌بینی را به‌شرطی که وانمود کنیم ۲۹ متر مربع بودند از آن کم می‌کند. این اثر خالص سطح زیربنا را به ما می‌دهد و اثر را با اثر ویژگی‌های همبسته نمی‌آمیزد. استفاده از تفاضل‌ها اثر ویژگی‌های دیگر را مسدود می‌کند. شکل ۲۰.۳ شهودی دربارهٔ نحوهٔ محاسبهٔ نمودارهای ALE می‌دهد.

توضیح مترجم (متن داخل تصویر): محور x با برچسب $x_1$ با نشانه‌های $z_{0,1}, z_{1,1}, \ldots, z_{5,1}$ مشخص شده است: این‌ها مرزهای بازه‌ها (نقاط شبکه) برای ویژگی ۱ هستند و خطوط عمودی نقطه‌چین از آن‌ها می‌گذرند. محور y با برچسب $x_2$ است. برچسب‌های N1(1) تا N1(5) بازه‌ها را نشان می‌دهند، یعنی همسایگی $N_1(k)$ که در بخش «تخمین» تعریف می‌شود (نمونه‌هایی که $x_1$ آن‌ها در بازهٔ $k$-ام است). پیکان‌های افقی دوطرفه در بازهٔ چهارم، از $z_{3,1}$ تا $z_{4,1}$، همان جایگزینی ویژگی با کران پایین و بالای بازه‌اند و به ازای هر نمونهٔ آن بازه یک پیکان رسم شده است. نوشته‌های انگلیسی تصویر بدون تغییر ماندند.

برای درک بهتر (توضیح مترجم): فرض کنید در بازهٔ چهارم سه نمونه داریم و مدل برای هر نمونه، وقتی $x_1$ از کران پایین به کران بالا می‌رود، تغییر پیش‌بینی‌های $+4$، $+6$ و $+5$ را می‌دهد. اثر محلی این بازه میانگین این سه عدد، یعنی $+5$، است. چون $x_2$ برای هر نمونه ثابت می‌ماند و فقط $x_1$ تغییر می‌کند، اثر $x_2$ در تفاضل حذف می‌شود، همان «مسدودشدن اثر ویژگی‌های دیگر» در متن.

برای جمع‌بندی اینکه هر نوع نمودار (PDP، M، ALE) اثر یک ویژگی را در یک مقدار شبکهٔ معین $v$ چگونه محاسبه می‌کند:

  • نمودارهای وابستگی جزئی: «بگذار نشانت دهم مدل به‌طور میانگین چه پیش‌بینی می‌کند وقتی هر نمونهٔ داده برای آن ویژگی مقدار $v$ را دارد. اهمیتی نمی‌دهم که مقدار $v$ برای همهٔ نمونه‌های داده معنادار است یا نه.»
  • M-Plots: «بگذار نشانت دهم مدل به‌طور میانگین برای نمونه‌هایی که برای آن ویژگی مقادیری نزدیک به $v$ دارند چه پیش‌بینی می‌کند. اثر می‌تواند ناشی از آن ویژگی باشد، اما ناشی از ویژگی‌های همبسته هم هست.»
  • نمودارهای ALE: «بگذار نشانت دهم پیش‌بینی‌های مدل در یک «پنجره»ٔ کوچک از ویژگی پیرامون $v$ برای نمونه‌های داده در آن پنجره چگونه تغییر می‌کنند.»

نظریه

PDP، M-plot و نمودار ALE از نظر ریاضی چه تفاوتی دارند؟ وجه مشترک هر سه روش این است که تابع پیش‌بینی پیچیدهٔ $\hat{f}$ را به تابعی کاهش می‌دهند که فقط به یک (یا دو) ویژگی وابسته است. هر سه روش این کاهش را با میانگین‌گیری از اثر ویژگی‌های دیگر انجام می‌دهند، اما در اینکه میانگین پیش‌بینی‌ها محاسبه شود یا میانگین تفاضل پیش‌بینی‌ها، و در اینکه میانگین‌گیری روی توزیع حاشیه‌ای انجام شود یا شرطی، با هم تفاوت دارند.

نمودارهای وابستگی جزئی پیش‌بینی‌ها را روی توزیع حاشیه‌ای میانگین می‌گیرند.

$$\hat{f}_{S,PDP}(\mathbf{x}_S) = \mathbb{E}_{X_C}[\hat{f}(\mathbf{x}_S,X_C)] = \int_{X_C}\hat{f}(\mathbf{x}_S,X_C)d\mathbb{P}(X_C)$$

این مقدار تابع پیش‌بینی $f$ در مقدار (یا مقادیر) ویژگی $\mathbf{x}_S$ است، که روی همهٔ ویژگی‌های $X_C$ (که در اینجا متغیر تصادفی در نظر گرفته می‌شوند) میانگین‌گیری شده است. میانگین‌گیری یعنی محاسبهٔ امید ریاضی حاشیه‌ای $\mathbb{E}$ روی ویژگی‌های مجموعهٔ $C$، که همان انتگرال پیش‌بینی‌ها با وزن توزیع احتمال است. پیچیده به نظر می‌رسد، اما برای محاسبهٔ امید ریاضی روی توزیع حاشیه‌ای، به‌سادگی همهٔ نمونه‌های داده را می‌گیریم، مجبورشان می‌کنیم برای ویژگی‌های مجموعهٔ $S$ یک مقدار شبکهٔ معین داشته باشند، و پیش‌بینی‌های این مجموعه‌دادهٔ دست‌کاری‌شده را میانگین می‌گیریم. این روش تضمین می‌کند که روی توزیع حاشیه‌ای ویژگی‌ها میانگین گرفته‌ایم.

M-plotها پیش‌بینی‌ها را روی توزیع شرطی میانگین می‌گیرند.

$$\hat{f}_{S,M}(\mathbf{x}_S) = \mathbb{E}_{X_C|X_S}\left[\hat{f}(X_S,X_C)|X_S=\mathbf{x}_S\right]$$

$$= \int_{X_C}\hat{f}(x_S, X_C)d\mathbb{P}(X_C|X_S = \mathbf{x}_S)$$

تنها چیزی که در مقایسه با PDPها تغییر می‌کند این است که پیش‌بینی‌ها را به‌شرط هر مقدار شبکهٔ ویژگی مورد علاقه میانگین می‌گیریم، به‌جای اینکه در هر مقدار شبکه توزیع حاشیه‌ای را فرض کنیم. در عمل این یعنی باید یک همسایگی تعریف کنیم؛ مثلاً برای محاسبهٔ اثر ۳۰ متر مربع بر ارزش پیش‌بینی‌شدهٔ خانه، می‌توانیم پیش‌بینی‌های همهٔ خانه‌های بین ۲۸ تا ۳۲ متر مربع را میانگین بگیریم.

نمودارهای ALE تغییرات پیش‌بینی‌ها را میانگین می‌گیرند و آن‌ها را روی شبکه انباشته می‌کنند (دربارهٔ محاسبه بعداً بیشتر می‌گوییم).

$$\hat{f}_{S,ALE}(\mathbf{x}_S) = \int_{\mathbf{z}_{0,S}}^{\mathbf{x}_S} \mathbb{E}_{X_C|X_S = \mathbf{x}_S} \left[\hat{f}^S(X_S,X_C)|X_S = \mathbf{z}_S\right] d \mathbf{z}_S - \text{constant}$$

$$= \int_{\mathbf{z}_{0,S}}^{\mathbf{x}_S}\left(\int_{\mathbf{x}_C}\hat{f}^S(\mathbf{z}_S,X_C)d\mathbb{P}(X_C|X_S = \mathbf{z}_S)\right) d \mathbf{z}_S - \text{constant}$$

توضیح مترجم: منبع این سه فرمول را در قالب چندخطی (align) می‌نویسد و برای نسخهٔ EPUB به‌صورت دو معادلهٔ پشت‌سرهم؛ در اینجا از همان شکل دوخطی استفاده شد و معنا تغییری نکرده است. در فرمول‌ها، اندیس $S$ ویژگی(های) مورد علاقه و $C$ بقیهٔ ویژگی‌هاست؛ $\mathbf{z}_S$ متغیر انتگرال‌گیری روی مقادیر ویژگی $S$ و $\mathbf{z}_{0,S}$ نقطهٔ شروع انباشتن است (منبع آن را تعریف نمی‌کند؛ معمولاً در کران پایین دامنهٔ ویژگی است). در منبع، در عبارت امید شرطی ALE، «$X_S = \mathbf{x}_S$» در زیرنویس آمده است در حالی که داخل کروشه «$X_S = \mathbf{z}_S$» است؛ از زمینه (که انتگرال روی $\mathbf{z}_S$ است) برمی‌آید که شرط داخلی همان $\mathbf{z}_S$ است و عیناً ترجمه شد.

این فرمول سه تفاوت با M-plotها نشان می‌دهد. اول، تغییرهای پیش‌بینی را میانگین می‌گیریم، نه خود پیش‌بینی‌ها را. تغییر به‌صورت مشتق جزئی تعریف می‌شود (اما بعداً، برای محاسبهٔ واقعی، با تفاضل پیش‌بینی‌ها روی یک بازه جایگزین می‌شود).

$$\hat{f}^S(\mathbf{x}_S,\mathbf{x}_C)=\frac{\partial\hat{f}(\mathbf{x}_S,\mathbf{x}_C)}{\partial \mathbf{x}_S}$$

تفاوت دوم انتگرال اضافه روی $\mathbf{z}$ است. مشتق‌های جزئی محلی را روی دامنهٔ ویژگی‌های مجموعهٔ $S$ انباشته می‌کنیم، که اثر ویژگی را بر پیش‌بینی به ما می‌دهد. برای محاسبهٔ واقعی، $z$ها با شبکه‌ای از بازه‌ها جایگزین می‌شوند که تغییرهای پیش‌بینی را روی آن‌ها محاسبه می‌کنیم. به‌جای اینکه مستقیماً پیش‌بینی‌ها را میانگین بگیریم، روش ALE تفاضل پیش‌بینی‌ها را به‌شرط ویژگی‌های $S$ محاسبه می‌کند و برای تخمین اثر، مشتق را روی ویژگی‌های $S$ انتگرال می‌گیرد. خب، این احمقانه به نظر می‌رسد. مشتق‌گیری و انتگرال‌گیری معمولاً یکدیگر را خنثی می‌کنند، مثل اینکه ابتدا عددی را کم کنیم و سپس همان عدد را اضافه کنیم. چرا اینجا معنا دارد؟ مشتق (یا تفاضل بازه‌ای) اثر ویژگی مورد علاقه را جدا می‌کند و اثر ویژگی‌های همبسته را مسدود می‌کند.

تفاوت سوم نمودارهای ALE با M-plotها این است که یک ثابت را از نتایج کم می‌کنیم. این گام نمودار ALE را مرکزی (centered) می‌کند، به‌طوری که میانگین اثر روی داده‌ها صفر باشد.

یک مشکل باقی می‌ماند: همهٔ مدل‌ها گرادیان ندارند؛ برای مثال جنگل‌های تصادفی گرادیان صریح ندارند. اما همان‌طور که خواهید دید، محاسبهٔ واقعی بدون گرادیان کار می‌کند و از بازه‌ها استفاده می‌کند. بیایید کمی عمیق‌تر به تخمین نمودارهای ALE بپردازیم.

برای درک بهتر (توضیح مترجم): «چرا انتگرال مشتق معنا دارد؟» را با یک مدل ساده ببینید: $\hat{f}(x_1, x_2) = 2x_1 + x_2$. مشتق جزئی نسبت به $x_1$ برابر $\hat{f}^S = 2$ است و $x_2$ در آن اصلاً ظاهر نمی‌شود؛ پس هر مقدار $x_2$ و هر همبستگی میان $x_1$ و $x_2$ اثری بر آن ندارد. انتگرال این مقدار از $z_0$ تا $x_1$ برابر $2(x_1 - z_0)$ است که اثر خالص $x_1$ است. اگر به‌جای آن میانگین خود پیش‌بینی را به‌شرط $x_1$ بگیریم (M-plot) و $x_2$ تقریباً برابر $x_1$ باشد، $2x_1 + x_1 = 3x_1$ به دست می‌آید که اثر $x_2$ را هم در خود دارد.

تخمین

ابتدا توضیح می‌دهم نمودارهای ALE برای یک ویژگی عددی چگونه تخمین زده می‌شوند، سپس برای دو ویژگی عددی، و در پایان برای یک ویژگی طبقه‌ای. برای تخمین اثرهای محلی، ویژگی را به بازه‌های زیادی تقسیم می‌کنیم و تفاضل پیش‌بینی‌ها را محاسبه می‌کنیم. این روش مشتق‌ها را تقریب می‌زند و برای مدل‌هایی که مشتق ندارند نیز کار می‌کند.

ابتدا اثر مرکزی‌نشده (uncentered) را تخمین می‌زنیم:

$$\hat{\tilde{f}}_{j,ALE}(\mathbf{x}) = \sum_{k=1}^{k_j(\mathbf{x})} \frac{1}{n_j(k)} \sum_{i: x_j^{(i)} \in N_j(k)} \left[\hat{f}(z_{k,j}, \mathbf{x}^{(i)}_{-j}) - \hat{f}(z_{k-1,j}, \mathbf{x}^{(i)}_{-j})\right]$$

بیایید این فرمول را از سمت راست تجزیه کنیم. نام اثرات محلی انباشته (Accumulated Local Effects) همهٔ اجزای این فرمول را به‌خوبی بازتاب می‌دهد. در هستهٔ خود، روش ALE تفاضل پیش‌بینی‌ها را محاسبه می‌کند، که در آن ویژگی مورد علاقه را با مقادیر شبکهٔ $z$ جایگزین می‌کنیم. تفاضل پیش‌بینی همان اثر (Effect) است که ویژگی برای یک نمونهٔ منفرد در یک بازهٔ معین دارد. مجموع سمت راست اثرهای همهٔ نمونه‌های درون یک بازه را جمع می‌زند، که در فرمول به‌صورت همسایگی $N_j(k)$ ظاهر می‌شود. این مجموع را بر تعداد نمونه‌های این بازه تقسیم می‌کنیم تا میانگین تفاضل پیش‌بینی‌ها برای این بازه به دست آید. این میانگین درون بازه را واژهٔ محلی (Local) در نام ALE پوشش می‌دهد. نماد مجموع سمت چپ یعنی اثرهای میانگین را در همهٔ بازه‌ها انباشته می‌کنیم. ALE (مرکزی‌نشده) یک مقدار ویژگی که مثلاً در بازهٔ سوم قرار دارد، مجموع اثرهای بازه‌های اول، دوم و سوم است. واژهٔ انباشته (Accumulated) در ALE این را بازتاب می‌دهد.

توضیح مترجم: در فرمول، $z_{k,j}$ و $z_{k-1,j}$ کران بالا و پایین بازهٔ $k$-ام برای ویژگی $j$ هستند، $\mathbf{x}^{(i)}_{-j}$ مقادیر همهٔ ویژگی‌های نمونهٔ $i$ به‌جز ویژگی $j$ است (که ثابت نگه داشته می‌شوند)، $n_j(k)$ تعداد نمونه‌های بازهٔ $k$-ام، $N_j(k)$ مجموعهٔ نمونه‌های آن بازه، و $k_j(\mathbf{x})$ شمارهٔ بازه‌ای است که مقدار $x_j$ در آن قرار دارد. منبع این نمادها را جدا تعریف نمی‌کند و از توضیح متن برداشت شده است.

برای درک بهتر (توضیح مترجم): فرض کنید ویژگی را به سه بازه تقسیم کرده‌ایم و میانگین تفاضل پیش‌بینی‌ها در بازه‌ها به‌ترتیب $2$، $5$ و $-1$ است. مقدار مرکزی‌نشدهٔ ALE در انتهای بازهٔ اول $2$، در انتهای بازهٔ دوم $2 + 5 = 7$ و در انتهای بازهٔ سوم $7 + (-1) = 6$ است؛ یعنی هر مقدار مجموع اثرهای بازه‌های قبلی و خود آن است.

سپس این اثر را مرکزی می‌کنیم تا میانگین اثر صفر شود.

$$\hat{f}_{j,ALE}(\mathbf{x}) = \hat{\tilde{f}}_{j,ALE}(\mathbf{x}) - \frac{1}{n} \sum_{i=1}^{n} \hat{\tilde{f}}_{j,ALE}(x_j^{(i)})$$

مقدار ALE را می‌توان به‌صورت اثر اصلی ویژگی در یک مقدار معین، در مقایسه با میانگین پیش‌بینی داده‌ها، تفسیر کرد. برای مثال، تخمین ALE برابر ۲- در $x^{(i)}_j = 3$ یعنی وقتی ویژگی $j$-ام مقدار ۳ دارد، پیش‌بینی نسبت به میانگین پیش‌بینی ۲ واحد کمتر است.

برای درک بهتر (توضیح مترجم): ادامهٔ مثال بالا: فرض کنید در هر سه بازه تعداد نمونه‌ها برابر است و نمونه‌ها در انتهای بازه‌ها هستند. میانگین مقادیر مرکزی‌نشده $\frac{2 + 7 + 6}{3} = 5$ است. با کم‌کردن آن، مقادیر مرکزی‌شده $2 - 5 = -3$، $7 - 5 = 2$ و $6 - 5 = 1$ می‌شوند. میانگین این سه مقدار صفر است، و مثلاً $-3$ یعنی در بازهٔ اول پیش‌بینی ۳ واحد کمتر از میانگین پیش‌بینی است. (در محاسبهٔ واقعی مقدار هر نمونه به‌صورت درون‌یابی در بازه خودش گرفته می‌شود؛ اینجا برای سادگی از آن صرف‌نظر شد.)

از چندک‌های (quantiles) توزیع ویژگی به‌عنوان شبکه‌ای که بازه‌ها را تعریف می‌کند استفاده می‌شود. استفاده از چندک‌ها تضمین می‌کند که در هر یک از بازه‌ها تعداد نمونه‌های داده برابر باشد. چندک‌ها این عیب را دارند که بازه‌ها می‌توانند طول‌های بسیار متفاوتی داشته باشند. اگر ویژگی مورد علاقه بسیار چوله (skewed) باشد، مثلاً مقادیر پایین زیاد و فقط چند مقدار بسیار بالا، این می‌تواند به نمودارهای ALE عجیب منجر شود.

نمودارهای ALE برای برهم‌کنش دو ویژگی

نمودارهای ALE می‌توانند اثر برهم‌کنش (interaction effect) دو ویژگی را نیز نشان دهند. اصول محاسبه مانند یک ویژگی است، اما به‌جای بازه با سلول‌های مستطیلی کار می‌کنیم، چون باید اثرها را در دو بعد انباشته کنیم. افزون بر تعدیل برای میانگین اثر کلی، برای اثرهای اصلی هر دو ویژگی نیز تعدیل می‌کنیم. این یعنی ALE برای دو ویژگی اثر مرتبهٔ دوم (second-order effect) را تخمین می‌زند که اثرهای اصلی ویژگی‌ها را شامل نمی‌شود. به عبارت دیگر، ALE برای دو ویژگی فقط اثر برهم‌کنش افزوده‌شدهٔ دو ویژگی را نشان می‌دهد. فرمول‌های ALE دوبعدی را برایتان نمی‌آورم، چون طولانی و ناخوشایند برای خواندن‌اند. اگر به محاسبه علاقه‌مندید، شما را به مقالهٔ Apley و Zhu (۲۰۲۰)، فرمول‌های (۱۳) تا (۱۶)، ارجاع می‌دهم. برای ساختن شهود دربارهٔ محاسبهٔ ALE مرتبهٔ دوم به تجسم‌ها تکیه می‌کنم.

توضیح مترجم (متن داخل تصویر): محور x با برچسب $x_1$ و محور y با برچسب $x_2$ است. خطوط نقطه‌چین افقی و عمودی شبکه را می‌سازند و یک سلول با کادر ضخیم مشخص شده است. چهار گوشهٔ این سلول با برچسب‌های a (پایین‌چپ)، b (پایین‌راست)، c (بالاچپ) و d (بالاراست) علامت خورده‌اند. نقطه‌های درشت‌تر داخل این سلول همان نمونه‌هایی‌اند که در محاسبهٔ این سلول به کار می‌روند. نوشته‌های انگلیسی تصویر بدون تغییر ماندند.

برای درک بهتر (توضیح مترجم): فرض کنید برای یک نمونهٔ داخل سلول، پیش‌بینی در چهار گوشه $a = 10$، $b = 14$، $c = 13$ و $d = 19$ باشد. تفاضل مرتبهٔ دوم $(d - c) - (b - a) = (19 - 13) - (14 - 10) = 6 - 4 = 2$ است. یعنی اثر افزودن $x_1$ (از چپ به راست) وقتی $x_2$ بالاتر است ($d - c = 6$) با وقتی $x_2$ پایین‌تر است ($b - a = 4$) متفاوت است و این تفاوت $2$ همان اثر برهم‌کنش این نمونه است. اگر دو ویژگی برهم‌کنش نداشتند، این دو تفاضل برابر بودند و نتیجه صفر می‌شد.

در شکل قبلی، بسیاری از سلول‌ها به‌دلیل همبستگی خالی‌اند. در نمودار ALE می‌توان این را با یک کادر خاکستری یا تیره‌شده نشان داد. به‌طور جایگزین، می‌توانید تخمین ALE گمشدهٔ یک سلول خالی را با تخمین ALE نزدیک‌ترین سلول غیرخالی جایگزین کنید.

از آنجا که تخمین‌های ALE برای دو ویژگی فقط اثر مرتبهٔ دوم ویژگی‌ها را نشان می‌دهند، تفسیر نیازمند توجه ویژه است. اثر مرتبهٔ دوم همان اثر برهم‌کنشِ افزوده‌شده است، پس از اینکه اثرهای اصلی ویژگی‌ها را در نظر گرفته‌ایم. فرض کنید دو ویژگی برهم‌کنش ندارند، اما هر کدام اثر خطی بر نتیجهٔ پیش‌بینی‌شده دارند. در نمودار ALE یک‌بعدی هر ویژگی، یک خط راست را به‌عنوان منحنی ALE تخمین‌زده‌شده می‌بینیم. اما وقتی تخمین‌های ALE دوبعدی را رسم می‌کنیم، باید نزدیک صفر باشند، چون اثر مرتبهٔ دوم فقط اثر افزودهٔ برهم‌کنش است. نمودارهای ALE و PD در این مورد با هم فرق دارند: PDPها همیشه اثر کل را نشان می‌دهند، در حالی که نمودارهای ALE اثر مرتبهٔ اول یا دوم را. این‌ها تصمیم‌های طراحی‌اند که به ریاضیات زیربنایی وابسته نیستند. می‌توانید در یک نمودار وابستگی جزئی اثرهای مرتبهٔ پایین‌تر را کم کنید تا اثرهای اصلی یا مرتبهٔ دوم خالص را به دست آورید، یا با خودداری از کم‌کردن اثرهای مرتبهٔ پایین‌تر، تخمینی از نمودارهای ALE کل به دست آورید.

توضیح مترجم: جملهٔ آخر پاراگراف بالا در منبع دقیقاً همین‌طور آمده است: «کم‌کردن اثرهای مرتبهٔ پایین‌تر» به PDP و «خودداری از کم‌کردن» به ALE کل نسبت داده شده است. معنای مقصود نویسنده این است که فرق PDP و ALE در این مورد انتخاب طراحی است و با تغییر آن می‌توان از هر کدام اثر کل یا اثر خالص را گرفت؛ ترجمه عیناً با منبع آمده و تغییر داده نشد.

برای درک بهتر (توضیح مترجم): فرض کنید مدل $\hat{f} = 3x_1 + 2x_2$ است (بدون جملهٔ برهم‌کنش). ALE یک‌بعدی $x_1$ خط راستی با شیب ۳ و ALE یک‌بعدی $x_2$ خط راستی با شیب ۲ است. اما ALE دوبعدی $(x_1, x_2)$ تقریباً همه‌جا صفر است، چون هیچ اثر افزوده‌ای فراتر از دو اثر اصلی وجود ندارد. اگر مدل جملهٔ $x_1 x_2$ داشت، همین نمودار دوبعدی فقط سهم آن جمله را نشان می‌داد.

اثرات محلی انباشته را می‌توان برای مرتبه‌های بالاتر دلخواه نیز محاسبه کرد (برهم‌کنش سه ویژگی یا بیشتر)، اما همان‌طور که در فصل PDP استدلال شد، فقط تا دو ویژگی معنا دارد، چون برهم‌کنش‌های مرتبهٔ بالاتر را نمی‌توان تجسم کرد یا حتی به‌طور معنادار تفسیر کرد.

ALE برای ویژگی‌های طبقه‌ای

روش اثرات محلی انباشته — بنا بر تعریف — نیاز دارد مقادیر ویژگی ترتیب داشته باشند، چون این روش اثرها را در یک جهت معین انباشته می‌کند. ویژگی‌های طبقه‌ای هیچ ترتیب طبیعی ندارند. برای محاسبهٔ نمودار ALE برای یک ویژگی طبقه‌ای، باید به‌نحوی ترتیبی بسازیم یا بیابیم. ترتیب دسته‌ها بر محاسبه و تفسیر اثرات محلی انباشته تأثیر می‌گذارد.

یک راه‌حل این است که دسته‌ها را بر پایهٔ شباهتشان، بر اساس ویژگی‌های دیگر، مرتب کنیم. فاصلهٔ دو دسته مجموع فاصله‌های هر ویژگی است. فاصلهٔ هر ویژگی یا توزیع تجمعی (cumulative distribution) را در هر دو دسته مقایسه می‌کند، که فاصلهٔ کولموگروف–اسمیرنوف (Kolmogorov-Smirnov) نیز نامیده می‌شود (برای ویژگی‌های عددی)، یا جدول‌های فراوانی نسبی را (برای ویژگی‌های طبقه‌ای). پس از اینکه فاصله‌های میان همهٔ دسته‌ها را داشتیم، از مقیاس‌بندی چندبعدی (multi-dimensional scaling) برای کاهش ماتریس فاصله به یک معیار فاصلهٔ یک‌بعدی استفاده می‌کنیم. این یک ترتیب مبتنی بر شباهت برای دسته‌ها به ما می‌دهد.

برای اینکه این کمی روشن‌تر شود، یک مثال می‌زنیم: فرض کنید دو ویژگی طبقه‌ای «فصل» و «وضعیت هوا» و یک ویژگی عددی «دما» داریم. برای ویژگی طبقه‌ای اول (فصل) می‌خواهیم ALE را محاسبه کنیم. این ویژگی دسته‌های «بهار»، «تابستان»، «پاییز» و «زمستان» را دارد. محاسبهٔ فاصله میان دسته‌های «بهار» و «تابستان» را آغاز می‌کنیم. فاصله مجموع فاصله‌ها روی ویژگی‌های دما و وضعیت هواست. برای دما، همهٔ نمونه‌های با فصل «بهار» را می‌گیریم، تابع توزیع تجمعی تجربی (empirical cumulative distribution function) را محاسبه می‌کنیم، همین کار را برای نمونه‌های فصل «تابستان» انجام می‌دهیم و فاصلهٔ آن‌ها را با آمارهٔ کولموگروف–اسمیرنوف می‌سنجیم. برای ویژگی وضعیت هوا، برای همهٔ نمونه‌های «بهار» احتمال هر نوع وضعیت هوا را محاسبه می‌کنیم، همین کار را برای نمونه‌های «تابستان» می‌کنیم و فاصله‌های مطلق توزیع احتمال را جمع می‌زنیم. اگر «بهار» و «تابستان» دما و وضعیت هوای بسیار متفاوتی داشته باشند، فاصلهٔ کل دسته‌ها بزرگ است. این رویه را با دیگر جفت‌های فصلی تکرار می‌کنیم و ماتریس فاصلهٔ حاصل را با مقیاس‌بندی چندبعدی به یک بعد کاهش می‌دهیم.

توضیح مترجم: آمارهٔ کولموگروف–اسمیرنوف بیشترین فاصلهٔ عمودی میان دو تابع توزیع تجمعی تجربی است؛ هرچه دو نمونه از توزیع‌های متفاوتی آمده باشند بزرگ‌تر می‌شود. مقیاس‌بندی چندبعدی روشی است که از ماتریس فاصله‌ها مختصاتی با ابعاد کمتر (اینجا یک بعد) می‌سازد که فاصله‌ها را تا حد ممکن حفظ کند؛ مرتب‌کردن دسته‌ها روی این محور یک‌بعدی ترتیبی برای انباشتن ALE می‌دهد. منبع برای این دو روش ارجاع نمی‌دهد.

برای درک بهتر (توضیح مترجم): فرض کنید فاصله‌های دو‌به‌دوی چهار فصل در جدول زیر آمده باشد (اعداد فرضی): بهار–تابستان ۱، بهار–پاییز ۲، بهار–زمستان ۴، تابستان–پاییز ۳، تابستان–زمستان ۵، پاییز–زمستان ۲. مقیاس‌بندی چندبعدی هر فصل را روی یک محور قرار می‌دهد، مثلاً به ترتیب «تابستان، بهار، پاییز، زمستان». ALE آن‌گاه اثر رفتن از هر دسته به دستهٔ بعدی در همین ترتیب را انباشته می‌کند. اگر ترتیب را عوض کنیم (مثلاً «بهار، تابستان، زمستان، پاییز») نمودار ALE نیز عوض می‌شود، و به همین دلیل منبع می‌گوید ترتیب دسته‌ها بر تفسیر اثر می‌گذارد.

💡 نکته — از ترتیب طبیعی دسته‌ها استفاده کنید

اگر ترتیب معناداری برای دسته‌های یک ویژگی طبقه‌ای وجود دارد، از همان ترتیب برای ALE استفاده کنید.

ALE در برابر PDP

بیایید نمودارهای ALE را در عمل ببینیم. سناریویی ساخته‌ام که در آن نمودارهای وابستگی جزئی شکست می‌خورند. سناریوی نشان‌داده‌شده در شکل ۲۰.۵ شامل یک مدل پیش‌بینی و دو ویژگی به‌شدت همبسته است. مدل پیش‌بینی بیشتر یک مدل رگرسیون خطی است، اما در یک ترکیب از دو ویژگی که برایش هرگز نمونه‌ای ندیده‌ایم کار عجیبی می‌کند. این ناحیهٔ «عجیب» از توزیع داده‌ها (ابر نقاط) دور است و بر عملکرد مدل اثر نمی‌گذارد و، قابل بحث است که، نباید بر تفسیر آن نیز اثر بگذارد.

توضیح مترجم (متن داخل تصویر): محور x با برچسب $x_1$ و محور y با برچسب $x_2$ است. نقاط سیاه ۲۵ نمونهٔ داده‌اند که حول یک خط صعودی قرار دارند (همبستگی شدید). رنگ پس‌زمینه پیش‌بینی مدل است و راهنمای رنگ با عنوان Model prediction (پیش‌بینی مدل) از ۰٫۰ (بنفش تیره) تا ۲٫۰ (زرد) را نشان می‌دهد. مستطیل زرد یکدست در پایین‌راست ($x_1 > 0.7$ و $x_2 < 0.3$) همان ناحیهٔ «عجیب» است و هیچ نمونه‌ای در آن نیست. نوشته‌های انگلیسی تصویر بدون تغییر ماندند.

آیا این یک سناریوی واقع‌بینانه و مرتبط است؟ وقتی مدلی را آموزش می‌دهید، الگوریتم یادگیری زیان را برای نمونه‌های دادهٔ آموزشی موجود کمینه می‌کند. خارج از توزیع دادهٔ آموزشی ممکن است چیزهای عجیبی رخ دهد، چون مدل برای رفتار عجیب در این نواحی جریمه نمی‌شود. خارج‌شدن از توزیع داده را برون‌یابی (extrapolation) می‌نامند، که می‌تواند برای فریب‌دادن مدل‌های یادگیری ماشین نیز به کار رود، همان‌طور که در فصل مثال‌های خصمانه شرح داده شده است. شکل ۲۰.۶ را ببینید تا بفهمید نمودارهای وابستگی جزئی در مقایسه با نمودارهای ALE چگونه رفتار می‌کنند. تخمین‌های PDP تحت تأثیر رفتار عجیب مدل خارج از توزیع داده قرار می‌گیرند (جهش‌های تند در نمودارها). نمودارهای ALE به‌درستی تشخیص می‌دهند که مدل یادگیری ماشین رابطهٔ خطی میان ویژگی‌ها و پیش‌بینی‌ها دارد و نواحی بدون داده را نادیده می‌گیرند.

توضیح مترجم (متن داخل تصویر): چهار نمودار در دو ردیف: ستون چپ برای ویژگی x1 و ستون راست برای x2. عنوان ردیف بالا PDP و برچسب محور y در آن Predicted y (پیش‌بینی $y$) است؛ عنوان ردیف پایین ALE و برچسب محور y در آن ALE of y (ALE ی $y$) است. در ردیف بالا، منحنی PDP برای x1 حدود ۰٫۷ تا ۰٫۷۵ یک جهش تند دارد و منحنی PDP برای x2 حدود ۰٫۳ یک افت تند؛ این‌ها همان رفتار عجیب مدل در ناحیهٔ بدون داده‌اند. در ردیف پایین، منحنی‌های ALE هر دو خط راست صعودی‌اند و حدوداً از ۰٫۴- تا ۰٫۵ می‌روند (مرکزی‌شده، میانگین صفر). خط‌های ریز روی محور x (rug) محل نمونه‌های داده‌اند. نوشته‌های انگلیسی تصویر بدون تغییر ماندند.

برای درک بهتر (توضیح مترجم): برای PDP در $x_1 = 0.8$ همهٔ نمونه‌ها را با $x_1 = 0.8$ می‌سازیم؛ نمونه‌هایی که $x_2$ آن‌ها کمتر از ۰٫۳ است (که در داده‌ها با $x_1 \approx 0.8$ دیده نمی‌شوند) وارد ناحیهٔ «عجیب» می‌شوند و مدل برایشان همیشه ۲ پیش‌بینی می‌کند؛ این میانگین را بالا می‌کشد و باعث جهش می‌شود. ALE فقط از نمونه‌های واقعی هر بازه و تفاضل‌های محلی استفاده می‌کند و به این ناحیه هرگز نمی‌رسد، پس خط راست درست را نشان می‌دهد.

اما آیا جالب نیست که مدل ما در $x_1 > 0.7$ و $x_2 < 0.3$ رفتار عجیبی دارد؟ خب، هم بله و هم نه. از آنجا که این‌ها نمونه‌های دادهٔ ممکن است از نظر فیزیکی غیرممکن یا دست‌کم بسیار بعید باشند، معمولاً بررسی این نمونه‌ها بی‌ربط است. اما اگر گمان می‌کنید توزیع آزمون شما ممکن است کمی متفاوت باشد و برخی نمونه‌ها در واقع در این بازه باشند، آنگاه جالب خواهد بود که این ناحیه را در محاسبهٔ اثرهای ویژگی بگنجانید. اما گنجاندن نواحی‌ای که هنوز داده‌ای در آن‌ها مشاهده نکرده‌ایم باید تصمیمی آگاهانه باشد و نباید اثر جانبی روش انتخاب‌شده‌ای مانند PDP باشد. اگر گمان می‌کنید مدل بعداً با داده‌هایی با توزیع متفاوت به کار خواهد رفت، توصیه می‌کنم از نمودارهای ALE استفاده کنید و توزیع داده‌ای را که انتظار دارید شبیه‌سازی کنید.

💡 نکته — هر دو نمودار PDP و ALE را تولید کنید

مشاهدهٔ موردی (anecdotal): در کاربردهای من، نمودارهای ALE و PDP با وجود همبستگی کاملاً شبیه به هم بودند. همبستگی می‌تواند تفسیرپذیری را خراب کند، اما لازم نیست چنین شود. اگر ALE و PDP شما برای یک ویژگی همبسته همان منحنی را نشان می‌دهند، فقط PDP را تفسیر کنید، چون تفسیر ساده‌تری دارد.

توضیح مترجم: «مشاهدهٔ موردی» یعنی تجربهٔ شخصی نویسنده، نه یک نتیجهٔ آماری عمومی؛ این توصیه با قاعدهٔ سرانگشتی انتهای بخش محدودیت‌ها هم‌سو است (اگر ویژگی‌ها همبسته‌اند ولی PDP و ALE یکسان‌اند، PDP ساده‌تر را بپذیرید). در متن منبع در این کادر جملهٔ «If you ALE and PDP show…» غلط تایپی دارد (احتمالاً «If your ALE and PDP…»)؛ معنا همان است که ترجمه شد.

مثال‌ها

به یک مجموعه‌دادهٔ واقعی می‌پردازیم و تعداد دوچرخه‌های اجاره‌شده را بر پایهٔ آب‌وهوا و روز پیش‌بینی می‌کنیم و بررسی می‌کنیم آیا نمودارهای ALE واقعاً به همان خوبی که وعده داده شد کار می‌کنند یا نه. یک جنگل تصادفی را برای پیش‌بینی تعداد دوچرخه‌های اجاره‌شده آموزش می‌دهیم و از نمودارهای ALE برای تحلیل اینکه سرعت باد و وضعیت هوا چگونه بر پیش‌بینی‌ها اثر می‌گذارند استفاده می‌کنیم.

شکل ۲۰.۷ (چپ) نشان می‌دهد که افزایش سرعت باد اثر منفی بر اجارهٔ دوچرخه دارد. برای وضعیت هوا (راست)، می‌بینیم به‌ویژه هوای بد اثر منفی قوی بر تعداد دوچرخه‌های اجاره‌شده دارد. هر دو اثر با دانش حوزه هم‌خوانند، که نشانهٔ خوبی است.

توضیح مترجم (متن داخل تصویر): نمودار چپ: محور x با برچسب Wind speed (سرعت باد) و محور y با برچسب ALE of bike rentals (ALE ی اجارهٔ دوچرخه) است؛ منحنی از حدود ۱۵۰+ شروع می‌شود، تقریباً از سرعت ۱۰ پایین‌تر از صفر می‌رود و به حدود ۲۷۰- می‌رسد. نمودار راست: محور x با برچسب Weather Situation (وضعیت هوا) سه میله دارد: GOOD (خوب، اندکی بالای صفر)، MISTY (مه‌آلود، پایین‌تر از صفر) و BAD (بد، بسیار پایین‌تر از صفر، حدود ۷۵۰-). خط افقی سیاه صفر یعنی میانگین پیش‌بینی است. نوشته‌های انگلیسی تصویر بدون تغییر ماندند.

برای درک بهتر (توضیح مترجم): مقدار ALE یک انحراف نسبت به میانگین پیش‌بینی است، نه خود پیش‌بینی. برای نمونه، اگر میانگین پیش‌بینی مدل ۴۰۰۰ دوچرخه در روز باشد، میلهٔ حدود ۷۵۰- برای BAD یعنی در روز با هوای بد، مدل به‌طور متوسط حدود ۷۵۰ دوچرخهٔ کمتر از میانگین (حدود ۳۲۵۰) پیش‌بینی می‌کند، با فرض ثابت‌ماندن اثر بقیهٔ ویژگی‌ها. (میانگین ۴۰۰۰ فقط برای توضیح فرض شده است.)

در ادامه، اثرهای رطوبت و دما و برهم‌کنش آن‌ها را بر تعداد پیش‌بینی‌شدهٔ دوچرخه‌ها بررسی می‌کنیم. به یاد داشته باشید که اثر مرتبهٔ دوم همان اثر برهم‌کنشِ افزودهٔ دو ویژگی است و اثرهای اصلی را شامل نمی‌شود. این یعنی مثلاً اثر اصلی اینکه رطوبت بالا به‌طور میانگین به تعداد پیش‌بینی‌شدهٔ کمتر دوچرخه منجر می‌شود را در نمودار ALE مرتبهٔ دوم نخواهید دید. شکل ۲۰.۸ هم اثرهای اصلی دما و رطوبت و هم برهم‌کنش آن‌ها را نشان می‌دهد. نمودار یک برهم‌کنش را آشکار می‌کند: هوای سرد و مرطوب پیش‌بینی را افزایش می‌دهد. به یاد داشته باشید که هر دو اثر اصلی رطوبت و دما می‌گویند تعداد پیش‌بینی‌شدهٔ دوچرخه‌ها در هوای بسیار سرد و مرطوب کاهش می‌یابد. بنابراین در هوای سرد و مرطوب، اثر ترکیبی دما و رطوبت مجموع اثرهای اصلی نیست، بلکه بزرگ‌تر از مجموع است.

توضیح مترجم (متن داخل تصویر): نمودار چپ دو پنل دارد با عنوان‌های hum (رطوبت) و temp (دما) و برچسب محور y ALE effect (اثر ALE)؛ این‌ها اثرهای اصلی‌اند: ALE رطوبت تا حدود ۶۰ تقریباً بالاتر از صفر است و بعد به‌شدت (تا حدود ۹۰۰-) می‌افتد، و ALE دما از حدود ۸۰۰- در دمای نزدیک صفر تا حدود ۵۵۰+ در حدود ۲۰ درجه بالا می‌رود و بعد سقوط می‌کند. نمودار راست نقشهٔ گرمایی مرتبهٔ دوم است: محور x با برچسب Relative Humidity (رطوبت نسبی) و محور y با برچسب Temperature (دما)، و راهنمای رنگ بالای آن با عنوان .ale از ۲۵۰- (بنفش تیره) تا بیش از ۵۰۰ (زرد) است. خط‌های ریز کنار محورها (rug) توزیع داده‌ها را نشان می‌دهند. نوشته‌های انگلیسی تصویر بدون تغییر ماندند.

توضیح مترجم: متن منبع می‌گوید «هوای سرد و مرطوب پیش‌بینی را افزایش می‌دهد»؛ در تصویر، روشن‌ترین ناحیه (زرد) در بالای نقشه، یعنی دمای حدود ۳۰ درجه و رطوبت حدود ۹۰، است و یک نوار روشن‌تر دیگر در دمای حدود ۱۰ تا ۱۳ با رطوبت بالای ۷۵ دیده می‌شود. این تفاوت جزئی میان متن و تصویر عیناً از منبع آمده و چیزی در متن تغییر داده نشد؛ مقادیر دقیق را باید از خود شکل خواند. همچنین نمودار PDP دوبعدی دما و رطوبت در کد منبع وجود دارد ولی با eval: false اجرا نمی‌شود و در صفحه نمایش داده نمی‌شود، پس ترجمه‌ای برایش لازم نبود.

برای درک بهتر (توضیح مترجم): فرض کنید در رطوبت بالا و دمای پایین، اثر اصلی رطوبت $-300$ و اثر اصلی دما $-200$ باشد؛ اگر برهم‌کنشی نبود، اثر کل $-500$ می‌شد. حالا اگر ALE مرتبهٔ دوم در همان ناحیه $+150$ باشد، اثر کل $-300 - 200 + 150 = -350$ است: «بزرگ‌تر از مجموع اثرهای اصلی» (کمتر منفی). نقشهٔ مرتبهٔ دوم فقط همین $+150$ را نشان می‌دهد، نه $-350$ را. (اعداد برای توضیح‌اند و از منبع نیستند.)

می‌توانید اثر کل برهم‌کنش را نیز با جمع‌کردن دو اثر اصلی و میانگین پیش‌بینی روی آن به دست آورید. اگر فقط به برهم‌کنش علاقه‌مندید، باید به اثرهای مرتبهٔ دوم نگاه کنید، چون اثر کل اثرهای اصلی را در نمودار می‌آمیزد. اما اگر می‌خواهید اثر ترکیبی ویژگی‌ها را بدانید، باید به اثر کل نگاه کنید. با این حال، در سناریویی که دو ویژگی برهم‌کنش ندارند، اثر کل دو ویژگی می‌تواند گمراه‌کننده باشد، چون احتمالاً چشم‌انداز پیچیده‌ای نشان می‌دهد که برهم‌کنشی را القا می‌کند، اما صرفاً حاصل‌ضرب دو اثر اصلی است. اثر مرتبهٔ دوم خالص بلافاصله نشان می‌دهد که برهم‌کنشی وجود ندارد.

توضیح مترجم: «حاصل‌ضرب دو اثر اصلی» در متن منبع (product) آمده است، در حالی که در مدل‌های جمعی بدون برهم‌کنش اثر کل مجموع اثرهای اصلی است؛ احتمالاً منظور نویسنده این است که چشم‌انداز اثر کل، حاصل ترکیب دو اثر اصلی است نه برهم‌کنش واقعی. ترجمه عیناً با منبع آمد.

فعلاً دوچرخه بس است؛ بیایید به یک مسئلهٔ طبقه‌بندی برویم. یک جنگل تصادفی را برای پیش‌بینی $\mathbb{P}(Y = \text{female})$ بر پایهٔ اندازه‌گیری‌های بدن آموزش می‌دهیم. وزن بدن چگونه بر احتمال ماده‌بودن یک پنگوئن اثر می‌گذارد؟ شکل ۲۰.۹ (چپ) نمودار ALE برای توده بدنی (body mass) را نشان می‌دهد. هرچه پنگوئن سنگین‌تر باشد، احتمال ماده‌بودن آن کمتر است. اما وقتی نمودارهای ALE را به تفکیک گونه مصور کنیم (شکل ۲۰.۹ راست)، تصویر بهتری به دست می‌آوریم. هر یک از گونه‌ها یک نقطهٔ برش روشن دارد که بالاتر از آن توده بدنی برای پنگوئن‌های نر معمول‌تر است. به‌طور کلی، اثرها کاملاً شبیه PDPها در فصل PDP هستند.

توضیح مترجم (متن داخل تصویر): نمودار چپ: محور x با برچسب Body mass in grams (توده بدنی بر حسب گرم) و محور y با برچسب ALE of P(female) (ALE ی احتمال ماده‌بودن) با دامنهٔ حدود ۰٫۴۵- تا ۰٫۴۵ است؛ منحنی از حدود ۰٫۳۲+ به حدود ۰٫۳۳- می‌افتد. نمودار راست: برچسب محور x همان Body mass in grams و برچسب محور y ALE for P(female) است، و راهنمای کنار آن با عنوان species (گونه) سه خط را نشان می‌دهد: Adelie (خط پر قرمز)، Chinstrap (نقطه‌چین سبز) و Gentoo (خط‌چین آبی). برای هر گونه یک پرش پله‌ای روشن در وزن مشخصی دیده می‌شود (حدود ۳۷۰۰ برای Adelie، ۳۴۰۰ برای Chinstrap و ۵۰۰۰ تا ۵۲۰۰ برای Gentoo) که همان «نقطهٔ برش» متن است. نوشته‌های انگلیسی تصویر بدون تغییر ماندند.

برای درک بهتر (توضیح مترجم): چرا نمودار تفکیک‌شده بهتر است؟ چون گونه‌ها وزن‌های متفاوتی دارند (Gentoo سنگین‌تر است). در نمودار چپ، افتی که حول ۳۶۰۰ و ۵۰۰۰ گرم دیده می‌شود نتیجهٔ ترکیب گونه‌هاست، اما در نمودار راست برای هر گونه فقط یک افت در وزن مخصوص همان گونه دیده می‌شود. مقدار ALE ۰٫۲+ برای Adelie در وزن‌های کم یعنی احتمال ماده‌بودن ۰٫۲ بیشتر از میانگین است و مقدار ۰٫۲۷- در وزن‌های بالاتر از برش یعنی ۰٫۲۷ کمتر از میانگین. (اعداد تقریبی و خوانده‌شده از شکل‌اند.)

نقاط قوت

نمودارهای ALE بدون تورش‌اند، یعنی وقتی ویژگی‌ها همبسته‌اند هم کار می‌کنند. نمودارهای وابستگی جزئی در این سناریو شکست می‌خورند، چون روی ترکیب‌های بعید یا حتی از نظر فیزیکی غیرممکن مقادیر ویژگی حاشیه‌ای‌سازی می‌کنند.

نمودارهای ALE سریع‌تر از PDPها محاسبه می‌شوند و با $O(n)$ مقیاس می‌گیرند، چون بیشترین تعداد ممکن بازه‌ها برابر تعداد نمونه‌هاست، با یک بازه برای هر نمونه. PDP به $n$ برابر تعداد نقاط شبکه برآورد نیاز دارد. برای ۲۰ نقطهٔ شبکه، PDPها ۲۰ برابر پیش‌بینی بیشتر از بدترین حالت نمودار ALE نیاز دارند، که در آن به تعداد نمونه‌ها بازه استفاده می‌شود.

برای درک بهتر (توضیح مترجم): فرض کنید ۱۰۰۰ نمونه و ۲۰ نقطهٔ شبکه داریم. PDP هر نقطهٔ شبکه را با اجرای مدل روی هر ۱۰۰۰ نمونه محاسبه می‌کند: $20 \times 1000 = 20000$ پیش‌بینی. در بدترین حالت ALE هر نمونه یک بازه است و برای هر نمونه فقط روی بازهٔ خودش (کران بالا و پایین) پیش‌بینی می‌شود، یعنی تعداد پیش‌بینی‌ها از مرتبهٔ $n = 1000$ است (در عمل با ضریب ثابت کوچک مثل ۲)؛ در نتیجه حدود ۲۰ برابر کمتر، همان مقایسهٔ متن. برای داده‌های بزرگ یا مدل‌های کند، این تفاوت چشمگیر است.

تفسیر (محلی) نمودارهای ALE روشن است: به‌شرط یک مقدار معین، اثر نسبی تغییر ویژگی بر پیش‌بینی را می‌توان از نمودار ALE خواند. نمودارهای ALE حول صفر مرکزی‌اند. این تفسیرشان را خوشایند می‌کند، چون مقدار هر نقطه از منحنی ALE تفاضل با میانگین پیش‌بینی است. نمودار ALE دوبعدی فقط برهم‌کنش را نشان می‌دهد: اگر دو ویژگی برهم‌کنش نداشته باشند، نمودار چیزی نشان نمی‌دهد.

کل تابع پیش‌بینی را می‌توان به مجموعی از توابع ALE با ابعاد پایین‌تر تجزیه کرد، همان‌طور که در فصل تجزیهٔ تابعی توضیح داده شده است.

در مجموع، در اکثر موقعیت‌ها نمودارهای ALE را به PDPها ترجیح می‌دهم، چون ویژگی‌ها معمولاً تا حدی همبسته‌اند.

محدودیت‌ها

اگر ویژگی‌ها به‌شدت همبسته باشند، تفسیر اثر در بازه‌های مختلف مجاز نیست. حالتی را در نظر بگیرید که ویژگی‌های شما بسیار همبسته‌اند و به انتهای چپ یک نمودار ALE یک‌بعدی نگاه می‌کنید. منحنی ALE ممکن است تفسیر نادرست زیر را وسوسه کند: «منحنی ALE نشان می‌دهد وقتی مقدار ویژگی مربوطه را برای یک نمونهٔ داده به‌تدریج تغییر می‌دهیم و مقادیر ویژگی‌های دیگر آن نمونه را ثابت نگه می‌داریم، پیش‌بینی به‌طور میانگین چگونه تغییر می‌کند.» اثرها برای هر بازه (به‌صورت محلی) محاسبه می‌شوند و بنابراین تفسیر اثر فقط می‌تواند محلی باشد. برای راحتی، اثرهای بازه‌به‌بازه انباشته می‌شوند تا یک منحنی هموار نشان داده شود، اما به یاد داشته باشید که هر بازه با نمونه‌های دادهٔ متفاوتی ساخته شده است.

برای درک بهتر (توضیح مترجم): فرض کنید مساحت و تعداد اتاق به‌شدت همبسته‌اند و ALE مساحت در دو بازه $[30, 40]$ و $[90, 100]$ به‌ترتیب اثرهای محلی $+5$ و $+20$ دارد. نمودار انباشته می‌گوید «از ۳۰ تا ۱۰۰ به‌طور کلی قیمت بالا می‌رود»، اما این مقدار از جمع اثرهای دو بازه با نمونه‌های متفاوت (خانه‌های کوچک در بازهٔ اول و بزرگ در بازهٔ دوم) به دست آمده است. هیچ خانه‌ای را در عمل از ۳۰ تا ۱۰۰ متر گسترش نداده‌ایم؛ پس نمی‌توان گفت «اگر مساحت یک خانهٔ مشخص را از ۳۰ به ۱۰۰ ببریم، قیمت چنین تغییری می‌کند».

اثرهای ALE ممکن است با ضرایب مشخص‌شده در یک مدل رگرسیون خطی متفاوت باشند، وقتی ویژگی‌ها برهم‌کنش دارند و همبسته‌اند. Grömping (۲۰۲۰) نشان داد که در یک مدل خطی با دو ویژگی همبسته و یک جملهٔ برهم‌کنش اضافی ($\hat{f}(x) = \beta_0 + \beta_1 x_1 + \beta_2 x_2 + \beta_3 x_1 x_2$)، نمودارهای ALE مرتبهٔ اول خط راست نشان نمی‌دهند. در عوض، اندکی خمیده‌اند، چون بخش‌هایی از برهم‌کنش ضربی ویژگی‌ها را در خود دارند. برای فهمیدن آنچه در اینجا رخ می‌دهد، خواندن فصل تجزیهٔ تابعی را توصیه می‌کنم. خلاصه اینکه ALE اثرهای مرتبهٔ اول (یا یک‌بعدی) را متفاوت با شیوه‌ای که فرمول خطی توصیفشان می‌کند تعریف می‌کند. این الزاماً غلط نیست، چون وقتی ویژگی‌ها همبسته‌اند، انتساب برهم‌کنش‌ها چندان روشن نیست. اما قطعاً غیرشهودی است که ALE و ضرایب خطی با هم نمی‌خوانند.

توضیح مترجم: «جملهٔ برهم‌کنش» در این مدل همان $\beta_3 x_1 x_2$ است. اگر $\beta_3 = 0$ باشد، مدل بدون برهم‌کنش است و ALE مرتبهٔ اول هر ویژگی خط راستی با شیب ضریب همان ویژگی خواهد بود. فقط وقتی $\beta_3 \neq 0$ و ویژگی‌ها همبسته‌اند، خمیدگی ALE و ناهم‌خوانی با ضرایب رخ می‌دهد؛ در مدل جمعی، مشتق جزئی نسبت به هر ویژگی ثابت (همان ضریب) است، پس ALE آن خطی می‌شود؛ ادعای مربوط به حالت $\beta_3 \neq 0$ از منبع و مقالهٔ Grömping است و در اینجا اثبات نشده است.

نمودارهای ALE با تعداد بالای بازه‌ها می‌توانند کمی لرزان شوند (بالا و پایین‌های کوچک بسیار). در این حالت، کاهش تعداد بازه‌ها تخمین‌ها را پایدارتر می‌کند، اما بخشی از پیچیدگی واقعی مدل پیش‌بینی را نیز هموار و پنهان می‌کند. راه‌حل کاملی برای تعیین تعداد بازه‌ها وجود ندارد. اگر تعداد خیلی کم باشد، نمودارهای ALE ممکن است چندان دقیق نباشند. اگر تعداد خیلی زیاد باشد، منحنی می‌تواند لرزان شود. برای مصالحه میان هموارسازی و دقت، Gkolemis و همکاران (۲۰۲۳) رویکردی خودکار برای تقسیم بازه‌ها پیشنهاد دادند که تا زمانی که اثرهای محلی درون آن‌ها نسبتاً ثابت می‌مانند (برای حفظ پیچیدگی واقعی مدل)، بازه‌ها را به‌تدریج بزرگ‌تر می‌کند (برای تخمین‌های پایدارتر).

برای درک بهتر (توضیح مترجم): فرض کنید ۲۰۰ نمونه داریم. با ۱۰۰ بازه، هر بازه ۲ نمونه دارد و اثر محلی هر بازه به همان دو نمونه حساس است، پس منحنی بالا و پایین می‌رود. با ۵ بازه، هر بازه ۴۰ نمونه دارد و منحنی هموار و پایدار است، اما یک پیچ مهم در رفتار مدل (مثلاً یک پله در یک بازهٔ باریک) ممکن است درون یک بازهٔ بزرگ محو شود. روش RHALE بازه‌ها را در جاهایی که اثر تقریباً ثابت است بزرگ می‌کند و در جاهایی که اثر تغییر می‌کند کوچک نگه می‌دارد. (مثال فقط برای توضیح است.)

برخلاف PDPها، نمودارهای ALE با منحنی‌های ICE همراه نیستند. برای PDPها، منحنی‌های ICE عالی‌اند چون می‌توانند ناهمگنی در اثر ویژگی را آشکار کنند، یعنی اینکه اثر یک ویژگی برای زیرمجموعه‌های مختلف داده متفاوت به نظر می‌رسد. برای نمودارهای ALE، فقط می‌توانید در هر بازه بررسی کنید که آیا اثر میان نمونه‌ها متفاوت است یا نه، اما هر بازه نمونه‌های متفاوتی دارد، پس با منحنی‌های ICE یکسان نیست.

تخمین‌های ALE مرتبهٔ دوم در فضای ویژگی پایداری متفاوتی دارند، که به هیچ شکلی مصور نمی‌شود. دلیل این است که هر تخمین اثر محلی در یک سلول از تعداد متفاوتی نمونهٔ داده استفاده می‌کند. در نتیجه همهٔ تخمین‌ها دقت متفاوتی دارند (اما همچنان بهترین تخمین‌های ممکن‌اند). این مشکل در نسخهٔ خفیف‌تری برای نمودارهای ALE اثر اصلی نیز وجود دارد. تعداد نمونه‌ها به‌لطف استفاده از چندک‌ها به‌عنوان شبکه، در همهٔ بازه‌ها یکسان است، اما در برخی نواحی بازه‌های کوتاه زیادی وجود خواهد داشت و منحنی ALE از تخمین‌های بسیار بیشتری ساخته می‌شود. اما برای بازه‌های بلند، که می‌توانند بخش بزرگی از کل منحنی را بسازند، نمونه‌ها نسبتاً کمترند.

توضیح مترجم: «بازه‌های کوتاه زیاد» جایی پیش می‌آید که چگالی داده بالاست (چندک‌ها فشرده‌اند) و «بازه‌های بلند» جایی که داده کم است. عبارت «تعداد نمونه‌ها در همهٔ بازه‌ها یکسان است» یعنی هر بازه تعداد برابری نمونه دارد، اما چون طول بازه‌ها فرق دارد، سهم هر بازه از دامنهٔ محور x متفاوت است.

تفسیر نمودارهای اثر مرتبهٔ دوم می‌تواند کمی آزاردهنده باشد، چون همیشه باید اثرهای اصلی را در ذهن داشته باشید. وسوسه‌انگیز است که نقشه‌های گرمایی را به‌عنوان اثر کل دو ویژگی بخوانید، اما فقط اثر افزودهٔ برهم‌کنش است. اثر مرتبهٔ دوم خالص برای کشف و کاوش برهم‌کنش‌ها جالب است، اما برای تفسیر اینکه اثر چه شکلی دارد، فکر می‌کنم منطقی‌تر است اثرهای اصلی را در نمودار بگنجانیم.

پیاده‌سازی نمودارهای ALE بسیار پیچیده‌تر و در مقایسه با نمودارهای وابستگی جزئی کمتر شهودی است.

با اینکه نمودارهای ALE در حالت ویژگی‌های همبسته بدون تورش‌اند، تفسیر وقتی ویژگی‌ها به‌شدت همبسته‌اند دشوار می‌ماند. چون اگر همبستگی بسیار قوی باشد، فقط تحلیل اثر تغییر هر دو ویژگی با هم معنا دارد و نه جداگانه. این عیب مختص نمودارهای ALE نیست، بلکه مسئله‌ای عمومی در ویژگی‌های به‌شدت همبسته است.

اگر ویژگی‌ها ناهمبسته باشند و زمان محاسبه مسئله نباشد، PDPها کمی ترجیح داده می‌شوند، چون فهمیدنشان آسان‌تر است و می‌توان آن‌ها را همراه منحنی‌های ICE رسم کرد.

فهرست معایب بسیار طولانی شده است، اما فریب تعداد کلماتی را که به کار می‌برم نخورید. به‌عنوان یک قاعدهٔ سرانگشتی: اگر ویژگی‌ها همبسته نیستند، از PDP استفاده کنید. اگر ویژگی‌ها همبسته‌اند، اما PDP و ALE کم‌وبیش منحنی‌های یکسانی نشان می‌دهند، به سراغ تفسیر ساده‌تر PDP بروید. اگر ویژگی‌ها همبسته‌اند و PDP و ALE با هم تفاوت دارند، نمودار ALE را بپذیرید.

برای درک بهتر (توضیح مترجم): سه حالت قاعدهٔ سرانگشتی را با یک مثال ببینید. مساحت و تعداد اتاق همبسته‌اند. ۱) اگر ویژگی ناهمبسته (مثلاً سن خانه) را بررسی می‌کنید، PDP را (به‌همراه ICE) بکشید. ۲) اگر مساحت را بررسی می‌کنید و PDP و ALE هر دو تقریباً یک منحنی صعودی یکسان نشان می‌دهند، همان PDP را گزارش کنید. ۳) اگر PDP مساحت صعودی است اما ALE تقریباً تخت است، یعنی بخشی از اثر PDP از ترکیب‌های غیرواقعی آمده است؛ در این حالت به ALE اعتماد کنید.

نرم‌افزار و جایگزین‌ها

آیا گفتم که نمودارهای وابستگی جزئی و منحنی‌های انتظار شرطی فردی جایگزین‌اند؟ =)

نمودارهای ALE در R در بستهٔ R با نام ALEPlot به‌دست خود مبتکر روش، و یک بار هم در بستهٔ iml پیاده‌سازی شده‌اند. ALE چند پیاده‌سازی در Python هم دارد: effector، ALEPython، Alibi و PiML.

فصل ۲۱: تعامل ویژگی‌ها

عنوان اصلی: Feature Interaction
منبع: https://christophm.github.io/interpretable-ml-book/interaction.html
نویسنده: Christoph Molnar
مترجم: مریم محمودی


وقتی ویژگی‌ها در یک مدل پیش‌بینی با یکدیگر تعامل (interaction) دارند، پیش‌بینی را نمی‌توان به‌صورت مجموع اثرهای ویژگی‌ها بیان کرد، چون اثر یک ویژگی به مقدار ویژگی دیگر بستگی دارد. گزارهٔ ارسطو که می‌گوید «کل بزرگ‌تر از مجموع اجزای آن است» در حضور تعامل‌ها صدق می‌کند.

توضیح مترجم: در این کتاب واژهٔ «تعامل» (interaction) به همان معنایی به کار می‌رود که در آمار «اثر متقابل» یا «برهم‌کنش» گفته می‌شود: اثر مشترک دو (یا چند) ویژگی که با جمع اثرهای تک‌تک آن‌ها توضیح داده نمی‌شود. در فصل ALE همین مفهوم «برهم‌کنش» ترجمه شده بود؛ در این فصل برای هماهنگی با عنوان فصل از «تعامل» استفاده می‌کنیم.

تعامل ویژگی‌ها چیست؟

اگر یک مدل یادگیری ماشین پیش‌بینی را بر پایهٔ دو ویژگی انجام دهد، می‌توانیم پیش‌بینی را به چهار جمله تجزیه کنیم: یک جملهٔ ثابت، یک جمله برای ویژگی اول، یک جمله برای ویژگی دوم، و یک جمله برای تعامل میان دو ویژگی. تعامل میان دو ویژگی، تغییری در پیش‌بینی است که پس از در نظر گرفتن اثرهای تک‌تک ویژگی‌ها، از تغییر دادن ویژگی‌ها پدید می‌آید.

برای مثال، مدلی ارزش یک خانه را با استفاده از اندازهٔ خانه (بزرگ یا کوچک) و موقعیت (خوب یا بد) به‌عنوان ویژگی پیش‌بینی می‌کند، که چهار پیش‌بینی ممکن می‌دهد؛ جدول ۲۱.۱ را ببینید.

موقعیتاندازهپیش‌بینی
خوببزرگ۳۰۰,۰۰۰
خوبکوچک۲۰۰,۰۰۰
بدبزرگ۲۵۰,۰۰۰
بدکوچک۱۵۰,۰۰۰

جدول ۲۱.۱: نمونه پیش‌بینی‌های قیمت خانه بدون تعامل

پیش‌بینی مدل را به بخش‌های زیر تجزیه می‌کنیم: یک جملهٔ ثابت (۱۵۰,۰۰۰)، یک اثر برای ویژگی اندازه (۱۰۰,۰۰۰+ اگر بزرگ باشد؛ ۰+ اگر کوچک باشد)، و یک اثر برای موقعیت (۵۰,۰۰۰+ اگر خوب باشد؛ ۰+ اگر بد باشد). این تجزیه پیش‌بینی‌های مدل را به‌طور کامل توضیح می‌دهد. هیچ اثر تعاملی وجود ندارد، چون پیش‌بینی مدل مجموع اثرهای تک‌تک ویژگی‌های اندازه و موقعیت است. وقتی یک خانهٔ کوچک را بزرگ می‌کنید، پیش‌بینی همیشه ۱۰۰,۰۰۰ افزایش می‌یابد، صرف‌نظر از موقعیت. همچنین، تفاوت پیش‌بینی میان موقعیت خوب و بد ۵۰,۰۰۰ است، صرف‌نظر از اندازه.

حال یک مثال با تعامل را در جدول ۲۱.۲ ببینیم.

موقعیتاندازهپیش‌بینی
خوببزرگ۴۰۰,۰۰۰
خوبکوچک۲۰۰,۰۰۰
بدبزرگ۲۵۰,۰۰۰
بدکوچک۱۵۰,۰۰۰

جدول ۲۱.۲: نمونه پیش‌بینی‌های قیمت خانه با تعامل

جدول پیش‌بینی را به بخش‌های زیر تجزیه می‌کنیم: یک جملهٔ ثابت (۱۵۰,۰۰۰)، یک اثر برای ویژگی اندازه (۱۰۰,۰۰۰+ اگر بزرگ باشد؛ ۰+ اگر کوچک باشد)، و یک اثر برای موقعیت (۵۰,۰۰۰+ اگر خوب باشد؛ ۰+ اگر بد باشد). برای این جدول به یک جملهٔ اضافی برای تعامل نیاز داریم: ۱۰۰,۰۰۰+ اگر خانه بزرگ و در موقعیت خوب باشد. بنابراین برای یک خانهٔ بزرگ در موقعیت خوب داریم: ۱۵۰,۰۰۰ (پایه) + ۵۰,۰۰۰ (موقعیت خوب) + ۱۰۰,۰۰۰ (بزرگ) + ۱۰۰,۰۰۰ (تعامل) = ۴۰۰,۰۰۰. این یک تعامل میان اندازه و موقعیت است، چون در این حالت تفاوت پیش‌بینی میان خانهٔ بزرگ و کوچک به موقعیت بستگی دارد.

برای درک بهتر (توضیح مترجم): همین تفاوت را مستقیم از جدول ۲۱.۲ می‌توان دید. در موقعیت خوب، بزرگ‌شدن خانه پیش‌بینی را از ۲۰۰,۰۰۰ به ۴۰۰,۰۰۰ می‌برد، یعنی ۲۰۰,۰۰۰+. در موقعیت بد، همین تغییر پیش‌بینی را از ۱۵۰,۰۰۰ به ۲۵۰,۰۰۰ می‌برد، یعنی فقط ۱۰۰,۰۰۰+. چون اثر «بزرگ‌شدن» بسته به موقعیت متفاوت است ($200000 \neq 100000$)، مدل تعامل دارد. در جدول ۲۱.۱ این دو تفاوت برابر ($100000$ و $100000$) بودند و تعاملی وجود نداشت. اختلاف این دو ($200000 - 100000 = 100000$) دقیقاً همان جملهٔ تعامل است.

یک راه برای تخمین قدرت تعامل، اندازه‌گیری این است که چه سهمی از تغییرپذیری پیش‌بینی به تعامل ویژگی‌ها وابسته است. این اندازه‌گیری آمارهٔ H (H-statistic) نام دارد که Friedman و Popescu (۲۰۰۸) آن را معرفی کردند.

آمارهٔ H فریدمن

با دو حالت سروکار خواهیم داشت: اول، یک معیار تعامل دوطرفه (two-way) که به ما می‌گوید آیا دو ویژگی در مدل با هم تعامل دارند و تا چه حد؛ دوم، یک معیار تعامل کل (total) که به ما می‌گوید آیا یک ویژگی در مدل با همهٔ ویژگی‌های دیگر تعامل دارد و تا چه حد. در نظریه می‌توان تعامل‌های دلخواه میان هر تعداد ویژگی را اندازه گرفت، اما این دو جالب‌ترین حالت‌اند.

اگر دو ویژگی با هم تعامل نداشته باشند، می‌توانیم تابع وابستگی جزئی را به این صورت تجزیه کنیم (با فرض اینکه توابع وابستگی جزئی حول صفر مرکزی شده‌اند):

$$PD_{jk}(\mathbf{x}_j, \mathbf{x}_k) = PD_j(\mathbf{x}_j) + PD_k(\mathbf{x}_k)$$

که در آن $PD_{jk}(\mathbf{x}_j, \mathbf{x}_k)$ تابع وابستگی جزئی دوطرفهٔ هر دو ویژگی است، و $PD_j(\mathbf{x}_j)$ و $PD_k(\mathbf{x}_k)$ توابع وابستگی جزئی تک‌تک ویژگی‌ها هستند.

همین‌طور، اگر یک ویژگی با هیچ‌یک از ویژگی‌های دیگر تعامل نداشته باشد، می‌توانیم تابع پیش‌بینی $\hat{f}(\mathbf{x})$ را به‌صورت مجموع توابع وابستگی جزئی بیان کنیم، که جملهٔ اول فقط به $j$ و جملهٔ دوم به همهٔ ویژگی‌های دیگر جز $j$ وابسته است:

$$\hat{f}(\mathbf{x}) = PD_j(x_j) + PD_{-j}(\mathbf{x}_{-j})$$

که در آن $PD_{-j}(\mathbf{x}_{-j})$ تابع وابستگی جزئی‌ای است که به همهٔ ویژگی‌ها به‌جز ویژگی $j$-ام وابسته است.

توضیح مترجم: در این فرمول‌ها زیرنویس $-j$ یعنی «همهٔ ویژگی‌ها به‌جز $j$»، و «مرکزی‌شده حول صفر» یعنی میانگین هر تابع وابستگی جزئی روی داده‌ها از آن کم شده تا میانگینش صفر باشد (مانند مرکزی‌کردن در ALE)؛ بدون این فرض، جمع بالا یک ثابت اضافه نیاز دارد. منبع این نمادها را جداگانه تعریف نمی‌کند.

این تجزیه تابع وابستگی جزئی (یا تابع پیش‌بینی کامل) را بدون تعامل‌ها بیان می‌کند (میان ویژگی‌های $j$ و $k$، یا به‌ترتیب $j$ و همهٔ ویژگی‌های دیگر). در گام بعد، تفاوت میان تابع وابستگی جزئی مشاهده‌شده و تابع تجزیه‌شدهٔ بدون تعامل را اندازه می‌گیریم. واریانس خروجی وابستگی جزئی (برای اندازه‌گیری تعامل میان دو ویژگی) یا کل تابع (برای اندازه‌گیری تعامل میان یک ویژگی و همهٔ ویژگی‌های دیگر) را محاسبه می‌کنیم. مقدار واریانسی که تعامل آن را توضیح می‌دهد (تفاوت میان PD مشاهده‌شده و PD بدون تعامل) به‌عنوان آمارهٔ قدرت تعامل به کار می‌رود. اگر هیچ تعاملی وجود نداشته باشد آماره ۰ است، و اگر کل واریانس $PD_{jk}$ یا $\hat{f}$ با مجموع توابع وابستگی جزئی توضیح داده شود، ۱ است. آمارهٔ تعامل ۱ میان دو ویژگی یعنی هر تابع PD تکی ثابت است و اثر بر پیش‌بینی فقط از راه تعامل می‌آید. آمارهٔ H می‌تواند بزرگ‌تر از ۱ نیز باشد، که تفسیرش دشوارتر است. این می‌تواند وقتی رخ دهد که واریانس تعامل دوطرفه از واریانس نمودار وابستگی جزئی دوبعدی بزرگ‌تر باشد.

توضیح مترجم: متن منبع در جملهٔ «۰ اگر هیچ تعاملی نباشد و ۱ اگر همهٔ واریانس با مجموع توابع وابستگی جزئی توضیح داده شود» ظاهراً دو چیز را جابه‌جا بیان می‌کند: بر پایهٔ فرمول زیر، آماره وقتی ۱ است که همهٔ واریانس با تعامل توضیح داده شود (یعنی PDهای تکی بی‌اثر باشند)، که با جملهٔ بعدی («هر تابع PD تکی ثابت است») هم‌خوان است. این ناهمخوانی در جملهٔ منبع عیناً حفظ شد و خوانندهٔ دقیق باید فرمول را مبنا بگیرد.

از نظر ریاضی، آمارهٔ H که Friedman و Popescu برای تعامل میان ویژگی $j$ و $k$ پیشنهاد کردند چنین است:

$$H^2_{jk} = \frac{\sum_{i=1}^n\left[PD_{jk}(x_{j}^{(i)},x_k^{(i)})-PD_j(x_j^{(i)}) - PD_k(x_{k}^{(i)})\right]^2}{\sum_{i=1}^n\left({PD}_{jk}(x_j^{(i)},x_k^{(i)})\right)^2}$$

همین برای اندازه‌گیری اینکه آیا ویژگی $j$ با هر ویژگی دیگری تعامل دارد صدق می‌کند:

$$H^2_{j} = \frac{\sum_{i=1}^n\left[\hat{f}(\mathbf{x}^{(i)}) - PD_j(x^{(i)}_j) - PD_{-j}(\mathbf{x}_{-j}^{(i)})\right]^2}{\sum_{i=1}^n \left(\hat{f}(\mathbf{x}^{(i)})\right)^2}$$

ارزیابی آمارهٔ H پرهزینه است، چون روی همهٔ نقاط داده پیمایش می‌کند و در هر نقطه باید وابستگی جزئی ارزیابی شود، که خود با همهٔ $n$ نقطهٔ داده انجام می‌شود. در بدترین حالت، برای محاسبهٔ آمارهٔ H دوطرفه ($j$ در برابر $k$) به $2n^2$ فراخوانی تابع پیش‌بینی مدل یادگیری ماشین و برای آمارهٔ H کل ($j$ در برابر همه) به $3n^2$ فراخوانی نیاز داریم. برای تسریع محاسبه، می‌توانیم از $n$ نقطهٔ داده نمونه بگیریم. این عیب را دارد که واریانس برآوردهای وابستگی جزئی را افزایش می‌دهد و آمارهٔ H را ناپایدار می‌کند. پس اگر برای کاهش بار محاسباتی از نمونه‌گیری استفاده می‌کنید، مطمئن شوید نقاط داده‌ٔ کافی نمونه می‌گیرید.

برای درک بهتر (توضیح مترجم): با $n = 1000$ نمونه، آمارهٔ H دوطرفه در بدترین حالت به $2 \times 1000^2 = 2{,}000{,}000$ فراخوانی مدل نیاز دارد و آمارهٔ H کل به $3 \times 1000^2 = 3{,}000{,}000$. اگر فقط $100$ نمونه نمونه‌گیری کنیم، هزینه به $2 \times 100^2 = 20{,}000$ می‌رسد، یعنی ۱۰۰ برابر کمتر، اما برآورد با واریانس بیشتری همراه است.

Friedman و Popescu یک آمارهٔ آزمون نیز پیشنهاد می‌کنند تا ارزیابی شود آیا آمارهٔ H به‌طور معناداری با صفر تفاوت دارد. فرض صفر نبود تعامل است. برای تولید آمارهٔ تعامل تحت فرض صفر، باید بتوانید مدل را طوری تنظیم کنید که میان ویژگی $j$ و $k$ یا همهٔ ویژگی‌های دیگر تعاملی نداشته باشد. این برای همهٔ انواع مدل‌ها ممکن نیست. بنابراین این آزمون مختص مدل است، نه مستقل از مدل (model-agnostic)، و به همین دلیل در اینجا پوشش داده نمی‌شود.

آمارهٔ قدرت تعامل را می‌توان در تنظیم طبقه‌بندی نیز اعمال کرد، اگر پیش‌بینی یک احتمال باشد.

مثال‌ها

ببینیم تعامل‌های ویژگی‌ها در عمل چگونه‌اند! تعامل‌های میان ویژگی‌ها را در یک جنگل تصادفی تحلیل می‌کنیم که برای پیش‌بینی جنسیت پنگوئن بر پایهٔ اندازه‌گیری‌های بدن آموزش دیده است؛ شکل ۲۱.۱ را در بالا ببینید. توده بدنی (body mass) بیشترین قدرت تعامل را دارد. پس از نگاه به تعامل‌های هر ویژگی با همهٔ ویژگی‌های دیگر، می‌توانیم یکی از ویژگی‌ها را انتخاب کنیم و عمیق‌تر به همهٔ تعامل‌های دوطرفهٔ میان ویژگی انتخاب‌شده و ویژگی‌های دیگر بپردازیم. توده بدنی قوی‌ترین تعامل را دارد، پس در شکل ۲۱.۱ در پایین نگاه عمیق‌تری به آن بیندازیم. نمودار نشان می‌دهد توده بدنی بیشتر با عمق منقار و گونه تعامل دارد.

توضیح مترجم: نسخهٔ محلی این تصویر در مخزن موجود نیست و در زمان ترجمه نیز سایت منبع از محیط کار قابل دسترسی نبود؛ بنابراین نمی‌شد تصویر را دانلود کرد یا نوشته‌های داخلش را خواند، و آدرس بالا بر اساس الگوی نام‌گذاری شکل‌های همین کتاب است و راستی‌آزمایی نشده. به همین دلیل ترجمهٔ برچسب‌های داخل این شکل (محورها و نام ویژگی‌ها) ثبت نشد و این مورد در گزارش پوشش «مسدود» است. بر اساس متن و زیرنویس منبع می‌دانیم: نمودار بالا قدرت تعامل هر ویژگی را با همهٔ ویژگی‌های دیگر نشان می‌دهد و توده بدنی (body_mass_g) در آن بیشترین است؛ نمودار پایین تعامل‌های دوطرفهٔ توده بدنی را با ویژگی‌های دیگر نشان می‌دهد و بیشترین‌شان با عمق منقار (bill_depth_mm) و گونه (species) است.

برای درک بهتر (توضیح مترجم): دو نمودار شکل ۲۱.۱ دو سطح تحلیل‌اند. نمودار بالا «کل» است ($H_j$ هر ویژگی با همهٔ دیگران) و به ما می‌گوید کدام ویژگی بیشتر درگیر تعامل است. نمودار پایین «دوطرفه» است ($H_{jk}$ برای ویژگی منتخب با هر ویژگی دیگر) و می‌گوید تعامل با چه کسی است. این رویهٔ دو‌مرحله‌ای (اول کل، سپس دوطرفه) همان گردش کار پیشنهادی نویسنده در بخش محدودیت‌هاست که پس از آن برای تعامل‌های جالب نمودارهای وابستگی جزئی دوبعدی رسم می‌شود.

جایزه: به همهٔ تعامل‌ها به تفکیک گونه علاقه‌مندیم که آن‌ها را در شکل ۲۱.۲ مصور کرده‌ام. به‌ویژه برای توده بدنی، قدرت‌های تعامل میان گونه‌ها متفاوت‌اند.

توضیح مترجم (متن داخل تصویر): محور x با برچسب Interaction Strength (قدرت تعامل) از ۰٫۰ تا حدود ۰٫۵ است و محور y چهار ویژگی را فهرست می‌کند: flipper_length_mm (طول بال بر حسب میلی‌متر)، body_mass_g (توده بدنی بر حسب گرم)، bill_length_mm (طول منقار) و bill_depth_mm (عمق منقار). راهنمای سمت راست با عنوان species (گونه) سه نماد را نشان می‌دهد: Adelie (دایرهٔ قرمز)، Chinstrap (مثلث سبز) و Gentoo (مربع آبی). متغیر species از نمودار حذف شده است (در کد منبع حذف می‌شود). توده بدنی برای Adelie (حدود ۰٫۵۱) و Gentoo (حدود ۰٫۴۶) قدرت تعامل بالا و برای Chinstrap (حدود ۰٫۱۸) پایین دارد، و همین تفاوت میان گونه‌ها همان جملهٔ متن است. مقادیر از روی شکل تقریبی خوانده شده‌اند. نوشته‌های انگلیسی تصویر بدون تغییر ماندند.

نقاط قوت

آمارهٔ H تعامل از طریق تجزیهٔ وابستگی جزئی نظریهٔ زیربنایی دارد.

آمارهٔ H تفسیر معناداری دارد: تعامل به‌صورت سهم واریانسی تعریف می‌شود که با تعامل توضیح داده می‌شود.

چون این آماره بی‌بُعد (dimensionless) است، میان ویژگی‌ها و حتی میان مدل‌ها قابل مقایسه است.

این آماره همهٔ انواع تعامل‌ها را، صرف‌نظر از شکل خاصشان، تشخیص می‌دهد.

با آمارهٔ H می‌توان تعامل‌های مرتبهٔ بالاتر دلخواه را نیز تحلیل کرد، مانند قدرت تعامل میان ۳ ویژگی یا بیشتر.

برای درک بهتر (توضیح مترجم): «بی‌بعد» یعنی چون آماره نسبت دو واریانس است، واحد (مثلاً دلار یا کیلوگرم) حذف می‌شود. بنابراین می‌توان قدرت تعامل «توده بدنی» را با «عمق منقار» مقایسه کرد، حتی اگر واحدهایشان متفاوت باشد، و حتی می‌توان عدد را میان دو مدل متفاوت مقایسه کرد؛ البته با احتیاط‌هایی که در بخش محدودیت‌ها (مثل بزرگ‌تر از ۱ شدن) آمده است.

محدودیت‌ها

اولین چیزی که متوجه خواهید شد: آمارهٔ H تعامل زمان زیادی برای محاسبه می‌برد، چون از نظر محاسباتی پرهزینه است.

محاسبه شامل تخمین توزیع‌های حاشیه‌ای است. اگر از همهٔ نقاط داده استفاده نکنیم، این تخمین‌ها نیز واریانس مشخصی دارند. این یعنی با نمونه‌گیری از نقاط، تخمین‌ها از اجرایی به اجرای دیگر تغییر می‌کنند و نتایج می‌توانند ناپایدار باشند. توصیه می‌کنم محاسبهٔ آمارهٔ H را چند بار تکرار کنید تا ببینید آیا داده‌های کافی برای نتیجه‌ای پایدار دارید یا نه.

روشن نیست که آیا یک تعامل به‌طور معناداری بزرگ‌تر از ۰ است یا نه. باید یک آزمون آماری انجام دهیم، اما این آزمون (هنوز) در نسخهٔ مستقل از مدل در دسترس نیست.

در ارتباط با مسئلهٔ آزمون، دشوار است بگوییم آمارهٔ H چه زمانی آن‌قدر بزرگ است که تعامل را «قوی» بدانیم.

همچنین، آمارهٔ H می‌تواند بزرگ‌تر از ۱ باشد، که تفسیر را دشوار می‌کند.

وقتی اثر کل دو ویژگی ضعیف است اما عمدتاً از تعامل‌ها تشکیل شده، آمارهٔ H بسیار بزرگ می‌شود. این تعامل‌های کاذب (spurious) به مخرج کوچک آمارهٔ H نیاز دارند و وقتی ویژگی‌ها همبسته باشند بدتر می‌شوند. یک تعامل کاذب می‌تواند بیش‌ازحد تفسیر شود و تعامل قوی به نظر برسد، در حالی که در واقع هر دو ویژگی نقش کوچکی در مدل دارند. یک راه‌حل ممکن، مصورسازی نسخهٔ نرمال‌نشدهٔ آمارهٔ H است، که ریشهٔ دوم صورت آمارهٔ H است (Inglis و همکاران (۲۰۲۲)). این کار آمارهٔ H را دست‌کم برای رگرسیون هم‌مقیاس با پاسخ می‌کند و تأکید کمتری بر تعامل‌های کاذب می‌گذارد.

$$H^{*}_{jk} = \sqrt{\sum_{i=1}^n\left[PD_{jk}(x_{j}^{(i)},x_k^{(i)})-PD_j(x_j^{(i)}) - PD_k(x_{k}^{(i)})\right]^2}$$

برای درک بهتر (توضیح مترجم): فرض کنید دو ویژگی تقریباً بی‌اثرند و واریانس $PD_{jk}$ برابر $0{.}02$ است، اما تقریباً همهٔ آن را تعامل توضیح می‌دهد (صورت $0{.}015$). آنگاه $H^2 = 0{.}015 / 0{.}02 = 0{.}75$ و $H \approx 0{.}87$ بسیار بزرگ به نظر می‌رسد، هرچند اثر کل ناچیز است. نسخهٔ نرمال‌نشده $H^{*} = \sqrt{0{.}015} \approx 0{.}12$ است، یعنی به همان مقیاس خروجی مدل و کوچک؛ و نشان می‌دهد این تعامل از نظر عملی مهم نیست. (اعداد فرضی‌اند.)

آمارهٔ H قدرت تعامل‌ها را به ما می‌گوید، اما نمی‌گوید تعامل‌ها چه شکلی دارند. برای این کار نمودارهای وابستگی جزئی هستند. یک گردش کار معنادار این است که قدرت تعامل‌ها را اندازه بگیریم و سپس برای تعامل‌هایی که به آن‌ها علاقه‌مندیم نمودارهای وابستگی جزئی دوبعدی بسازیم.

آمارهٔ تعامل با این فرض کار می‌کند که می‌توانیم ویژگی‌ها را مستقل از هم جابه‌جا (shuffle) کنیم. اگر ویژگی‌ها به‌شدت همبسته باشند، این فرض نقض می‌شود و روی ترکیب‌هایی از ویژگی‌ها انتگرال می‌گیریم که در واقعیت بسیار بعیدند. این همان مشکلی است که نمودارهای وابستگی جزئی دارند. ویژگی‌های همبسته می‌توانند به مقادیر بزرگ آمارهٔ H منجر شوند.

گاهی نتایج عجیب‌اند و در شبیه‌سازی‌های کوچک نتایج مورد انتظار را نمی‌دهند. اما این بیشتر یک مشاهدهٔ موردی (anecdotal) است.

نرم‌افزار و جایگزین‌ها

برای مثال‌های این کتاب از بستهٔ R با نام iml استفاده کردم، که در CRAN و نسخهٔ در حال توسعهٔ آن در GitHub در دسترس است. پیاده‌سازی‌های دیگری هم هستند که بر مدل‌های خاصی تمرکز دارند: بستهٔ R با نام pre روش RuleFit و آمارهٔ H را پیاده‌سازی می‌کند. بستهٔ R با نام gbm مدل‌های گرادیان‌تقویتی (gradient boosted) و آمارهٔ H را پیاده‌سازی می‌کند. در Python می‌توانید پیاده‌سازی آن را در بستهٔ PiML بیابید.

آمارهٔ H تنها راه اندازه‌گیری تعامل‌ها نیست:

شبکه‌های تعامل متغیر (Variable Interaction Networks؛ VIN) از Hooker (۲۰۰۴) رویکردی است که تابع پیش‌بینی را به اثرهای اصلی و تعامل‌های ویژگی‌ها تجزیه می‌کند. سپس تعامل‌های میان ویژگی‌ها به‌صورت یک شبکه مصور می‌شوند. متأسفانه هنوز نرم‌افزاری برای آن در دسترس نیست.

تعامل ویژگی مبتنی بر وابستگی جزئی از Greenwell و همکاران (۲۰۱۸) تعامل میان دو ویژگی را اندازه می‌گیرد. این رویکرد اهمیت ویژگی (که به‌صورت واریانس تابع وابستگی جزئی تعریف می‌شود) یک ویژگی را به‌شرط نقاط مختلف و ثابت ویژگی دیگر اندازه می‌گیرد. اگر واریانس زیاد باشد، ویژگی‌ها با هم تعامل دارند؛ اگر صفر باشد، تعاملی ندارند. بستهٔ R متناظر با نام vip در GitHub در دسترس است. این بسته نمودارهای وابستگی جزئی و اهمیت ویژگی را نیز پوشش می‌دهد.

برای درک بهتر (توضیح مترجم): ایدهٔ رویکرد Greenwell را با یک مثال ببینید. فرض کنید اهمیت (واریانس PD) ویژگی $A$ را حساب می‌کنیم، یک بار وقتی $B$ برابر ۰ ثابت است و یک بار وقتی $B$ برابر ۱ ثابت است. اگر در هر دو حالت منحنی $A$ تقریباً یک‌شکل است (اهمیت‌ها نزدیک)، $A$ و $B$ تعاملی ندارند؛ اگر در یکی منحنی تخت است (اهمیت نزدیک صفر) و در دیگری شیب‌دار (اهمیت بالا)، اثر $A$ به مقدار $B$ بستگی دارد و تعامل داریم.

فصل ۲۲: تجزیه تابعی

عنوان اصلی: Functional Decomposition
منبع: https://christophm.github.io/interpretable-ml-book/decomposition.html
نویسنده: Christoph Molnar
مترجم: مریم محمودی


یک مدل یادگیری ماشین نظارت‌شده را می‌توان تابعی دید که یک بردار ویژگی با ابعاد بالا را به‌عنوان ورودی می‌گیرد و یک پیش‌بینی یا امتیاز طبقه‌بندی را به‌عنوان خروجی تولید می‌کند. تجزیه تابعی (functional decomposition) یک روش تفسیر است که تابع با ابعاد بالا را ساختارشکنی می‌کند و آن را به‌صورت مجموعی از اثرهای تک‌تک ویژگی‌ها و اثرهای تعامل بیان می‌کند که قابل مصورسازی هستند. افزون بر این، تجزیه تابعی اصل بنیادینی است که زیربنای بسیاری از روش‌های تفسیر قرار دارد — به شما کمک می‌کند روش‌های تفسیر دیگر را بهتر بفهمید.

بیایید مستقیم وارد بحث شویم و یک تابع خاص را ببینیم. این تابع دو ویژگی را به‌عنوان ورودی می‌گیرد و یک خروجی یک‌بعدی تولید می‌کند:

$$\hat{f}(x_1, x_2) = 2 + e^{x_1} - x_2 + x_1 \cdot x_2$$

تابع را مانند یک مدل یادگیری ماشین در نظر بگیرید. می‌توانیم تابع را با یک نمودار سه‌بعدی یا یک نقشهٔ گرمایی (heatmap) با خطوط تراز مصور کنیم، مانند شکل ۲۲.۱.

توضیح مترجم: در این فصل «تجزیه» (decomposition) یعنی نوشتن یک تابع به‌صورت مجموع چند تابع ساده‌تر (مؤلفه). «اثر اصلی» (main effect) اثر یک ویژگی به‌تنهایی، و «تعامل» (interaction) اثر مشترک دو یا چند ویژگی است که با جمع اثرهای اصلی توضیح داده نمی‌شود. «مؤلفه» (component) هر جملهٔ این مجموع است. «خط تراز» (contour line) خطی است که روی آن مقدار تابع ثابت است.

توضیح مترجم (متن داخل تصویر): محور x با برچسب $x_1$ و محور y با برچسب $x_2$ هر دو از ۱- تا ۱ هستند. رنگ هر نقطه مقدار تابع است و راهنمای رنگ سمت راست با عنوان Prediction (پیش‌بینی) از حدود ۱ (آبی تیره) تا حدود ۴٫۵ (آبی روشن) را نشان می‌دهد. منحنی‌های آبی روی نقشه خطوط تراز (contour lines) هستند، یعنی نقاطی با مقدار پیش‌بینی یکسان. نوشته‌های انگلیسی تصویر بدون تغییر ماندند.

تابع وقتی $x_1$ بزرگ و $x_2$ کوچک است مقادیر بزرگ می‌گیرد، و برای $x_2$ بزرگ و $x_1$ کوچک مقادیر کوچک می‌گیرد. تابع پیش‌بینی صرفاً یک اثر جمعی میان دو ویژگی نیست، بلکه تعاملی میان آن‌هاست. وجود تعامل را می‌توان در شکل دید — اثر تغییر مقادیر ویژگی $x_1$ به مقداری که ویژگی $x_2$ دارد بستگی دارد.

برای درک بهتر (توضیح مترجم): با خود فرمول هم می‌توان همین را دید. $\hat{f}(x_1, 0) = 2 + e^{x_1}$ و $\hat{f}(x_1, 1) = 2 + e^{x_1} - 1 + x_1 = 1 + e^{x_1} + x_1$. با رفتن از $x_1 = 0$ به $x_1 = 1$ در حالت $x_2 = 0$ پیش‌بینی از ۳ به $2 + e \approx 4.72$ می‌رود، یعنی حدود ۱٫۷۲+ ؛ و در حالت $x_2 = 1$ از $1 + 1 + 0 = 2$ به $1 + e + 1 \approx 4.72$ می‌رود، یعنی حدود ۲٫۷۲+. چون اثر تغییر $x_1$ بسته به $x_2$ فرق می‌کند، تعامل داریم.

کار ما اکنون تجزیهٔ این تابع به اثرهای اصلی ویژگی‌های $X_1$ و $X_2$ و یک جملهٔ تعامل است. برای یک تابع دوبعدی $\hat{f}$ که فقط به دو ویژگی ورودی وابسته است، $\hat{f}(x_1, x_2)$، می‌خواهیم هر مؤلفه یک اثر اصلی ($\hat{f}_1$ و $\hat{f}_2$)، تعامل ($\hat{f}_{1,2}$) یا عرض از مبدأ ($\hat{f}_0$) را نمایش دهد:

$$\hat{f}(x_1, x_2) = \hat{f}_0 + \hat{f}_1(x_1) + \hat{f}_2(x_2) + \hat{f}_{1,2}(x_{1},x_{2})$$

اثرهای اصلی نشان می‌دهند هر ویژگی مستقل از مقادیر ویژگی دیگر چگونه بر پیش‌بینی اثر می‌گذارد. اثر تعامل اثر مشترک ویژگی‌ها را نشان می‌دهد. عرض از مبدأ (intercept) یک مقدار ثابت است که بخشی از همهٔ پیش‌بینی‌هاست. اگر همهٔ مقادیر ویژگی‌ها صفر باشند، پیش‌بینی فقط از عرض از مبدأ تشکیل می‌شود. توجه کنید که خود مؤلفه‌ها (به‌جز عرض از مبدأ) توابعی با ابعاد ورودی متفاوت‌اند.

فعلاً فقط مؤلفه‌ها را به شما می‌دهم و بعداً توضیح می‌دهم از کجا می‌آیند. عرض از مبدأ برابر $\hat{f}_0 \approx 3.18$ است. چون مؤلفه‌های دیگر توابع‌اند، می‌توانیم آن‌ها را در شکل ۲۲.۲ مصور کنیم.

توضیح مترجم (متن داخل تصویر): سه نمودار در یک شبکهٔ ۲×۲ قرار دارند. نمودار بالا-چپ: محور x با برچسب $x_1$ و محور y با برچسب ALE of y (ALE ی $y$)، یک منحنی نمایی صعودی از حدود ۰٫۸- تا حدود ۱٫۵۵ ($\hat{f}_1$). نمودار پایین-چپ: محور x با برچسب $x_2$ و همان محور y، یک خط راست نزولی از حدود ۱+ تا ۱- ($\hat{f}_2$). نمودار بالا-راست: نقشهٔ گرمایی تعامل ($\hat{f}_{12}$) با محور x برابر $x_1$ و محور y برابر $x_2$ و راهنمای رنگ value (مقدار) از ۰٫۵- (آبی) تا ۱٫۰ (زرد) همراه با خطوط تراز سیاه. نوشته‌های انگلیسی تصویر بدون تغییر ماندند. نکته: چیدمان واقعی تصویر (اثر اصلی $x_1$ بالا-چپ، تعامل بالا-راست، اثر اصلی $x_2$ پایین-چپ) با زیرنویس منبع («ردیف بالا: اثرهای اصلی؛ پایین: تعامل») یکی نیست؛ زیرنویس عیناً ترجمه شد و این تفاوت اینجا ثبت می‌شود.

برای درک بهتر (توضیح مترجم): عدد ۳٫۱۸ را می‌توان خودمان درآوریم. اگر $x_1$ و $x_2$ یکنواخت روی $[-1, 1]$ باشند، میانگین $2$ برابر $2$، میانگین $e^{x_1}$ برابر $\sinh(1) \approx 1.175$، و میانگین $-x_2$ و $x_1 x_2$ هر دو صفر است. پس $\hat{f}_0 = 2 + 1.175 \approx 3.18$، یعنی میانگین تابع. اثر اصلی $x_1$ در شکل (از حدود ۰٫۸- تا ۱٫۵۵) تقریباً همان $e^{x_1} - 1.175$ است: در $x_1 = -1$ مقدار $0.368 - 1.175 \approx -0.81$ و در $x_1 = 1$ مقدار $2.718 - 1.175 \approx 1.54$. اثر اصلی $x_2$ همان $-x_2$ است. این مؤلفه‌ها حول صفر مرکزی‌اند و جملهٔ ثابت $2$ در عرض از مبدأ جذب شده است. (محاسبه برای توضیح است و از منبع نیست.)

به نظر شما مؤلفه‌ها با توجه به فرمول درست بالا معنا دارند، اگر نادیده بگیریم که مقدار عرض از مبدأ کمی تصادفی به نظر می‌رسد؟ ویژگی $X_1$ یک اثر اصلی نمایی نشان می‌دهد، و $X_2$ یک اثر خطی منفی. جملهٔ تعامل کمی شبیه چیپس پرینگلز است. با عبارت‌های کمتر ترد و بیشتر ریاضی، این یک سهمی‌وار هذلولوی (hyperbolic paraboloid) است، همان‌طور که برای $x_1 \cdot x_2$ انتظار داریم. هشدار لو دادن داستان (spoiler alert): این تجزیه بر پایهٔ نمودارهای اثرات محلی انباشته است، که بعداً در همین فصل دربارهٔ آن‌ها بحث می‌کنیم.

اما این همه هیجان برای چیست؟ یک نگاه به فرمول همین حالا پاسخ تجزیه را به ما می‌دهد، پس نیازی به روش‌های پرزرق‌وبرق نیست، درست است؟ برای ویژگی $X_1$، می‌توانیم همهٔ جمله‌هایی را که فقط $x_1$ دارند به‌عنوان مؤلفهٔ آن ویژگی بگیریم. این می‌شود $\hat{f}_1(x_1) = e^{x_1}$ و برای ویژگی $X_2$ می‌شود $\hat{f}_2(x_2) = -x_2$. آنگاه تعامل $\hat{f}_{12}(x_{1},x_{2}) = x_1 \cdot x_2$ است. اگرچه این پاسخ برای این مثال درست است (تا ثابت‌ها)، این رویکرد دو مشکل دارد: مشکل ۱): گرچه مثال با فرمول شروع شد، واقعیت این است که فقط مدل‌های یادگیری ماشین با ساختار ساده را می‌توان با چنین فرمول مرتبی توصیف کرد. مشکل ۲) بسیار ظریف‌تر است و به این مربوط است که تعامل چیست. تابع ساده‌ای مثل $\hat{f}(x_1,x_2) = x_1 \cdot x_2$ را تصور کنید که در آن هر دو ویژگی مقادیر بزرگ‌تر از صفر می‌گیرند و مستقل از هم‌اند. با تاکتیک «نگاه‌کردن به فرمول» نتیجه می‌گیریم که میان ویژگی‌های $X_1$ و $X_2$ تعامل هست، اما اثر تک‌تک ویژگی‌ها نیست. اما آیا واقعاً می‌توانیم بگوییم ویژگی $x_1$ اثر منفرد بر تابع پیش‌بینی ندارد؟ صرف‌نظر از اینکه $x_2$ چه مقداری بگیرد، با افزایش $x_1$ پیش‌بینی افزایش می‌یابد. برای مثال، به ازای $x_2 = 1$ اثر $x_1$ برابر $\hat{f}(x_1, 1) = x_1$ است، و وقتی $x_2 = 10$ اثر برابر $\hat{f}(x_1, 10) = 10 \cdot x_1$ است. بنابراین روشن است که ویژگی $X_1$ اثر مثبتی بر پیش‌بینی دارد، مستقل از $X_2$، و صفر نیست.

برای حل مشکل ۱) نبود دسترسی به فرمولی مرتب، به روشی نیاز داریم که فقط از تابع پیش‌بینی یا امتیاز طبقه‌بندی استفاده کند. برای حل مشکل ۲) نبود تعریف، به چند بدیهه (axiom) نیاز داریم که به ما بگویند مؤلفه‌ها چه شکلی باید داشته باشند و چگونه به هم مربوط‌اند. اما ابتدا باید دقیق‌تر تعریف کنیم تجزیه تابعی چیست.

توضیح مترجم: «Pringles» نام تجاری یک چیپس است که شکل زین اسبی دارد؛ جملهٔ نویسنده تشبیهی برای شکل زین‌اسبی (سهمی‌وار هذلولوی) سطح $x_1 \cdot x_2$ است. «بدیهه/اصل موضوعه» (axiom) در این فصل شرطی است که مؤلفه‌ها باید داشته باشند تا تجزیه یکتا و معنادار شود.

تجزیه یک تابع

یک تابع پیش‌بینی $p$ ویژگی را به‌عنوان ورودی می‌گیرد، $\hat{f}: \mathbb{R}^p \mapsto \mathbb{R}$، و یک خروجی تولید می‌کند. این می‌تواند یک تابع رگرسیون باشد، اما می‌تواند احتمال طبقه‌بندی یک کلاس معین یا امتیاز یک خوشهٔ معین (یادگیری ماشین بدون نظارت) نیز باشد. در تجزیهٔ کامل، می‌توانیم تابع پیش‌بینی را به‌صورت مجموع مؤلفه‌های تابعی نمایش دهیم:

$$\hat{f}(\mathbf{x}) = \hat{f}_0 + \hat{f}_1(x_1) + \ldots + \hat{f}_p(x_p)$$

$$+ \hat{f}_{1,2}(x_1, x_2) + \ldots + \hat{f}_{1,p}(x_1, x_p) + \ldots + \hat{f}_{p-1,p}(x_{p-1}, x_p)$$

$$+ \ldots + \hat{f}_{1,\ldots,p}(x_1, \ldots, x_p)$$

توضیح مترجم: منبع این فرمول را در قالب چندخطی (align) می‌نویسد و برای EPUB به‌صورت سه معادلهٔ پشت‌سرهم؛ در اینجا از همان شکل سه‌خطی استفاده شد. خط اول عرض از مبدأ و اثرهای اصلی، خط دوم همهٔ تعامل‌های دوطرفه و خط سوم تعامل‌های مرتبهٔ بالاتر تا تعامل همهٔ $p$ ویژگی است؛ مجموع این سه خط برابر $\hat{f}(\mathbf{x})$ است.

می‌توانیم فرمول تجزیه را با نمایه‌گذاری همهٔ زیرمجموعه‌های ممکن ترکیب ویژگی‌ها کمی زیباتر کنیم: $S\subseteq{1,\ldots,p}$. این مجموعه شامل عرض از مبدأ ($S=\emptyset$)، اثرهای اصلی ($|S|=1$) و همهٔ تعامل‌هاست ($|S|\geq{}1$). با تعریف این زیرمجموعه، می‌توانیم تجزیه را به این صورت بنویسیم:

$$\hat{f}(\mathbf{x}) = \sum_{S\subseteq{1,\ldots,p}} \hat{f}_S(\mathbf{x}_S)$$

در این فرمول، $\mathbf{x}_S$ بردار ویژگی‌های موجود در مجموعهٔ اندیس $S$ است. و هر زیرمجموعهٔ $S$ یک مؤلفهٔ تابعی را نمایش می‌دهد، مثلاً یک اثر اصلی اگر $S$ فقط یک ویژگی داشته باشد، یا یک تعامل اگر $|S| > 1$.

توضیح مترجم: در متن منبع، «تعامل‌ها» با شرط $|S|\geq{}1$ نوشته شده است، در حالی که تعامل در واقع به $|S| \geq 2$ برمی‌گردد (برای $|S| = 1$ اثر اصلی است). جملهٔ بعدی منبع («تعامل اگر $|S| > 1$») همین را درست بیان می‌کند. فرمول‌نویسی منبع عیناً حفظ شد.

چند مؤلفه در فرمول بالا هست؟ پاسخ به این برمی‌گردد که از ویژگی‌های $1,\ldots, p$ چند زیرمجموعهٔ ممکن $S$ می‌توانیم بسازیم. و این‌ها $\sum_{i=0}^p\binom{p}{i}=2^p$ زیرمجموعهٔ ممکن هستند! برای مثال، اگر یک تابع از ۱۰ ویژگی استفاده کند، می‌توانیم تابع را به ۱,۰۲۴ مؤلفه تجزیه کنیم: ۱ عرض از مبدأ، ۱۰ اثر اصلی، ۹۰ جملهٔ تعامل دوطرفه، ۷۲۰ جملهٔ تعامل سه‌طرفه، … و با هر ویژگی اضافی، تعداد مؤلفه‌ها دو برابر می‌شود. روشن است که برای بیشتر توابع محاسبهٔ همهٔ مؤلفه‌ها شدنی نیست. دلیل دیگر برای اینکه همهٔ مؤلفه‌ها را محاسبه نکنیم این است که مؤلفه‌های با $|S|>2$ مصورسازی و تفسیرشان دشوار است.

توضیح مترجم: شمارهٔ منبع برای زیرمجموعه‌ها با شمارش ترکیب‌ها سازگار است برای تعامل‌های دوطرفه ($\binom{10}{2} = 45$) و سه‌طرفه ($\binom{10}{3} = 120$) اما اعداد ۹۰ و ۷۲۰ که در منبع آمده‌اند معادل ترتیب‌دار (جایگشت) آن‌ها هستند ($10 \cdot 9 = 90$ و $10 \cdot 9 \cdot 8 = 720$). مجموع درست مؤلفه‌ها با ترکیب‌ها $1 + 10 + 45 + 120 + \ldots = 1024$ است. این ناهمخوانی در متن منبع عیناً حفظ شد.

برای درک بهتر (توضیح مترجم): برای $p = 3$ ویژگی، $2^3 = 8$ مؤلفه داریم: $\hat{f}_0$، سه اثر اصلی $\hat{f}_1, \hat{f}_2, \hat{f}_3$، سه تعامل دوطرفه $\hat{f}_{1,2}, \hat{f}_{1,3}, \hat{f}_{2,3}$ و یک تعامل سه‌طرفه $\hat{f}_{1,2,3}$. با اضافه‌کردن ویژگی چهارم تعداد به $16$ می‌رسد.

تا اینجا از اینکه مؤلفه‌ها چگونه تعریف و محاسبه می‌شوند دوری کرده‌ام. تنها قیدهایی که ضمناً دربارهٔ آن‌ها صحبت کردیم تعداد و ابعاد مؤلفه‌ها بود، و اینکه مجموع مؤلفه‌ها باید تابع اصلی را بدهد. اما بدون قیدهای بیشتر دربارهٔ اینکه مؤلفه‌ها چه باید باشند، یکتا نیستند. این یعنی می‌توانیم اثرها را میان اثرهای اصلی و تعامل‌ها، یا میان تعامل‌های مرتبهٔ پایین‌تر (ویژگی‌های کم) و مرتبهٔ بالاتر (ویژگی‌های بیشتر) جابه‌جا کنیم. در مثال ابتدای فصل، می‌توانستیم هر دو اثر اصلی را صفر بگیریم و اثرشان را به اثر تعامل اضافه کنیم.

مثال افراطی‌تری هم هست که نیاز به قید روی مؤلفه‌ها را نشان می‌دهد. فرض کنید یک تابع سه‌بعدی دارید. مهم نیست این تابع چه شکلی دارد، اما تجزیهٔ زیر همیشه کار می‌کند: $\hat{f}_0$ برابر ۰٫۱۲ است. $\hat{f}_1(\mathbf{x})=2\cdot{}x_1 + \text{تعداد کفش‌هایی که دارید}$. $\hat{f}_2$، $\hat{f}_3$، $\hat{f}_{1,2}$، $\hat{f}_{2,3}$ و $\hat{f}_{1,3}$ همه صفرند. و برای اینکه این ترفند کار کند، $\hat{f}_{1,2,3}(x_1,x_2,x_3)=\hat{f}(\mathbf{x})-\sum\limits_{S\subset{1,\ldots,p}}\hat{f}_S(\mathbf{x}_S)$ را تعریف می‌کنم. پس جملهٔ تعامل شامل همهٔ ویژگی‌ها همهٔ اثرهای باقیمانده را می‌مکد، که بنا به تعریف همیشه کار می‌کند، به این معنا که مجموع همهٔ مؤلفه‌ها تابع پیش‌بینی اصلی را به ما می‌دهد. این تجزیه چندان معنادار نخواهد بود و اگر آن را به‌عنوان تفسیر مدل خود ارائه دهید کاملاً گمراه‌کننده است.

برای درک بهتر (توضیح مترجم): مثال دو‌ویژگی را ببینید: $\hat{f} = 2 + e^{x_1} - x_2 + x_1 x_2$. یک تجزیهٔ معتبر دیگر این است که $\hat{f}_0 = 2$، هر دو اثر اصلی صفر، و $\hat{f}_{1,2} = e^{x_1} - x_2 + x_1 x_2$. مجموع باز هم $\hat{f}$ می‌شود، اما همهٔ اثر در «تعامل» انباشته شده و می‌گوید هیچ ویژگی اثر تکی ندارد، که گمراه‌کننده است. به همین دلیل به قیدهایی (مثل میانگین صفر و تعامد در بخش بعد) نیاز داریم.

ابهام را می‌توان با مشخص‌کردن قیدهای بیشتر یا روش‌های خاص برای محاسبهٔ مؤلفه‌ها برطرف کرد. در این فصل رویکردهای مختلف تجزیه تابعی را بررسی می‌کنیم:

  • آنالیز واریانس تابعی (Functional ANOVA) (و حالت تعمیم‌یافتهٔ آن)
  • اثرات محلی انباشته (Accumulated Local Effects)
  • مدل‌های رگرسیون آماری
  • تجزیهٔ مجموعه‌درختان (tree ensembles)

آنالیز واریانس تابعی

آنالیز واریانس تابعی (Functional ANOVA) را Hooker (۲۰۰۴) پیشنهاد کرد. یک الزام این رویکرد آن است که تابع پیش‌بینی مدل $\hat{f}$ مربع‌انتگرال‌پذیر (square integrable) باشد. مانند هر تجزیه تابعی، آنالیز واریانس تابعی تابع را به مؤلفه‌ها تجزیه می‌کند:

$$\hat{f}(\mathbf{x}) = \sum_{S \subseteq {1, \ldots, p}} \hat{f}_S(\mathbf{x}_S)$$

Hooker (۲۰۰۴) هر مؤلفه را با فرمول زیر تعریف می‌کند:

$$\hat{f}_S(\mathbf{x}) = \int_{X_{-S}} \left( \hat{f}(\mathbf{x}) - \sum_{V \subset S} \hat{f}_V(\mathbf{x})\right) d \mathbb{P}(X_{-S})$$

خب، بیایید این را تکه‌تکه کنیم. می‌توانیم مؤلفه را به این صورت بازنویسی کنیم:

$$\hat{f}_S(\mathbf{x}) = \int_{X_{-S}} \left( \hat{f}(\mathbf{x})\right) d \mathbb{P}(X_{-S}) - \int_{X_{-S}} \left(\sum_{V \subset S} \hat{f}_V(\mathbf{x}) \right) d \mathbb{P}(X_{-S})$$

در سمت چپ انتگرال تابع پیش‌بینی نسبت به ویژگی‌هایی است که از مجموعهٔ $S$ کنار گذاشته شده‌اند و با $-S$ نشان داده می‌شوند. برای مثال، اگر مؤلفهٔ تعامل دوطرفه را برای ویژگی‌های ۲ و ۳ محاسبه کنیم، روی ویژگی‌های ۱، ۴، ۵، … انتگرال می‌گیریم. انتگرال را می‌توان امید ریاضی تابع پیش‌بینی نسبت به $X_{-S}$ نیز دید، با فرض اینکه همهٔ ویژگی‌ها از کمینه تا بیشینه‌شان توزیع یکنواخت (uniform) دارند. از این بازه، همهٔ مؤلفه‌های با زیرمجموعه‌های $S$ را کم می‌کنیم. این تفریق اثر همهٔ اثرهای مرتبهٔ پایین‌تر را حذف می‌کند و اثر را مرکزی می‌کند. برای $S={1,2}$، اثرهای اصلی هر دو ویژگی $\hat{f}_1$ و $\hat{f}_2$ و همچنین عرض از مبدأ $\hat{f}_0$ را کم می‌کنیم. حضور این اثرهای مرتبهٔ پایین‌تر فرمول را بازگشتی (recursive) می‌کند: باید در سلسله‌مراتب زیرمجموعه‌ها تا عرض از مبدأ پایین برویم و همهٔ این مؤلفه‌ها را محاسبه کنیم. برای مؤلفهٔ عرض از مبدأ $\hat{f}_0$، زیرمجموعه مجموعهٔ تهی $S={\emptyset}$ است و بنابراین $-S$ شامل همهٔ ویژگی‌هاست:

$$\hat{f}_0(\mathbf{x}) = \int_{X} \hat{f}(\mathbf{x}) d \mathbb{P}(X)$$

این صرفاً تابع پیش‌بینی است که روی همهٔ ویژگی‌ها انتگرال گرفته شده است. عرض از مبدأ را می‌توان امید ریاضی تابع پیش‌بینی نیز تفسیر کرد، وقتی فرض می‌کنیم همهٔ ویژگی‌ها توزیع یکنواخت دارند. حالا که $\hat{f}_0$ را می‌دانیم، می‌توانیم $\hat{f}_1$ (و به‌طور معادل $\hat{f}_2$) را محاسبه کنیم:

$$\hat{f}_1(\mathbf{x}) = \int_{X_{-1}} \left( \hat{f}(\mathbf{x}) - \hat{f}_0\right) d \mathbb{P}(X_{-1})$$

برای تکمیل محاسبهٔ مؤلفهٔ $\hat{f}_{1,2}$، می‌توانیم همه‌چیز را کنار هم بگذاریم:

$$\hat{f}_{1,2}(\mathbf{x}) = \int_{X_{3,4}} \left( \hat{f}(\mathbf{x}) - (\hat{f}_0 + \hat{f}_1(\mathbf{x}) - \hat{f}_0 + \hat{f}_2(\mathbf{x}) - \hat{f}_0)\right) d \mathbb{P}(X_{3},X_4)$$

$$= \int_{X_{3,4}} \left(\hat{f}(\mathbf{x}) - \hat{f}_1(\mathbf{x}) - \hat{f}_2(\mathbf{x}) + \hat{f}_0\right) d \mathbb{P}(X_{3},X_4)$$

این مثال نشان می‌دهد هر اثر مرتبهٔ بالاتر چگونه با انتگرال‌گیری روی همهٔ ویژگی‌های دیگر، و همچنین با حذف همهٔ اثرهای مرتبهٔ پایین‌تری که زیرمجموعهٔ مجموعهٔ ویژگی مورد علاقه‌اند، تعریف می‌شود.

توضیح مترجم: در فرمول اول $S={\emptyset}$ (مجموعه‌ای که عضوش تهی است) در منبع آمده؛ منظور مجموعهٔ تهی $S = \emptyset$ است. در مثال آخر فرض شده است که کل مدل چهار ویژگی دارد ($X_1, \ldots, X_4$) و به همین دلیل $-S = {3, 4}$ می‌شود. $\hat{f}_1$ و $\hat{f}_2$ در فرمول با ورودی $\mathbf{x}$ نوشته شده‌اند، اما در واقع فقط به $x_1$ و $x_2$ بستگی دارند. نمادگذاری منبع عیناً حفظ شد.

برای درک بهتر (توضیح مترجم): برای مثال ابتدای فصل روی $[-1,1]^2$ (توزیع یکنواخت): $\hat{f}_0 = 2 + \sinh 1 \approx 3.18$. سپس $\hat{f}_1(x_1) = \int (\hat{f} - \hat{f}_0), dx_2 = 2 + e^{x_1} - 3.18$ برابر $e^{x_1} - 1.18$ است (جملهٔ $-x_2$ و $x_1 x_2$ با انتگرال روی $x_2$ حذف می‌شوند). همین‌طور $\hat{f}_2(x_2) = -x_2$. و $\hat{f}_{1,2}(x_1, x_2) = \hat{f} - \hat{f}_1 - \hat{f}_2 - \hat{f}_0 = x_1 x_2$. این همان پاسخ «نگاه به فرمول» است، با این تفاوت که اینجا با محاسبه به دست آمد و ثابت‌ها درست جابه‌جا شدند.

Hooker (۲۰۰۴) نشان داده است که این تعریف از مؤلفه‌های تابعی این بدیهه‌های مطلوب را برآورده می‌کند:

  • میانگین‌های صفر (Zero Means): $\int \hat{f}_S(\mathbf{x}_S)d \mathbb{P}(X_S)=0$ برای هر $S\neq\emptyset$.
  • تعامد (Orthogonality): $\int \hat{f}_S(\mathbf{x}_S)\hat{f}_V(\mathbf{x}_V)d \mathbb{P}(X)=0$ برای $S\neq V$.
  • تجزیهٔ واریانس (Variance Decomposition): فرض کنید $\sigma^2_{\hat{f}}=\int \hat{f}(\mathbf{x})^2d \mathbb{P}(X)$، آنگاه $\sigma^2(\hat{f}) = \sum_{S \subseteq P} \sigma^2_S(\hat{f}_S)$، که در آن $P={1,\ldots,p}$.

بدیههٔ میانگین‌های صفر نتیجه می‌دهد که همهٔ اثرها یا تعامل‌ها حول صفر مرکزی‌اند. در نتیجه، تفسیر در یک موقعیت $\mathbf{x}$ نسبت به پیش‌بینی مرکزی‌شده است و نه پیش‌بینی مطلق.

بدیههٔ تعامد نتیجه می‌دهد که مؤلفه‌ها اطلاعات مشترکی ندارند. برای مثال، اثر مرتبهٔ اول ویژگی $X_1$ و جملهٔ تعامل $X_{1}$ و $X_2$ ناهمبسته‌اند. به‌دلیل تعامد، همهٔ مؤلفه‌ها به این معنا «خالص» هستند که اثرها را نمی‌آمیزند. کاملاً معنادار است که مؤلفهٔ مثلاً ویژگی $X_4$ باید مستقل از جملهٔ تعامل میان ویژگی‌های $X_1$ و $X_2$ باشد. نتیجهٔ جالب‌تر برای تعامد مؤلفه‌های سلسله‌مراتبی پدید می‌آید، که در آن‌ها یک مؤلفه ویژگی‌های مؤلفهٔ دیگر را در بر دارد، مثلاً تعامل $X_1$ و $X_2$ و اثر اصلی ویژگی $X_1$. در مقابل، یک نمودار وابستگی جزئی دوبعدی برای $X_1$ و $X_2$ چهار اثر را شامل می‌شد: عرض از مبدأ، دو اثر اصلی $X_1$ و $X_2$، و تعامل میان آن‌ها. مؤلفهٔ آنالیز واریانس تابعی برای $\hat{f}_{1,2}(x_1,x_2)$ فقط تعامل خالص را شامل می‌شود.

تجزیهٔ واریانس به ما اجازه می‌دهد واریانس تابع $\hat{f}$ را میان مؤلفه‌ها تقسیم کنیم و تضمین می‌کند که در پایان به واریانس کل تابع جمع می‌شود. ویژگی تجزیهٔ واریانس همچنین می‌تواند توضیح دهد چرا این روش آنالیز واریانس تابعی نامیده می‌شود. در آمار، ANOVA مخفف ANalysis Of VAriance (آنالیز واریانس) است. ANOVA به مجموعه‌ای از روش‌ها گفته می‌شود که تفاوت‌ها در میانگین یک متغیر هدف را تحلیل می‌کنند. ANOVA با تقسیم واریانس و نسبت‌دادن آن به متغیرها کار می‌کند. بنابراین آنالیز واریانس تابعی را می‌توان گسترش این مفهوم به هر تابعی دید.

با آنالیز واریانس تابعی وقتی ویژگی‌ها همبسته باشند مشکل پیش می‌آید. Hooker (۲۰۰۷) به‌عنوان راه‌حل، آنالیز واریانس تابعی تعمیم‌یافته را پیشنهاد کرد.

توضیح مترجم: «میانگین صفر» یعنی انتگرال هر مؤلفه (به‌جز عرض از مبدأ) روی توزیع ویژگی‌هایش صفر است، و «تعامد» یعنی انتگرال حاصل‌ضرب هر دو مؤلفهٔ متفاوت صفر است (در نظریهٔ توابع، همان «عمود بودن» دو تابع). مرجع Hooker (۲۰۰۷) در پیوست د این کتاب موجود نیست (فقط Hooker ۲۰۰۴ هست)؛ برای جلوگیری از ساختن مرجع حدسی، به‌صورت پیوند به پیوست د آمده ولی ورودی جدیدی به آن اضافه نشد و در گزارش پوشش ثبت می‌شود.

برای درک بهتر (توضیح مترجم): برای $\hat{f} = 2 + e^{x_1} - x_2 + x_1 x_2$ روی $[-1,1]^2$ سه بدیهه را می‌توان بررسی کرد. میانگین صفر: انتگرال $x_1 x_2$ روی هر دو متغیر صفر است ($\hat{f}_{1,2}$)، و $-x_2$ هم میانگین صفر دارد. تعامد: $\int x_1 x_2 \cdot (-x_2), dx = -\int x_1, \int x_2^2 \ldots = 0$ چون $\int x_1,dx_1 = 0$. تجزیهٔ واریانس: واریانس کل $\hat{f}$ برابر مجموع واریانس‌های $e^{x_1} - 1.18$ ، $-x_2$ و $x_1 x_2$ است (چون این مؤلفه‌ها دوبه‌دو متعامدند و میانگین صفر دارند، واریانس کل با جمع واریانس‌ها برابر است). (بررسی برای توضیح است و از منبع نیست.)

آنالیز واریانس تابعی تعمیم‌یافته برای ویژگی‌های وابسته

مشابه بیشتر روش‌های تفسیر مبتنی بر نمونه‌گیری از داده‌ها (مانند PDP)، آنالیز واریانس تابعی وقتی ویژگی‌ها همبسته‌اند می‌تواند نتایج گمراه‌کننده بدهد. اگر روی توزیع یکنواخت انتگرال بگیریم، در حالی که در واقعیت ویژگی‌ها وابسته‌اند، مجموعه‌دادهٔ جدیدی می‌سازیم که از توزیع توأم انحراف دارد و به ترکیب‌های بعید مقادیر ویژگی برون‌یابی می‌کند.

Hooker (۲۰۰۷) آنالیز واریانس تابعی تعمیم‌یافته (generalized functional ANOVA) را پیشنهاد کرد، تجزیه‌ای که برای ویژگی‌های وابسته کار می‌کند. این تعمیمی از آنالیز واریانس تابعی است که پیش‌تر دیدیم، یعنی آنالیز واریانس تابعی حالت خاصی از آنالیز واریانس تابعی تعمیم‌یافته است. مؤلفه‌ها به‌صورت تصویرهای (projections) $\hat{f}$ روی فضای توابع جمعی تعریف می‌شوند:

$$\hat{f}_S(\mathbf{x}_S) = \arg\min_{g_S \in L^2(\mathbb{R}^S)_{S \in P}} \int \left(\hat{f}(\mathbf{x}) - \sum_{S \subset P} g_S(\mathbf{x}_S)\right)^2 w(\mathbf{x}),d\mathbf{x}.$$

به‌جای تعامد، مؤلفه‌ها یک شرط تعامد سلسله‌مراتبی (hierarchical orthogonality) را برآورده می‌کنند:

$$\forall \hat{f}_S(\mathbf{x}_S)| S \subset U: \int \hat{f}_S(\mathbf{x}_S) \hat{f}_U(\mathbf{x}_U) w(\mathbf{x}),d\mathbf{x} = 0$$

تعامد سلسله‌مراتبی با تعامد متفاوت است. برای دو مجموعهٔ ویژگی $S$ و $U$، که هیچ‌کدام زیرمجموعهٔ دیگری نیست (مثلاً $S={1,2}$ و $U={2,3}$)، لازم نیست مؤلفه‌های $\hat{f}_S$ و $\hat{f}_U$ متعامد باشند تا تجزیه از نظر سلسله‌مراتبی متعامد باشد. اما همهٔ مؤلفه‌ها برای همهٔ زیرمجموعه‌های $S$ باید بر $\hat{f}_S$ متعامد باشند. در نتیجه، تفسیر از جنبه‌های مهمی فرق می‌کند: مشابه M-Plot در فصل ALE، مؤلفه‌های آنالیز واریانس تابعی تعمیم‌یافته می‌توانند اثرهای (حاشیه‌ای) ویژگی‌های همبسته را درهم‌تنیده (entangle) کنند. اینکه مؤلفه‌ها اثرهای حاشیه‌ای را درهم‌تنیده کنند یا نه، به انتخاب تابع وزن $w(\mathbf{x})$ هم بستگی دارد. اگر $w$ را اندازهٔ یکنواخت روی مکعب واحد انتخاب کنیم، آنالیز واریانس تابعی بخش قبل به دست می‌آید. یک انتخاب طبیعی برای $w$ تابع توزیع احتمال توأم است. با این حال، توزیع توأم معمولاً ناشناخته و تخمینش دشوار است. یک ترفند می‌تواند این باشد که از اندازهٔ یکنواخت روی مکعب واحد شروع کنیم و نواحی بدون داده را ببریم.

تخمین روی شبکه‌ای از نقاط در فضای ویژگی انجام می‌شود و به‌صورت یک مسئلهٔ کمینه‌سازی بیان می‌شود که با تکنیک‌های رگرسیون قابل حل است. با این حال، مؤلفه‌ها را نمی‌توان مستقل از یکدیگر و نه به‌صورت سلسله‌مراتبی محاسبه کرد، بلکه باید دستگاه پیچیده‌ای از معادلات شامل مؤلفه‌های دیگر حل شود. بنابراین محاسبه کاملاً پیچیده و از نظر محاسباتی سنگین است.

توضیح مترجم: «تصویر» (projection) در اینجا یعنی نزدیک‌ترین تابع از یک خانوادهٔ مشخص (توابع جمعی) به $\hat{f}$ از نظر مجموع مربعات خطا با وزن $w$؛ همان ایدهٔ «کمترین مربعات» در رگرسیون. «درهم‌تنیده‌شدن» (entanglement) یعنی اثر یک ویژگی با اثر ویژگی‌های همبسته‌اش مخلوط شود، مانند آنچه در M-Plot دیدیم. در منبع، در فرمول $\arg\min$ مجموعهٔ اندیس زیر مجموع $S \subset P$ ولی در بالای آن «$\forall S \in P$» به‌صورت زیرنویس $g_S$ آمده است؛ نمادگذاری عیناً حفظ شد.

برای درک بهتر (توضیح مترجم): فرض کنید $S = {1}$ و $U = {1, 2}$ و $S \subset U$. تعامد سلسله‌مراتبی می‌گوید اثر اصلی $\hat{f}_1$ باید بر مؤلفهٔ تعامل $\hat{f}_{1,2}$ عمود باشد. اما مثلاً $\hat{f}_{1,2}$ و $\hat{f}_{2,3}$ (که هیچ‌کدام زیرمجموعهٔ دیگری نیست) نیازی به تعامد ندارند. تفاوت با تعامد کامل در آنالیز واریانس تابعی این است که شرط فقط میان مؤلفه‌های «تودرتو» اعمال می‌شود؛ بنابراین قید ضعیف‌تر است و به همین دلیل با ویژگی‌های همبسته سازگار می‌شود.

اثرات محلی انباشته

نمودارهای ALE (Apley و Zhu (۲۰۲۰)) نیز یک تجزیه تابعی ارائه می‌دهند، یعنی جمع‌کردن همهٔ نمودارهای ALE شامل عرض از مبدأ، نمودارهای ALE یک‌بعدی، نمودارهای ALE دوبعدی و غیره، تابع پیش‌بینی را به دست می‌دهد. ALE با آنالیز واریانس تابعی (تعمیم‌یافته) فرق دارد، چون مؤلفه‌ها متعامد نیستند بلکه، به تعبیر نویسندگان، شبه‌متعامد (pseudo-orthogonal) هستند. برای فهمیدن شبه‌تعامد، باید عملگر $H_S$ را تعریف کنیم، که تابع $\hat{f}$ را می‌گیرد و آن را به نمودار ALE آن برای زیرمجموعهٔ ویژگی $S$ نگاشت می‌کند. برای مثال، عملگر $H_{1,2}$ یک مدل یادگیری ماشین را به‌عنوان ورودی می‌گیرد و نمودار ALE دوبعدی ویژگی‌های ۱ و ۲ را تولید می‌کند: $H_{1,2}(\hat{f}) = \hat{f}_{ALE,12}$. اگر همان عملگر را دو بار اعمال کنیم، همان نمودار ALE را به دست می‌آوریم. پس از یک بار اعمال عملگر $H_{1,2}$ بر $\hat{f}$، نمودار ALE دوبعدی $\hat{f}_{ALE,12}$ را داریم. سپس عملگر را دوباره اعمال می‌کنیم، نه بر $\hat{f}$ بلکه بر $\hat{f}_{ALE,12}$. این شدنی است چون مؤلفهٔ ALE دوبعدی خود یک تابع است. نتیجه دوباره $\hat{f}_{ALE,12}$ است، یعنی می‌توانیم همان عملگر را چند بار اعمال کنیم و همیشه همان نمودار ALE را به دست آوریم. این بخش اول شبه‌تعامد است. اما اگر دو عملگر متفاوت برای مجموعه‌های ویژگی متفاوت اعمال کنیم نتیجه چیست؟ برای مثال، $H_{1,2}$ و $H_{1}$، یا $H_{1,2}$ و $H_{3,4,5}$؟ پاسخ صفر است. اگر ابتدا عملگر ALE یعنی $H_S$ را به تابعی اعمال کنیم و سپس $H_U$ را بر نتیجه (با $S \neq U$)، نتیجه صفر است. به عبارت دیگر، نمودار ALE یک نمودار ALE صفر است، مگر اینکه همان نمودار ALE را دو بار اعمال کنید. یا به عبارت دیگر، نمودار ALE برای مجموعهٔ ویژگی $S$ هیچ نمودار ALE دیگری در خود ندارد. یا به زبان ریاضی، عملگر ALE توابع را به زیرفضاهای متعامد یک فضای ضرب داخلی نگاشت می‌کند.

برای درک بهتر (توضیح مترجم): عملگر $H_S$ مانند یک «صافی» است. برای مثال ابتدای فصل، $H_1(\hat{f})$ همان اثر اصلی مرکزی‌شدهٔ $x_1$ است، یعنی $\hat{f}_1(x_1)$. اگر $H_1$ را دوباره بر $\hat{f}_1$ اعمال کنیم، همان $\hat{f}_1$ برمی‌گردد (بخش اول). اما اگر $H_2$ را بر $\hat{f}_1(x_1)$ اعمال کنیم، چون $\hat{f}_1$ اصلاً به $x_2$ وابسته نیست، اثر ALE آن بر حسب $x_2$ صفر می‌شود (بخش دوم). همین‌طور $H_{1,2}$ بر $\hat{f}_1$ صفر می‌دهد، چون $\hat{f}_1$ هیچ اثر تعاملی ندارد.

همان‌طور که Apley و Zhu (۲۰۲۰) اشاره می‌کنند، شبه‌تعامد ممکن است از تعامد سلسله‌مراتبی مطلوب‌تر باشد، چون اثرهای حاشیه‌ای ویژگی‌ها را درهم‌تنیده نمی‌کند. افزون بر این، ALE نیازی به تخمین توزیع توأم ندارد؛ مؤلفه‌ها را می‌توان به‌صورت سلسله‌مراتبی تخمین زد، یعنی محاسبهٔ ALE دوبعدی برای ویژگی‌های ۱ و ۲ فقط به محاسبهٔ مؤلفه‌های ALE تک‌تک ۱ و ۲ و علاوه بر آن جملهٔ عرض از مبدأ نیاز دارد.

آیا نمودار وابستگی جزئی نیز تجزیه تابعی ارائه می‌دهد؟ پاسخ کوتاه: خیر. پاسخ بلندتر: نمودار وابستگی جزئی برای یک مجموعهٔ ویژگی $S$ همیشه همهٔ اثرهای سلسله‌مراتب را در بر دارد — PDP برای ${1,2}$ نه‌تنها تعامل، بلکه اثرهای تک‌تک ویژگی‌ها را هم شامل می‌شود. در نتیجه، جمع‌کردن همهٔ PDPها برای همهٔ زیرمجموعه‌ها تابع اصلی را به دست نمی‌دهد و بنابراین یک تجزیهٔ معتبر نیست. اما آیا می‌توانیم PDP را تنظیم کنیم، شاید با حذف همهٔ اثرهای پایین‌تر؟ بله، می‌توانیم، اما چیزی شبیه آنالیز واریانس تابعی به دست می‌آوریم. با این حال، به‌جای انتگرال‌گیری روی توزیع یکنواخت، PDP روی توزیع حاشیه‌ای $X_{-S}$ انتگرال می‌گیرد، که با نمونه‌گیری مونت‌کارلو تخمین زده می‌شود.

توضیح مترجم: متن منبع «Apley and Zhu (2020)» را در این جمله بدون پیوند کتاب‌شناسی آورده و در جملهٔ پیش‌تر با ارجاع آورده است؛ ارجاع همان مقالهٔ پیوست د است.

تجزیه مجموعه‌درختان

Yang و همکاران (۲۰۲۴) یک تجزیه تابعی برای مجموعه‌درختان (tree ensembles)، مثلاً آموزش‌دیده با XGBoost، پیشنهاد کردند. پیشنهاد آن‌ها دو بخش دارد: یک رویهٔ تجزیه، و مجموعه‌ای از قیدهای آموزش برای اینکه تجزیه قابل‌تفسیرتر شود.

راهبرد رسیدن از یک مجموعه‌درخت به تجزیه تابعی شامل تجمیع (aggregation)، خالص‌سازی (purification) و انتساب (attribution) است. اول، هر درخت به قوانین تصمیم تجزیه می‌شود، که در آن هر گره برگ یک قانون تصمیم می‌شود. سپس این قوانین بر اساس ویژگی‌هایی که به کار می‌برند مرتب می‌شوند. برای مثال، همهٔ قوانینی که فقط از ویژگی $X_1$ استفاده می‌کنند جمع‌آوری می‌شوند و برای تخمین اثر اصلی $\hat{f}_1$ به کار می‌روند. همین کار برای همهٔ اثرهای اصلی و تعامل‌های دیگر انجام می‌شود. با این حال، این تجزیه یکتا نخواهد بود، چون مثلاً می‌توانید اثر اصلی $X_1$ را در جملهٔ تعامل $X_1$ و $X_2$ جذب کنید. آن‌ها مؤلفه‌ها را «خالص‌سازی» می‌کنند تا قیدهای میانگین صفر و تعامد را اعمال کنند (باید تا اینجا آشنا به نظر برسد). در گام انتساب، مشارکت‌های ویژگی برای هر نقطهٔ داده محاسبه می‌شود و روی داده‌ها تجمیع می‌شود تا مقادیر اهمیت سراسری برای هر ویژگی به دست آید. مشارکت‌های فردی همان مقادیر شپلی هستند.

پیشنهاد دیگر در مقاله افزودن قیدهایی به آموزش است تا تجزیه تابعی بهتر قابل تفسیر شود. این شامل کارهای ساده‌ای مانند تنظیم حداکثر عمق درخت روی مقدار پایین است تا بتوانید حداکثر تعداد ویژگی‌هایی را که می‌توانند تعامل کنند کنترل کنید. برای مثال، تنظیم حداکثر عمق روی دو باعث می‌شود مدل فقط اثرهای اصلی و تعامل‌های دوطرفه داشته باشد، اما تعامل مرتبهٔ بالاتر نداشته باشد. پیشنهادهای دیگر شامل قیدهای یکنوایی (monotonicity)، کاهش تعداد دسته‌ها (bins) و قیدهای تعامل است. آن‌ها همچنین یک گام پس‌پردازش برای هرس‌کردن اثرها از تجزیه تابعی معرفی می‌کنند.

برای درک بهتر (توضیح مترجم): یک درخت با عمق ۲ و دو ویژگی را تصور کنید: اگر $x_1 > 5$ برو به برگ A، وگرنه اگر $x_2 > 3$ برو به برگ B وگرنه به برگ C. قانون برای برگ A فقط $x_1$ را به کار می‌برد (سهم اثر اصلی $x_1$)، اما قانون برگ B و C هم $x_1$ و هم $x_2$ را به کار می‌برند (سهم تعامل). با عمق ۱ فقط یک ویژگی در هر قانون است، پس فقط اثر اصلی داریم؛ با عمق ۲ حداکثر دو ویژگی در یک قانون (تعامل دوطرفه) و با عمق ۳ حداکثر سه ویژگی، و همین ارتباط عمق و بیشینهٔ مرتبهٔ تعامل را متن می‌گوید.

مدل‌های رگرسیون آماری

این رویکرد با مدل‌های تفسیرپذیر، به‌ویژه مدل‌های جمعی تعمیم‌یافته، پیوند می‌خورد. به‌جای تجزیهٔ یک تابع پیچیده، می‌توانیم قیدهایی را در فرایند مدل‌سازی بگنجانیم تا به‌سادگی بتوانیم مؤلفه‌های فردی را بخوانیم. در حالی که تجزیه را می‌توان به‌صورت بالا‌به‌پایین (top-down) انجام داد، که در آن با یک تابع با ابعاد بالا شروع و آن را تجزیه می‌کنیم، مدل‌های جمعی تعمیم‌یافته رویکردی پایین‌به‌بالا (bottom-up) ارائه می‌دهند، که در آن مدل را از مؤلفه‌های ساده می‌سازیم. هر دو رویکرد در این مشترکند که هدفشان ارائهٔ مؤلفه‌های فردی و قابل‌تفسیر است. در مدل‌های آماری، تعداد مؤلفه‌ها را محدود می‌کنیم تا لازم نباشد همهٔ $2^p$ مؤلفه برازش شوند. ساده‌ترین نسخه رگرسیون خطی است:

$$\hat{f}(\mathbf{x}) = \beta_0 + \beta_1 x_1 + \ldots + \beta_p x_p$$

فرمول بسیار شبیه تجزیه تابعی به نظر می‌رسد، اما با دو تغییر عمده. تغییر ۱: همهٔ اثرهای تعامل حذف شده‌اند و فقط عرض از مبدأ و اثرهای اصلی را نگه می‌داریم. تغییر ۲: اثرهای اصلی فقط می‌توانند نسبت به ویژگی‌ها خطی باشند: $\hat{f}_j(x_j) = \beta_j x_j$. با نگاه به مدل رگرسیون خطی از دریچهٔ تجزیه تابعی، می‌بینیم که خود مدل یک تجزیه تابعی از تابع واقعی نگاشت از ویژگی‌ها به هدف را نمایش می‌دهد، اما تحت این فرض‌های قوی که اثرها خطی‌اند و تعاملی وجود ندارد.

مدل جمعی تعمیم‌یافته فرض دوم را با اجازهٔ توابع $\hat{f}_j$ انعطاف‌پذیرتر از طریق اسپلاین‌ها (splines) سست می‌کند. تعامل‌ها را نیز می‌توان اضافه کرد، اما این فرایند نسبتاً دستی است. رویکردهایی مانند GA2M تلاش می‌کنند تعامل‌های دوطرفه را به‌طور خودکار به یک GAM اضافه کنند (Caruana و همکاران (۲۰۱۵)).

فکر کردن به یک مدل رگرسیون خطی یا یک GAM به‌عنوان تجزیه تابعی نیز می‌تواند به سردرگمی منجر شود. اگر رویکردهای تجزیهٔ پیشین فصل (آنالیز واریانس تابعی تعمیم‌یافته و اثرات محلی انباشته) را اعمال کنید، ممکن است مؤلفه‌هایی به دست آورید که با مؤلفه‌هایی که مستقیماً از GAM خوانده می‌شوند فرق دارند. این می‌تواند وقتی رخ دهد که اثرهای تعامل ویژگی‌های همبسته در GAM مدل شده باشند. این ناهمخوانی رخ می‌دهد چون رویکردهای تجزیهٔ تابعی دیگر اثرها را به شکل متفاوتی میان تعامل‌ها و اثرهای اصلی تقسیم می‌کنند.

پس چه زمانی باید به‌جای یک مدل پیچیده + تجزیه از GAMها استفاده کنید؟ وقتی بیشتر تعامل‌ها صفرند، به‌ویژه وقتی تعاملی با سه ویژگی یا بیشتر وجود ندارد، باید به GAMها بچسبید. اگر بدانیم حداکثر تعداد ویژگی‌های درگیر در تعامل‌ها دو است ($|S| \leq 2$)، می‌توانیم از رویکردهایی مانند MARS یا GA2M استفاده کنیم. در نهایت، عملکرد مدل روی داده‌های آزمون ممکن است نشان دهد آیا یک GAM کافی است یا یک مدل پیچیده‌تر به‌مراتب بهتر عمل می‌کند.

توضیح مترجم: GA2M مخفف «GAM با تعامل‌های دوطرفه» (Generalized Additive Model plus 2-way interactions) و MARS مخفف Multivariate Adaptive Regression Splines است؛ منبع هیچ‌کدام را باز نمی‌کند. «اسپلاین» تابعی چندجمله‌ای تکه‌ای و هموار است که برای ساختن اثرهای غیرخطی انعطاف‌پذیر در GAM به کار می‌رود. «پایین‌به‌بالا» یعنی مدل را از اجزای ساده می‌سازیم و «بالا‌به‌پایین» یعنی از تابع پیچیده شروع و آن را تجزیه می‌کنیم.

برای درک بهتر (توضیح مترجم): مدل خطی $\hat{f} = 1 + 2x_1 - 3x_2$ را به‌عنوان تجزیه بخوانید: $\hat{f}_0 = 1$، $\hat{f}_1(x_1) = 2x_1$، $\hat{f}_2(x_2) = -3x_2$ و همهٔ تعامل‌ها صفر. اگر مدل واقعی در دنیا یک تعامل داشته باشد، مثلاً $x_1 x_2$، مدل خطی نمی‌تواند آن را نمایش دهد و بخشی از آن را به اثرهای اصلی (به‌خصوص با همبستگی) نسبت می‌دهد. GAM می‌تواند به‌جای $2x_1$ تابع غیرخطی مثل $e^{x_1}$ بگذارد، اما بدون افزودن صریح جملهٔ $x_1 x_2$ باز هم تعاملی نشان نمی‌دهد.

نقاط قوت

من تجزیه تابعی را مفهومی کلیدی در تفسیرپذیری یادگیری ماشین می‌دانم که به فهم بهتر بسیاری از روش‌های دیگر کمک می‌کند.

تجزیه تابعی توجیه نظری برای تجزیهٔ مدل‌های یادگیری ماشین پیچیده با ابعاد بالا به اثرهای فردی و تعامل‌ها به ما می‌دهد — گامی ضروری که اجازه می‌دهد اثرهای فردی را تفسیر کنیم. تجزیه تابعی ایدهٔ هسته‌ای برای تکنیک‌هایی مانند مدل‌های رگرسیون آماری، ALE، آنالیز واریانس تابعی (تعمیم‌یافته)، PDP، آمارهٔ H و منحنی‌های ICE است.

تجزیه تابعی همچنین فهم بهتری از روش‌های دیگر فراهم می‌کند. برای مثال، اهمیت ویژگی جایگشتی ارتباط میان یک ویژگی و هدف را می‌شکند. از دریچهٔ تجزیه تابعی می‌بینیم که جایگشت اثر همهٔ مؤلفه‌هایی را که ویژگی در آن‌ها دخیل بود «نابود می‌کند». این بر اثر اصلی ویژگی اثر می‌گذارد، اما بر همهٔ تعامل‌ها با ویژگی‌های دیگر نیز. به‌عنوان مثال دیگر، مقادیر شپلی یک پیش‌بینی را به اثرهای جمعی ویژگی‌های فردی تجزیه می‌کنند. اما تجزیه تابعی به ما می‌گوید که باید اثرهای تعامل هم در تجزیه باشند، پس کجا هستند؟ مقادیر شپلی یک انتساب منصفانه از اثرها به ویژگی‌های فردی ارائه می‌دهند، یعنی همهٔ تعامل‌ها نیز منصفانه به ویژگی‌ها نسبت داده می‌شوند و بنابراین میان مقادیر شپلی تقسیم می‌شوند.

وقتی تجزیه تابعی را ابزار می‌دانیم، استفاده از نمودارهای ALE مزایای زیادی دارد. نمودارهای ALE تجزیه تابعی‌ای ارائه می‌دهند که محاسبه‌اش سریع است، پیاده‌سازی نرم‌افزاری دارد (فصل ALE را ببینید) و ویژگی‌های مطلوب شبه‌تعامد دارد.

برای درک بهتر (توضیح مترجم): فرض کنید در مثال ابتدای فصل، مقدار شپلی ویژگی $x_1$ را برای یک نمونه می‌خواهیم. تجزیه می‌گوید پیش‌بینی $= \hat{f}_0 + \hat{f}_1 + \hat{f}_2 + \hat{f}_{1,2}$. مقدار شپلی $x_1$ برابر $\hat{f}_1$ به‌اضافهٔ نصف $\hat{f}_{1,2}$ است و مقدار شپلی $x_2$ برابر $\hat{f}_2$ به‌اضافهٔ نصف $\hat{f}_{1,2}$ (برای تعامل دوطرفه، به‌شرط جابه‌جایی‌پذیری و تقارن ویژگی‌ها در تعریف انتساب منصفانه). به این معنا تعامل میان دو ویژگی «تقسیم» شده و دیگر جداگانه دیده نمی‌شود.

محدودیت‌ها

مفهوم تجزیه تابعی برای مؤلفه‌های با ابعاد بالا، فراتر از تعامل میان دو ویژگی، به‌سرعت به حد خود می‌رسد. نه‌تنها این انفجار نمایی در تعداد ویژگی‌ها عملی‌بودن را محدود می‌کند، چون نمی‌توانیم به‌سادگی تعامل‌های مرتبهٔ بالاتر را مصور کنیم، بلکه اگر بخواهیم همهٔ تعامل‌ها را محاسبه کنیم زمان محاسبه دیوانه‌وار است.

هر روش تجزیهٔ تابعی ایرادهای خاص خودش را دارد. رویکرد پایین‌به‌بالا — ساختن مدل‌های رگرسیون — فرایندی کاملاً دستی است و قیدهای زیادی بر مدل تحمیل می‌کند که می‌تواند بر عملکرد پیش‌بینی اثر بگذارد. آنالیز واریانس تابعی نیاز به ویژگی‌های مستقل دارد. آنالیز واریانس تابعی تعمیم‌یافته تخمینش بسیار دشوار است. نمودارهای اثرات محلی انباشته تجزیهٔ واریانس ارائه نمی‌دهند.

رویکرد تجزیه تابعی برای تحلیل داده‌های جدولی مناسب‌تر از متن یا تصویر است.

توضیح مترجم: «انفجار نمایی» یعنی تعداد مؤلفه‌ها $2^p$ با افزایش $p$ بسیار سریع زیاد می‌شود؛ برای $p = 20$ بیش از یک میلیون مؤلفه ($2^{20} = 1{,}048{,}576$) داریم. به همین دلیل در عمل فقط اثرهای اصلی و تعامل‌های دوطرفه محاسبه و مصور می‌شوند. دلیل «مناسب‌تربودن برای داده جدولی» در منبع بیان نشده؛ برداشت متداول این است که در متن و تصویر ویژگی‌ها پیکسل‌ها یا کلمه‌های بسیار زیادند و هر ویژگی به‌تنهایی معنای قابل‌تفسیری ندارد.

فصل ۲۳: اهمیت ویژگی با جایگشت

عنوان اصلی: Permutation Feature Importance
منبع: https://christophm.github.io/interpretable-ml-book/feature-importance.html
نویسنده: Christoph Molnar
مترجم: مریم محمودی


اهمیت ویژگی با جایگشت (permutation feature importance؛ PFI) افزایش خطای پیش‌بینی مدل را پس از جایگشت‌دادن (permute) مقادیر ویژگی اندازه می‌گیرد، که رابطهٔ میان ویژگی و نتیجهٔ واقعی را می‌شکند.

مفهوم واقعاً سرراست است: یک ویژگی «مهم» است اگر درهم‌ریختن (shuffle) مقادیرش خطای مدل را افزایش دهد، چون در این حالت مدل برای پیش‌بینی به آن ویژگی تکیه کرده بود. یک ویژگی «بی‌اهمیت» است اگر درهم‌ریختن مقادیرش خطای مدل را بدون تغییر بگذارد، چون در این حالت مدل آن ویژگی را برای پیش‌بینی نادیده گرفته بود.

توضیح مترجم: «جایگشت‌دادن» ویژگی یعنی مقادیر یک ستون از داده را بین نمونه‌ها به‌صورت تصادفی جابه‌جا کنیم، به‌طوری که توزیع ستون همان بماند اما ارتباطش با هدف و با ستون‌های دیگر از بین برود. «خطای مدل» با یک تابع زیان (مثل میانگین مربعات خطا یا میانگین قدر مطلق خطا) سنجیده می‌شود. نام PFI در متن به‌صورت Latin می‌آید.

نظریه

اندازه‌گیری اهمیت ویژگی با جایگشت را Breiman (۲۰۰۱) برای جنگل‌های تصادفی معرفی کرد. بر پایهٔ این ایده، Fisher و همکاران (۲۰۱۹) نسخه‌ای مستقل از مدل (model-agnostic) از اهمیت ویژگی پیشنهاد کردند و آن را اتکای مدل (model reliance) نامیدند. آن‌ها همچنین ایده‌های پیشرفته‌تری دربارهٔ اهمیت ویژگی معرفی کردند، برای مثال نسخه‌ای (مختص مدل) که در نظر می‌گیرد بسیاری از مدل‌های پیش‌بینی ممکن است داده‌ها را خوب پیش‌بینی کنند. مقالهٔ آن‌ها ارزش خواندن دارد.

الگوریتم اهمیت ویژگی با جایگشت بر پایهٔ Fisher و همکاران (۲۰۱۹):

ورودی: مدل آموزش‌دیدهٔ $\hat{f}$، ماتریس ویژگی $\mathbf{X}$، بردار هدف $\mathbf{y}$، معیار خطای $L$.

  1. خطای اصلی مدل را تخمین بزنید: $e_{orig} = \frac{1}{n_{test}} \sum_{i=1}^{n_{test}} L(y^{(i)}, \hat{f}(\mathbf{x}^{(i)}))$ (مثلاً میانگین مربعات خطا).
  2. برای هر ویژگی $j \in \lbrace 1,…,p \rbrace$ انجام دهید:
    • ماتریس ویژگی $\mathbf{X}_{perm,j}$ را با جایگشت‌دادن ویژگی $j$ در داده‌های $\mathbf{X}$ بسازید. این کار ارتباط میان ویژگی $j$ و نتیجهٔ واقعی $y$ را می‌شکند.
    • خطای $e_{perm,j} = \frac{1}{n_{test}} \sum_{i=1}^{n_{test}} L(y^{(i)},\hat{f}(\mathbf{x}_{perm,j}))$ را بر پایهٔ پیش‌بینی‌های داده‌های جایگشت‌یافته تخمین بزنید.
    • اهمیت ویژگی با جایگشت را به‌صورت خارج‌قسمت $FI_j= e_{perm}/e_{orig}$ یا تفاضل $FI_j = e_{perm,j}- e_{orig}$ محاسبه کنید.
  3. ویژگی‌ها را بر پایهٔ FI نزولی مرتب کنید.

توضیح مترجم: در منبع در گام دوم برای خارج‌قسمت $e_{perm}$ بدون اندیس $j$ نوشته شده است، در حالی که در سایر بخش‌ها $e_{perm,j}$ آمده؛ منظور همان خطای جایگشت ویژگی $j$ است و نمادگذاری منبع عیناً حفظ شد. $n_{test}$ تعداد نمونه‌های داده‌ای است که برای محاسبهٔ خطا به کار می‌روند.

برای درک بهتر (توضیح مترجم): فرض کنید خطای اصلی مدل روی داده‌های آزمون $e_{orig} = 10$ است. پس از جایگشت ویژگی «دما»، خطا $e_{perm} = 25$ می‌شود و پس از جایگشت «روز تعطیل» $e_{perm} = 10.5$. با خارج‌قسمت: اهمیت دما $25/10 = 2.5$ و اهمیت روز تعطیل $10.5/10 = 1.05$ است؛ با تفاضل: $15$ و $0.5$. در هر دو حالت دما بسیار مهم‌تر است. مقدار ۱ برای خارج‌قسمت (یا ۰ برای تفاضل) یعنی ویژگی هیچ اهمیتی نداشت.

💡 نکته — معیارهای مثبت را وارونه کنید

می‌توانید PFI را با معیارهایی که بزرگ‌تر بهتر است، مانند دقت (accuracy) یا AUC، نیز به کار ببرید. فقط مطمئن شوید نقش‌های $e_{\text{perm}}$ و $e_{\text{orig}}$ را در خارج‌قسمت/تفاضل جابه‌جا می‌کنید.

Fisher، Rudin و Dominici (۲۰۱۸) در مقالهٔ خود پیشنهاد می‌کنند مجموعه‌داده را به دو نیم تقسیم کنیم و مقادیر ویژگی $j$ را میان دو نیمه جابه‌جا کنیم، به‌جای اینکه ویژگی $j$ را جایگشت دهیم. اگر دقت کنید، این دقیقاً همان جایگشت ویژگی $j$ است. اگر تخمین دقیق‌تری می‌خواهید، می‌توانید خطای جایگشت ویژگی $j$ را با جفت‌کردن هر نمونه با مقدار ویژگی $j$ هر نمونهٔ دیگر (به‌جز خودش) تخمین بزنید. این کار مجموعه‌داده‌ای با اندازهٔ n(n-1) برای تخمین خطای جایگشت به شما می‌دهد و زمان محاسبهٔ زیادی می‌برد. من فقط وقتی روش n(n-1) را توصیه می‌کنم که جداً به دنبال تخمین‌های بسیار دقیق باشید.

توضیح مترجم: در این بند منبع سال مقالهٔ Fisher و همکاران را (۲۰۱۸) نوشته (سال نسخهٔ نخست مقاله)، در حالی که همین مقاله در جملات بالا و در پیوست د با سال ۲۰۱۹ آمده است؛ هر دو به یک مقاله اشاره دارند و متن منبع عیناً حفظ شد.

برای درک بهتر (توضیح مترجم): با $n = 1000$ نمونه، روش n(n-1) برای هر ویژگی $1000 \times 999 = 999{,}000$ جفت می‌سازد و مدل را به همان تعداد بار اجرا می‌کند؛ در حالی که یک جایگشت تصادفی ساده فقط $1000$ پیش‌بینی نیاز دارد. این تفاوت هزینه‌ای است که «زمان محاسبهٔ زیاد» در متن اشاره می‌کند.

⚠️ احتیاط — از داده‌های دیده‌نشده برای PFI استفاده کنید

PFI را روی داده‌هایی تخمین بزنید که در آموزش مدل به کار نرفته‌اند تا از نتایج بیش‌ازحد خوش‌بینانه، به‌ویژه برای مدل‌های بیش‌برازش‌شده (overfitting)، جلوگیری شود. PFI روی داده‌های آموزش می‌تواند به‌دلیل بیش‌برازش مدل، ویژگی‌های نامرتبط را به‌اشتباه مهم نشان دهد.

برای فهمیدن اینکه مدل واقعاً از کدام ویژگی‌ها استفاده کرده است، جایگزین‌هایی مانند اهمیت SHAP یا اهمیت PDP را در نظر بگیرید که به معیارهای خطا تکیه نمی‌کنند.

در مثال‌ها، برای محاسبهٔ اهمیت ویژگی با جایگشت از داده‌های آزمون استفاده کردم.

برای درک بهتر (توضیح مترجم): فرض کنید یک مدل بیش‌برازش‌شده روی داده‌های آموزش خطای تقریباً صفر دارد چون نویز یک ویژگی نامرتبط را «حفظ» کرده است. اگر روی همین داده‌ها PFI بگیریم، جایگشت آن ویژگی خطا را بالا می‌برد و ویژگی مهم دیده می‌شود. روی داده‌های آزمون این نویز دیگر کمکی به پیش‌بینی نمی‌کند، پس جایگشت آن ویژگی خطا را تغییر نمی‌دهد و اهمیتش حدود صفر (خارج‌قسمت ۱) می‌شود.

مثال و تفسیر

برای مثال اول، مدل ماشین بردار پشتیبان (support vector machine) را توضیح می‌دهیم که برای پیش‌بینی تعداد دوچرخه‌های اجاره‌شده با داشتن شرایط آب‌وهوایی و اطلاعات تقویمی آموزش دیده است. به‌عنوان اندازهٔ خطا از میانگین خطای مطلق (mean absolute error) استفاده می‌کنیم. شکل ۲۳.۱ نتایج اهمیت ویژگی با جایگشت را نشان می‌دهد. مهم‌ترین ویژگی cnt_2d_bfr و کم‌اهمیت‌ترین holiday بود.

توضیح مترجم (متن داخل تصویر): محور عمودی ویژگی‌ها را به ترتیب اهمیت فهرست می‌کند: cnt_2d_bfr (تعداد دوچرخه‌های اجاره‌شده دو روز قبل)، temp (دما)، hum (رطوبت)، windspeed (سرعت باد)، season (فصل)، workday (روز کاری)، weather (وضعیت هوا) و holiday (تعطیلی). برچسب محور افقی importance (اهمیت) است و چون اهمیت به‌صورت خارج‌قسمت خطا محاسبه شده، مقدار ۱ یعنی بی‌اهمیت. مقدار cnt_2d_bfr حدود ۲٫۴، temp حدود ۱٫۶، hum حدود ۱٫۳ و holiday حدود ۱٫۰ است. نوشته‌های انگلیسی تصویر بدون تغییر ماندند. در متن منبع نام مهم‌ترین و کم‌اهمیت‌ترین ویژگی با کد R در لحظهٔ ساخت کتاب درج می‌شود؛ نام‌ها در اینجا از روی خود شکل نوشته شد.

برای درک بهتر (توضیح مترجم): نقطهٔ سیاه میانگین اهمیت در چند بار جایگشت و خط پیرامون آن بازهٔ ۵٪ تا ۹۵٪ است. برای cnt_2d_bfr خط پهن‌تر است (حدود ۲٫۳ تا ۲٫۵)، یعنی اهمیت بین جایگشت‌ها بیشتر تغییر می‌کند؛ برای holiday خط عملاً دیده نمی‌شود. در عمل اگر دو ویژگی بازه‌های هم‌پوشان داشته باشند، رتبه‌بندی میان آن‌ها قطعی نیست و باید با احتیاط ترجیح داد.

در ادامه به پنگوئن‌ها نگاه می‌کنیم. ۳ مدل رگرسیون لجستیک را برای پیش‌بینی جنسیت پنگوئن آموزش دادم، با ۲/۳ داده برای آموزش و ۱/۳ برای محاسبهٔ اهمیت. خطا را با زیان لگاریتمی (log loss) اندازه می‌گیرم. ویژگی‌هایی که با افزایش خطای مدل به‌اندازهٔ ضریب ۱ (= بدون تغییر) همراه‌اند برای پیش‌بینی نر در برابر ماده بودن پنگوئن مهم نبودند، همان‌طور که شکل ۲۳.۲ نشان می‌دهد.

توضیح مترجم (متن داخل تصویر): برچسب محور افقی Feature importance (ratio of logloss) یعنی «اهمیت ویژگی (نسبت زیان لگاریتمی)». ویژگی‌ها از بالا به پایین: body_mass_g (توده بدنی، حدود ۱۵٫۴)، species (گونه، حدود ۹٫۳)، bill_depth_mm (عمق منقار، حدود ۷٫۰)، bill_length_mm (طول منقار، حدود ۴٫۲) و flipper_length_mm (طول بال، حدود ۳٫۶). نقطه میانگین و خط پیرامونش بازهٔ تغییر است. مقادیر از روی شکل تقریبی خوانده شده‌اند. نوشته‌های انگلیسی تصویر بدون تغییر ماندند.

اهمیت هر یک از ویژگی‌ها برای پیش‌بینی جنسیت پنگوئن با مدل‌های رگرسیون لجستیک. مهم‌ترین ویژگی body_mass_g بود. جایگشت body_mass_g به افزایش خطای طبقه‌بندی به‌اندازهٔ ضریبی حدود ۱۵٫۴ منجر شد. اما صبر کنید، چطور species می‌تواند ویژگی مهمی هم باشد، در حالی که من در واقع ۳ مدل را جداگانه آموزش دادم؟ من اینجا ۳ مدل را یک مدل جعبه‌سیاه واحد در نظر گرفتم. برای این تابع کلی، species فقط یک ویژگی دیگر است. در درون، این ویژگی داده‌ها را تقسیم می‌کند و به سه مدل رگرسیون لجستیک می‌فرستد.

توضیح مترجم: اعداد ۱۵٫۴ و نام ویژگی مهم‌تر در متن منبع با کد R در زمان ساخت کتاب محاسبه می‌شوند (نه به‌صورت متن ثابت)؛ در اینجا مقدار ۱۵٫۴ از روی شکل ۲۳.۲ خوانده شده و دقیق‌ترین رقم نیست. ایدهٔ «سه مدل یک جعبه‌سیاه» یعنی PFI فقط تابع کلی ورودی-خروجی را می‌بیند و نمی‌داند داخلش چند مدل هست.

اهمیت ویژگی شرطی

مانند همهٔ روش‌های مستقل از مدل، اهمیت ویژگی با جایگشت وقتی ویژگی‌ها وابسته‌اند مشکل دارد. درهم‌ریختن نقاط داده‌ای غیرواقع‌گرایانه یا دست‌کم بعید تولید می‌کند، که سپس برای محاسبهٔ اهمیت ویژگی به کار می‌روند — چندان مطلوب نیست. مشکل این است که نسخهٔ حاشیه‌ای (marginal) PFI وابستگی‌ها را نادیده می‌گیرد. اما مفهوم اهمیت شرطی (conditional) نیز وجود دارد. نسخهٔ شرطی به‌جای توزیع حاشیه‌ای $\mathbb{P}(X_j)$ از توزیع شرطی $\mathbb{P}(X_j | X_{-j})$ نمونه می‌گیرد (درهم‌ریختن راهی برای نمونه‌گیری از توزیع حاشیه‌ای است). با نمونه‌گیری شرطی، نقاط داده‌ای واقع‌گرایانه‌تر نمونه‌گیری می‌کنیم.

اما نمونه‌گیری از توزیع شرطی دشوار است. این کار حتی از وظیفهٔ یادگیری ماشین اصلی ما دشوارتر است. اما می‌توان آن را با فرض‌هایی ساده کرد، مثلاً اینکه فرض کنیم یک ویژگی فقط به‌صورت خطی با ویژگی‌های دیگر همبسته است. چند گزینه برای نمونه‌گیری شرطی:

توضیح مترجم: «ناک‌آف» (knockoff) ویژگی ساختگی‌ای است که همان ساختار همبستگی ویژگی اصلی را با ویژگی‌های دیگر دارد اما با هدف رابطه‌ای ندارد؛ منبع آن را باز نمی‌کند.

اهمیت ویژگی شرطی تفسیری متفاوت از PFI حاشیه‌ای دارد:

  • PFI افزایش زیان ناشی از از دست‌دادن اطلاعات ویژگی را اندازه می‌گیرد.
  • اهمیت شرطی افزایش زیان ناشی از از دست‌دادن اطلاعات یکتا (unique) آن ویژگی را اندازه می‌گیرد، یعنی اطلاعاتی که در ویژگی‌های دیگر رمزگذاری نشده است.

تفسیر اهمیت شرطی می‌تواند کمی دشوارتر باشد، چون باید درک کنید ویژگی‌ها چگونه به هم وابسته‌اند. به همین دلیل من طرفدار بزرگ رویکرد زیرگروه‌ها هستم (و دربارهٔ آن مقاله‌ای نوشته‌ام): محاسبهٔ PFI به‌صورت گروهی به شما اجازه می‌دهد تفسیر حاشیه‌ای را حفظ کنید.

⚠️ هشدار — ویژگی‌های همبسته اهمیت شرطی کمتری دارند

ویژگی‌های به‌شدت وابسته معمولاً اهمیت شرطی بسیار پایینی دارند، حتی وقتی مدل از آن‌ها استفاده می‌کند.

برای درک بهتر (توضیح مترجم): فرض کنید «دما ساعت ۸ صبح» و «دما ساعت ۹ صبح» تقریباً یکسان‌اند و مدل هر دو را به کار می‌برد. PFI حاشیه‌ای هر کدام را جداگانه جایگشت می‌دهد و چون مدل می‌تواند به دیگری تکیه کند، خطا کمتر از انتظار بالا می‌رود (اما همچنان مقدار قابل‌توجهی دارد). اهمیت شرطی برای دمای ساعت ۸ فقط اطلاعاتی را اندازه می‌گیرد که در دمای ساعت ۹ نیست؛ چون این اطلاعات تقریباً صفر است، اهمیت شرطی هر دو ویژگی نزدیک صفر است، هرچند مدل از آن‌ها استفاده می‌کند. همین معنای هشدار بالاست.

مثال PFI گروهی

بیایید به پنگوئن‌ها برگردیم. چون PFI مثلاً توده بدنی با جایگشت در کل داده‌ها محاسبه می‌شود، توده‌های بدنی گونه‌های مختلف پنگوئن را با هم مخلوط می‌کنیم. اما می‌توانیم PFI را به‌سادگی با تقسیم داده‌ها بر حسب گونه و جایگشت جداگانه برای هر زیرمجموعه تطبیق دهیم، به‌طوری که یک PFI برای هر ویژگی و هر گونه به دست آوریم. شکل ۲۳.۳ نشان می‌دهد با زیرمجموعه‌گیری بر حسب گونه می‌توانیم همبستگی را کاهش دهیم.

توضیح مترجم (متن داخل تصویر): چهار نمودار پراکندگی با محور x برابر Flipper length in mm (طول بال بر حسب میلی‌متر) و محور y برابر Body mass in grams (توده بدنی بر حسب گرم) هستند. عنوان هر نمودار نام زیرمجموعه است: Adelie، Chinstrap، Gentoo و all (همه). کادر گوشهٔ هر نمودار ضریب همبستگی پیرسون را نشان می‌دهد: r = 0.87 برای همه، r = 0.46 برای Adelie، r = 0.64 برای Chinstrap و r = 0.71 برای Gentoo. راهنمای رنگ species (گونه) سه گونه را با رنگ‌های بنفش (Adelie)، سبز-آبی (Chinstrap) و زرد (Gentoo) نشان می‌دهد. نوشته‌های انگلیسی تصویر بدون تغییر ماندند.

برای درک بهتر (توضیح مترجم): وقتی همهٔ پنگوئن‌ها با هم هستند، Gentoo (سنگین و بال‌بلند) در بالا-راست و Adelie (سبک و بال‌کوتاه) در پایین-چپ قرار می‌گیرند و ابر نقاط یک خط پرشیب می‌سازد ($r = 0.87$). این همبستگی بخشی ناشی از تفاوت گونه‌هاست. درون هر گونه، همبستگی کمتر است ($0.46$ تا $0.71$)، پس جایگشت درون گونه نمونه‌هایی کمتر غیرواقعی می‌سازد.

پس اهمیت ویژگی با جایگشت را دوباره بر حسب گونه محاسبه می‌کنیم. یعنی ویژگی‌ها را بر حسب گونه جایگشت می‌دهیم، به‌طوری که مثلاً نتواند رخ دهد که توده بدنی یک Gentoo سنگین به یک Adelie سبک‌وزن اختصاص داده شود. گروه‌بندی مشکل همبستگی را کاهش می‌دهد، اما حل نمی‌کند، همان‌طور که در شکل ۲۳.۳ می‌بینیم. برای مثال، هنوز ممکن است یک پنگوئن Gentoo با توده بدنی ۴۰۰۰ گرم طول بال ۲۳۰ میلی‌متر «اختصاص» بگیرد، که یک نقطهٔ داده غیرواقع‌گرایانه تولید می‌کند. پس تفسیر هنوز با احتیاط همراه است. نتایج در شکل ۲۳.۴ نمایش داده شده‌اند. تصویر متفاوتی پدید می‌آید: توده بدنی برای طبقه‌بندی جنسیت در Gentoo بسیار مهم است، در Adelie کمتر، و در Chinstrap بسیار کم‌اهمیت‌تر. توجه کنید که برای سه مدل رگرسیون لجستیک طبیعی است آن‌ها را سه مدل پیش‌بینی ببینیم که می‌توانیم برایشان PFI جداگانه محاسبه کنیم. با این حال، چون PFI مستقل از مدل است، می‌توانستیم همین کار را برای یک جنگل تصادفی انجام دهیم که صرفاً از گونه به‌عنوان یک ویژگی استفاده می‌کند. یا می‌توانستیم بر حسب هر متغیر دیگری، در نظریه حتی بر حسب متغیرهایی که مدل از آن‌ها استفاده نکرده، به زیرگروه‌ها تقسیم کنیم.

توضیح مترجم (متن داخل تصویر): محور افقی Feature importance (ratio of logloss) (اهمیت ویژگی، نسبت زیان لگاریتمی) و محور عمودی feature (ویژگی) است. ویژگی‌ها: species، flipper_length_mm، body_mass_g، bill_length_mm و bill_depth_mm. راهنمای species سه نماد را نشان می‌دهد: Adelie (دایرهٔ بنفش)، Chinstrap (مثلث سبز-آبی) و Gentoo (مربع زرد). برای body_mass_g مقدار Gentoo حدود ۱۰٫۶، Adelie حدود ۸٫۵ و Chinstrap حدود ۱٫۰ است؛ بقیهٔ ویژگی‌ها برای همهٔ گونه‌ها پایین‌اند و species برای همه ۱ است (چون درون هر زیرمجموعه فقط یک گونه هست). مقادیر از روی شکل تقریبی خوانده شده‌اند. نوشته‌های انگلیسی تصویر بدون تغییر ماندند.

توضیح مترجم: زیرنویس شکل ۲۳.۴ در منبع می‌گوید نتایج «کاملاً شبیه PFI کلی‌اند و بر حسب گونه تفاوت زیادی ندارند»، در حالی که متن بالای شکل و خود شکل تفاوت چشمگیر توده بدنی میان گونه‌ها را نشان می‌دهند (حدود ۱۰٫۶ برای Gentoo در برابر حدود ۱ برای Chinstrap). زیرنویس عیناً ترجمه شد و این ناهمخوانی اینجا ثبت می‌شود. همچنین species درون هر زیرمجموعه ثابت است و بنابراین اهمیتش طبیعتاً ۱ است.

نقاط قوت

تفسیر زیبا: اهمیت ویژگی افزایش خطای مدل است وقتی اطلاعات ویژگی نابود شود.

اهمیت ویژگی یک بینش سراسری بسیار فشرده از رفتار مدل می‌دهد.

PFI برای بینش دربارهٔ داده‌ها مفید است. اگر هدف شما یادگرفتن دربارهٔ داده‌هاست و مدل فقط وسیله‌ای برای یادگیری دربارهٔ داده‌هاست، PFI عالی است، چون بر عملکرد پیش‌بینی (از راه زیان) تکیه دارد. اگر ویژگی‌ای که PFI را برایش محاسبه کرده‌اید برای پیش‌بینی داده‌ها بی‌ربط باشد، اما مدل شما همچنان از آن استفاده کند، PFI باز هم، در امید ریاضی، اهمیتی حدود صفر برای آن ویژگی نشان خواهد داد. سایر معیارهای اهمیت که بر خطاهای پیش‌بینی مبتنی نیستند، مانند اهمیت SHAP، برای ویژگی‌هایی که در بیش‌برازش به کار رفته‌اند اثر نشان می‌دهند.

یک جنبهٔ مثبت استفاده از نسبت خطا به‌جای تفاضل خطا این است که اندازه‌گیری‌های اهمیت ویژگی میان مسائل مختلف قابل مقایسه‌اند.

معیار اهمیت به‌طور خودکار همهٔ تعامل‌ها با ویژگی‌های دیگر را در نظر می‌گیرد. با جایگشت ویژگی، اثرهای تعامل با ویژگی‌های دیگر را هم نابود می‌کنید. این یعنی اهمیت ویژگی با جایگشت هم اثر اصلی ویژگی و هم اثرهای تعامل را بر عملکرد مدل در نظر می‌گیرد. این یک عیب هم هست، چون اهمیت تعامل میان دو ویژگی در اندازه‌گیری‌های اهمیت هر دو ویژگی لحاظ می‌شود. این یعنی اهمیت‌های ویژگی به افت کل عملکرد جمع نمی‌شوند، بلکه مجموعشان بزرگ‌تر است. فقط اگر تعاملی میان ویژگی‌ها نباشد، مانند یک مدل خطی، اهمیت‌ها تقریباً جمع می‌شوند.

اهمیت ویژگی با جایگشت نیازی به بازآموزی مدل ندارد. برخی روش‌های دیگر پیشنهاد می‌کنند یک ویژگی را حذف، مدل را بازآموزی و سپس خطای مدل را مقایسه کنیم. چون بازآموزی یک مدل یادگیری ماشین می‌تواند زمان زیادی ببرد، «فقط» جایگشت یک ویژگی می‌تواند زمان زیادی صرفه‌جویی کند.

برای درک بهتر (توضیح مترجم): فرض کنید دو ویژگی $A$ و $B$ فقط با تعامل بر پیش‌بینی اثر دارند و جایگشت هر یک خطا را از ۱۰ به ۱۶ می‌رساند (افزایش ۶). اهمیت هر دو ۶ است و مجموعشان ۱۲ می‌شود، در حالی که جایگشت هم‌زمان هر دو شاید خطا را فقط به ۱۷ برساند (افزایش ۷). مجموع اهمیت‌ها (۱۲) از افت کل (۷) بزرگ‌تر است چون اثر تعامل دو بار شمرده شده است. در مدل خطی که تعامل ندارد، این دو عدد تقریباً برابرند. (اعداد فرضی‌اند.)

محدودیت‌ها

اهمیت ویژگی با جایگشت به خطای مدل پیوند خورده است. این ذاتاً بد نیست، اما در برخی موارد آنچه نیاز دارید نیست. در برخی موارد ممکن است ترجیح دهید بدانید خروجی مدل برای یک ویژگی چقدر تغییر می‌کند، بدون اینکه در نظر بگیرید این برای عملکرد چه معنایی دارد. برای مثال، می‌خواهید بفهمید وقتی کسی ویژگی‌ها را دست‌کاری می‌کند خروجی مدل شما چقدر استوار است. در این حالت، شما به اینکه عملکرد مدل با جایگشت ویژگی چقدر کم می‌شود علاقه‌مند نیستید، بلکه به اینکه چه مقدار از واریانس خروجی مدل با هر ویژگی توضیح داده می‌شود. واریانس مدل (که با ویژگی‌ها توضیح داده می‌شود) و اهمیت ویژگی وقتی مدل خوب تعمیم می‌دهد (یعنی بیش‌برازش نمی‌شود) همبستگی قوی دارند.

اهمیت ویژگی نمی‌گوید ویژگی چگونه بر پیش‌بینی اثر می‌گذارد، فقط می‌گوید چقدر بر زیان اثر دارد. حتی اگر اهمیت یک ویژگی را بدانید، نمی‌دانید: آیا افزایش ویژگی پیش‌بینی را افزایش می‌دهد؟ آیا تعامل‌هایی با ویژگی‌های دیگر هست؟ اهمیت ویژگی فقط یک رتبه‌بندی است.

نیاز به دسترسی به نتیجهٔ واقعی دارید. اگر کسی فقط مدل و داده‌های بدون برچسب را به شما بدهد — اما نتیجهٔ واقعی را نه — نمی‌توانید اهمیت ویژگی با جایگشت را محاسبه کنید.

اهمیت ویژگی با جایگشت به درهم‌ریختن ویژگی وابسته است، که به اندازه‌گیری تصادفی بودن اضافه می‌کند. وقتی جایگشت تکرار شود، نتایج ممکن است به‌شدت تغییر کنند. تکرار جایگشت و میانگین‌گیری از اندازه‌گیری‌های اهمیت روی تکرارها، معیار را پایدار می‌کند، اما زمان محاسبه را افزایش می‌دهد.

اگر ویژگی‌ها همبسته باشند، اهمیت ویژگی با جایگشت می‌تواند با نمونه‌های دادهٔ غیرواقع‌گرایانه دچار تورش شود. مشکل همان مشکل نمودارهای وابستگی جزئی است: جایگشت ویژگی‌ها وقتی دو ویژگی یا بیشتر همبسته‌اند نمونه‌های دادهٔ بعید تولید می‌کند. وقتی آن‌ها همبستگی مثبت دارند (مانند قد و وزن یک فرد) و من یکی از ویژگی‌ها را درهم می‌ریزم، نمونه‌های جدیدی می‌سازم که بعید یا حتی از نظر فیزیکی غیرممکن‌اند (مثلاً فردی ۲ متری با وزن ۳۰ کیلوگرم)، اما همین نمونه‌های جدید را برای اندازه‌گیری اهمیت به کار می‌برم. به عبارت دیگر، برای اهمیت ویژگی با جایگشت یک ویژگی همبسته، بررسی می‌کنیم عملکرد مدل وقتی ویژگی را با مقادیری که هرگز در واقعیت مشاهده نمی‌کنیم عوض می‌کنیم چقدر کاهش می‌یابد. بررسی کنید ویژگی‌ها به‌شدت همبسته‌اند یا نه و اگر هستند، در تفسیر اهمیت ویژگی احتیاط کنید. با این حال، همبستگی‌های دوبه‌دو ممکن است برای آشکار کردن مشکل کافی نباشند.

برای درک بهتر (توضیح مترجم): دلیل اینکه همبستگی‌های دوبه‌دو کافی نیستند این است که ویژگی می‌تواند با ترکیبی از چند ویژگی دیگر همبسته باشد، بدون اینکه با هیچ‌کدام به‌تنهایی همبستگی بالایی داشته باشد. مثلاً اگر $x_3 \approx x_1 + x_2$، همبستگی $x_3$ با هر یک از $x_1$ و $x_2$ فقط حدود ۰٫۷ است، اما $x_3$ تقریباً کاملاً از روی هر دو پیش‌بینی می‌شود؛ پس جایگشت $x_3$ نمونه‌هایی می‌سازد که با رابطهٔ $x_3 \approx x_1 + x_2$ ناسازگارند.

نکتهٔ ظریف دیگر: افزودن یک ویژگی همبسته می‌تواند اهمیت ویژگی مرتبط را کم کند، چون اهمیت را میان هر دو ویژگی تقسیم می‌کند. مثالی می‌زنم از آنچه با «تقسیم» اهمیت ویژگی می‌خواهم بگویم: می‌خواهیم احتمال باران را پیش‌بینی کنیم و دمای ساعت ۸ صبح روز قبل را به‌عنوان یک ویژگی در کنار ویژگی‌های ناهمبستهٔ دیگر به کار می‌بریم. یک جنگل تصادفی آموزش می‌دهم و معلوم می‌شود دما مهم‌ترین ویژگی است و همه‌چیز خوب است و شب بعد خوب می‌خوابم. حالا سناریوی دیگری را تصور کنید که در آن علاوه بر آن دمای ساعت ۹ صبح را هم به‌عنوان ویژگی می‌گنجانم، که با دمای ساعت ۸ صبح به‌شدت همبسته است. دمای ساعت ۹ صبح اگر دمای ساعت ۸ صبح را از قبل بدانم اطلاعات اضافی زیادی به من نمی‌دهد. اما ویژگی بیشتر همیشه خوب است، درست است؟ یک جنگل تصادفی با دو ویژگی دما و ویژگی‌های ناهمبسته آموزش می‌دهم. برخی درخت‌های جنگل تصادفی دمای ساعت ۸ صبح را برمی‌دارند، برخی دمای ساعت ۹ صبح را، برخی هر دو را و برخی هیچ‌کدام را. دو ویژگی دما با هم کمی اهمیت بیشتری از ویژگی دمای تکی پیشین دارند، اما به‌جای اینکه در بالای فهرست ویژگی‌های مهم باشند، هر دما اکنون جایی در میانهٔ فهرست است. با معرفی یک ویژگی همبسته، مهم‌ترین ویژگی را از بالای نردبان اهمیت به متوسط بودن انداختم. از یک طرف، این مشکلی ندارد، چون صرفاً رفتار مدل یادگیری ماشین زیربنایی، اینجا جنگل تصادفی، را بازتاب می‌دهد. دمای ساعت ۸ صبح صرفاً کم‌اهمیت‌تر شده است چون مدل اکنون می‌تواند به اندازه‌گیری دمای ساعت ۹ صبح هم تکیه کند. از طرف دیگر، تفسیر اهمیت ویژگی را به‌مراتب دشوارتر می‌کند. تصور کنید می‌خواهید ویژگی‌ها را از نظر خطای اندازه‌گیری بررسی کنید. بررسی گران است و تصمیم می‌گیرید فقط ۳ ویژگی مهم‌ترین را بررسی کنید. در حالت اول دما را بررسی می‌کنید؛ در حالت دوم هیچ ویژگی دمایی را شامل نمی‌کنید، فقط به این دلیل که اکنون اهمیت را تقسیم می‌کنند. حتی اگر مقادیر اهمیت در سطح رفتار مدل معنا داشته باشند، اگر ویژگی‌های همبسته داشته باشید گیج‌کننده است.

برای درک بهتر (توضیح مترجم): عددی ببینید. فرض کنید در حالت اول اهمیت دمای ساعت ۸ برابر ۳٫۰ است و بقیهٔ ویژگی‌ها ۱٫۵ تا ۲٫۰. بعد از افزودن دمای ساعت ۹، هر دو دما مثلاً ۱٫۸ می‌شوند (مجموع بیشتر از ۳٫۰، اما سهم هر کدام کمتر). حالا دما دیگر در بالای فهرست نیست. نتیجهٔ عملی همان است که متن می‌گوید: بررسی «سه ویژگی برتر» دیگر دما را شامل نمی‌شود. (اعداد فرضی‌اند.)

نرم‌افزار و جایگزین‌ها

برای مثال‌ها از بستهٔ R با نام iml استفاده شد. بسته‌های R با نام‌های DALEX و vip، و همچنین کتابخانه‌های Python با نام‌های alibi، eli5، scikit-learn و rfpimp نیز اهمیت ویژگی با جایگشت مستقل از مدل را پیاده‌سازی می‌کنند.

الگوریتمی به نام PIMP الگوریتم اهمیت ویژگی با جایگشت را تطبیق می‌دهد تا برای اهمیت‌ها مقدار p (p-value) فراهم کند. جایگزین مبتنی بر زیان دیگر LOFO است، که ویژگی را از داده‌های آموزش کنار می‌گذارد، مدل را بازآموزی می‌کند و افزایش زیان را اندازه می‌گیرد. جایگشت یک ویژگی و اندازه‌گیری افزایش زیان تنها راه اندازه‌گیری اهمیت یک ویژگی نیست. معیارهای اهمیت مختلف را می‌توان به روش‌های مختص مدل و مستقل از مدل تقسیم کرد. اهمیت جینی (Gini) برای جنگل‌های تصادفی، یا ضرایب رگرسیون استانداردشده برای مدل‌های رگرسیون، نمونه‌هایی از معیارهای اهمیت مختص مدل‌اند.

یک جایگزین مستقل از مدل برای اهمیت ویژگی با جایگشت، معیارهای مبتنی بر واریانس است. معیارهای اهمیت ویژگی مبتنی بر واریانس مانند شاخص‌های سوبول (Sobol) یا آنالیز واریانس تابعی به ویژگی‌هایی که واریانس زیادی در تابع پیش‌بینی ایجاد می‌کنند اهمیت بیشتری می‌دهند. همچنین اهمیت SHAP شباهت‌هایی با یک معیار اهمیت مبتنی بر واریانس دارد. اگر تغییر یک ویژگی خروجی را به‌شدت تغییر دهد، مهم است. این تعریف اهمیت با تعریف مبتنی بر زیان، مانند اهمیت ویژگی با جایگشت، فرق دارد. این در حالت‌هایی که مدل بیش‌برازش می‌شود آشکار است. اگر مدلی بیش‌برازش شود و از ویژگی‌ای که به خروجی بی‌ربط است استفاده کند، اهمیت ویژگی با جایگشت اهمیت صفر به آن می‌دهد، چون این ویژگی به تولید پیش‌بینی‌های درست کمکی نمی‌کند. یک معیار اهمیت مبتنی بر واریانس، در مقابل، ممکن است به ویژگی اهمیت زیادی بدهد، چون با تغییر ویژگی پیش‌بینی می‌تواند بسیار تغییر کند.

مروری خوب بر تکنیک‌های مختلف اهمیت در مقالهٔ Wei و همکاران (۲۰۱۵) آمده است.

برای درک بهتر (توضیح مترجم): دو تعریف اهمیت را با یک مدل بیش‌برازش‌شده ببینید. مدل پیش‌بینی را بر اساس یک ویژگی نویز $z$ نیز تغییر می‌دهد، مثلاً خروجی با $z$ از ۰ به ۱ حدود ۵ واحد تغییر می‌کند. اهمیت مبتنی بر واریانس برای $z$ بالاست، چون خروجی با $z$ زیاد تغییر می‌کند. اهمیت با جایگشت روی داده‌های آزمون ≈ ۱ (بی‌اهمیت) است، چون $z$ هیچ‌وقت خطای واقعی را کم نمی‌کند و جایگشتش خطا را تغییر نمی‌دهد. هر دو درست‌اند، فقط دو پرسش متفاوت را پاسخ می‌دهند: «مدل به چه چیزی حساس است؟» در برابر «مدل برای پیش‌بینی درست به چه چیزی نیاز دارد؟»

فصل ۲۴: اهمیت حذف یک ویژگی (LOFO)

عنوان اصلی: Leave One Feature Out (LOFO) Importance
منبع: https://christophm.github.io/interpretable-ml-book/lofo.html
نویسنده: Christoph Molnar
مترجم: مریم محمودی


اهمیت حذف یک ویژگی (Leave One Feature Out Importance؛ LOFO) اهمیت یک ویژگی را با بازآموزی مدل بدون آن ویژگی و مقایسهٔ عملکردهای پیش‌بینی اندازه می‌گیرد.1

شهود پشت اهمیت LOFO این است: اگر حذف یک ویژگی عملکرد پیش‌بینی را بدتر کند، آن ویژگی مهم بوده است. اگر حذف ویژگی عملکرد را بدون تغییر نگه دارد، مهم نبوده است. اهمیت LOFO حتی می‌تواند منفی باشد، وقتی حذف ویژگی عملکرد مدل را بهبود می‌دهد. چون الگوریتم یک مدل تازه آموزش می‌دهد، افت عملکرد مشروط به ویژگی‌های دیگری است که در مدل باقی می‌مانند، همان‌طور که در مثال‌ها خواهیم دید.

برای به دست آوردن اهمیت LOCO برای هر $p$ ویژگی، باید مدل را $p$ بار بازآموزی کنیم، هر بار با یک ویژگی متفاوت که از داده‌های آموزش حذف شده است، و عملکرد مدل حاصل را روی داده‌های آزمون اندازه بگیریم. این LOFO را الگوریتمی کاملاً ساده می‌کند. بیایید الگوریتم را صورت‌بندی کنیم:

ورودی: مدل آموزش‌دیدهٔ $\hat{f}$، داده‌های آموزش $(\mathbf{X}_{\text{train}}, \mathbf{y}_{\text{train}})$، داده‌های آزمون $(\mathbf{X}_{\text{test}}, \mathbf{y}_{\text{test}})$ و معیار خطای $L$.
رویه:

  1. خطای مدل اصلی را اندازه بگیرید:
    $$e_{\text{orig}} = \frac{1}{n_{\text{test}}} \sum_{i=1}^{n_{\text{test}}} L\big(y_{\text{test}}^{(i)}, \hat{f}(\mathbf{x}_{\text{test}}^{(i)})\big)$$

  2. برای هر ویژگی $j \in \lbrace 1, \ldots, p \rbrace$:

    • ویژگی $j$ را از مجموعه‌داده حذف کنید و مجموعه‌دادهٔ تازهٔ $\mathbf{X}_{\text{train},-j}$ و $\mathbf{X}_{\text{test},-j}$ را بسازید.
    • مدل تازهٔ $\hat{f}_{-j}$ را روی $\left(\mathbf{X}_{\text{train},-j}, \mathbf{y}_{\text{train}}\right)$ آموزش دهید.
    • خطای تازه را روی مجموعهٔ آزمون تغییریافته اندازه بگیرید:
      $$e_{-j} = \frac{1}{n_{\text{test}}} \sum_{i=1}^{n_{\text{test}}} L\big(y_{\text{test}}^{(i)}, \hat{f}_{-j}(\mathbf{x}_{\text{test},-j}^{(i)})\big)$$
  3. اهمیت LOFO را برای هر ویژگی محاسبه کنید.

    • به‌صورت خارج‌قسمت:
      $$LOFO_j = \frac{e_{-j}}{e_{\text{orig}}}$$
    • یا به‌صورت تفاضل:
      $$LOFO_j = e_{-j} - e_{\text{orig}}$$
  4. ویژگی‌ها را بر پایهٔ اهمیت $LOFO_j$ نزولی مرتب و مصور کنید.

وقتی به‌جای معیارهای خطا از معیارهای عملکرد استفاده می‌کنید که بزرگ‌تر بهتر است، مانند دقت (accuracy)، مطمئن شوید تفاضل را در ۱- ضرب کنید، یا ترتیب خارج‌قسمت را عوض کنید. برای آموزش و بازآموزی مدل از داده‌های آموزش و برای اندازه‌گیری عملکرد از داده‌های آزمون استفاده کنید.

توضیح مترجم: در متن منبع در جملهٔ دوم بند بالای الگوریتم عبارت «اهمیت LOCO» آمده، در حالی که در همهٔ جاهای دیگر نام LOFO به کار می‌رود؛ هر دو یک روش‌اند (LOCO نام اصلی مقاله و LOFO نام رایج‌تر است) و متن عیناً حفظ شد. $\hat{f}_{-j}$ مدلی است که بدون ویژگی $j$ آموزش دیده و $e_{-j}$ خطای آن روی داده‌های آزمونِ بدون ستون $j$ است.

برای درک بهتر (توضیح مترجم): فرض کنید با همهٔ ویژگی‌ها خطای میانگین قدر مطلق (MAE) روی داده‌های آزمون $e_{\text{orig}} = 400$ باشد. مدل را بدون «دما» دوباره آموزش می‌دهیم و MAE آن ۵۱۰ می‌شود: $LOFO = 510 - 400 = 110$ (یا خارج‌قسمت $510/400 = 1.275$). بدون «روز تعطیل» مدل جدید ۳۸۰ می‌شود: $LOFO = 380 - 400 = -20$، یعنی حذف این ویژگی عملکرد را بهتر کرد، و اهمیت منفی است. این دو عدد همان چیزی است که شکل ۲۴.۱ نشان می‌دهد. (اعداد برای توضیح فرض شده‌اند.)

مثال‌ها

تعداد اجارهٔ دوچرخه را بر پایهٔ اطلاعات آب‌وهوا و تقویم با یک جنگل تصادفی که روی ۲/۳ داده‌ها آموزش دیده پیش‌بینی می‌کنیم. شکل ۲۴.۱ نشان می‌دهد دما و تعداد اجارهٔ دوچرخهٔ قبلی بر اساس LOFO مهم‌ترین ویژگی‌ها هستند. ویژگی تعطیلی (holiday) اهمیت منفی دارد، که برای انتخاب ویژگی پیامد دارد: به‌دلیل نحوهٔ کار الگوریتمی LOFO، اکنون می‌دانیم حذف ویژگی تعطیلی عملکرد مدل را افزایش می‌دهد.

توضیح مترجم (متن داخل تصویر): نمودار میله‌ای افقی با برچسب محور افقی LOFO Importance (MAE difference) (اهمیت LOFO، تفاضل MAE) و برچسب محور عمودی Feature (ویژگی) است. ویژگی‌ها از بالا به پایین: cnt_2d_bfr (تعداد دوچرخهٔ دو روز قبل، حدود ۳۸۰)، temp (دما، حدود ۱۰۸)، weather (وضعیت هوا، کمی مثبت)، hum (رطوبت)، windspeed (سرعت باد)، season (فصل)، workday (روز کاری، اندکی منفی) و holiday (تعطیلی، حدود ۲۰- ، منفی). نوشته‌های انگلیسی تصویر بدون تغییر ماندند. ناهمخوانی منبع: زیرنویس این شکل در منبع از temp_copy سخن می‌گوید، اما تصویر ویژگی temp_copy ندارد؛ زیرنویس‌های شکل‌های ۲۴.۱ و ۲۴.۲ در منبع جابه‌جا شده‌اند (این تصویر مدل اصلی و شکل ۲۴.۲ مدل با دمای تکراری است). زیرنویس‌ها عیناً ترجمه شدند.

برای درک بهتر (توضیح مترجم): «اهمیت منفی» یعنی مدل بدون آن ویژگی روی داده‌های آزمون بهتر بود. دلیل ممکن این است که ویژگی تقریباً نویز است و جنگل تصادفی گاهی با آن بیش‌برازش می‌کند؛ حذفش واریانس را کم می‌کند. چون LOFO بر اثر یک آموزش مجدد با تصادفی‌بودن الگوریتم هم سنجیده می‌شود، مقدارهای خیلی نزدیک صفر (مثل windspeed و season) را نباید دقیق تفسیر کرد.

بیایید چیزی را امتحان کنیم. برای شبیه‌سازی یک نسخهٔ افراطی از ویژگی‌های همبسته، یک مجموعه‌دادهٔ دوچرخهٔ تازه ساختم که دو ستون دما دارد: temp و temp_copy. و، حدس زدید، temp_copy دقیقاً همان مقادیر temp را دارد، یعنی همبستگی ۱۰۰٪. دوباره یک جنگل تصادفی روی این مجموعه‌دادهٔ تازه آموزش دادم. ببینیم بر سر اهمیت‌های LOFO چه می‌آید.

توضیح مترجم (متن داخل تصویر): همان محورها و ترتیب شکل ۲۴.۱ با یک ویژگی اضافه: cnt_2d_bfr (حدود ۳۷۰)، hum، weather، season، workday، temp_copy، temp، windspeed و holiday. نکتهٔ شکل: هر دو temp_copy و temp تقریباً هم‌اندازه‌اند (حدود ۲۶ تا ۲۷) و به‌جای دومین ویژگی مهم در شکل ۲۴.۱ اکنون در میانهٔ فهرست‌اند؛ همین است که متن می‌گوید اهمیت LOFO هر دو تقریباً صفر (در مقایسه با cnt_2d_bfr) است. نوشته‌های انگلیسی تصویر بدون تغییر ماندند.

شکل ۲۴.۲ پدیدهٔ جالبی را نشان می‌دهد: اهمیت‌های LOFO هر دو ویژگی دما اکنون تقریباً صفر است.2 اما اگر مثلاً temp_copy را حذف کنیم، به مدل اصلی می‌رسیم، که می‌دانستیم temp مهم‌ترین ویژگی آن بود. روشن است که نتیجه‌گیری اینکه این مدل تازه اصلاً به دما تکیه نمی‌کند اشتباه است. هر دو temp و temp_copy اهمیت پایینی می‌گیرند، چون بنا به تعریف اهمیت LOFO، مهم نیستند. وقتی ویژگی temp را حذف می‌کنیم، هیچ اطلاعاتی را از دست نمی‌دهیم. دلیلش این است که LOFO تفسیری شرطی دارد: با داشتن ویژگی‌های دیگر، حذف یک ویژگی عملکرد پیش‌بینی مدل را چقدر بدتر می‌کند؟ نتیجه‌گیری‌ها:

  • اهمیت LOFO ویژگی‌های به‌شدت همبسته همیشه پایین است، حتی احتمالاً منفی3، چون اهمیت LOFO باید به‌صورت شرطی بر اطلاعات ارائه‌شده با ویژگی‌های دیگر تفسیر شود. و اگر از قبل یک ویژگی دما در داده‌ها دارید، نسخهٔ کاملاً یکسان همان ویژگی اطلاعات اضافی مهمی نیست.
  • وقتی از اهمیت LOFO به‌عنوان اطلاعات برای انتخاب ویژگی استفاده می‌کنید، مراقب تفسیر باشید: LOFO فقط نشان می‌دهد عملکرد مدل با حذف تک‌تک ویژگی‌ها چگونه واکنش نشان می‌دهد. همان‌طور که شکل ۲۴.۲ نشان داد، LOFO دربارهٔ اینکه با حذف هم‌زمان ۲ ویژگی یا بیشتر عملکرد چگونه تغییر می‌کند اطلاعاتی نمی‌دهد.

برای درک بهتر (توضیح مترجم): دلیل پایین‌بودن اهمیت را با عدد ببینید. مدل اصلی با temp خطای ۴۰۰ دارد. اگر temp را در مدل با دو ستون دما حذف کنیم، temp_copy هنوز همان اطلاعات را دارد و خطا تقریباً ۴۰۰ می‌ماند؛ پس $LOFO \approx 0$. اگر هر دو ستون دما را با هم حذف کنیم (که LOFO تک‌ویژگی نمی‌سنجد)، خطا مثلاً ۵۱۰ می‌شود. LOFO این افت واقعی را نمی‌بیند، همان نکتهٔ دوم فهرست بالا: برای حذف هم‌زمان دو ویژگی باید جداگانه آزمایش کرد (مثلاً با نسخهٔ LTFO در بخش نقاط قوت). (اعداد برای توضیح‌اند.)

با این دانش، بیایید LOFO را برای یک جنگل تصادفی که جنسیت پنگوئن را از روی اندازه‌گیری‌های بدن پیش‌بینی می‌کند امتحان کنیم. برای این کار یک جنگل تصادفی را روی ۲/۳ داده‌ها آموزش دادم و ۱/۳ داده‌ها را برای تخمین خطا کنار گذاشتم. شکل ۲۴.۳ نشان می‌دهد عمق منقار (bill depth) بر اساس LOFO مهم‌ترین ویژگی بود.

توضیح مترجم (متن داخل تصویر): برچسب محور افقی LOFO Importance (accuracy difference) یعنی «اهمیت LOFO (تفاضل دقت)» و محور عمودی برچسب ندارد. ویژگی‌ها از بالا: bill_depth_mm (عمق منقار، حدود ۰٫۰۳۶)، body_mass_g (توده بدنی، حدود ۰٫۰۱۸)، flipper_length_mm (طول بال، حدود ۰٫۰۰۹)، bill_length_mm (طول منقار، حدود ۰٫۰۰۹) و species (گونه، حدود ۰٫۰۰۹- ، منفی). مقادیر از روی شکل تقریبی‌اند. نوشته‌های انگلیسی تصویر بدون تغییر ماندند.

توجه کنید که چون اینجا از دقت استفاده شده که بزرگ‌تر بهتر است، اهمیت را در منفی یک ضرب کردم. LOFO همچنین به ما می‌گوید می‌توانیم ویژگی‌های species و flipper_length را با اطمینان حذف کنیم. با این حال، می‌خواهیم species را نگه داریم، چون مدل باید بتواند میان گونه‌ها تمایز قائل شود.

توضیح مترجم: در شکل ۲۴.۳ ویژگی species اهمیت منفی دارد (حذفش دقت را اندکی بالا می‌برد) اما flipper_length_mm اهمیت کوچک مثبت (حدود ۰٫۰۰۹، هم‌اندازهٔ bill_length_mm) دارد؛ بنابراین جملهٔ منبع دربارهٔ حذف‌پذیری flipper_length با شکل چندان هم‌خوان نیست و عیناً ترجمه شد. همچنین نام ویژگی در متن flipper_length و در شکل flipper_length_mm است. داده‌های آزمون (یک‌سوم پنگوئن‌ها) کوچک‌اند و تفاوت‌های دقتِ حدود ۰٫۰۰۹ می‌تواند معادل تغییر طبقه‌بندی یک یا دو نمونه باشد، پس نباید زیاد تفسیر شود.

LOFO در برابر PFI

LOFO با روش‌های دیگری که در این کتاب ارائه شده فرق دارد، چون بیشتر روش‌های دیگر به بازآموزی مدل نیاز ندارند. می‌توان گفت LOFO یک روش پسینی (post-hoc) و مستقل از مدل است، چون می‌توان آن را روی هر مدلی اعمال کرد و بازآموزی مدل بر مدل اصلی که می‌خواهیم تفسیرش کنیم اثری ندارد. با این حال، به‌دلیل بازآموزی مدل، تفسیر از تفسیر فقط آن یک مدل به تفسیر یادگیرنده (learner) و اینکه آموزش مدل به تغییرها در ویژگی‌ها چگونه واکنش نشان می‌دهد جابه‌جا می‌شود.

از نظر من بزرگ‌ترین پرسش این است: LOFO در مقایسه با PFI چگونه است، و چه زمانی باید از کدام اهمیت استفاده کرد؟ با شباهت‌ها شروع کنیم: هم PFI و هم LOFO معیارهای اهمیت مبتنی بر عملکردند؛ هر دو اهمیت را با «حذف» اطلاعات یک ویژگی محاسبه می‌کنند، حتی وقتی این کار را متفاوت انجام می‌دهند؛ هر دو، دست‌کم در ساده‌ترین نسخه‌شان، به‌صورت یکی‌یکی کار می‌کنند. اما LOFO و PFI در جنبه‌های دیگر فرق دارند. همان‌طور که در مثال شکل ۲۴.۲ دیدیم، LOFO تفسیر شرطی از اهمیت دارد. این فقط دربارهٔ ارزش پیش‌بینی اضافی یک ویژگی است. این LOFO را از اهمیت ویژگی با جایگشت حاشیه‌ای متمایز می‌کند. LOFO بیشتر شبیه PFI شرطی است و هر دو تفسیرهایی مشروط به ویژگی‌های دیگر دارند.

اما چون PFI شرطی و LOFO متفاوت کار می‌کنند، در تفسیرهایشان فرق دارند. PFI شرطی تفسیری است که فقط مدل در دست را درگیر می‌کند. اهمیت LOFO بیشتر بر الگوریتم یادگیری ماشین تمرکز دارد، چون بازآموزی مدل را شامل می‌شود و تفسیر اکنون چند مدل با آموزش متفاوت را درگیر می‌کند. این همچنین یعنی اهمیت LOFO متأثر از این است که الگوریتم یادگیری ماشین با مجموعه‌داده‌ای با یک ستون کمتر چگونه رفتار می‌کند. یک الگوریتم درخت تصمیم ممکن است درختی کاملاً متفاوت تولید کند. بنابراین تفسیر LOFO هم دربارهٔ مدل در دست است، و هم دربارهٔ الگوریتم یادگیری ماشین و اینکه چگونه به حذف یک ویژگی واکنش نشان می‌دهد.

توضیح مترجم: «یادگیرنده» (learner) در این بخش یعنی خود الگوریتم آموزش (مثلاً «الگوریتم جنگل تصادفی») و نه یک مدل آموزش‌دیدهٔ مشخص. «روش پسینی» یعنی پس از آموزش مدل اعمال می‌شود. «مستقل از مدل» یعنی روی هر نوع مدل قابل اعمال است.

برای درک بهتر (توضیح مترجم): فرض کنید مدل اصلی یک درخت تصمیم عمیق است. PFI شرطی همان درخت را می‌گیرد و فقط مقادیر یک ویژگی را (به‌شرط ویژگی‌های دیگر) جایگشت می‌دهد؛ پرسش دربارهٔ همین درخت است. LOFO یک درخت تازه بدون آن ستون می‌سازد که ممکن است ساختار کاملاً دیگری داشته باشد (مثلاً شاخه‌ها را روی ویژگی همبسته دیگری بسازد)؛ پس عدد LOFO دربارهٔ «الگوریتم درخت روی این داده‌ها» هم هست و نه فقط دربارهٔ درخت اولیه.

نقاط قوت

پیاده‌سازی LOFO ساده است. برای مثال‌های اینجا همین کار را کردم. می‌توانید خودتان انجامش دهید، واقعاً برایش به هیچ بسته‌ای نیاز ندارید.

LOFO برای انتخاب ویژگی مفید است: ویژگی‌ای با اهمیت LOFO کمتر از صفر را می‌توان حذف کرد تا عملکرد مدل بهبود یابد؛ ویژگی‌ای با اهمیت صفر را هم می‌توان با اطمینان و بدون اثر بر عملکرد حذف کرد. با این حال، آگاه باشید که LOFO تابع تصادفی‌بودن فرایند آموزش است و به نمونهٔ داده هم بستگی دارد. فقط مطمئن شوید که در هر بار بر پایهٔ نتایج اهمیت LOFO فقط یک ویژگی را حذف می‌کنید. اگر می‌خواهید دو ویژگی را حذف کنید، باید این کار را به‌صورت متوالی انجام دهید، یعنی اهمیت LOFO را محاسبه کنید، ویژگی بی‌اهمیت را حذف کنید، دوباره LOFO را محاسبه کنید و باز کم‌اهمیت‌ترین را حذف کنید. همچنین می‌توانید LOFO را با LTFO (حذف دو ویژگی؛ leave two features out) تطبیق دهید تا اهمیت مشترک را محاسبه کنید. روش‌های اهمیت دیگر، مانند PFI یا اهمیت SHAP، مستقیماً اطلاعات عملی (actionable) برای انتخاب ویژگی نمی‌دهند.

LOFO برخلاف روش‌های دیگر مانند PFI حاشیه‌ای، داده‌های غیرواقع‌گرایانه نمی‌سازد، چون LOFO ویژگی‌ها را حذف می‌کند و مدل را با داده‌های تازه نمونه‌گیری‌شده نمی‌آزماید.

LOFO به‌دلیل بینش‌های عملی برای انتخاب ویژگی برای فاز مدل‌سازی مفید است. وقتی تمرکز بیشتر بر فهم پدیدهٔ زیربنایی و کمتر بر خود مدل است نیز مفید است. با این حال، توجه کنید که اینکه یادگیرندهٔ خاص به حذف ویژگی‌ها چگونه واکنش نشان می‌دهد نیز بر مقادیر اهمیت LOFO اثر می‌گذارد.

LOFO زمانی معنا دارد که هدف تفسیر شما دربارهٔ پدیده (و کمتر دربارهٔ خود مدل) یا دربارهٔ یادگیرنده باشد.

برای درک بهتر (توضیح مترجم): انتخاب ویژگی متوالی را با مثال ببینید. فرض کنید پنج ویژگی داریم و اهمیت‌های LOFO به‌ترتیب $+30$، $+12$، $+1$، $-2$ و $-3$ است. اگر هر دو ویژگی منفی را هم‌زمان حذف کنیم، ممکن است ویژگی‌های دیگر که به آن‌ها وابسته بودند اهمیتشان عوض شود. پس ابتدا فقط ویژگی با $-3$ را حذف و مدل‌ها را دوباره آموزش می‌دهیم؛ اهمیت‌های جدید ممکن است $+30$، $+12$، $+1$ و $+0.5$ شوند (ویژگی $-2$ دیگر منفی نیست). و همین‌طور ادامه می‌دهیم. این همان «حذف متوالی» (backward sequential feature selection) است که در بخش جایگزین‌ها آمده. (اعداد فرضی‌اند.)

محدودیت‌ها

LOFO پرهزینه است: اگر اهمیت LOFO را برای همهٔ ویژگی‌ها محاسبه کنید، باید مدل را $p$ بار بازآموزی کنید. این می‌تواند پرهزینه باشد، به‌ویژه در مقایسه با اهمیت ویژگی با جایگشت.

LOFO بهترین روش برای فهمیدن یک مدل خاص نیست. برای مثال، در موقعیت بیشتر شبیه ممیزی (audit) مدل، LOFO مناسب نیست، چون تفسیر بر آموزش مدل‌های تازه مبتنی است، یعنی تفسیر نه‌تنها بر مدل تحت بررسی بلکه بر مدل‌های دیگری که الگوریتم یادگیری ماشین تولید می‌کند مبتنی است، به‌طوری که نتایج باید بر حسب الگوریتم یادگیری ماشین تفسیر شوند.

همچنین کمی روشن نیست با تنظیم ابرپارامتر (hyperparameter tuning) چگونه برخورد کنیم. آیا باید با همان ابرپارامترهای دقیقاً یکسان آموزش دهید، یا بهینه‌سازی ابرپارامتر را دوباره اجرا کنید؟ ثابت نگه‌داشتن ابرپارامترها از نظر محاسباتی ارزان‌تر است و تمرکز LOFO را بیشتر بر آن مدل می‌گذارد، چون مدل‌های تازه آموزش‌دیده احتمالاً شبیه‌تر به آن هستند. اجرای بهینه‌سازی ابرپارامتر برای هر یک از $p$ مدل پرهزینه است، اما نتایج LOFO را برای انتخاب ویژگی و بینش دربارهٔ رابطهٔ میان ویژگی‌ها و هدف آموزنده‌تر می‌کند، چون عدم قطعیت ناشی از خطاهای مدل را کم می‌کنید.

ویژگی‌های به‌شدت همبسته اهمیت LOFO پایینی می‌گیرند. این صرفاً به‌خاطر نحوهٔ کار LOFO انتظار می‌رود، اما دامی است و هنگام نگاه به نمودارهای اهمیت به‌آسانی فراموش می‌شود. این همچنین یعنی بررسی همبستگی‌های داده‌ها پیش از اینکه بتوانید اهمیت‌های LOFO را تفسیر کنید ضروری است. همچنین می‌توانید ویژگی‌های به‌شدت همبسته را گروه‌بندی کنید و فقط با هم حذفشان کنید تا تفسیر شما به‌جای شرطی، حاشیه‌ای‌تر شود.

برای درک بهتر (توضیح مترجم): هزینهٔ LOFO را با عدد ببینید. اگر هر آموزش مدل ۱۰ دقیقه طول بکشد و ۲۰ ویژگی داشته باشیم، LOFO به ۲۰ بازآموزی، یعنی ۲۰۰ دقیقه (حدود ۳ ساعت و ۲۰ دقیقه) نیاز دارد، در حالی که PFI فقط یک مدل را چندین بار روی داده‌های جایگشت‌یافته ارزیابی می‌کند که پیش‌بینی است و از آموزش بسیار ارزان‌تر است. اگر بخواهید برای هر ۲۰ مدل ابرپارامترها را دوباره بهینه کنید، هزینه چندین برابر می‌شود. (اعداد فرضی‌اند.)

نرم‌افزار و جایگزین‌ها

LOFO یک پیاده‌سازی Python دارد. اما الگوریتمی هم هست که می‌توانید به‌آسانی خودتان پیاده‌سازی کنید.

یک جایگزین LOFO PFI شرطی است. همچنین می‌توان به‌جای حذف متغیر، نسخهٔ جایگشت‌یافتهٔ آن را اضافه کرد و سپس مدل را دوباره یاد گرفت. این مزیت مقایسهٔ دو مدل با تعداد ویژگی یکسان را دارد، اما منبع دیگری از عدم قطعیت (خودِ جایگشت تصادفی است) را معرفی می‌کند.

روش انتخاب ویژگی «انتخاب ویژگی متوالی عقب‌رو» (backward sequential feature selection) در اصل LOFO + حذف ویژگی است که به‌صورت متوالی اعمال می‌شود.

برای درک بهتر (توضیح مترجم): پیاده‌سازی ساده‌ای که منبع می‌گوید به هیچ بسته‌ای نیاز ندارد، در مرحله‌های خود کتاب چنین است: برای هر ویژگی، آن را از داده‌های آموزش و آزمون حذف کن، مدل را دوباره آموزش بده، خطا را روی آزمون بگیر و از خطای مدل اصلی کم کن. در R این یک حلقهٔ for ساده روی نام ویژگی‌هاست (کد کتاب همین‌طور نوشته شده)؛ نیازی به کتابخانهٔ اختصاصی نیست.


  1. نخستین توصیف رسمی LOFO که من می‌شناسم از Lei و همکاران (۲۰۱۸) است. آن‌ها آن را حذف یک هم‌متغیر (Leave One Covariate Out؛ LOCO) می‌نامند و مقاله بیشتر دربارهٔ آزمون بدون فرض توزیع (distribution-free) است. ↩

  2. ویژگی‌های temp و temp_copy اهمیت‌های LOFO مشابه اما نه یکسان دارند، که به تصادفی‌بودن آموزش مدل برمی‌گردد. ↩

  3. در اینجا باید فرض کنیم یادگیرنده می‌تواند حذف یک ویژگی را با تکیهٔ بیشتر بر ویژگی‌های دیگر جبران کند. اما من هیچ الگوریتم یادگیری ماشینی را نمی‌شناسم که چنین توانایی‌ای نداشته باشد. ↩

فصل ۲۵: مدل‌های نیابتی (Surrogate Models)

عنوان اصلی: Surrogate Models
منبع: https://christophm.github.io/interpretable-ml-book/global.html
نویسنده: Christoph Molnar
مترجم: مریم محمودی


یک مدل نیابتی سراسری (global surrogate model) یک مدل تفسیرپذیر است که برای تقریب پیش‌بینی‌های یک مدل جعبه‌سیاه آموزش داده می‌شود. با تفسیر مدل نیابتی می‌توانیم دربارهٔ مدل جعبه‌سیاه نتیجه‌گیری کنیم. حل تفسیرپذیری یادگیری ماشین با استفاده از یادگیری ماشین بیشتر!

توضیح مترجم: «نیابتی» (surrogate) یعنی «جانشین»: مدلی ساده که به‌جای مدل پیچیده بررسی می‌شود. «جعبه‌سیاه» (black box) مدلی است که درونش را نمی‌توان مستقیم خواند، مثل جنگل تصادفی یا شبکهٔ عصبی. «سراسری» (global) یعنی تقریب روی همهٔ داده‌ها، نه برای یک نمونهٔ خاص.

نظریه

مدل‌های نیابتی در مهندسی هم به کار می‌روند: اگر نتیجهٔ مورد علاقه گران، زمان‌بر یا به‌طور دیگری اندازه‌گیری‌اش دشوار باشد (مثلاً چون از یک شبیه‌سازی رایانه‌ای پیچیده می‌آید)، می‌توان به‌جای آن از یک مدل نیابتی ارزان و سریع برای آن نتیجه استفاده کرد. تفاوت مدل‌های نیابتی در مهندسی و در یادگیری ماشین تفسیرپذیر این است که مدل زیربنایی یک مدل یادگیری ماشین (نه یک شبیه‌سازی) است و مدل نیابتی باید تفسیرپذیر باشد. هدف مدل‌های نیابتی (تفسیرپذیر) این است که پیش‌بینی‌های مدل زیربنایی را تا حد ممکن دقیق تقریب بزنند و هم‌زمان تفسیرپذیر باشند. ایدهٔ مدل‌های نیابتی با نام‌های مختلفی یافت می‌شود: مدل تقریبی (approximation model)، فرامدل (metamodel)، مدل سطح پاسخ (response surface model)، شبیه‌ساز (emulator) و غیره.

دربارهٔ نظریه: در واقع برای فهمیدن مدل‌های نیابتی نظریهٔ زیادی لازم نیست. می‌خواهیم تابع پیش‌بینی جعبه‌سیاه $f$ را تا حد ممکن با تابع پیش‌بینی مدل نیابتی $g$ تقریب بزنیم، با این قید که $g$ تفسیرپذیر باشد. برای تابع $g$ می‌توان از هر مدل تفسیرپذیری استفاده کرد.

برای مثال، یک مدل خطی:

$$g(\mathbf{x}) = \beta_0 + \beta_1 x_1 + \ldots + \beta_p x_p$$

یا یک درخت تصمیم:

$$g(\mathbf{x}) = \sum_{m=1}^M c_m I\lbrace \mathbf{x} \in R_m \rbrace$$

آموزش یک مدل نیابتی روشی مستقل از مدل (model-agnostic) است، چون به هیچ اطلاعاتی دربارهٔ سازوکار درونی مدل جعبه‌سیاه نیاز ندارد؛ فقط دسترسی به داده‌ها و تابع پیش‌بینی لازم است. اگر مدل یادگیری ماشین زیربنایی با مدل دیگری جایگزین شود، باز هم می‌توانید از روش نیابتی استفاده کنید. انتخاب نوع مدل جعبه‌سیاه و نوع مدل نیابتی از هم جدا (decoupled) است.

توضیح مترجم: در فرمول درخت، $R_m$ ناحیهٔ $m$-ام (برگ $m$-ام) فضای ویژگی، $c_m$ مقدار پیش‌بینی ثابت آن برگ، و $I\lbrace \cdot \rbrace$ تابع نشانگر است که اگر $\mathbf{x}$ در آن ناحیه باشد ۱ و در غیر این صورت ۰ می‌شود. منبع این نمادها را جداگانه تعریف نمی‌کند.

برای به دست آوردن یک مدل نیابتی این مراحل را انجام دهید:

  1. یک مجموعه‌داده $\mathbf{X}$ را انتخاب کنید. این می‌تواند همان مجموعه‌داده‌ای باشد که برای آموزش مدل جعبه‌سیاه به کار رفت یا یک مجموعه‌دادهٔ تازه از همان توزیع. حتی می‌توانید بسته به کاربردتان زیرمجموعه‌ای از داده‌ها یا شبکه‌ای از نقاط را انتخاب کنید.
  2. برای مجموعه‌دادهٔ انتخاب‌شدهٔ $\mathbf{X}$، پیش‌بینی‌های مدل جعبه‌سیاه را بگیرید.
  3. یک نوع مدل تفسیرپذیر (مدل خطی، درخت تصمیم، …) انتخاب کنید.
  4. مدل تفسیرپذیر را روی مجموعه‌دادهٔ $\mathbf{X}$ و پیش‌بینی‌های آن آموزش دهید.
  5. تبریک! اکنون یک مدل نیابتی دارید.
  6. اندازه بگیرید مدل نیابتی پیش‌بینی‌های مدل جعبه‌سیاه را چقدر خوب بازتولید می‌کند.
  7. مدل نیابتی را تفسیر کنید.

ممکن است رویکردهایی برای مدل‌های نیابتی بیابید که مراحل اضافه دارند یا اندکی فرق می‌کنند، اما ایدهٔ کلی معمولاً همان است که در اینجا شرح داده شد.

برای درک بهتر (توضیح مترجم): مراحل را با یک مثال خیالی دنبال کنید. یک جنگل تصادفی داریم که قیمت خانه را پیش‌بینی می‌کند. ۱) همان ۱۰۰۰ خانهٔ آموزش را برمی‌داریم. ۲) از جنگل برای هر خانه پیش‌بینی قیمت می‌گیریم (۱۰۰۰ عدد). ۳) رگرسیون خطی را انتخاب می‌کنیم. ۴) رگرسیون خطی را روی ۱۰۰۰ خانه با این ۱۰۰۰ پیش‌بینی (نه قیمت واقعی) برازش می‌دهیم. ۶) $R^2$ را حساب می‌کنیم. ۷) ضرایب را می‌خوانیم؛ مثلاً «به ازای هر متر مربع، پیش‌بینی جنگل به‌طور میانگین ۲ واحد بالا می‌رود». نکتهٔ مهم: هدف رگرسیون، پیش‌بینی جنگل است و نه قیمت واقعی.

یک راه برای اندازه‌گیری اینکه نیابتی مدل جعبه‌سیاه را چقدر خوب بازتولید می‌کند، معیار R-مجذور (R-squared) است:

$$R^2=1 - \frac{SSE}{SST} = 1 - \frac{\sum_{i=1}^n (\hat{y}_*^{(i)} - \hat{y}^{(i)})^2}{\sum_{i=1}^n (\hat{y}^{(i)} - \bar{\hat{y}})^2}$$

که در آن $\hat{y}_*^{(i)}$ پیش‌بینی مدل نیابتی برای نمونهٔ $i$-ام، $\hat{y}^{(i)}$ پیش‌بینی مدل جعبه‌سیاه و $\bar{\hat{y}}$ میانگین پیش‌بینی‌های مدل جعبه‌سیاه است. SSE مخفف مجموع مربعات خطا (sum of squares error) و SST مخفف مجموع مربعات کل (sum of squares total) است. معیار R-مجذور را می‌توان به‌صورت درصد واریانسی تفسیر کرد که مدل نیابتی می‌گیرد. اگر R-مجذور نزدیک ۱ باشد (= SSE پایین)، مدل تفسیرپذیر رفتار مدل جعبه‌سیاه را بسیار خوب تقریب می‌زند. اگر مدل تفسیرپذیر بسیار نزدیک باشد، ممکن است بخواهید مدل پیچیده را با مدل تفسیرپذیر جایگزین کنید. اگر R-مجذور نزدیک ۰ باشد (= SSE بالا)، مدل تفسیرپذیر نمی‌تواند مدل جعبه‌سیاه را توضیح دهد.

توجه کنید که دربارهٔ عملکرد مدل زیربنایی جعبه‌سیاه صحبت نکرده‌ایم، یعنی اینکه در پیش‌بینی نتیجهٔ واقعی چقدر خوب یا بد عمل می‌کند. عملکرد مدل جعبه‌سیاه در آموزش مدل نیابتی نقشی ندارد. تفسیر مدل نیابتی همچنان معتبر است، چون دربارهٔ مدل اظهار می‌کند و نه دربارهٔ دنیای واقعی. اما البته اگر مدل جعبه‌سیاه بد باشد، تفسیر مدل نیابتی بی‌ربط می‌شود، چون در این صورت خود مدل جعبه‌سیاه بی‌ربط است.

برای درک بهتر (توضیح مترجم): فرض کنید مدل جعبه‌سیاه برای ۴ نمونه پیش‌بینی $(10, 20, 30, 40)$ می‌دهد و مدل نیابتی $(12, 18, 33, 37)$. میانگین جعبه‌سیاه ۲۵ است، پس $SST = (10-25)^2 + (20-25)^2 + (30-25)^2 + (40-25)^2 = 225 + 25 + 25 + 225 = 500$. $SSE = (12-10)^2 + (18-20)^2 + (33-30)^2 + (37-40)^2 = 4 + 4 + 9 + 9 = 26$. بنابراین $R^2 = 1 - 26/500 = 0.948$: مدل نیابتی حدود ۹۵٪ از واریانس پیش‌بینی‌های جعبه‌سیاه را بازتولید می‌کند. اگر نیابتی پیش‌بینی ثابت ۲۵ می‌داد، $SSE = SST$ و $R^2 = 0$ می‌شد. (اعداد فرضی‌اند.)

می‌توانیم یک مدل نیابتی را بر پایهٔ زیرمجموعه‌ای از داده‌های اصلی هم بسازیم یا نمونه‌ها را وزن‌دهی مجدد کنیم. به این ترتیب توزیع ورودی مدل نیابتی را تغییر می‌دهیم، که تمرکز تفسیر را تغییر می‌دهد (آنگاه دیگر واقعاً سراسری نیست). اگر داده‌ها را به‌صورت محلی بر پایهٔ یک نمونهٔ مشخص از داده‌ها وزن‌دهی کنیم (هرچه نمونه‌ها به نمونهٔ انتخاب‌شده نزدیک‌تر باشند وزن بیشتری می‌گیرند)، یک مدل نیابتی محلی (local surrogate) به دست می‌آوریم که می‌تواند پیش‌بینی منفرد آن نمونه را توضیح دهد.

توضیح مترجم: همین ایدهٔ وزن‌دهی محلی پایهٔ روش LIME است که در فصل پیش‌تر دیدید. در منبع در این بند به نام LIME ارجاعی نیامده؛ این پیوند افزودهٔ مترجم برای کمک به خواننده است.

مثال

برای نمایش مدل‌های نیابتی، یک مثال رگرسیون و یک مثال طبقه‌بندی را بررسی می‌کنیم.

ابتدا یک ماشین بردار پشتیبان (support vector machine) را برای پیش‌بینی تعداد روزانهٔ دوچرخه‌های اجاره‌شده با داشتن اطلاعات آب‌وهوا و تقویم آموزش می‌دهیم. ماشین بردار پشتیبان چندان تفسیرپذیر نیست، پس یک مدل نیابتی با یک درخت تصمیم CART به‌عنوان مدل تفسیرپذیر، با استفاده از داده‌های آموزش اصلی، آموزش می‌دهیم تا رفتار ماشین بردار پشتیبان را تقریب بزند. مدل نیابتی نشان‌داده‌شده در شکل ۲۵.۱ روی داده‌های آزمون R-مجذور (واریانس توضیح‌داده‌شده) برابر مقدار محاسبه‌شده در زمان ساخت کتاب دارد، که یعنی رفتار جعبه‌سیاه زیربنایی را کاملاً خوب اما نه کامل تقریب می‌زند. اگر برازش کامل بود، می‌توانستیم ماشین بردار پشتیبان را کنار بگذاریم و به‌جای آن از درخت استفاده کنیم. توزیع‌های درون گره‌ها نشان می‌دهند درخت نیابتی وقتی دما بالای ۱۳ درجهٔ سلسیوس است و وقتی تعداد دو روز قبل بیشتر بوده، تعداد دوچرخه‌های اجاره‌شدهٔ بیشتری پیش‌بینی می‌کند.

توضیح مترجم: در منبع مقدار R-مجذور (و مقدار R-مجذور مثال پنگوئن) با کد R در زمان ساخت کتاب در متن درج می‌شود (r rsq) و در متن ثابت منبع عددی نیامده است؛ بنابراین عدد در ترجمه ذکر نشد و به‌جای حدس زدن آن، به همین توضیح بسنده شد. جملهٔ «درخت دما بالای ۱۳ درجه» در شکل ۲۵.۱ با آستانهٔ حدود ۱۳٫۷ درجه فقط در شاخهٔ تعداد کم دو روز قبل ($\le 4570$) دیده می‌شود.

توضیح مترجم (متن داخل تصویر): چهار نمودار جعبه‌ای (boxplot)، یکی برای هر گره پایانی درخت. عنوان هر نمودار شرط مسیر درخت است: بالا-چپ cnt_2d_bfr <= 4570 & temp <= 13.7375 (تعداد دوچرخهٔ دو روز قبل حداکثر ۴۵۷۰ و دما حداکثر ۱۳٫۷۳۷۵)؛ بالا-راست cnt_2d_bfr <= 4570 & temp > 13.7375؛ پایین-چپ cnt_2d_bfr > 4570 & cnt_2d_bfr <= 5740؛ پایین-راست cnt_2d_bfr > 4570 & cnt_2d_bfr > 5740. محور عمودی ŷ (پیش‌بینی ماشین بردار پشتیبان برای تعداد دوچرخه) است. میانهٔ جعبه‌ها حدود ۲۶۰۰ (بالا-چپ)، ۴۲۰۰ (بالا-راست)، ۵۰۰۰ (پایین-چپ) و ۶۵۰۰ (پایین-راست) است. مقادیر از روی شکل تقریبی خوانده شده‌اند. نوشته‌های انگلیسی تصویر بدون تغییر ماندند.

برای درک بهتر (توضیح مترجم): چگونه با این درخت یک پیش‌بینی بگیریم؟ روزی را در نظر بگیرید که دو روز قبل ۳۰۰۰ دوچرخه اجاره شده و دما ۲۰ درجه است. شرط اول: $3000 \le 4570$ برقرار است. شرط دوم: دما $20 > 13.74$. پس به گرهٔ بالا-راست می‌رسیم و مدل نیابتی حدود ۴۲۰۰ دوچرخه (میانهٔ جعبه) پیش‌بینی می‌کند. همین پیش‌بینی را خود درخت از «قاعده‌ای ساده» می‌دهد، در حالی که ماشین بردار پشتیبان آن را با محاسبات پیچیده می‌دهد.

در مثال دوم، جنسیت (ماده یا نر) پنگوئن را با یک جنگل تصادفی طبقه‌بندی می‌کنیم، دوباره یک درخت تصمیم را روی مجموعه‌دادهٔ اصلی آموزش می‌دهیم، اما با پیش‌بینی جنگل تصادفی به‌عنوان نتیجه، به‌جای طبقه‌های واقعی (نر/ماده) داده‌ها. مدل نیابتی نشان‌داده‌شده در شکل ۲۵.۲ R-مجذور (واریانس توضیح‌داده‌شده) برابر مقدار محاسبه‌شده در زمان ساخت کتاب دارد، که یعنی جنگل تصادفی را تا حدی تقریب می‌زند، اما نه کامل.

توضیح مترجم (متن داخل تصویر): چهار نمودار میله‌ای، یکی برای هر گره پایانی (درخت با عمق ۲). عنوان‌ها: بالا-چپ body_mass_g <= 3725 & bill_depth_mm <= 18.5؛ بالا-راست body_mass_g <= 3725 & bill_depth_mm > 18.5؛ پایین-چپ body_mass_g > 3725 & bill_depth_mm <= 14.8؛ پایین-راست body_mass_g > 3725 & bill_depth_mm > 14.8. محور افقی .class (طبقه: female ماده، male نر) و محور عمودی count (تعداد) است. تقریباً: بالا-چپ ۵۸ ماده در برابر ۳ نر؛ بالا-راست ۷ ماده و ۱۱ نر؛ پایین-چپ ۳۶ ماده و ۳ نر؛ پایین-راست ۱۲ ماده و ۹۲ نر. نوشته‌های انگلیسی تصویر بدون تغییر ماندند.

برای درک بهتر (توضیح مترجم): گرهٔ پایین-راست یعنی پنگوئن‌های سنگین (بالای ۳۷۲۵ گرم) با عمق منقار بالای ۱۴٫۸: جنگل تصادفی برای حدود ۹۲ نفر «نر» و برای حدود ۱۲ نفر «ماده» پیش‌بینی کرده، پس درخت نیابتی برای این گره «نر» را پیش‌بینی می‌کند، با اطمینان حدود $92/104 \approx 88%$. گرهٔ بالا-راست که ۷ ماده و ۱۱ نر دارد دودل است ($11/18 \approx 61%$)، و همین جا است که تقریب درخت و تصمیم جنگل می‌تواند ناهمخوان باشد. (اعداد از روی شکل تقریبی‌اند.)

نقاط قوت

روش مدل نیابتی انعطاف‌پذیر است: هر مدل تفسیرپذیری را می‌توان به کار برد. این همچنین یعنی نه‌تنها مدل تفسیرپذیر را، بلکه مدل جعبه‌سیاه زیربنایی را هم می‌توانید عوض کنید. فرض کنید یک مدل پیچیده می‌سازید و آن را به تیم‌های مختلف شرکتتان توضیح می‌دهید. یک تیم با مدل‌های خطی آشناست و تیم دیگر درخت‌های تصمیم را می‌فهمد. می‌توانید برای مدل جعبه‌سیاه اصلی دو مدل نیابتی (مدل خطی و درخت تصمیم) آموزش دهید و دو نوع توضیح ارائه کنید. اگر مدل جعبه‌سیاه با عملکرد بهتری پیدا کردید، لازم نیست روش تفسیرتان را عوض کنید، چون می‌توانید از همان دستهٔ مدل‌های نیابتی استفاده کنید.

استدلال می‌کنم که این رویکرد بسیار شهودی و سرراست است. این یعنی پیاده‌سازی‌اش آسان است، اما توضیح دادنش به افرادی که با علم داده یا یادگیری ماشین آشنا نیستند هم آسان است.

با معیار R-مجذور می‌توانیم به‌آسانی اندازه بگیریم مدل‌های نیابتی ما در تقریب پیش‌بینی‌های جعبه‌سیاه چقدر خوب‌اند.

برای درک بهتر (توضیح مترجم): فرض کنید یک مدل جعبه‌سیاه برای احتمال بازپرداخت وام داریم. برای تیم مدیران یک درخت با سه شاخه می‌سازیم («اگر درآمد > X و سابقه > Y: ریسک پایین») و برای تیم آماری یک مدل خطی با ضرایب. هر دو را بر پایهٔ پیش‌بینی‌های همان جعبه‌سیاه آموزش می‌دهیم و $R^2$ هر یک را گزارش می‌کنیم، مثلاً ۰٫۷ برای درخت و ۰٫۸۵ برای مدل خطی. اگر فردا جعبه‌سیاه را عوض کنیم، فقط دو مدل نیابتی را دوباره برازش می‌دهیم و همان گزارش را می‌سازیم. (اعداد فرضی‌اند.)

محدودیت‌ها

باید آگاه باشید که دربارهٔ مدل نتیجه می‌گیرید و نه دربارهٔ داده‌ها، چون مدل نیابتی هرگز نتیجهٔ واقعی را نمی‌بیند.

روشن نیست بهترین آستانه برای R-مجذور برای اطمینان از اینکه مدل نیابتی به‌اندازهٔ کافی به مدل جعبه‌سیاه نزدیک است چیست. ۸۰٪ واریانس توضیح‌داده‌شده؟ ۵۰٪؟ ۹۹٪؟

می‌توانیم اندازه بگیریم مدل نیابتی چقدر به مدل جعبه‌سیاه نزدیک است. فرض کنیم خیلی نزدیک نیستیم، اما به‌اندازهٔ کافی نزدیکیم. ممکن است اتفاق بیفتد که مدل تفسیرپذیر برای یک زیرمجموعهٔ مجموعه‌داده بسیار نزدیک باشد، اما برای زیرمجموعهٔ دیگر بسیار متفاوت. در این حالت، تفسیر مدل ساده برای همهٔ نقاط داده به یک اندازه خوب نخواهد بود.

مدل تفسیرپذیری که به‌عنوان نیابتی انتخاب می‌کنید همهٔ مزایا و معایب خودش را دارد.

برخی افراد استدلال می‌کنند که به‌طور کلی هیچ مدل ذاتاً تفسیرپذیری وجود ندارد (حتی مدل‌های خطی و درخت‌های تصمیم)، و حتی خطرناک است که توهم تفسیرپذیری داشته باشیم. اگر با این نظر هم‌عقیده‌اید، البته این روش برای شما نیست.

برای درک بهتر (توضیح مترجم): «نزدیک برای یک زیرمجموعه، دور برای زیرمجموعهٔ دیگر» را با مثال ببینید. فرض کنید کل $R^2 = 0.9$ است، اما اگر فقط خانه‌های لوکس را بررسی کنیم، درخت نیابتی پیش‌بینی جنگل را فقط با $R^2 = 0.3$ بازتولید می‌کند، چون در داده‌ها کم‌اند و درخت آن‌ها را در یک برگ با بقیه می‌آمیزد. تفسیر درخت («هر متر مربع ۲ واحد») برای خانه‌های لوکس غلط است، هرچند میانگین کل خوب به نظر می‌رسد. راه عملی: $R^2$ را در زیرگروه‌های مهم هم محاسبه کنید.

نرم‌افزار

من برای مثال‌ها از بستهٔ R با نام iml استفاده کردم. اگر می‌توانید یک مدل یادگیری ماشین آموزش دهید، باید بتوانید مدل‌های نیابتی را خودتان پیاده‌سازی کنید. فقط یک مدل تفسیرپذیر را آموزش دهید تا پیش‌بینی‌های مدل جعبه‌سیاه را پیش‌بینی کند.

برای درک بهتر (توضیح مترجم): در Python یک نمونهٔ کوتاه با scikit-learn این است: y_bb = black_box.predict(X) پیش‌بینی‌های جعبه‌سیاه را می‌گیرد، سپس tree = DecisionTreeRegressor(max_depth=3).fit(X, y_bb) درخت نیابتی را روی همان پیش‌بینی‌ها (نه روی $y$ واقعی) برازش می‌دهد، و r2_score(y_bb, tree.predict(X)) میزان وفاداری را می‌دهد. (این کد افزودهٔ مترجم است و در منبع نیست؛ نام‌ها فقط توضیحی‌اند.)

فصل ۲۶: پروتوتایپ‌ها و انتقادها

عنوان اصلی: Prototypes and Criticisms
منبع: https://christophm.github.io/interpretable-ml-book/proto.html
نویسنده: Christoph Molnar
مترجم: مریم محمودی


پروتوتایپ (prototype) یک نمونهٔ داده است که نماینده همهٔ داده‌هاست. انتقاد (criticism) یک نمونهٔ داده است که مجموعهٔ پروتوتایپ‌ها آن را به‌خوبی نمایندگی نمی‌کند. هدف انتقادها این است که همراه پروتوتایپ‌ها بینش بدهند، به‌ویژه برای نقاط داده‌ای که پروتوتایپ‌ها به‌خوبی نمایندگی‌شان نمی‌کنند. پروتوتایپ‌ها و انتقادها را می‌توان مستقل از یک مدل یادگیری ماشین برای توصیف داده‌ها به کار برد، اما می‌توان از آن‌ها برای ساختن یک مدل تفسیرپذیر یا تفسیرپذیر کردن یک مدل جعبه‌سیاه هم استفاده کرد.

توضیح مترجم: «پروتوتایپ» (نمونهٔ نماینده) و «انتقاد» (criticism؛ نمونهٔ ناهنجار یا دور از نمایندگان) در این فصل هر دو نمونه‌هایی واقعی از مجموعه‌دادهٔ شما هستند، نه نقاط ساختگی یا میانگین‌ها. «جعبه‌سیاه» مدلی است که سازوکار درونی‌اش را مستقیم نمی‌توان خواند. در متن فارسی از هر دو واژه به‌صورت «پروتوتایپ» و «انتقاد» استفاده می‌شود.

در این فصل، از عبارت «نقطهٔ داده» (data point) برای اشاره به یک نمونه استفاده می‌کنم، تا بر این تعبیر تأکید کنم که یک نمونه همچنین نقطه‌ای در یک دستگاه مختصات است که در آن هر ویژگی یک بُعد است. شکل ۲۶.۱ یک توزیع داده شبیه‌سازی‌شده را نشان می‌دهد که برخی از نمونه‌ها به‌عنوان پروتوتایپ و برخی به‌عنوان انتقاد انتخاب شده‌اند. نقطه‌های کوچک داده‌اند، نقطه‌های بزرگ انتقادها هستند و مربع‌های بزرگ پروتوتایپ‌ها. پروتوتایپ‌ها (به‌صورت دستی) در این مورد طوری انتخاب شده‌اند که مرکزهای توزیع داده را پوشش دهند، و انتقادها نقاطی در یک خوشه بدون پروتوتایپ هستند. پروتوتایپ‌ها و انتقادها همیشه نمونه‌های واقعی از داده‌ها هستند.

توضیح مترجم (متن داخل تصویر): محور افقی $X_1$ و محور عمودی $X_2$ است. راهنمای type (نوع) دو نماد را نشان می‌دهد: prototype (پروتوتایپ، لوزی آبی) و criticism (انتقاد، دایرهٔ آبی). سه پروتوتایپ مرکز سه خوشهٔ اصلی را نشان می‌دهند (حدود $(2.1, 2.1)$، $(3.0, 2.7)$ و $(4.1, 1.0)$) و دو انتقاد (حدود $(3.0, 5.3)$ و $(4.1, 2.5)$) در نواحی بدون پروتوتایپ نزدیک‌اند. توجه: در متن منبع نماد پروتوتایپ مربع خوانده شده، اما در تصویر لوزی است. نوشته‌های انگلیسی تصویر بدون تغییر ماندند.

من پروتوتایپ‌ها را دستی انتخاب کردم، که مقیاس‌پذیر نیست و احتمالاً به نتایج ضعیفی می‌انجامد. رویکردهای زیادی برای یافتن پروتوتایپ‌ها در داده‌ها وجود دارد. یکی از آن‌ها k-medoids است، یک الگوریتم خوشه‌بندی مرتبط با الگوریتم k-means. هر الگوریتم خوشه‌بندی که نقاط داده واقعی را به‌عنوان مرکز خوشه برگرداند برای انتخاب پروتوتایپ‌ها شرایط لازم را دارد. اما بیشتر این روش‌ها فقط پروتوتایپ پیدا می‌کنند، نه انتقاد. این فصل MMD-critic از Kim و همکاران (۲۰۱۶) را ارائه می‌دهد، رویکردی که پروتوتایپ‌ها و انتقادها را در یک چارچوب واحد ترکیب می‌کند.

MMD-critic توزیع داده‌ها و توزیع پروتوتایپ‌های انتخاب‌شده را مقایسه می‌کند. این مفهوم مرکزی برای فهمیدن روش MMD-critic است. MMD-critic پروتوتایپ‌هایی را انتخاب می‌کند که اختلاف میان این دو توزیع را کمینه کنند. نقاط داده در ناحیه‌هایی با چگالی بالا پروتوتایپ‌های خوبی هستند، به‌ویژه وقتی نقاط از «خوشه‌های داده» مختلف انتخاب شوند. نقاط داده از ناحیه‌هایی که پروتوتایپ‌ها به‌خوبی توضیحشان نمی‌دهند به‌عنوان انتقاد انتخاب می‌شوند.

برای درک بهتر (توضیح مترجم): یک مثال ساده: ۱۰۰۰ مشتری فروشگاه را در نظر بگیرید. «پروتوتایپ» می‌تواند مشتری معمولیِ هر گروه باشد (مثلاً دانشجوی خریدار لوازم‌التحریر، مادر خریدار مواد غذایی). «انتقاد» مشتری غیرمعمولی است که هیچ‌کدام از این نمایندگان او را توصیف نمی‌کنند (مثلاً فردی که فقط ابزار آزمایشگاهی می‌خرد). با دیدن هر دو، می‌دانید داده‌ها چه الگوی کلی دارند و چه استثناهایی پنهان است.

نظریه

رویهٔ MMD-critic را در سطحی بالا می‌توان کوتاه خلاصه کرد:

  1. تعداد پروتوتایپ‌ها و انتقادهایی را که می‌خواهید بیابید انتخاب کنید.
  2. پروتوتایپ‌ها را با جست‌وجوی حریصانه (greedy search) بیابید. پروتوتایپ‌ها طوری انتخاب می‌شوند که توزیع پروتوتایپ‌ها به توزیع داده نزدیک باشد.
  3. انتقادها را با جست‌وجوی حریصانه بیابید. نقاطی به‌عنوان انتقاد انتخاب می‌شوند که توزیع پروتوتایپ‌ها در آن‌ها با توزیع داده فرق دارد.

برای یافتن پروتوتایپ‌ها و انتقادهای یک مجموعه‌داده با MMD-critic به چند جزء نیاز داریم. به‌عنوان پایه‌ای‌ترین جزء، به یک تابع هسته (kernel function) برای تخمین چگالی داده‌ها نیاز داریم. هسته تابعی است که دو نقطهٔ داده را بر پایهٔ نزدیکی‌شان وزن می‌دهد. بر پایهٔ تخمین‌های چگالی، به معیاری نیاز داریم که به ما بگوید دو توزیع چقدر با هم فرق دارند، تا بتوانیم تعیین کنیم آیا توزیع پروتوتایپ‌هایی که انتخاب می‌کنیم به توزیع داده نزدیک است. این با اندازه‌گیری بیشینهٔ اختلاف میانگین (maximum mean discrepancy؛ MMD) حل می‌شود. همچنین، بر پایهٔ تابع هسته، به تابع شاهد (witness function) نیاز داریم که به ما بگوید دو توزیع در یک نقطهٔ داده معین چقدر با هم فرق دارند. با تابع شاهد می‌توانیم انتقادها را انتخاب کنیم، یعنی نقاط داده‌ای که توزیع پروتوتایپ‌ها و داده در آن‌ها از هم دور می‌شود و تابع شاهد مقادیر قدر مطلق بزرگی می‌گیرد. آخرین جزء یک راهبرد جست‌وجو برای پروتوتایپ‌ها و انتقادهای خوب است، که با یک جست‌وجوی حریصانه ساده حل می‌شود.

توضیح مترجم: «جست‌وجوی حریصانه» یعنی در هر گام بهترین انتخاب فعلی را برمی‌داریم و به گام‌های بعد فکر نمی‌کنیم؛ راه‌حل نهایی لزوماً بهینهٔ سراسری نیست. «هسته» (kernel) در این فصل به معنای تابع شباهت است، نه هستهٔ سیستم‌عامل یا هستهٔ شبکهٔ کانولوشنی. «تابع شاهد» در منبع به‌عنوان نام یک تابع می‌آید و ترجمهٔ تحت‌اللفظی witness function است.

بیایید با بیشینهٔ اختلاف میانگین (MMD) شروع کنیم، که اختلاف میان دو توزیع را اندازه می‌گیرد. انتخاب پروتوتایپ‌ها یک توزیع چگالی از پروتوتایپ‌ها می‌سازد. می‌خواهیم ارزیابی کنیم آیا توزیع پروتوتایپ‌ها با توزیع داده فرق دارد. هر دو را با توابع چگالی هسته‌ای تخمین می‌زنیم. بیشینهٔ اختلاف میانگین تفاوت میان دو توزیع را اندازه می‌گیرد، که برابر سوپریمم (supremum) روی یک فضای تابعی از اختلاف‌های امید ریاضی بر پایهٔ دو توزیع است. همه‌چیز روشن است؟ شخصاً این مفاهیم را وقتی می‌فهمم که ببینم چیزی با داده چگونه محاسبه می‌شود. فرمول زیر نشان می‌دهد معیار MMD مجذور (MMD2) چگونه محاسبه می‌شود:

$$\text{MMD}^2 = \frac{1}{m^2} \sum_{i,j=1}^m k(\mathbf{z}_i, \mathbf{z}_j) - \frac{2}{mn} \sum_{i=1}^m \sum_{j=1}^n k(\mathbf{z}_i, \mathbf{x}_j) + \frac{1}{n^2} \sum_{i,j=1}^n k(\mathbf{x}_i, \mathbf{x}_j)$$

$k$ یک تابع هسته است که شباهت دو نقطه را اندازه می‌گیرد، اما دربارهٔ آن بعداً بیشتر می‌گویم. $m$ تعداد پروتوتایپ‌های $\mathbf{z}$ است و $n$ تعداد نقاط داده $\mathbf{x}$ در مجموعه‌دادهٔ اصلی ما. پروتوتایپ‌های $\mathbf{z}$ زیرمجموعه‌ای از نقاط داده $\mathbf{x}$ هستند. هر نقطه چندبعدی است، یعنی می‌تواند چند ویژگی داشته باشد. هدف MMD-critic کمینه‌کردن $\text{MMD}^2$ است. هرچه $\text{MMD}^2$ به صفر نزدیک‌تر باشد، توزیع پروتوتایپ‌ها بهتر با داده می‌خواند. کلید پایین‌آوردن $\text{MMD}^2$ تا صفر جملهٔ میانی است، که میانگین نزدیکی میان پروتوتایپ‌ها و همهٔ نقاط داده دیگر را (ضرب‌شده در ۲) محاسبه می‌کند. اگر این جمله با جملهٔ اول (میانگین نزدیکی پروتوتایپ‌ها به یکدیگر) به‌اضافهٔ جملهٔ آخر (میانگین نزدیکی نقاط داده به یکدیگر) برابر شود، پروتوتایپ‌ها داده را کاملاً توضیح می‌دهند. امتحان کنید اگر هر $n$ نقطهٔ داده را پروتوتایپ بگیرید چه بر سر فرمول می‌آید.

توضیح مترجم: پاسخ به تمرین نویسنده: اگر $m = n$ و $\mathbf{z}_i = \mathbf{x}_i$ باشد، هر سه جمله برابر $\frac{1}{n^2}\sum_{i,j} k(\mathbf{x}_i, \mathbf{x}_j)$ می‌شوند و $\text{MMD}^2 = A - 2A + A = 0$؛ پس انتخاب همهٔ نقاط به‌عنوان پروتوتایپ تقریب را کامل می‌کند، اما هدف معنا ندارد چون دیگر خلاصه‌سازی نکرده‌ایم. در منبع واژهٔ «supremum» (کوچک‌ترین کران بالا) توضیح داده نشده؛ در اینجا یعنی بیشینه‌ای که روی همهٔ توابع یک فضای تابعی گرفته می‌شود.

برای درک بهتر (توضیح مترجم): فرض کنید فقط ۳ نقطهٔ داده در یک بُعد داریم، $x = (0, 1, 5)$، و یک پروتوتایپ $z = 1$ ($m = 1$). هستهٔ ساده: $k = 1$ اگر دو نقطه برابر باشند و در غیر این صورت ۰ (فقط برای مثال). جملهٔ اول: $k(z, z) = 1$. جملهٔ میانی: $\frac{2}{1\cdot3}\sum_j k(z, x_j) = \frac{2}{3}\cdot 1 = 0.667$ (فقط $x_2 = 1$ برابر $z$ است). جملهٔ آخر: $\frac{1}{9}\sum_{i,j} k(x_i, x_j) = \frac{3}{9} = 0.333$ (فقط سه جفت $i=j$ برابرند). پس $\text{MMD}^2 = 1 - 0.667 + 0.333 = 0.667$. اگر هر سه نقطه پروتوتایپ بودند: $\frac{3}{9} - \frac{2\cdot3}{9} + \frac{3}{9} = 0$. (هستهٔ ۰/۱ ساده‌شده است و به‌جای هستهٔ پیوستهٔ فصل به کار رفته؛ اعداد فقط برای نشان‌دادن ساز و کار فرمول‌اند.)

شکل ۲۶.۲ معیار $\text{MMD}^2$ را نشان می‌دهد. نمودار اول نقاط داده با دو ویژگی را نشان می‌دهد، که در آن تخمین چگالی داده‌ها با پس‌زمینهٔ سایه‌دار نمایش داده شده است. هر یک از نمودارهای دیگر انتخاب‌های متفاوتی از پروتوتایپ‌ها را همراه با معیار $\text{MMD}^2$ در عنوان نمودار نشان می‌دهد. پروتوتایپ‌ها نقطه‌های بزرگ‌اند و توزیعشان با خطوط تراز نشان داده شده است. انتخاب پروتوتایپ‌هایی که در این سناریوها داده را بهترین پوشش می‌دهد (پایین-چپ) کمترین مقدار اختلاف را دارد.

توضیح مترجم (متن داخل تصویر): چهار نمودار در شبکهٔ ۲×۲ با محور افقی $X_1$ و محور عمودی $X_2$. بالا-چپ: فقط نقاط داده (سیاه) روی پس‌زمینهٔ تخمین چگالی بنفش (بنفش پررنگ‌تر یعنی چگالی بیشتر)؛ این نمودار عنوان ندارد. بالا-راست: سه پروتوتایپ قرمز (دو در خوشهٔ چپ و یکی در خوشهٔ میانی) با عنوان 0.316 MMD2. پایین-چپ: سه پروتوتایپ قرمز، یکی در هر ناحیهٔ اصلی (چپ، بالا-راست بزرگ‌تر، راست)، با کمترین مقدار 0.068 MMD2. پایین-راست: دو پروتوتایپ در خوشه‌های بالا-راست با عنوان 0.298 MMD2. خطوط تراز قرمز توزیع پروتوتایپ‌ها را نشان می‌دهد. توجه: پایین-چپ همان انتخابی است که متن «بهترین پوشش» می‌خواند. نوشته‌های انگلیسی تصویر بدون تغییر ماندند.

یک انتخاب برای هسته، هستهٔ تابع پایهٔ شعاعی (radial basis function kernel) است:

$$k(\mathbf{x}, \mathbf{x}^\prime)=\exp\left(-\gamma||\mathbf{x}-\mathbf{x}^\prime||^2\right)$$

که در آن $||\mathbf{x}-\mathbf{x}^\prime||^2$ فاصلهٔ اقلیدسی (Euclidean) میان دو نقطه است و $\gamma$ یک پارامتر مقیاس. مقدار هسته با فاصلهٔ میان دو نقطه کاهش می‌یابد و میان صفر و یک است: صفر وقتی دو نقطه بی‌نهایت از هم دورند؛ یک وقتی دو نقطه برابرند.

برای درک بهتر (توضیح مترجم): با $\gamma = 1$ و دو نقطهٔ یک‌بعدی: اگر $x = 0$ و $x^\prime = 1$ باشد، $k = \exp(-1) \approx 0.37$؛ اگر $x^\prime = 2$ باشد، $k = \exp(-4) \approx 0.02$؛ اگر $x^\prime = 0$ باشد، $k = 1$. با بزرگ‌تر کردن $\gamma$ (مثلاً ۴) هسته سریع‌تر افت می‌کند و فقط نقاط بسیار نزدیک «مشابه» حساب می‌شوند. توجه: در منبع عبارت «فاصلهٔ اقلیدسی» برای $||\mathbf{x}-\mathbf{x}^\prime||^2$ آمده است، در حالی که این مجذور فاصله است؛ عبارت منبع عیناً حفظ شد.

معیار MMD2، هسته و جست‌وجوی حریصانه را در الگوریتمی برای یافتن پروتوتایپ‌ها ترکیب می‌کنیم:

  • با یک فهرست خالی از پروتوتایپ‌ها شروع کنید.
  • تا وقتی تعداد پروتوتایپ‌ها کمتر از تعداد انتخاب‌شدهٔ $m$ است:
    • برای هر نقطه در مجموعه‌داده بررسی کنید وقتی نقطه به فهرست پروتوتایپ‌ها اضافه شود MMD2 چقدر کاهش می‌یابد. نقطه‌ای را که MMD2 را کمینه می‌کند به فهرست اضافه کنید.
  • فهرست پروتوتایپ‌ها را برگردانید.

جزء باقی‌مانده برای یافتن انتقادها تابع شاهد است، که به ما می‌گوید دو تخمین چگالی در یک نقطهٔ معین چقدر با هم فرق دارند. می‌توان آن را با این فرمول تخمین زد:

$$\mathrm{witness}(\mathbf{x})=\frac{1}{n}\sum_{i=1}^{n}k(\mathbf{x}, \mathbf{x}^{(i)})-\frac{1}{m}\sum_{j=1}^{m}k(\mathbf{x}, \mathbf{z}^{(j)})$$

برای دو مجموعه‌داده (با ویژگی‌های یکسان)، تابع شاهد وسیله‌ای برای ارزیابی اینکه نقطهٔ $\mathbf{x}$ در کدام توزیع تجربی بهتر می‌نشیند به شما می‌دهد. برای یافتن انتقادها، به دنبال مقادیر حدی تابع شاهد در هر دو جهت منفی و مثبت می‌گردیم. جملهٔ اول در تابع شاهد میانگین نزدیکی نقطهٔ $\mathbf{x}$ به داده‌هاست، و به‌ترتیب جملهٔ دوم میانگین نزدیکی نقطهٔ $\mathbf{x}$ به پروتوتایپ‌هاست. اگر تابع شاهد برای یک نقطهٔ $\mathbf{x}$ نزدیک صفر باشد، تابع چگالی داده و پروتوتایپ‌ها به هم نزدیک‌اند، یعنی توزیع پروتوتایپ‌ها در نقطهٔ $\mathbf{x}$ شبیه توزیع داده‌هاست. تابع شاهد منفی در نقطهٔ $\mathbf{x}$ یعنی توزیع پروتوتایپ‌ها توزیع داده را بیش‌برآورد می‌کند (مثلاً اگر یک پروتوتایپ انتخاب کنیم اما فقط چند نقطهٔ داده در نزدیکی باشد)؛ تابع شاهد مثبت در نقطهٔ $\mathbf{x}$ یعنی توزیع پروتوتایپ‌ها توزیع داده را کم‌برآورد می‌کند (مثلاً اگر نقاط داده فراوانی دور $\mathbf{x}$ باشند اما در نزدیکی هیچ پروتوتایپی انتخاب نکرده باشیم).

برای درک بهتر (توضیح مترجم): با همان هستهٔ ۰/۱ ساده و داده‌های $x = (0, 1, 5)$ و پروتوتایپ $z = 1$: تابع شاهد در نقطهٔ $5$ برابر $\frac{1}{3}\cdot 1 - \frac{1}{1}\cdot 0 = 0.333 > 0$ است، یعنی در $5$ داده هست ولی هیچ پروتوتایپی نزدیک نیست (کم‌برآورد)؛ این نقطه کاندید انتقاد است. در نقطهٔ $1$: $\frac{1}{3}\cdot 1 - 1\cdot 1 = -0.667 < 0$، یعنی پروتوتایپ بیش از داده‌های نزدیک آن «وزن» دارد (بیش‌برآورد). در نقطهٔ $0$: $\frac{1}{3} - 0 = 0.333$ (آن نقطه هم نماینده ندارد).

برای اینکه شهود بیشتری بدهم، پروتوتایپ‌های نمودار قبلی با کمترین MMD2 را دوباره به کار می‌بریم و تابع شاهد را برای چند نقطهٔ دستی‌انتخاب‌شده نمایش می‌دهیم. برچسب‌ها در شکل ۲۶.۳ مقدار تابع شاهد را برای نقاط مختلفی نشان می‌دهند که با مثلث علامت خورده‌اند. فقط نقطهٔ میانی مقدار قدر مطلق بالایی دارد و بنابراین کاندید خوبی برای انتقاد است.

توضیح مترجم (متن داخل تصویر): عنوان نمودار 0.068 MMD2 است (همان انتخاب بهترین شکل ۲۶.۲). محور افقی $X_1$ و محور عمودی $X_2$ است. نقاط سیاه داده، نقاط کوچک قرمز پروتوتایپ‌ها، خطوط تراز قرمز توزیع پروتوتایپ‌ها و پس‌زمینهٔ بنفش چگالی داده است. پنج مثلث سیاه برچسبی با مقدار تابع شاهد دارند: حدود $(0.75, 0.1)$ با ۰٫۰۲۷-، حدود $(0.95, 0.9)$ با ۰٫۰۳۸-، نقطهٔ میانی حدود $(2.45, 1.7)$ با ۰٫۱۵۸+، حدود $(3.0, 2.65)$ با ۰٫۰۰۶- و حدود $(4.2, 2.0)$ با ۰٫۰۸۸-. فقط مقدار ۰٫۱۵۸+ (نقطهٔ میانی، خوشهٔ متراکم بدون پروتوتایپ) بزرگ است و آن همان کاندید انتقاد است. نوشته‌های انگلیسی تصویر بدون تغییر ماندند.

تابع شاهد به ما اجازه می‌دهد صریحاً به دنبال نمونه‌های داده‌ای بگردیم که پروتوتایپ‌ها به‌خوبی نمایندگی‌شان نمی‌کنند. انتقادها نقاطی با قدر مطلق بالا در تابع شاهدند. مانند پروتوتایپ‌ها، انتقادها نیز با جست‌وجوی حریصانه یافته می‌شوند. اما به‌جای کاهش MMD2 کلی، به دنبال نقاطی هستیم که یک تابع هزینه را بیشینه کنند که شامل تابع شاهد و یک جملهٔ تنظیم‌گر (regularizer) است. جملهٔ اضافی در تابع بهینه‌سازی تنوع نقاط را الزام می‌کند، که لازم است تا نقاط از خوشه‌های مختلف بیایند.

این گام دوم مستقل از اینکه پروتوتایپ‌ها چگونه یافته شده‌اند است. می‌توانستم هم چند پروتوتایپ را دستی انتخاب کنم و از رویهٔ شرح‌داده‌شده در اینجا برای یادگیری انتقادها استفاده کنم. یا پروتوتایپ‌ها می‌توانستند از هر رویهٔ خوشه‌بندی، مانند k-medoids، بیایند.

MMD-critic می‌تواند به سه روش تفسیرپذیری را افزایش دهد: با کمک به درک بهتر توزیع داده؛ با ساخت یک مدل تفسیرپذیر؛ و با تفسیرپذیر کردن یک مدل جعبه‌سیاه.

اگر MMD-critic را روی داده‌های خود اعمال کنید تا پروتوتایپ‌ها و انتقادها را بیابید، درک شما از داده بهبود می‌یابد، به‌ویژه اگر توزیع داده‌ای پیچیده با موارد استثنایی داشته باشید. اما با MMD-critic می‌توان بیشتر از این هم به دست آورد!

برای مثال، می‌توانید یک مدل پیش‌بینی تفسیرپذیر بسازید: به اصطلاح «مدل نزدیک‌ترین پروتوتایپ» (nearest prototype model). تابع پیش‌بینی به‌صورت زیر تعریف می‌شود:

$$\hat{f}(\mathbf{x})=\arg\max_{i\in S}k(\mathbf{x},\mathbf{x}_i)$$

یعنی از مجموعه‌ی پروتوتایپ‌های $S$، پروتوتایپی $i$ را انتخاب می‌کنیم که به نقطه‌ی داده‌ی جدید نزدیک‌ترین باشد، به این معنا که بیشترین مقدار تابع هسته را به دست دهد. خود پروتوتایپ به‌عنوان توضیحی برای پیش‌بینی بازگردانده می‌شود. این رویه سه پارامتر تنظیمی دارد: نوع هسته، پارامتر مقیاس‌بندی هسته و تعداد پروتوتایپ‌ها. همه‌ی پارامترها می‌توانند درون یک حلقه‌ی اعتبارسنجی متقاطع بهینه شوند. در این رویکرد از انتقادها استفاده نمی‌شود.

برای درک بهتر (توضیح مترجم): فرض کنید سه پروتوتایپ داریم: یک «۳»، یک «۷» و یک «۸» دست‌نویس. برای رقم جدیدی که به آن می‌رسد، مقدار هسته را با هر سه پروتوتایپ حساب می‌کنیم. اگر بیشترین مقدار مربوط به پروتوتایپ «۷» باشد، پیش‌بینی «۷» است و خود تصویر آن پروتوتایپ نیز به‌عنوان توضیح نشان داده می‌شود: «چون این رقم بیشترین شباهت را به این «۷» دارد.»

به‌عنوان گزینه‌ی سوم، می‌توانیم از MMD-critic برای توضیح‌پذیر کردن سراسری هر مدل یادگیری ماشین استفاده کنیم، با بررسی پروتوتایپ‌ها و انتقادها در کنار پیش‌بینی‌های مدل. رویه به‌صورت زیر است:

۱. پروتوتایپ‌ها و انتقادها را با MMD-critic بیابید. ۲. مدل یادگیری ماشین را به روش معمول آموزش دهید. ۳. نتایج را برای پروتوتایپ‌ها و انتقادها با مدل یادگیری ماشین پیش‌بینی کنید. ۴. پیش‌بینی‌ها را تحلیل کنید: در چه مواردی الگوریتم اشتباه کرده است؟ اکنون مجموعه‌ای از نمونه‌ها دارید که داده را به‌خوبی نمایندگی می‌کنند و به شما کمک می‌کنند نقاط ضعف مدل یادگیری ماشین را پیدا کنید.

این چه کمکی می‌کند؟ به یاد دارید وقتی دسته‌بند تصویر Google سیاه‌پوستان را به‌عنوان گوریل شناسایی کرد؟ شاید باید از رویه‌ی توصیف‌شده در اینجا پیش از استقرار مدل تشخیص تصویر استفاده می‌کردند. صرف بررسی عملکرد مدل کافی نیست، چون اگر دقت آن ۹۹٪ بود، این مشکل همچنان می‌توانست در آن ۱٪ پنهان باشد. برچسب‌ها هم می‌توانند اشتباه باشند! بررسی همه‌ی داده‌های آموزشی و انجام یک بررسی سلامت برای شناسایی پیش‌بینی‌های مشکل‌دار امکان‌پذیر نیست. اما انتخاب — مثلاً چند هزار — پروتوتایپ و انتقاد امکان‌پذیر است و می‌توانست مشکلی در داده‌ها آشکار کند: ممکن بود نشان دهد که تصاویر افراد با پوست تیره کمیاب هستند، که نشان‌دهنده‌ی مشکلی در تنوع مجموعه داده است. یا ممکن بود یک یا چند تصویر از فردی با پوست تیره به‌عنوان پروتوتایپ یا (احتمالاً) به‌عنوان انتقاد با دسته‌بندی بدنام «گوریل» نمایش داده شود. ادعا نمی‌کنم که MMD-critic قطعاً این نوع اشتباهات را شناسایی می‌کند، اما یک بررسی سلامت مناسب است.

توضیح مترجم: مثال گوریل به یک خطای واقعی و شناخته‌شده در یک سامانهٔ تجاری اشاره دارد و به همین شکل در منبع آمده است. نکتهٔ روش‌شناختی آن این است که میانگین دقت می‌تواند خطاهای نادر اما بسیار مهم را پنهان کند؛ بررسی دستی چند هزار پروتوتایپ و انتقاد شدنی است، در حالی که بررسی همهٔ داده‌های آموزشی نیست.

مثال‌ها

مثال زیر از MMD-critic از یک مجموعه داده‌ی ارقام دست‌نویس استفاده می‌کند. با نگاه کردن به پروتوتایپ‌های واقعی در شکل ۲۶.۴، ممکن است متوجه شوید که تعداد تصاویر به‌ازای هر رقم متفاوت است. این به آن دلیل است که تعداد ثابتی از پروتوتایپ‌ها در کل مجموعه داده جستجو شده‌اند، نه با تعداد ثابت به‌ازای هر کلاس. همان‌طور که انتظار می‌رود، پروتوتایپ‌ها روش‌های مختلف نوشتن ارقام را نشان می‌دهند.

توضیح مترجم (متن داخل تصویر): تصویر شامل ۵۰ نمونهٔ ارقام دست‌نویس است که در ۵ ردیف و ۱۰ ستون چیده شده‌اند و متن انگلیسی ندارد. هر تصویر یک پروتوتایپ است؛ تعداد نمونه‌ها برای ارقام مختلف برابر نیست، چون تعداد کل پروتوتایپ‌ها ثابت بوده و نه تعدادشان در هر کلاس.

نقاط قوت

در یک مطالعه‌ی کاربری، نویسندگان MMD-critic تصاویری را در اختیار شرکت‌کنندگان قرار دادند که می‌بایست آن‌ها را به‌صورت بصری با یکی از دو مجموعه‌ی تصویر تطبیق می‌دادند، که هر مجموعه نمایانگر یکی از دو کلاس بود (مثلاً دو نژاد سگ). شرکت‌کنندگان بهترین عملکرد را داشتند وقتی مجموعه‌ها پروتوتایپ‌ها و انتقادها را نشان می‌دادند به‌جای تصاویر تصادفی از یک کلاس.

شما آزادید تعداد پروتوتایپ‌ها و انتقادها را انتخاب کنید.

MMD-critic با تخمین‌های چگالی داده کار می‌کند. این با هر نوع داده و هر نوع مدل یادگیری ماشین قابل استفاده است.

الگوریتم پیاده‌سازی آسانی دارد.

MMD-critic در شیوه‌ی استفاده برای افزایش تفسیرپذیری انعطاف‌پذیر است. می‌توان از آن برای درک توزیع‌های داده‌ی پیچیده استفاده کرد. می‌توان از آن برای ساخت یک مدل یادگیری ماشین تفسیرپذیر بهره برد. یا می‌تواند نور را بر تصمیم‌گیری یک مدل یادگیری ماشین جعبه‌سیاه بتاباند.

یافتن انتقادها مستقل از فرایند انتخاب پروتوتایپ‌هاست. اما انتخاب پروتوتایپ‌ها بر اساس MMD-critic منطقی است، چون در آن صورت هم پروتوتایپ‌ها و هم انتقادها با همان روش مقایسه‌ی چگالی پروتوتایپ‌ها و داده ساخته می‌شوند.

محدودیت‌ها

اگرچه از نظر ریاضی پروتوتایپ‌ها و انتقادها به‌گونه‌ی متفاوتی تعریف می‌شوند، تمایز آن‌ها بر اساس یک مقدار آستانه (تعداد پروتوتایپ‌ها) استوار است. فرض کنید تعداد پروتوتایپ‌های انتخابی خیلی کم است و توزیع داده را به‌خوبی پوشش نمی‌دهد. انتقادها در مناطقی قرار می‌گیرند که توضیح چندانی برایشان وجود ندارد. اما اگر پروتوتایپ‌های بیشتری اضافه شود، آن‌ها هم در همان مناطق قرار می‌گیرند. هر تفسیری باید این را در نظر بگیرد که انتقادها به‌شدت به پروتوتایپ‌های موجود و مقدار آستانه‌ی (دلخواه) تعداد پروتوتایپ‌ها وابسته هستند.

برای درک بهتر (توضیح مترجم): فرض کنید داده سه خوشه دارد ولی فقط دو پروتوتایپ انتخاب کرده‌اید؛ نمونه‌های خوشهٔ سوم انتقاد می‌شوند. اگر پروتوتایپ سوم را اضافه کنید، همان ناحیه پروتوتایپ دارد و انتقادها به ناحیهٔ دیگری می‌روند. پس «انتقاد بودن» ویژگی ذاتی یک نمونه نیست و به تعداد پروتوتایپ‌ها بستگی دارد.

باید تعداد پروتوتایپ‌ها و انتقادها را انتخاب کنید. هرچند این می‌تواند مزیتی باشد، اما یک عیب هم هست. چند پروتوتایپ و انتقاد واقعاً نیاز داریم؟ هرچه بیشتر بهتر؟ هرچه کمتر بهتر؟ یک راه‌حل، انتخاب تعداد پروتوتایپ‌ها و انتقادها بر اساس زمانی است که انسان‌ها برای بررسی تصاویر دارند، که به کاربرد خاص بستگی دارد. تنها زمانی که از MMD-critic برای ساخت یک دسته‌بند استفاده می‌کنیم، روشی برای بهینه‌سازی مستقیم آن داریم. یک راه‌حل می‌تواند یک نمودار شیب (scree plot) باشد که تعداد پروتوتایپ‌ها را روی محور x و معیار $\text{MMD}^2$ را روی محور y نشان می‌دهد. تعداد پروتوتایپ‌هایی را انتخاب می‌کنیم که در آنجا منحنی $\text{MMD}^2$ صاف می‌شود.

پارامترهای دیگر انتخاب هسته و پارامتر مقیاس‌بندی هسته هستند. همان مشکل تعداد پروتوتایپ‌ها و انتقادها را داریم: چگونه یک هسته و پارامتر مقیاس‌بندی آن را انتخاب کنیم؟ دوباره، وقتی از MMD-critic به‌عنوان دسته‌بند نزدیک‌ترین پروتوتایپ استفاده می‌کنیم، می‌توانیم پارامترهای هسته را تنظیم کنیم. اما برای موارد استفاده‌ی بدون نظارت MMD-critic، موضوع نامشخص است. (شاید در این مورد کمی سخت‌گیرانه قضاوت می‌کنم، چون همه‌ی روش‌های بدون نظارت این مشکل را دارند.)

این روش همه‌ی ویژگی‌ها را به‌عنوان ورودی می‌گیرد، بدون توجه به اینکه برخی ویژگی‌ها ممکن است برای پیش‌بینی نتیجه‌ی موردنظر مرتبط نباشند. یک راه‌حل استفاده از ویژگی‌های مرتبط است، برای مثال embedding‌های تصویر به‌جای پیکسل‌های خام. این در صورتی کارآمد است که روشی برای تصویر کردن نمونه‌ی اصلی روی یک بازنمایی حاوی تنها اطلاعات مرتبط داشته باشیم.

کدهایی در دسترس هستند، اما هنوز به‌صورت نرم‌افزار بسته‌بندی‌شده و مستندشده‌ی مناسبی پیاده‌سازی نشده‌اند.

نرم‌افزار و جایگزین‌ها

پیاده‌سازی MMD-critic را می‌توان در مخزن GitHub نویسندگان یافت. پیاده‌سازی Python دیگری به نام mmd-critic نیز وجود دارد که از طریق pip قابل نصب است.

اخیراً یک توسعه‌ی MMD-critic با نام Protodash معرفی شده است. نویسندگان در مقاله‌ی خود مزایایی نسبت به MMD-critic ادعا می‌کنند. پیاده‌سازی Protodash در ابزار IBM AIX360 موجود است.

ساده‌ترین جایگزین برای یافتن پروتوتایپ‌ها k-medoids اثر Rdusseeun و Kaufman (۱۹۸۷) است.


Kim, Been, Rajiv Khanna, and Oluwasanmi Koyejo. 2016. “Examples Are Not Enough, Learn to Criticize! Criticism for Interpretability.” In Proceedings of the 30th International Conference on Neural Information Processing Systems, 2288–96. NIPS’16. Red Hook, NY, USA: Curran Associates Inc.

Rdusseeun, LKPJ, and P Kaufman. 1987. “Clustering by Means of Medoids.” In Proceedings of the Statistical Data Analysis Based on the L1 Norm Conference, Neuchatel, Switzerland. Vol. 31.

فصل ۲۷: ویژگی‌های آموخته‌شده

عنوان اصلی: Learned Features
منبع: https://christophm.github.io/interpretable-ml-book/cnn-features.html
نویسنده: Christoph Molnar
مترجم: مریم محمودی


شبکه‌های عصبی کانولوشنی (Convolutional Neural Networks یا CNN) ویژگی‌ها و مفاهیم انتزاعی را از پیکسل‌های خام تصویر می‌آموزند. تجسم ویژگی (Feature Visualization) ویژگی‌های آموخته‌شده را با بیشینه‌سازی فعال‌سازی (activation maximization) نمایان می‌کند. تشریح شبکه (Network Dissection) واحدهای شبکهٔ عصبی (برای مثال کانال‌ها) را با مفاهیم انسانی برچسب‌گذاری می‌کند.

توضیح مترجم: در این فصل «واحد» (unit) به هر جزء قابل‌بررسی شبکه می‌گویند: یک نورون، یک کانال (نقشهٔ ویژگی)، یک لایه یا نورون خروجی کلاس. «فعال‌سازی» (activation) عددی است که یک نورون یا کانال برای ورودی مشخص تولید می‌کند و هرچه بزرگ‌تر باشد، یعنی واحد آن الگو را قوی‌تر «دیده» است. «کانال» همان نقشهٔ ویژگی‌ای است که از اعمال یک فیلتر کانولوشنی روی لایهٔ قبل ساخته می‌شود. «تصویر» در این فصل هم ورودی شبکه است و هم گاهی خروجی روش (تصویر ساخته‌شده برای بیشینه‌کردن فعال‌سازی).

شبکه‌های عصبی عمیق ویژگی‌های سطح‌بالا را در لایه‌های پنهان می‌آموزند. این یکی از بزرگ‌ترین نقاط قوت آن‌هاست و نیاز به مهندسی ویژگی را کاهش می‌دهد. فرض کنید می‌خواهید با ماشین بردار پشتیبان (SVM) یک دسته‌بند تصویر بسازید. ماتریس‌های پیکسل خام بهترین ورودی برای آموزش SVM نیستند، پس ویژگی‌های جدیدی بر پایهٔ رنگ، حوزهٔ فرکانس، آشکارسازهای لبه و مانند آن می‌سازید. در شبکه‌های عصبی کانولوشنی، تصویر به شکل خام (پیکسل‌ها) وارد شبکه می‌شود. شبکه تصویر را چندین بار دگرگون می‌کند. ابتدا تصویر از لایه‌های کانولوشنی بسیاری می‌گذرد. در این لایه‌های کانولوشنی، شبکه ویژگی‌های جدید و پیچیده‌تر و پیچیده‌تری می‌آموزد، شکل ۲۷.۱ را ببینید. سپس اطلاعات تصویر دگرگون‌شده از لایه‌های کاملاً متصل می‌گذرد و به یک دسته‌بندی یا پیش‌بینی تبدیل می‌شود.

  • لایه(های) کانولوشنی اول ویژگی‌هایی مانند لبه‌ها و بافت‌های ساده می‌آموزند.
  • لایه‌های کانولوشنی بعدی ویژگی‌هایی مانند بافت‌ها و الگوهای پیچیده‌تر می‌آموزند.
  • آخرین لایه‌های کانولوشنی ویژگی‌هایی مانند اشیا یا بخش‌هایی از اشیا می‌آموزند.
  • لایه‌های کاملاً متصل یاد می‌گیرند که فعال‌سازی‌های ویژگی‌های سطح‌بالا را به کلاس‌های مجزایی که باید پیش‌بینی شوند وصل کنند.

عالی. اما چگونه واقعاً به آن تصاویر عجیب و رؤیاگونه می‌رسیم؟

توضیح مترجم (متن داخل تصویر): از چپ به راست، برچسب‌های بالای پنج تصویر چنین‌اند: Edges (لبه‌ها)، Textures (بافت‌ها)، Patterns (الگوها)، Parts (بخش‌ها) و Objects (اشیا). تصاویر به ترتیب خطوط مایل، بافت دایره‌ای تکرارشونده، الگوی گل‌مانند، گل‌های کامل‌تر و در نهایت شکل‌های سگ‌مانند را نشان می‌دهند. نوشته‌های انگلیسی تصویر بدون تغییر ماندند.

تجسم ویژگی

رویکردی که ویژگی‌های آموخته‌شده را آشکار می‌کند تجسم ویژگی (Feature Visualization) نام دارد. تجسم ویژگی برای یک واحد از شبکهٔ عصبی با یافتن ورودی‌ای انجام می‌شود که فعال‌سازی آن واحد را بیشینه کند. «واحد» به نورون‌های منفرد، کانال‌ها (که نقشه‌های ویژگی هم نامیده می‌شوند)، لایه‌های کامل، یا احتمال کلاس نهایی در دسته‌بندی (یا نورون متناظر پیش از softmax که توصیه می‌شود) اشاره دارد. شکل ۲۷.۲ امکان‌های مختلف را نشان می‌دهد. نورون‌های منفرد اجزای اتمی شبکه‌اند، پس با ساخت تجسم ویژگی برای هر نورون بیشترین اطلاعات را به دست می‌آوریم. اما مشکلی هست: شبکه‌های عصبی اغلب میلیون‌ها نورون دارند. نگاه کردن به تجسم ویژگی هر نورون بیش از حد زمان می‌برد. کانال‌ها (که گاهی نقشه‌های فعال‌سازی هم نامیده می‌شوند) به‌عنوان واحد انتخاب خوبی برای تجسم ویژگی‌اند. می‌توانیم یک گام جلوتر برویم و یک لایهٔ کانولوشنی کامل را تجسم کنیم. لایه‌ها به‌عنوان واحد در DeepDream گوگل به کار می‌روند که ویژگی‌های تجسم‌شدهٔ یک لایه را بارها به تصویر اصلی اضافه می‌کند و نسخه‌ای رؤیاگونه از ورودی می‌سازد.

توضیح مترجم (متن داخل تصویر): حروف انگلیسی روی تصویر A تا F متناظر با حروف الف تا و در شرح شکل‌اند. در ردیف بالا سه پشتهٔ صفحه‌ای نمایندهٔ کانال‌های یک لایهٔ کانولوشنی هستند: در A فقط یک مربع کوچک آبی (یک نورون در یک کانال)، در B یک کانال کامل و در C هر سه کانال لایه پررنگ شده‌اند. در ردیف پایین، شبکهٔ کاملاً متصل نشان داده شده است: در D یک نورون، در E همهٔ نورون‌های یک لایهٔ پنهان و در F نورون خروجی یک کلاس پس از جعبهٔ SOFTMAX رنگی شده است.

تجسم ویژگی از راه بهینه‌سازی

از نظر ریاضی، تجسم ویژگی یک مسئلهٔ بهینه‌سازی است. فرض می‌کنیم وزن‌های شبکهٔ عصبی ثابت‌اند، یعنی شبکه آموزش دیده است. به دنبال تصویر جدیدی هستیم که فعال‌سازی (میانگین) یک واحد، در اینجا یک نورون منفرد، را بیشینه کند:

$$\mathbf{x}^*=\arg\max_{\mathbf{x}}h_{n,u,v,z}(\mathbf{x})$$

تابع $h$ فعال‌سازی یک نورون خاص است، $\mathbf{x}$ ورودی شبکه (یک تصویر)، $u$ و $v$ موقعیت مکانی نورون را توصیف می‌کنند، $n$ لایه را مشخص می‌کند و $z$ شاخص کانال است. برای میانگین فعال‌سازی یک کانال کامل $z$ در لایهٔ $n$ این را بیشینه می‌کنیم:

$$\mathbf{x}^*=\arg\max_{\mathbf{x}}\sum_{u,v}h_{n,u,v,z}(\mathbf{x})$$

در این فرمول، همهٔ نورون‌های کانال $z$ وزن برابر دارند. به‌جای آن می‌توانید جهت‌های تصادفی را بیشینه کنید، یعنی نورون‌ها در پارامترهای مختلف، از جمله جهت‌های منفی، ضرب شوند. به این ترتیب بررسی می‌کنیم نورون‌ها درون کانال چگونه با هم تعامل دارند. به‌جای بیشینه‌کردن فعال‌سازی می‌توانید آن را کمینه هم بکنید (که معادل بیشینه‌کردن جهت منفی است). شکل ۲۷.۳ هر دو را نشان می‌دهد. جالب است که وقتی جهت منفی را بیشینه می‌کنید، برای همان واحد ویژگی‌های بسیار متفاوتی به دست می‌آید. نورون با چرخ‌ها بیشینه فعال می‌شود، در حالی که چیزی که به نظر می‌رسد چشم دارد فعال‌سازی منفی ایجاد می‌کند.

توضیح مترجم: در متن منبع، پس از «The function $h$» فعل جمله افتاده است (احتمالاً «نشان‌دهندهٔ» فعال‌سازی یک نورون خاص است)؛ در ترجمه معنای آشکار جمله آمده است. $\arg\max$ یعنی «آرگومانی که مقدار تابع را بیشینه می‌کند»؛ اینجا آرگومان خودِ تصویر $\mathbf{x}$ است، نه عددی از فعال‌سازی.

برای درک بهتر (توضیح مترجم): فرض کنید شبکه‌ای نورونی دارد که به «چرخ دوچرخه» حساس است. بیشینه‌سازی یعنی با یک تصویر نویز شروع کنید و پیکسل‌ها را کم‌کم طوری عوض کنید که خروجی آن نورون بزرگ‌تر شود؛ در پایان تصویری پر از چرخ‌های تکرارشونده می‌گیرید. این تصویر نشان می‌دهد آن نورون «به دنبال چه چیزی می‌گردد». در مقابل، کمینه‌سازی تصویری می‌سازد که نورون را تا جای ممکن خاموش کند، مثل تصویر سمت راست شکل ۲۷.۳.

توضیح مترجم (متن داخل تصویر): این تصویر متن ندارد. نیمهٔ چپ چرخ‌ها و دوچرخه‌ها (فعال‌سازی مثبت) و نیمهٔ راست الگوهایی شبیه چشم و پوست (فعال‌سازی منفی) را نشان می‌دهد، که با جملهٔ بالا دربارهٔ «چرخ» و «چشم» همخوان است.

می‌توانیم این مسئلهٔ بهینه‌سازی را به شیوه‌های مختلفی حل کنیم. برای مثال، به‌جای تولید تصاویر جدید می‌توانیم در تصاویر آموزشی بگردیم و آن‌هایی را که فعال‌سازی را بیشینه می‌کنند انتخاب کنیم. این رویکرد معتبری است، اما استفاده از داده‌های آموزشی این مشکل را دارد که عناصر روی تصاویر می‌توانند با هم همبسته باشند و نمی‌توانیم ببینیم شبکهٔ عصبی واقعاً دنبال چه چیزی است. اگر تصاویری که فعال‌سازی بالایی برای یک کانال مشخص ایجاد می‌کنند یک سگ و یک توپ تنیس را نشان دهند، نمی‌دانیم شبکهٔ عصبی به سگ نگاه می‌کند، به توپ تنیس، یا شاید به هر دو.

رویکرد دیگر تولید تصاویر جدید است، با شروع از نویز تصادفی، همان‌طور که در شکل ۲۷.۴ دیده می‌شود. برای به دست آوردن تجسم‌های معنادار معمولاً محدودیت‌هایی بر تصویر اعمال می‌شود، مثلاً فقط تغییرات کوچک مجاز باشد. برای کاهش نویز در تجسم ویژگی می‌توانید پیش از گام بهینه‌سازی روی تصویر لرزش (jittering)، چرخش یا مقیاس‌دهی اعمال کنید. گزینه‌های منظم‌سازی دیگر شامل جریمهٔ فرکانسی (مثلاً کاهش واریانس پیکسل‌های همسایه) یا تولید تصاویر با پیش‌فرض‌های آموخته‌شده است، مثلاً با شبکه‌های مولد متخاصم (GAN) (Nguyen و همکاران ۲۰۱۶) یا خودرمزگذارهای نویززدا (Nguyen و همکاران ۲۰۱۷).

توضیح مترجم (متن داخل تصویر): چهار تصویر از چپ به راست با برچسب‌های Step 0، Step 4، Step 48 و Step 2048 (گام ۰، ۴، ۴۸ و ۲۰۴۸) نشان داده شده‌اند: نویز تصادفی به‌تدریج به الگوی شبکه‌مانند رنگی و واضح تبدیل می‌شود.

اگر می‌خواهید خیلی عمیق‌تر به تجسم ویژگی بپردازید، به مجلهٔ آنلاین distill.pub و به‌ویژه نوشتهٔ تجسم ویژگی از Olah و همکاران (۲۰۱۷) نگاه کنید؛ بسیاری از تصاویر را از آن برداشته‌ام. مقالهٔ مربوط به بلوک‌های سازندهٔ تفسیرپذیری (Olah و همکاران ۲۰۱۸) را هم توصیه می‌کنم.

ارتباط با مثال‌های خصمانه

بین تجسم ویژگی و مثال‌های خصمانه ارتباطی وجود دارد: هر دو تکنیک فعال‌سازی یک واحد از شبکهٔ عصبی را بیشینه می‌کنند. در مثال‌های خصمانه، به دنبال بیشترین فعال‌سازی نورون برای کلاس خصمانه (= نادرست) هستیم. یک تفاوت در تصویری است که از آن شروع می‌کنیم: برای مثال‌های خصمانه، تصویری است که می‌خواهیم برایش تصویر خصمانه بسازیم؛ برای تجسم ویژگی، بسته به رویکرد، نویز تصادفی است.

داده‌های متنی و جدولی

ادبیات پژوهش بر تجسم ویژگی برای شبکه‌های عصبی کانولوشنی در بازشناسی تصویر متمرکز است. از نظر فنی، چیزی مانع یافتن ورودی‌ای که یک نورون از شبکهٔ عصبی کاملاً متصل را برای داده‌های جدولی، یا شبکهٔ عصبی بازگشتی را برای داده‌های متنی، بیشینه فعال می‌کند نمی‌شود. شاید دیگر نتوان آن را تجسم ویژگی نامید، چون «ویژگی» یک ورودی جدولی یا متن خواهد بود. برای پیش‌بینی نکول اعتباری، ورودی‌ها می‌توانند تعداد اعتبارهای قبلی، تعداد قراردادهای تلفن همراه، نشانی و ده‌ها ویژگی دیگر باشند. ویژگی آموخته‌شدهٔ یک نورون در این حالت ترکیب خاصی از این ده‌ها ویژگی است. برای شبکه‌های عصبی بازگشتی، تجسم آنچه شبکه آموخته کمی زیباتر است: Karpathy و همکاران (۲۰۱۵) نشان دادند که شبکه‌های عصبی بازگشتی واقعاً نورون‌هایی دارند که ویژگی‌های تفسیرپذیر می‌آموزند. آن‌ها یک مدل در سطح نویسه آموزش دادند که نویسهٔ بعدی دنباله را از نویسه‌های قبلی پیش‌بینی می‌کند. وقتی پرانتز باز «(» ظاهر می‌شد، یکی از نورون‌ها به‌شدت فعال می‌شد و با ظاهرشدن پرانتز بستهٔ متناظر «)» غیرفعال می‌شد. نورون‌های دیگر در پایان خط فعال می‌شدند. برخی نورون‌ها در نشانی‌های اینترنتی (URL) فعال می‌شدند. تفاوت با تجسم ویژگی برای CNN‌ها این است که این مثال‌ها از راه بهینه‌سازی پیدا نشدند، بلکه با بررسی فعال‌سازی نورون‌ها روی داده‌های آموزشی به دست آمدند.

برخی از تصاویر مفاهیم شناخته‌شده‌ای مانند پوزهٔ سگ یا ساختمان را نشان می‌دهند. اما چگونه می‌توانیم مطمئن باشیم؟ روش تشریح شبکه مفاهیم انسانی را به واحدهای منفرد شبکهٔ عصبی پیوند می‌دهد. هشدار لو رفتن داستان: تشریح شبکه به مجموعه‌داده‌های اضافی نیاز دارد که کسی آن‌ها را با مفاهیم انسانی برچسب زده باشد.

تشریح شبکه

رویکرد تشریح شبکه (Network Dissection) از Bau و همکاران (۲۰۱۷) تفسیرپذیری یک واحد از شبکهٔ عصبی کانولوشنی را کمّی می‌کند. این روش نواحی بسیار فعال‌شدهٔ کانال‌های CNN را با مفاهیم انسانی (اشیا، بخش‌ها، بافت‌ها، رنگ‌ها و …) پیوند می‌دهد.

کانال‌های یک شبکهٔ عصبی کانولوشنی ویژگی‌های جدید می‌آموزند، همان‌طور که در بخش پیشین دربارهٔ تجسم ویژگی دیدیم. اما این تجسم‌ها ثابت نمی‌کنند که یک واحد مفهوم مشخصی را آموخته است. ما همچنین معیاری برای اینکه یک واحد چقدر خوب، مثلاً، آسمان‌خراش‌ها را تشخیص می‌دهد نداریم. پیش از ورود به جزئیات تشریح شبکه باید دربارهٔ فرضیهٔ بزرگی صحبت کنیم که پشت این مسیر پژوهشی است. فرضیه این است: «واحدهای یک شبکهٔ عصبی (مانند کانال‌های کانولوشنی) مفاهیم تفکیک‌شده (disentangled) می‌آموزند.» آیا چنین است؟

پرسش ویژگی‌های تفکیک‌شده

آیا شبکه‌های عصبی (کانولوشنی) ویژگی‌های تفکیک‌شده می‌آموزند؟ ویژگی‌های تفکیک‌شده یعنی واحدهای منفرد شبکه مفاهیم مشخصی از دنیای واقعی را تشخیص می‌دهند. کانال کانولوشنی ۳۹۴ ممکن است آسمان‌خراش‌ها را تشخیص دهد، کانال ۱۲۱ پوزهٔ سگ، کانال ۱۲ خط‌های راه‌راه با زاویهٔ ۳۰ درجه و … . نقطهٔ مقابل شبکهٔ تفکیک‌شده شبکه‌ای کاملاً درهم‌تنیده (entangled) است. در شبکهٔ کاملاً درهم‌تنیده، برای مثال، هیچ واحد منفردی برای پوزهٔ سگ وجود ندارد. همهٔ کانال‌ها در تشخیص پوزهٔ سگ نقش دارند.

ویژگی‌های تفکیک‌شده به این معناست که شبکه بسیار تفسیرپذیر است. فرض کنیم شبکه‌ای با واحدهای کاملاً تفکیک‌شده داریم که با مفاهیم شناخته‌شده برچسب خورده‌اند. این امکان را فراهم می‌کند که فرایند تصمیم‌گیری شبکه را ردیابی کنیم. برای مثال، می‌توانیم تحلیل کنیم شبکه چگونه گرگ‌ها را از هاسکی‌ها تشخیص می‌دهد. نخست «واحد هاسکی» را شناسایی می‌کنیم. می‌توانیم بررسی کنیم که آیا این واحد به واحدهای «پوزهٔ سگ»، «خز پشمالو» و «برف» از لایهٔ قبل وابسته است. اگر وابسته باشد، می‌دانیم که تصویر یک هاسکی با پس‌زمینهٔ برفی را به‌اشتباه گرگ دسته‌بندی خواهد کرد. در یک شبکهٔ تفکیک‌شده می‌توانستیم همبستگی‌های غیرعلّی مشکل‌ساز را شناسایی کنیم. می‌توانستیم همهٔ واحدهای بسیار فعال و مفاهیم آن‌ها را برای توضیح یک پیش‌بینی منفرد به‌طور خودکار فهرست کنیم. می‌توانستیم سوگیری در شبکهٔ عصبی را به‌آسانی تشخیص دهیم. برای مثال، آیا شبکه ویژگی «پوست سفید» را برای پیش‌بینی حقوق آموخته است؟

هشدار لو رفتن داستان: شبکه‌های عصبی کانولوشنی کاملاً تفکیک‌شده نیستند. اکنون تشریح شبکه را دقیق‌تر بررسی می‌کنیم تا بفهمیم شبکه‌های عصبی چقدر تفسیرپذیرند.

برای درک بهتر (توضیح مترجم): «تفکیک‌شده» را با یک مثال روزمره مقایسه کنید: در یک کتابخانهٔ منظم هر قفسه یک موضوع دارد (قفسهٔ ۱۲ فقط شعر)، پس اگر دنبال شعر باشید فقط به همان قفسه می‌روید. در کتابخانهٔ «درهم‌تنیده» کتاب‌های شعر بین همهٔ قفسه‌ها پخش‌اند و برای یافتن شعر باید همه را بگردید. شبکهٔ تفکیک‌شده یعنی هر واحد مثل یک قفسهٔ موضوعی عمل کند.

الگوریتم

تشریح شبکه سه گام دارد:

  1. تصاویری با مفاهیم بصری برچسب‌خورده توسط انسان جمع کنید، از راه‌راه تا آسمان‌خراش.
  2. فعال‌سازی کانال‌های CNN را برای این تصاویر اندازه بگیرید.
  3. هم‌ترازی بین فعال‌سازی‌ها و مفاهیم برچسب‌خورده را کمّی کنید.

شکل ۲۷.۵ نشان می‌دهد چگونه یک تصویر به یک کانال فرستاده می‌شود و با مفاهیم برچسب‌خورده تطبیق داده می‌شود.

توضیح مترجم (متن داخل تصویر): برچسب‌های بالای شکل: Input image (تصویر ورودی)، Network being probed (شبکهٔ در حال کاوش) و Pixel-wise segmentation (قطعه‌بندی پیکسلی). متن‌های پایین: Freeze trained network weights (وزن‌های شبکهٔ آموزش‌دیده را ثابت کن)، Upsample target layer (لایهٔ هدف را بزرگ‌نمایی کن) و Evaluate on segmentation tasks (روی وظایف قطعه‌بندی ارزیابی کن). صفحه‌های Conv لایه‌های کانولوشنی‌اند، صفحهٔ One Unit Activation فعال‌سازی یک واحد است و لایه‌های قطعه‌بندی با برچسب‌های Blue (آبی)، Fabric (پارچه)، Door (در)، Grass (چمن)، Person (فرد) و Car (خودرو) مفاهیم برچسب‌خوردهٔ همان تصویرند.

گام ۱: مجموعه‌داده Broden

نخستین گام دشوار اما حیاتی، گردآوری داده است. تشریح شبکه به تصاویری با برچسب پیکسلی از مفاهیمی در سطوح مختلف انتزاع (از رنگ‌ها تا صحنه‌های خیابانی) نیاز دارد. Bau و Zhou و همکاران چند مجموعه‌داده با مفاهیم پیکسلی را ترکیب کردند. آن‌ها این مجموعه‌دادهٔ جدید را «Broden» نامیدند که مخفف داده‌های گسترده و متراکم برچسب‌خورده است (broadly and densely labeled data). مجموعه‌دادهٔ Broden عمدتاً تا سطح پیکسل قطعه‌بندی شده است؛ برای برخی مجموعه‌داده‌ها کل تصویر برچسب خورده است. Broden شامل ۶۰٬۰۰۰ تصویر با بیش از ۱٬۰۰۰ مفهوم بصری در سطوح مختلف انتزاع است: ۴۶۸ صحنه، ۵۸۵ شیء، ۲۳۴ بخش، ۳۲ ماده، ۴۷ بافت و ۱۱ رنگ.

گام ۲: بازیابی فعال‌سازی‌های شبکه

سپس برای هر کانال و هر تصویر، ماسک نواحی با بیشترین فعال‌سازی را می‌سازیم. در این مرحله برچسب‌های مفهوم هنوز دخالتی ندارند.

  • برای هر کانال کانولوشنی $k$:
    • برای هر تصویر $\mathbf{x}$ در مجموعه‌دادهٔ Broden:
      • تصویر $\mathbf{x}$ را به جلو تا لایهٔ هدفی که کانال $k$ را دارد منتشر کنید.
      • فعال‌سازی‌های پیکسلی کانال کانولوشنی $k$ را استخراج کنید: $A_k(\mathbf{x})$.
    • توزیع فعال‌سازی‌های پیکسلی $\alpha_k$ را روی همهٔ تصاویر محاسبه کنید.
    • سطح چندک ۰٫۹۹۵ را، $T_k$، برای فعال‌سازی‌های $\alpha_k$ تعیین کنید. این یعنی ۰٫۵٪ از فعال‌سازی‌های کانال $k$ در مجموعه‌داده از $T_k$ بزرگ‌ترند.
    • برای هر تصویر $\mathbf{x}$ در مجموعه‌دادهٔ Broden:
      • نقشهٔ فعال‌سازی $A_k(\mathbf{x})$، که (احتمالاً) وضوح کمتری دارد، را به وضوح تصویر $\mathbf{x}$ بزرگ‌نمایی کنید. نتیجه را $S_k(\mathbf{x})$ می‌نامیم.
      • نقشهٔ فعال‌سازی را دودویی کنید: هر پیکسل بسته به اینکه از آستانهٔ فعال‌سازی $T_k$ فراتر برود یا نه، روشن یا خاموش است. ماسک جدید $M_k(\mathbf{x})=S_k(\mathbf{x})\geq T_k$ است.

گام ۳: هم‌ترازی فعال‌سازی و مفهوم

پس از گام ۲، برای هر کانال و هر تصویر یک ماسک فعال‌سازی داریم. این ماسک‌ها نواحی بسیار فعال را مشخص می‌کنند. برای هر کانال می‌خواهیم مفهوم انسانی‌ای را پیدا کنیم که آن کانال را فعال می‌کند. مفهوم را با مقایسهٔ ماسک‌های فعال‌سازی با همهٔ مفاهیم برچسب‌خورده پیدا می‌کنیم. هم‌ترازی بین ماسک فعال‌سازی $k$ و ماسک مفهوم $c$ را با امتیاز اشتراک بر اتحاد (Intersection over Union یا IoU) کمّی می‌کنیم:

$$IoU_{k,c}=\frac{|M_k(\mathbf{x})\cap L_c(\mathbf{x})|}{|M_k(\mathbf{x})\cup L_c(\mathbf{x})|}$$

که در آن $|\cdot|$ تعداد اعضای (کاردینالیتی) یک مجموعه است. اشتراک بر اتحاد هم‌ترازی دو ناحیه را مقایسه می‌کند. $IoU_{k,c}$ را می‌توان دقتی تفسیر کرد که واحد $k$ با آن مفهوم $c$ را تشخیص می‌دهد. وقتی $IoU_{k,c}>0.04$ باشد، واحد $k$ را آشکارساز مفهوم $c$ می‌نامیم. این آستانه را Bau و Zhou و همکاران (۲۰۱۷) انتخاب کرده‌اند.

توضیح مترجم: $L_c(\mathbf{x})$ ماسک برچسب انسانی مفهوم $c$ برای تصویر $\mathbf{x}$ است (در متن منبع معرفی صریح نشده است). فرمول برای یک تصویر نوشته شده، اما همان‌طور که در گام ۲ آمد، $IoU$ یک کانال نسبت به یک مفهوم روی کل مجموعه‌داده محاسبه می‌شود.

برای درک بهتر (توضیح مترجم): فرض کنید در یک تصویر ناحیهٔ برچسب‌خوردهٔ «سگ» ۱۰۰ پیکسل دارد و ماسک فعال‌سازی یک کانال ۶۰ پیکسل را روشن کرده که ۵۰ تای آن‌ها داخل ناحیهٔ سگ است. اشتراک ۵۰ پیکسل و اتحاد $100+60-50=110$ پیکسل است، پس $IoU=50/110\approx 0{,}45$. این عدد فقط برای فهم فرمول است و از آزمایش‌های کتاب نیامده است؛ در عمل مقادیر IoU روی کل داده کوچک‌ترند (برای مثال کانال سگ در شکل ۲۷.۷ مقدار ۰٫۲۰۳ دارد).

شکل ۲۷.۶ اشتراک و اتحاد ماسک فعال‌سازی و ماسک مفهوم را برای یک تصویر منفرد نشان می‌دهد و شکل ۲۷.۷ واحدی را نشان می‌دهد که سگ‌ها را تشخیص می‌دهد.

توضیح مترجم (متن داخل تصویر): راهنمای سمت راست تصویر: Human annotated ground truth (حقیقت پایهٔ حاشیه‌نویسی‌شده توسط انسان؛ خط‌چین قرمز)، Top activated area (ناحیهٔ با بیشترین فعال‌سازی؛ خط آبی)، Area of Intersection (ناحیهٔ اشتراک؛ بخش مشترک هاشورخورده) و Area of Union (ناحیهٔ اتحاد؛ کل ناحیهٔ هاشورخورده). در تصویر، سگی در پتو پیچیده شده است: ناحیهٔ آبی فقط سر را می‌پوشاند، اما ناحیهٔ قرمز کل سگ و پتو را.

توضیح مترجم (متن داخل تصویر): تصویر متن ندارد. در چهار عکس، فقط ناحیهٔ سگ روشن مانده و بقیهٔ تصویر تیره شده است؛ یعنی ماسک فعال‌سازی این کانال روی سگ‌ها (در حالت‌ها و نژادهای مختلف) قرار می‌گیرد، نه روی گربه یا افراد.

آزمایش‌ها

نویسندگان تشریح شبکه معماری‌های مختلف شبکه (AlexNet، VGG، GoogleNet، ResNet) را از ابتدا روی مجموعه‌داده‌های مختلف (ImageNet، Places205، Places365) آموزش دادند. ImageNet شامل ۱٫۶ میلیون تصویر از ۱۰۰۰ کلاس با تمرکز بر اشیاست (Deng و همکاران ۲۰۰۹). Places205 و Places365 به‌ترتیب شامل ۲٫۵ میلیون / ۱٫۶ میلیون تصویر از ۲۰۵ / ۳۶۵ صحنهٔ مختلف‌اند. نویسندگان علاوه بر این AlexNet را روی وظایف آموزش خودنظارتی مانند پیش‌بینی ترتیب فریم‌های ویدیو یا رنگ‌آمیزی تصاویر آموزش دادند. برای بسیاری از این تنظیمات مختلف، تعداد آشکارسازهای مفهومِ یکتا را به‌عنوان معیاری از تفسیرپذیری شمردند. برخی از یافته‌ها در اینجا آمده است:

  • شبکه‌ها مفاهیم سطح پایین‌تر (رنگ‌ها، بافت‌ها) را در لایه‌های پایین‌تر و مفاهیم سطح بالاتر (بخش‌ها، اشیا) را در لایه‌های بالاتر تشخیص می‌دهند. این را پیش‌تر در تجسم‌های ویژگی دیده بودیم.
  • نرمال‌سازی دسته‌ای (batch normalization) تعداد آشکارسازهای مفهومِ یکتا را کاهش می‌دهد.
  • بسیاری از واحدها مفهوم یکسانی را تشخیص می‌دهند. برای مثال، وقتی $IoU \geq 0.04$ را به‌عنوان مرز تشخیص به کار ببریم، در VGG آموزش‌دیده روی ImageNet تعداد ۹۵ (!) کانال سگ وجود دارد (۴ تا در conv4_3، ۹۱ تا در conv5_3، وب‌سایت پروژه را ببینید).
  • افزایش تعداد کانال‌های یک لایه، تعداد واحدهای تفسیرپذیر را افزایش می‌دهد.
  • مقداردهی اولیهٔ تصادفی (آموزش با بذرهای تصادفی مختلف) تعداد واحدهای تفسیرپذیر را کمی متفاوت می‌کند.
  • ResNet معماری‌ای است که بیشترین تعداد آشکارساز یکتا را دارد، پس از آن VGG، GoogleNet و در آخر AlexNet.
  • بیشترین تعداد آشکارساز مفهومِ یکتا برای Places365 آموخته می‌شود، پس از آن Places205 و در آخر ImageNet.
  • تعداد آشکارسازهای مفهومِ یکتا با تعداد تکرارهای آموزش افزایش می‌یابد.
  • شبکه‌های آموزش‌دیده روی وظایف خودنظارتی در مقایسه با شبکه‌های آموزش‌دیده روی وظایف نظارتی آشکارسازهای یکتای کمتری دارند.
  • در یادگیری انتقالی، مفهوم یک کانال می‌تواند تغییر کند. برای مثال، یک آشکارساز سگ به آشکارساز آبشار تبدیل شد. این در مدلی رخ داد که ابتدا برای دسته‌بندی اشیا آموزش دیده بود و سپس برای دسته‌بندی صحنه‌ها تنظیم دقیق (fine-tune) شد.
  • در یکی از آزمایش‌ها، نویسندگان کانال‌ها را روی یک پایهٔ دوران‌یافتهٔ جدید تصویر کردند. این کار برای شبکهٔ VGG آموزش‌دیده روی ImageNet انجام شد. «دوران‌یافته» به این معنا نیست که تصویر چرخانده شده است. «دوران‌یافته» یعنی ۲۵۶ کانال لایهٔ conv5 را می‌گیریم و ۲۵۶ کانال جدید را به‌صورت ترکیب‌های خطی از کانال‌های اصلی محاسبه می‌کنیم. در این فرایند، کانال‌ها درهم‌تنیده می‌شوند. دوران تفسیرپذیری را کاهش می‌دهد، یعنی تعداد کانال‌های هم‌تراز با یک مفهوم کم می‌شود. دوران طوری طراحی شده بود که عملکرد مدل را ثابت نگه دارد. نتیجهٔ اول: تفسیرپذیری CNN‌ها وابسته به محور است. این یعنی ترکیب‌های تصادفی کانال‌ها کمتر احتمال دارد مفاهیم یکتا را تشخیص دهند. نتیجهٔ دوم: تفسیرپذیری مستقل از توان تمایزی (discriminative power) است. کانال‌ها را می‌توان با تبدیل‌های متعامد تغییر داد در حالی که توان تمایزی ثابت می‌ماند، اما تفسیرپذیری کاهش می‌یابد.

نویسندگان همچنین از تشریح شبکه برای شبکه‌های مولد متخاصم (GAN) استفاده کردند. تشریح شبکه برای GAN‌ها را در وب‌سایت پروژه می‌توانید بیابید.

توضیح مترجم: «تبدیل متعامد» دوران (و بازتاب) فضای کانال‌هاست: طول و زاویهٔ بردارها را حفظ می‌کند، پس خروجی لایهٔ بعد همان اطلاعات را دریافت می‌کند و عملکرد تغییر نمی‌کند؛ ولی هر کانال جدید ترکیبی از چند مفهوم می‌شود و دیگر با یک مفهوم هم‌تراز نیست. به همین دلیل می‌گویند تفسیرپذیری به «محورهای» (کانال‌های) شبکه وابسته است نه فقط به عملکرد آن.

نقاط قوت

تجسم‌های ویژگی بینشی منحصربه‌فرد از کارکرد شبکه‌های عصبی می‌دهند، به‌ویژه برای بازشناسی تصویر. با توجه به پیچیدگی و کدری شبکه‌های عصبی، تجسم ویژگی گامی مهم در تحلیل و توصیف شبکه‌های عصبی است. از طریق تجسم ویژگی آموخته‌ایم که شبکه‌های عصبی ابتدا آشکارسازهای ساده لبه و بافت و در لایه‌های بالاتر آشکارسازهای انتزاعی‌تر بخش و شیء می‌آموزند. تشریح شبکه این بینش‌ها را گسترش می‌دهد و تفسیرپذیری واحدهای شبکه را قابل‌اندازه‌گیری می‌کند.

تشریح شبکه به ما اجازه می‌دهد واحدها را به‌طور خودکار به مفاهیم پیوند دهیم، که بسیار راحت است.

تجسم ویژگی ابزاری عالی برای توضیح غیرفنی نحوهٔ کار شبکه‌های عصبی است.

با تشریح شبکه می‌توانیم مفاهیمی فراتر از کلاس‌های وظیفهٔ دسته‌بندی را هم تشخیص دهیم. اما به مجموعه‌داده‌هایی نیاز داریم که تصاویر دارای مفاهیم برچسب‌خورده در سطح پیکسل باشند.

تجسم ویژگی را می‌توان با روش‌های اسناد ویژگی ترکیب کرد که توضیح می‌دهند کدام پیکسل‌ها برای دسته‌بندی مهم بوده‌اند. ترکیب هر دو روش به ما اجازه می‌دهد یک دسته‌بندی منفرد را همراه با تجسم محلی ویژگی‌های آموخته‌شده‌ای که در آن دسته‌بندی دخیل بوده‌اند توضیح دهیم. بلوک‌های سازندهٔ تفسیرپذیری از distill.pub را ببینید.

و سرانجام، تجسم‌های ویژگی تصویر زمینهٔ دسکتاپ و طرح تی‌شرت عالی می‌سازند.

محدودیت‌ها

بسیاری از تصاویر تجسم ویژگی اصلاً تفسیرپذیر نیستند، بلکه ویژگی‌های انتزاعی‌ای دارند که برایشان نه واژه‌ای داریم نه مفهوم ذهنی. نمایش تجسم‌های ویژگی در کنار داده‌های آموزشی می‌تواند کمک کند. با این حال ممکن است تصاویر باز هم نشان ندهند شبکهٔ عصبی به چه واکنش نشان داده و فقط چیزی مانند «شاید باید در تصاویر زردی باشد» بگویند. حتی با تشریح شبکه هم برخی کانال‌ها به مفهوم انسانی پیوند نمی‌خورند. برای مثال، لایهٔ conv5_3 از VGG آموزش‌دیده روی ImageNet ۱۹۳ کانال (از ۵۱۲) دارد که با هیچ مفهوم انسانی‌ای تطبیق داده نشدند.

واحدهای بیش از حد زیادی برای بررسی وجود دارد، حتی وقتی «فقط» فعال‌سازی کانال‌ها را تجسم می‌کنیم. برای معماری Inception V1، برای مثال، همین حالا بیش از ۵۰۰۰ کانال از نه لایهٔ کانولوشنی وجود دارد. اگر بخواهید فعال‌سازی‌های منفی را هم نشان دهید، به‌علاوهٔ چند تصویر از داده‌های آموزشی که کانال را بیشینه یا کمینه فعال می‌کنند (فرض کنیم چهار تصویر مثبت و چهار منفی)، آنگاه باید بیش از ۵۰٬۰۰۰ تصویر نمایش دهید. دست‌کم به لطف تشریح شبکه می‌دانیم که لازم نیست جهت‌های تصادفی را بررسی کنیم.

توهم تفسیرپذیری؟ تجسم‌های ویژگی می‌توانند این توهم را القا کنند که می‌فهمیم شبکهٔ عصبی چه می‌کند. اما آیا واقعاً می‌فهمیم در شبکهٔ عصبی چه می‌گذرد؟ حتی اگر به صدها یا هزاران تجسم ویژگی نگاه کنیم، نمی‌توانیم شبکهٔ عصبی را بفهمیم. کانال‌ها به‌شیوه‌ای پیچیده با هم تعامل دارند، فعال‌سازی‌های مثبت و منفی به هم ربطی ندارند، چند نورون ممکن است ویژگی‌های بسیار مشابهی بیاموزند و برای بسیاری از ویژگی‌ها معادل انسانی نداریم. نباید در دام این باور بیفتیم که چون گمان می‌کنیم دیده‌ایم نورون ۳۴۹ در لایهٔ ۷ با گل‌های دایزی فعال می‌شود، شبکه‌های عصبی را کاملاً می‌فهمیم. تشریح شبکه نشان داد که معماری‌هایی مانند ResNet یا Inception واحدهایی دارند که به مفاهیم مشخصی واکنش نشان می‌دهند. اما IoU چندان عالی نیست و اغلب بسیاری از واحدها به یک مفهوم پاسخ می‌دهند و برخی به هیچ مفهومی. کانال‌ها کاملاً تفکیک‌شده نیستند و نمی‌توانیم آن‌ها را جداگانه تفسیر کنیم.

برای تشریح شبکه، به مجموعه‌داده‌هایی نیاز دارید که در سطح پیکسل با مفاهیم برچسب خورده باشند. گردآوری این مجموعه‌داده‌ها تلاش زیادی می‌طلبد، چون هر پیکسل باید برچسب بخورد، که معمولاً با کشیدن قطعه‌هایی دور اشیا در تصویر انجام می‌شود.

تشریح شبکه فقط مفاهیم انسانی را با فعال‌سازی‌های مثبت کانال‌ها هم‌تراز می‌کند، نه با فعال‌سازی‌های منفی. همان‌طور که تجسم‌های ویژگی نشان دادند، به نظر می‌رسد فعال‌سازی‌های منفی هم با مفاهیم پیوند دارند. این را شاید بتوان با نگاه به چندک پایین فعال‌سازی‌ها نیز رفع کرد.

نرم‌افزار و منابع بیشتر

پیاده‌سازی متن‌بازی از تجسم ویژگی به نام Lucid وجود دارد. می‌توانید با پیوندهای نوت‌بوکی که در صفحهٔ GitHub مربوط به Lucid آمده، آن را به‌راحتی در مرورگر خود امتحان کنید. به نرم‌افزار اضافی نیازی نیست. پیاده‌سازی‌های دیگر عبارت‌اند از tf_cnnvis برای TensorFlow، Keras Filters برای Keras و DeepVis برای Caffe.

تشریح شبکه وب‌سایت پروژهٔ عالی‌ای دارد. افزون بر مقاله، این وب‌سایت مطالب بیشتری مانند کد، داده و تجسم ماسک‌های فعال‌سازی را میزبانی می‌کند.

فصل ۲۸: نقشه‌های برجستگی

عنوان اصلی: Saliency Maps
منبع: https://christophm.github.io/interpretable-ml-book/pixel-attribution.html
نویسنده: Christoph Molnar
مترجم: مریم محمودی


روش‌های اسناد پیکسلی (pixel attribution) پیکسل‌هایی را که برای یک دسته‌بندی مشخص تصویر توسط یک شبکهٔ عصبی اهمیت داشته‌اند برجسته می‌کنند. شکل ۲۸.۱ نمونه‌ای از یک توضیح است.

توضیح مترجم (متن داخل تصویر): این تصویر متن ندارد. طیف رنگ از آبی تیره (سهم ناچیز) تا آبی روشن، فیروزه‌ای و زرد (سهم بیشتر) می‌رود. رنگ‌های روشن‌تر بیشتر در بالا و گوشهٔ چپ و در چند نقطهٔ پایین تصویر دیده می‌شوند. در ادامهٔ فصل می‌بینید این نقشه چیست.

در ادامهٔ فصل می‌بینید در این تصویر مشخص چه می‌گذرد. روش‌های اسناد پیکسلی با نام‌های گوناگونی دیده می‌شوند: نقشهٔ حساسیت (sensitivity map)، نقشهٔ برجستگی (saliency map)، نقشهٔ اسناد پیکسلی (pixel attribution map)، روش‌های اسناد مبتنی بر گرادیان، ربط ویژگی (feature relevance)، اسناد ویژگی (feature attribution) و مشارکت ویژگی (feature contribution).

توضیح مترجم: در این فصل «اسناد» (attribution) یعنی نسبت‌دادن سهم هر ورودی به خروجی مدل، و «گرادیان» یعنی مشتق خروجی نسبت به ورودی که می‌گوید با تغییر کوچک یک پیکسل، امتیاز کلاس چقدر و در چه جهتی عوض می‌شود. «پس‌انتشار» (backpropagation) همان روش محاسبهٔ این مشتق‌ها از خروجی به سمت ورودی است. عنوان فصل «نقشه‌های برجستگی» است، اما در متن همهٔ نام‌های بالا تقریباً مترادف به کار می‌روند.

اسناد پیکسلی حالت خاصی از اسناد ویژگی است، ولی برای تصاویر. اسناد ویژگی پیش‌بینی‌های منفرد را با نسبت‌دادن هر ویژگی ورودی بر اساس مقداری که پیش‌بینی را تغییر داده (منفی یا مثبت) توضیح می‌دهد. ویژگی‌ها می‌توانند پیکسل‌های ورودی، داده‌های جدولی یا واژه‌ها باشند. SHAP، مقادیر شپلی و LIME نمونه‌هایی از روش‌های عمومی اسناد ویژگی‌اند.

شبکه‌های عصبی‌ای را در نظر می‌گیریم که در خروجی یک بردار به طول $C$ می‌دهند؛ این شامل رگرسیون هم می‌شود که در آن $C=1$ است. خروجی شبکهٔ عصبی برای تصویر I را $S(\mathbf{x})=[S_1(\mathbf{x}),\ldots,S_C(\mathbf{x})]$ می‌نامیم. همهٔ این روش‌ها $\mathbf{x} \in\mathbb{R}^p$ (که می‌تواند پیکسل‌های تصویر، داده‌های جدولی، واژه‌ها و … باشد) با $p$ ویژگی را ورودی می‌گیرند و در خروجی، به‌عنوان توضیح، یک امتیاز ربط برای هر یک از $p$ ویژگی ورودی می‌دهند: $\mathbf{R}^c=[R_1^c,\ldots,R_p^c]$. حرف $c$ نشان می‌دهد این ربط برای $c$-امین خروجی $S_C(\mathbf{x})$ است.

توضیح مترجم: در متن منبع تصویر ورودی یک بار «I» و یک بار $\mathbf{x}$ نوشته شده و خروجی $c$-ام هم یک بار $S_C$ (با $C$ بزرگ) آمده است؛ منظور همان $S_c(\mathbf{x})$، یعنی امتیاز کلاس $c$، است. متن بدون تغییر ترجمه شد.

تعداد گیج‌کننده‌ای رویکرد اسناد پیکسلی وجود دارد. فهمیدن اینکه دو نوع متفاوت از روش‌های اسناد وجود دارد کمک می‌کند:

مبتنی بر انسداد یا اختلال (Occlusion- or perturbation-based): روش‌هایی مانند SHAP و LIME بخش‌هایی از تصویر را دستکاری می‌کنند تا توضیح بسازند (مستقل از مدل).

مبتنی بر گرادیان (Gradient-based): بسیاری از روش‌ها گرادیان پیش‌بینی (یا امتیاز دسته‌بندی) را نسبت به ویژگی‌های ورودی محاسبه می‌کنند. روش‌های مبتنی بر گرادیان (که بسیارند) عمدتاً در شیوهٔ محاسبهٔ گرادیان با هم تفاوت دارند.

وجه مشترک هر دو رویکرد این است که توضیح هم‌اندازهٔ تصویر ورودی است (یا دست‌کم می‌توان آن را به شکلی معنادار روی تصویر نگاشت کرد) و به هر پیکسل مقداری می‌دهد که می‌توان آن را ربط پیکسل به پیش‌بینی یا دسته‌بندی آن تصویر تفسیر کرد.

یک دسته‌بندی مفید دیگر برای روش‌های اسناد پیکسلی، پرسش خط پایه (baseline) است:

روش‌های فقط‌گرادیان (Gradient-only) به ما می‌گویند آیا تغییر در یک پیکسل پیش‌بینی را تغییر می‌دهد. نمونه‌ها Vanilla Gradient و Grad-CAM (Selvaraju و همکاران ۲۰۱۷) هستند. تفسیر اسناد فقط‌گرادیان این است: اگر مقادیر رنگ پیکسل را افزایش دهم، احتمال کلاس پیش‌بینی‌شده بالا می‌رود (برای گرادیان مثبت) یا پایین می‌آید (برای گرادیان منفی). هرچه قدر مطلق گرادیان بزرگ‌تر باشد، اثر تغییر این پیکسل قوی‌تر است.

روش‌های اسناد مسیری (Path-attribution) تصویر فعلی را با یک تصویر مرجع مقایسه می‌کنند، که می‌تواند یک تصویر «صفر» مصنوعی مانند یک تصویر کاملاً خاکستری باشد. تفاوت پیش‌بینی واقعی و پیش‌بینی خط پایه بین پیکسل‌ها تقسیم می‌شود. تصویر خط پایه می‌تواند چند تصویر هم باشد: یک توزیع از تصاویر. این دسته شامل روش‌های مبتنی بر گرادیان و وابسته به مدل مانند Deep Taylor و Integrated Gradients (Sundararajan و همکاران ۲۰۱۷) و نیز روش‌های مستقل از مدل مانند LIME و SHAP است. برخی روش‌های اسناد مسیری «کامل» (complete) هستند، یعنی مجموع امتیازهای ربط همهٔ ویژگی‌های ورودی برابر تفاوت پیش‌بینی تصویر با پیش‌بینی یک تصویر مرجع است. نمونه‌ها SHAP و Integrated Gradients هستند. در روش‌های اسناد مسیری، تفسیر همیشه نسبت به خط پایه انجام می‌شود: تفاوت امتیازهای دسته‌بندی تصویر واقعی و تصویر خط پایه به پیکسل‌ها نسبت داده می‌شود.

💡 نکته — انتخاب تصویر مرجع

انتخاب تصویر مرجع (یا توزیع مرجع) اثر بزرگی بر توضیح دارد. فرض معمول استفاده از یک تصویر (یا توزیع) «خنثی» است. البته کاملاً ممکن است از سلفی مورد علاقهٔ خود استفاده کنید، اما باید از خود بپرسید آیا در یک کاربرد واقعی معنا دارد. مطمئناً میان سایر اعضای پروژه سلطه‌ات را نشان می‌دهد.

برای درک بهتر (توضیح مترجم): فرض کنید مدل تصویر یک سگ را با احتمال ۰٫۷ «سگ» می‌داند و برای تصویر خاکستری کاملاً خنثی احتمال «سگ» ۰٫۱ است. روش اسناد مسیری این تفاوت $0{,}7-0{,}1=0{,}6$ را بین پیکسل‌ها تقسیم می‌کند. اگر به‌جای تصویر خاکستری، تصویر یک سگ دیگر را مرجع بگیرید، تفاوت و در نتیجه سهم پیکسل‌ها کاملاً فرق می‌کند؛ به همین دلیل انتخاب مرجع این‌قدر مهم است. اعداد این مثال فقط برای فهم هستند و از کتاب نیامده‌اند.

در این نقطه معمولاً یک توضیح شهودی دربارهٔ نحوهٔ کار این روش‌ها می‌دادم، ولی فکر می‌کنم بهتر است مستقیم از روش Vanilla Gradient شروع کنیم، چون «دستور کار» عمومی‌ای را که بسیاری از روش‌های دیگر دنبال می‌کنند به‌خوبی نشان می‌دهد.

Vanilla Gradient

ایدهٔ Vanilla Gradient، که Simonyan و همکاران (۲۰۱۴) به‌عنوان یکی از نخستین رویکردهای اسناد پیکسلی معرفی کردند، اگر پس‌انتشار را از قبل بشناسید کاملاً ساده است. (آن‌ها رویکردشان را «برجستگی کلاس مختص تصویر» (Image-Specific Class Saliency) نامیدند، اما من Vanilla Gradient را بیشتر دوست دارم.) گرادیان تابع زیان برای کلاس موردعلاقه را نسبت به پیکسل‌های ورودی محاسبه می‌کنیم. این یک نقشه به اندازهٔ ویژگی‌های ورودی با مقادیر منفی تا مثبت به ما می‌دهد.

دستور کار این رویکرد:

  1. یک گذر رو‌به‌جلو (forward pass) برای تصویر موردنظر انجام دهید.
  2. گرادیان امتیاز کلاس موردنظر را نسبت به پیکسل‌های ورودی حساب کنید: $$E_{grad}(\mathbf{x}_0)=\frac{\delta S_c}{\delta \mathbf{x}}|_{\mathbf{x}=\mathbf{x}_0}$$ در اینجا همهٔ کلاس‌های دیگر را صفر قرار می‌دهیم.
  3. گرادیان‌ها را تجسم کنید. می‌توانید یا قدر مطلق‌ها را نشان دهید یا مشارکت‌های منفی و مثبت را جداگانه برجسته کنید.

رسمی‌تر، تصویری $\mathbf{x}$ داریم و شبکهٔ عصبی کانولوشنی برای کلاس $c$ امتیاز $S_c(\mathbf{x})$ به آن می‌دهد. این امتیاز تابعی بسیار غیرخطی از تصویر ماست. ایدهٔ پشت استفاده از گرادیان این است که می‌توانیم این امتیاز را با یک بسط تیلور مرتبهٔ اول تقریب بزنیم

$$S_c(\mathbf{x}) \approx \mathbf{w}^T \mathbf{x} + b$$

که در آن $\mathbf{w}$ مشتق امتیاز ماست:

$$\mathbf{w} = \frac{\delta S_c}{\delta \mathbf{x}}|_{\mathbf{x}_0}$$

توضیح مترجم: بسط تیلور مرتبهٔ اول یعنی نزدیک نقطهٔ $\mathbf{x}_0$ یک تابع پیچیده را با یک تابع خطی تقریب می‌زنیم. وزن $\mathbf{w}$ در این تابع خطی همان گرادیان است، پس هر مؤلفهٔ آن می‌گوید «با تغییر این پیکسل امتیاز کلاس چقدر عوض می‌شود». در متن منبع نماد مشتق جزئی با $\delta$ نوشته شده است و در ترجمه همان حفظ شد.

اکنون در نحوهٔ انجام گذر پس‌رو (backward pass) گرادیان‌ها کمی ابهام وجود دارد، چون واحدهای غیرخطی مانند ReLU (Rectified Linear Unit) علامت را «حذف» می‌کنند. بنابراین هنگام پس‌گذر نمی‌دانیم فعال‌سازی مثبت یا منفی نسبت دهیم. با مهارت باورنکردنی من در هنر ASCII، تابع ReLU این شکل را دارد: _/ و به‌صورت $\text{ReLU}(\mathbf{x}_{l}) = \max(0, \mathbf{x}_l)$ تعریف می‌شود. یعنی وقتی فعال‌سازی یک نورون صفر است، نمی‌دانیم کدام مقدار را پس‌انتشار دهیم. در Vanilla Gradient این ابهام این‌گونه رفع می‌شود:

$$\frac{\delta f}{\delta \mathbf{x}_l} = \frac{\delta f}{\delta \mathbf{x}_{l+1}} \cdot I(\mathbf{x}_l > 0)$$

در اینجا $I$ تابع نشانگر عنصربه‌عنصر است که در جاهایی که فعال‌سازی در لایهٔ پایین‌تر منفی بوده صفر و در جاهایی که مثبت بوده برابر یک است. Vanilla Gradient گرادیانی را که تا لایهٔ $l+1$ پس‌انتشار داده‌ایم می‌گیرد و سپس به‌سادگی گرادیان‌ها را در جاهایی که فعال‌سازی لایهٔ پایین‌تر منفی است صفر می‌کند.

توضیح مترجم: در متن منبع آمده تابع نشانگر برای فعال‌سازی «مثبت یا صفر» برابر یک است، در حالی که فرمول $I(\mathbf{x}_l > 0)$ برای مقدار صفر مقدار صفر می‌دهد (و در مثال عددی زیر هم همین استفاده شده است). متن بدون تغییر ترجمه شد و فقط این ناهمخوانی جزئی گوشزد می‌شود.

مثالی را ببینیم که در آن لایه‌های $\mathbf{x}_l$ و $\mathbf{x}_{l+1} = \text{ReLU}(\mathbf{x}_{l})$ را داریم. فعال‌سازی فرضی ما در $\mathbf{x}_l$ این است:

$$ \begin{pmatrix} 1 & 0 \\ -1 & -10 \\ \end{pmatrix} $$

و این‌ها گرادیان‌های ما در $\mathbf{x}_{l+1}$ هستند:

$$ \begin{pmatrix} 0.4 & 1.1 \\ -0.5 & -0.1 \\ \end{pmatrix} $$

آنگاه گرادیان‌های ما در $\mathbf{x}_l$ چنین می‌شوند:

$$ \begin{pmatrix} 0.4 & 0 \\ 0 & 0 \\ \end{pmatrix} $$

برای درک بهتر (توضیح مترجم): درایه به درایه بررسی کنید: فعال‌سازی ۱ مثبت است، پس گرادیان ۰٫۴ از لایهٔ بالا عبور می‌کند. فعال‌سازی ۰ شرط $>0$ را ندارد، پس گرادیان ۱٫۱ صفر می‌شود. فعال‌سازی‌های $-1$ و $-10$ منفی‌اند، پس گرادیان‌های $-0{,}5$ و $-0{,}1$ هم صفر می‌شوند. نتیجه همان ماتریس بالاست.

Vanilla Gradient مشکل اشباع (saturation) دارد، همان‌طور که در Shrikumar و همکاران (۲۰۱۷) توضیح داده شده است. وقتی ReLU به کار می‌رود و فعال‌سازی از صفر پایین‌تر می‌رود، فعال‌سازی روی صفر بریده می‌شود و دیگر تغییر نمی‌کند. فعال‌سازی اشباع شده است. برای مثال: ورودی لایه دو نورون با وزن‌های $-1$ و $-1$ و بایاس $1$ است. هنگام عبور از لایهٔ ReLU، اگر مجموع هر دو نورون کمتر از ۱ باشد، فعال‌سازی برابر نورون۱ + نورون۲ خواهد بود. اگر مجموع دو ورودی بزرگ‌تر از ۱ باشد، فعال‌سازی روی مقدار ۱ اشباع باقی می‌ماند (چون وزن‌ها منفی‌اند). همچنین گرادیان در این نقطه صفر خواهد بود و Vanilla Gradient می‌گوید این نورون مهم نیست.

توضیح مترجم: نکتهٔ مثال اشباع این است که وقتی ورودی ReLU به ناحیهٔ منفی می‌رود، خروجی ثابت می‌ماند و گرادیان صفر می‌شود؛ پس روش نمی‌تواند اهمیت نورون را ببیند، حتی اگر آن نورون واقعاً مهم باشد. مثال کتاب عددی و کوتاه است و عبارت «نورون۱ + نورون۲» در آن عیناً ترجمه شد؛ جزئیات دقیق‌تر در مقالهٔ Shrikumar و همکاران آمده است.

و اکنون، خوانندگان عزیزم، روش دیگری را کم‌وبیش مفت یاد بگیرید: DeconvNet.

DeconvNet

DeconvNet از Zeiler و Fergus (۲۰۱۴) تقریباً با Vanilla Gradient یکسان است. هدف DeconvNet وارونه‌کردن یک شبکهٔ عصبی است و مقاله عملیاتی پیشنهاد می‌کند که وارونِ لایه‌های فیلتر، ادغام (pooling) و فعال‌سازی‌اند. اگر نگاهی به مقاله بیندازید، خیلی متفاوت از Vanilla Gradient به نظر می‌رسد، اما جز وارونه‌کردن لایهٔ ReLU، DeconvNet با رویکرد Vanilla Gradient معادل است. Vanilla Gradient را می‌توان تعمیمی از DeconvNet دید. DeconvNet برای پس‌انتشار گرادیان از ReLU انتخاب متفاوتی می‌کند:

$$R_n = R_{n+1} I(R_{n+1} > 0),$$

که در آن $R_n$ و $R_{n+1}$ بازسازی‌های لایه‌ها هستند و $I$ تابع نشانگر است. هنگام پس‌گذر از لایهٔ $n$ به لایهٔ $n-1$، DeconvNet «به یاد می‌آورد» که کدام فعال‌سازی‌های لایهٔ $n$ در گذر رو‌به‌جلو صفر شده‌اند و آن‌ها را در لایهٔ $n-1$ صفر می‌کند. فعال‌سازی‌هایی که در لایهٔ $n$ مقدار منفی دارند در لایهٔ $n-1$ صفر می‌شوند. گرادیان $\mathbf{X}_n$ برای مثال قبلی این می‌شود:

$$ \begin{pmatrix} 0.4 & 1.1 \\ 0 & 0 \\ \end{pmatrix} $$

برای درک بهتر (توضیح مترجم): تفاوت دو روش در یک قاعده است. Vanilla Gradient به علامت فعال‌سازی روی مسیر رو‌به‌جلو نگاه می‌کند (فقط گرادیان‌های جایی که فعال‌سازی مثبت بوده می‌مانند: ۰٫۴ در سطر اول). DeconvNet به علامت خودِ گرادیان بازسازی‌شده نگاه می‌کند، پس هر مقدار مثبت می‌ماند: ۰٫۴ و ۱٫۱ در سطر اول باقی می‌مانند و مقادیر منفی سطر دوم صفر می‌شوند. به همین دلیل ماتریس‌های نتیجه فرق دارند.

Grad-CAM

Grad-CAM (Selvaraju و همکاران ۲۰۱۷) توضیح‌های بصری برای تصمیم‌های CNN فراهم می‌کند. بر خلاف روش‌های دیگر، گرادیان تا خود تصویر پس‌انتشار داده نمی‌شود، بلکه (معمولاً) تا آخرین لایهٔ کانولوشنی برده می‌شود تا یک نقشهٔ مکان‌یابی درشت‌دانه تولید کند که نواحی مهم تصویر را برجسته می‌کند.

Grad-CAM مخفف Gradient-weighted Class Activation Map (نقشهٔ فعال‌سازی کلاس وزن‌دهی‌شده با گرادیان) است. و همان‌طور که از نامش پیداست، بر پایهٔ گرادیان شبکه‌های عصبی است. Grad-CAM، مانند فناوری‌های دیگر، به هر نورون یک امتیاز ربط برای تصمیم موردنظر اختصاص می‌دهد. این تصمیم موردنظر می‌تواند پیش‌بینی کلاس باشد (که در لایهٔ خروجی می‌یابیم)، ولی از نظر نظری می‌تواند هر لایهٔ دیگر شبکهٔ عصبی هم باشد. Grad-CAM این اطلاعات را به آخرین لایهٔ کانولوشنی پس‌انتشار می‌دهد. Grad-CAM را می‌توان با CNN‌های مختلف به کار برد: با لایه‌های کاملاً متصل، برای خروجی ساختاریافته مانند زیرنویس‌گذاری (captioning) و در خروجی‌های چندوظیفه‌ای، و برای یادگیری تقویتی.

با یک ملاحظهٔ شهودی دربارهٔ Grad-CAM شروع کنیم. هدف Grad-CAM فهمیدن این است که یک لایهٔ کانولوشنی برای یک دسته‌بندی مشخص به کدام بخش‌های تصویر «نگاه می‌کند». برای یادآوری، اولین لایهٔ کانولوشنی یک CNN تصاویر را ورودی می‌گیرد و نقشه‌های ویژگی‌ای خروجی می‌دهد که ویژگی‌های آموخته‌شده را کدگذاری می‌کنند (فصل ویژگی‌های آموخته‌شده را ببینید). لایه‌های کانولوشنی سطح بالاتر همین کار را می‌کنند، ولی نقشه‌های ویژگی لایه‌های کانولوشنی پیشین را ورودی می‌گیرند. برای فهمیدن اینکه CNN چگونه تصمیم می‌گیرد، Grad-CAM بررسی می‌کند کدام نواحی در نقشه‌های ویژگی آخرین لایه‌های کانولوشنی فعال شده‌اند. در آخرین لایهٔ کانولوشنی $k$ نقشهٔ ویژگی وجود دارد و من آن‌ها را $A_1, A_2, \ldots, A_k$ می‌نامم. چگونه می‌توانیم از روی نقشه‌های ویژگی «ببینیم» شبکهٔ عصبی کانولوشنی یک دسته‌بندی مشخص را چگونه انجام داده است؟ در رویکرد اول می‌توانیم به‌سادگی مقادیر خام هر نقشهٔ ویژگی را تجسم کنیم، روی نقشه‌های ویژگی میانگین بگیریم و آن را روی تصویر قرار دهیم. این مفید نیست، چون نقشه‌های ویژگی اطلاعات همهٔ کلاس‌ها را کدگذاری می‌کنند، اما ما به یک کلاس مشخص علاقه‌مندیم. Grad-CAM باید تصمیم بگیرد هر یک از $k$ نقشهٔ ویژگی برای کلاس موردنظر $c$ چقدر مهم بوده است. باید پیش از میانگین‌گیری روی نقشه‌های ویژگی، هر پیکسل از هر نقشهٔ ویژگی را با گرادیان وزن دهیم. این یک نقشهٔ گرمایی (heatmap) به ما می‌دهد که نواحی با اثر مثبت یا منفی بر کلاس موردنظر را برجسته می‌کند. این نقشهٔ گرمایی از تابع ReLU عبور داده می‌شود، که روش شیکی برای گفتن این است که همهٔ مقادیر منفی را صفر می‌کنیم. Grad-CAM همهٔ مقادیر منفی را با ReLU حذف می‌کند، با این استدلال که فقط به بخش‌هایی علاقه داریم که به کلاس انتخاب‌شدهٔ $c$ مشارکت می‌کنند و نه به کلاس‌های دیگر. واژهٔ پیکسل در اینجا ممکن است گمراه‌کننده باشد، چون نقشهٔ ویژگی (به‌خاطر واحدهای ادغام) از تصویر کوچک‌تر است، اما به تصویر اصلی نگاشت می‌شود. سپس برای تجسم، نقشهٔ Grad-CAM را به بازهٔ $[0,1]$ مقیاس‌دهی می‌کنیم و روی تصویر اصلی قرار می‌دهیم.

دستور کار Grad-CAM را ببینیم. هدف ما یافتن نقشهٔ مکان‌یابی است که چنین تعریف می‌شود:

$$L^c_{\text{Grad-CAM}} \in \mathbb{R}^{U \times V} = \underbrace{\text{ReLU}}_{\text{Pick positive values}}\left(\sum_{k} \alpha_k^c A^k\right)$$

در اینجا $U$ عرض، $V$ ارتفاع توضیح و $c$ کلاس موردنظر است.

  1. تصویر ورودی را از شبکهٔ عصبی کانولوشنی رو‌به‌جلو منتشر کنید.
  2. امتیاز خام کلاس موردنظر را به دست آورید، یعنی فعال‌سازی نورون پیش از لایهٔ softmax.
  3. فعال‌سازی همهٔ کلاس‌های دیگر را صفر کنید.
  4. گرادیان کلاس موردنظر را تا آخرین لایهٔ کانولوشنی پیش از لایه‌های کاملاً متصل پس‌انتشار دهید: $\frac{\delta y^c}{\delta A^k}$.
  5. هر «پیکسل» نقشهٔ ویژگی را با گرادیان کلاس وزن دهید. اندیس‌های $u$ و $v$ به ابعاد عرض و ارتفاع اشاره دارند: $$\alpha_k^c = \overbrace{\frac{1}{Z}\sum_{u}\sum_{v}}^{\text{global average pooling}} \underbrace{\frac{\delta y^c}{\delta A_{uv}^k}}_{\text{gradients via backprop}}$$ این یعنی گرادیان‌ها به‌صورت سراسری ادغام (pool) می‌شوند.
  6. میانگینی از نقشه‌های ویژگی محاسبه کنید که هر پیکسل آن با گرادیان وزن داده شده است.
  7. ReLU را روی نقشهٔ ویژگی میانگین‌گیری‌شده اعمال کنید.
  8. برای تجسم: مقادیر را به بازهٔ $[0, 1]$ مقیاس دهید. تصویر را بزرگ‌نمایی کنید و روی تصویر اصلی قرار دهید.
  9. گام اضافه برای Guided Grad-CAM: نقشهٔ گرمایی را در پس‌انتشار هدایت‌شده (guided backpropagation) ضرب کنید.

توضیح مترجم: در فرمول، $A^k$ نقشهٔ ویژگی $k$ام است و $\alpha_k^c$ وزن (اهمیت) آن برای کلاس $c$ است؛ این وزن میانگین گرادیان‌های همان نقشه روی همهٔ موقعیت‌هاست ($Z$ تعداد موقعیت‌هاست، که در متن منبع صراحتاً تعریف نشده است). برچسب‌های زیر و روی فرمول (Pick positive values، global average pooling و gradients via backprop) از خود فرمول در منبع‌اند و ترجمه نشده‌اند؛ معنی‌شان «انتخاب مقادیر مثبت»، «میانگین‌گیری سراسری» و «گرادیان‌ها از طریق پس‌انتشار» است. در متن منبع $y^c$ در گام‌ها و $S_c$ در جاهای دیگر برای امتیاز کلاس به کار رفته‌اند.

برای درک بهتر (توضیح مترجم): فرض کنید آخرین لایه سه نقشهٔ ویژگی دارد و گرادیان‌های میانگین‌گیری‌شدهٔ آن‌ها برای کلاس «سگ» $\alpha=(0{,}8,,0{,}1,,-0{,}5)$ است. نقشهٔ اول (مثلاً حساس به گوش) سهم زیادی می‌گیرد، نقشهٔ دوم سهم کم، و نقشهٔ سوم سهم منفی. جمع وزن‌دار این سه نقشه یک نقشهٔ گرمایی می‌دهد و ReLU مقادیر منفی آن را صفر می‌کند، پس فقط نواحی که به «سگ» کمک می‌کنند باقی می‌مانند. اعداد این مثال برای فهم‌اند و از کتاب نیامده‌اند.

Guided Grad-CAM

از توصیف Grad-CAM می‌توانید حدس بزنید که مکان‌یابی بسیار درشت‌دانه است، چون نقشه‌های ویژگی آخرین لایهٔ کانولوشنی در مقایسه با تصویر ورودی وضوح بسیار کمتری دارند. در مقابل، فناوری‌های اسناد دیگر تا خود پیکسل‌های ورودی پس‌انتشار می‌دهند. بنابراین بسیار دقیق‌ترند و می‌توانند لبه‌ها یا لکه‌های منفردی را نشان دهند که بیشترین سهم را در پیش‌بینی داشته‌اند. ترکیبی از هر دو روش Guided Grad-CAM نام دارد و فوق‌العاده ساده است. برای یک تصویر هم توضیح Grad-CAM و هم توضیح یک روش اسناد دیگر مانند Vanilla Gradient را محاسبه می‌کنید. سپس خروجی Grad-CAM با درون‌یابی دوخطی (bilinear interpolation) بزرگ‌نمایی می‌شود و بعد هر دو نقشه عنصربه‌عنصر در هم ضرب می‌شوند. Grad-CAM مانند یک عدسی عمل می‌کند که روی بخش‌های مشخصی از نقشهٔ اسناد پیکسلی تمرکز می‌کند.

SmoothGrad

ایدهٔ SmoothGrad از Smilkov و همکاران (۲۰۱۷) این است که توضیح‌های مبتنی بر گرادیان را با افزودن نویز و میانگین‌گیری روی این گرادیان‌های مصنوعاً نویزی کم‌نویزتر کند. SmoothGrad یک روش توضیح مستقل نیست، بلکه افزونه‌ای برای هر روش توضیح مبتنی بر گرادیان است.

SmoothGrad به این صورت کار می‌کند:

  1. با افزودن نویز به تصویر موردنظر، چند نسخه از آن تولید کنید.
  2. برای همهٔ تصاویر نقشه‌های اسناد پیکسلی بسازید.
  3. از نقشه‌های اسناد پیکسلی میانگین بگیرید.

بله، به همین سادگی. چرا باید جواب بدهد؟ نظریه این است که مشتق در مقیاس‌های کوچک به‌شدت نوسان می‌کند. شبکه‌های عصبی هنگام آموزش انگیزه‌ای برای هموار نگه‌داشتن گرادیان‌ها ندارند؛ هدفشان دسته‌بندی درست تصاویر است. میانگین‌گیری روی چند نقشه این نوسان‌ها را «هموار» می‌کند:

$$R_{sg}(\mathbf{x})=\frac{1}{N}\sum_{i=1}^N R(\mathbf{x} + \mathbf{g}_i),$$

در اینجا $\mathbf{g}_i \sim N(0, \sigma^2)$ بردارهای نویزی‌اند که از توزیع گاوسی نمونه‌گیری شده‌اند. سطح نویز «ایده‌آل» به تصویر ورودی و شبکه بستگی دارد. نویسندگان سطح نویز ۱۰٪ تا ۲۰٪ پیشنهاد می‌کنند، یعنی $\frac{\sigma}{x_{max} - x_{min}}$ باید بین ۰٫۱ و ۰٫۲ باشد. حدود $x_{min}$ و $x_{max}$ به کمینه و بیشینهٔ مقادیر پیکسل تصویر اشاره دارند. پارامتر دیگر تعداد نمونه‌هاست، $n$، که پیشنهاد شده $n = 50$ باشد، چون بالاتر از آن بازده نزولی است.

توضیح مترجم: در متن منبع تعداد نمونه‌ها یک بار $N$ (در فرمول) و یک بار $n$ (در متن) نوشته شده است؛ هر دو یک مقدارند. $\sigma$ انحراف معیار نویز گاوسی است، پس مثلاً اگر پیکسل‌ها بین ۰ و ۲۵۵ باشند، سطح نویز ۱۰٪ تا ۲۰٪ یعنی $\sigma$ تقریباً بین ۲۵٫۵ و ۵۱ است. این محاسبهٔ ساده از مترجم است.

مثال‌ها

بیایید چند مثال ببینیم که این نقشه‌ها چه شکلی هستند و روش‌ها چگونه از نظر کیفی با هم مقایسه می‌شوند. شبکهٔ موردبررسی VGG-16 (Simonyan و Zisserman ۲۰۱۵) است که روی ImageNet آموزش دیده و بنابراین می‌تواند ۱٬۰۰۰ کلاس را از هم تشخیص دهد. برای تصاویر زیر، توضیح‌ها را برای کلاسی می‌سازیم که بیشترین امتیاز دسته‌بندی را دارد.

شکل ۲۸.۲ تصاویر و دسته‌بندی آن‌ها توسط شبکهٔ عصبی را نشان می‌دهد:

توضیح مترجم (متن داخل تصویر): عنوان‌های بالای سه تصویر از چپ به راست: Greyhound (vanilla)، Soup Bowl (vanilla) و Eel (vanilla)؛ یعنی کلاس پیش‌بینی‌شده (سگ تازی، کاسهٔ سوپ، مارماهی) و روش (vanilla). در تصویر اول سگی کوچک کنار کتابی سیاه (کتاب همین مجموعه) دیده می‌شود، در تصویر دوم کاسهٔ رامن با تخم‌مرغ و چاپستیک و در تصویر سوم یک اختاپوس روی صخره‌های کف دریا.

سگ محترمی که در تصویر چپ از کتاب «یادگیری ماشین تفسیرپذیر» نگهبانی می‌کند، با احتمال ۳۵٪ به‌عنوان «Greyhound» دسته‌بندی شده است (به نظر می‌رسد «کتاب یادگیری ماشین تفسیرپذیر» جزو ۲۰ هزار کلاس نبوده). تصویر وسط یک کاسهٔ رامن خوشمزه را نشان می‌دهد و با احتمال ۵۰٪ درست به‌عنوان «Soup Bowl» دسته‌بندی شده است. تصویر سوم اختاپوسی را روی کف اقیانوس نشان می‌دهد که با احتمال بالای ۷۰٪ به‌اشتباه «Eel» دسته‌بندی شده است.

شکل ۲۸.۳ اسنادهای پیکسلی را نشان می‌دهد که هدفشان توضیح این دسته‌بندی‌هاست.

توضیح مترجم (متن داخل تصویر): شبکهٔ ۳×۳ ردیف‌ها روش‌ها و ستون‌ها کلاس‌ها هستند. ردیف اول (vanilla)، ردیف دوم (Smoothgrad) و ردیف سوم (Grad-Cam)؛ ستون‌ها از چپ به راست Greyhound، Soup Bowl و Eel. رنگ‌ها از آبی تیره (کم‌اهمیت) تا قرمز (پراهمیت) می‌روند. در ردیف سوم لکه‌های قرمز درشت‌اند، چون Grad-CAM وضوح پایین دارد.

متأسفانه کمی شلوغ است. اما توضیح‌ها را یکی‌یکی ببینیم، از سگ شروع می‌کنیم. Vanilla Gradient و SmoothGrad هر دو سگ را برجسته می‌کنند، که منطقی است. اما چند ناحیه دور کتاب را هم برجسته می‌کنند، که عجیب است. Grad-CAM فقط ناحیهٔ کتاب را برجسته می‌کند، که اصلاً معنا ندارد. و از اینجا به بعد کمی شلوغ‌تر می‌شود. روش Vanilla Gradient برای کاسهٔ سوپ و اختاپوس (یا همان‌طور که شبکه فکر می‌کند، مارماهی) شکست می‌خورد. هر دو تصویر مثل پس‌تصویرهایی به نظر می‌رسند که بعد از زیادی نگاه‌کردن به خورشید می‌بینید. (لطفاً مستقیم به خورشید نگاه نکنید). SmoothGrad خیلی کمک می‌کند؛ دست‌کم نواحی مشخص‌ترند. در مثال سوپ، برخی مواد مانند تخم‌مرغ‌ها و گوشت برجسته شده‌اند، اما ناحیهٔ دور چاپستیک‌ها هم برجسته است. در تصویر اختاپوس، بیشتر خود جانور برجسته است. برای کاسهٔ سوپ، Grad-CAM بخش تخم‌مرغ و، به دلیلی نامعلوم، بخش بالای کاسه را برجسته می‌کند. توضیح‌های Grad-CAM برای اختاپوس حتی شلوغ‌ترند.

از همین‌جا می‌توانید دشواری سنجیدن اینکه به توضیح‌ها اعتماد کنیم یا نه را ببینید. در گام اول باید در نظر بگیریم کدام بخش‌های تصویر اطلاعاتی مرتبط با دسته‌بندی تصویر دارند. اما بعد باید به این هم فکر کنیم که شبکهٔ عصبی ممکن است برای دسته‌بندی از چه چیزی استفاده کرده باشد. شاید کاسهٔ سوپ بر پایهٔ ترکیب تخم‌مرغ و چاپستیک درست دسته‌بندی شده، همان‌طور که SmoothGrad نشان می‌دهد؟ یا شاید شبکهٔ عصبی شکل کاسه به‌علاوهٔ چند ماده را تشخیص داده، همان‌طور که Grad-CAM پیشنهاد می‌کند؟ ما فقط نمی‌دانیم.

و این مسئلهٔ بزرگ همهٔ این روش‌هاست. برای توضیح‌ها حقیقت پایه (ground truth) نداریم. فقط می‌توانیم، در گام اول، توضیح‌هایی را که آشکارا معنا ندارند رد کنیم (و حتی در همین گام هم اطمینان قوی‌ای نداریم). فرایند پیش‌بینی در شبکهٔ عصبی بسیار پیچیده است.

توضیح مترجم: در متن منبع یک بار از «۲۰ هزار کلاس» و یک بار از «۱٬۰۰۰ کلاس» صحبت شده است و این دو عدد با هم نمی‌خوانند (در همین متن گفته شده VGG-16 ۱٬۰۰۰ کلاس را از هم تشخیص می‌دهد). هر دو عدد بدون تغییر ترجمه شدند. همچنین ترجمهٔ «Soup Bowl» و «Eel» برای خوانایی در شرح شکل آمده و برچسب‌های داخل تصویر انگلیسی ماندند.

نقاط قوت

توضیح‌ها بصری هستند و ما در تشخیص تصاویر سریع‌ایم. به‌ویژه وقتی روش‌ها فقط پیکسل‌های مهم را برجسته می‌کنند، تشخیص بلافاصلهٔ نواحی مهم تصویر آسان است.

روش‌های مبتنی بر گرادیان معمولاً سریع‌تر از روش‌های مستقل از مدل محاسبه می‌شوند. برای مثال، LIME و SHAP را هم می‌توان برای توضیح دسته‌بندی تصاویر به کار برد، اما محاسبهٔ آن‌ها پرهزینه‌تر است.

روش‌های بسیاری برای انتخاب وجود دارد.

محدودیت‌ها

مانند بیشتر روش‌های تفسیر، دانستن اینکه توضیح درست است یا نه دشوار است، و بخش بزرگی از ارزیابی فقط کیفی است («این توضیح‌ها تقریباً درست به نظر می‌رسند، بیایید مقاله را همین حالا منتشر کنیم»).

روش‌های اسناد پیکسلی می‌توانند بسیار شکننده باشند. Ghorbani و همکاران (۲۰۱۹) نشان دادند که وارد کردن اختلال‌های کوچک (خصمانه) به یک تصویر، که همچنان به همان پیش‌بینی می‌انجامد، می‌تواند باعث شود پیکسل‌های بسیار متفاوتی به‌عنوان توضیح برجسته شوند.

Kindermans و همکاران (۲۰۱۹) نیز نشان دادند که این روش‌های اسناد پیکسلی می‌توانند بسیار غیرقابل‌اعتماد باشند. آن‌ها یک جابه‌جایی ثابت به داده‌های ورودی اضافه کردند، یعنی تغییرات پیکسلی یکسانی را به همهٔ تصاویر افزودند. آن‌ها دو شبکه را مقایسه کردند: شبکهٔ اصلی و شبکهٔ «جابه‌جاشده» که در آن بایاس لایهٔ اول طوری تغییر کرده که با جابه‌جایی ثابت پیکسل‌ها سازگار شود. هر دو شبکه پیش‌بینی‌های یکسانی تولید می‌کنند. افزون بر این، گرادیان برای هر دو یکسان است. اما توضیح‌ها تغییر کردند، که ویژگی نامطلوبی است. آن‌ها DeepLift، Vanilla Gradient و Integrated Gradients را بررسی کردند.

⚠️ هشدار — چند روش را مقایسه کنید

هنگام تکیهٔ صرف بر روش‌های اسناد پیکسلی برای تفسیر محتاط باشید. اختلال‌های کوچک در ورودی می‌توانند توضیح‌های به‌شدت متفاوتی ایجاد کنند، حتی اگر پیش‌بینی‌ها بدون تغییر بمانند. همیشه توضیح‌ها را با چند روش اعتبارسنجی کنید تا از استحکام آن‌ها مطمئن شوید.

مقالهٔ «Sanity checks for saliency maps» (Adebayo و همکاران ۲۰۱۸) بررسی کرد که آیا روش‌های برجستگی نسبت به مدل و داده بی‌تفاوت هستند یا نه. بی‌تفاوتی بسیار نامطلوب است، چون یعنی «توضیح» به مدل و داده ربطی ندارد. روش‌هایی که نسبت به مدل و داده‌های آموزشی بی‌تفاوت‌اند شبیه آشکارسازهای لبه‌اند. آشکارسازهای لبه فقط تغییرات شدید رنگ پیکسل در تصاویر را برجسته می‌کنند و به مدل پیش‌بینی یا ویژگی‌های انتزاعی تصویر ربطی ندارند و آموزش هم نمی‌خواهند. روش‌های آزمایش‌شده Vanilla Gradient، Gradient x Input، Integrated Gradients، Guided Backpropagation، Guided Grad-CAM و SmoothGrad (با Vanilla Gradient) بودند. Vanilla Gradient و Grad-CAM در بررسی بی‌تفاوتی قبول شدند، در حالی که Guided Backpropagation و Guided Grad-CAM رد شدند. با این حال، خود مقالهٔ بررسی‌های سلامت هم با مقاله‌ای از Tomsett و همکاران (۲۰۲۰) با عنوان «Sanity checks for saliency metrics» (البته که این‌طور است) نقد شده است. آن‌ها دریافتند که ثبات معیارهای ارزیابی کم است (می‌دانم، دارد خیلی فرا‌سطحی می‌شود). پس به همان نقطهٔ شروع برگشته‌ایم … ارزیابی توضیح‌های بصری همچنان دشوار است. این برای یک متخصص عملی کار را بسیار دشوار می‌کند.

در مجموع، این وضعیتی بسیار نارضایت‌بخش است. باید کمی برای پژوهش بیشتر دربارهٔ این موضوع صبر کنیم. و لطفاً دیگر روش‌های برجستگی جدید اختراع نکنید، بلکه بیشتر دقت کنید چگونه آن‌ها را ارزیابی کنیم.

توضیح مترجم: «بررسی بی‌تفاوتی» (sanity check) در مقالهٔ Adebayo و همکاران یعنی آزمایشی که مثلاً وزن‌های مدل یا برچسب‌های داده را تصادفی می‌کند؛ اگر توضیح با این تغییرات تقریباً ثابت بماند، یعنی روش به مدل و داده «نگاه نمی‌کند» و فقط لبه‌ها را نشان می‌دهد. شرح این آزمایش در متن منبع نیامده و از مترجم است؛ جزئیات را باید در خود مقاله دید. در متن منبع Guided Backpropagation بدون تعریف مستقل به کار رفته و فقط در دستور کار Guided Grad-CAM به آن اشاره شده است.

نرم‌افزار

چند پیاده‌سازی نرم‌افزاری برای روش‌های اسناد پیکسلی وجود دارد. برای مثال من از tf-keras-vis استفاده کردم. یکی از جامع‌ترین کتابخانه‌ها iNNvestigate (Alber و همکاران ۲۰۱۹) است که Vanilla Gradient، SmoothGrad، DeconvNet، Guided Backpropagation، PatternNet، LRP (Bach و همکاران ۲۰۱۵) و موارد دیگر را پیاده‌سازی می‌کند. بسیاری از روش‌ها در DeepExplain Toolbox پیاده‌سازی شده‌اند.

فصل ۲۹: تشخیص مفاهیم

عنوان اصلی: Detecting Concepts
منبع: https://christophm.github.io/interpretable-ml-book/detecting-concepts.html
نویسنده: Fangzhou Li @ دانشگاه کالیفرنیا، دیویس
مترجم: مریم محمودی


نویسنده: Fangzhou Li @ دانشگاه کالیفرنیا، دیویس

تاکنون با روش‌های بسیاری برای توضیح مدل‌های جعبه‌سیاه از طریق اسناد ویژگی (feature attribution) آشنا شده‌ایم. با این حال، رویکرد مبتنی بر ویژگی چند محدودیت دارد. نخست، ویژگی‌ها از نظر تفسیرپذیری لزوماً کاربرپسند نیستند. برای مثال، اهمیت یک پیکسل منفرد در یک تصویر معمولاً تفسیر معناداری منتقل نمی‌کند. دوم، گویایی (expressiveness) توضیح مبتنی بر ویژگی با تعداد ویژگی‌ها محدود می‌شود.

رویکرد مبتنی بر مفهوم (concept-based approach) هر دو محدودیت یادشده را برطرف می‌کند. مفهوم می‌تواند هر انتزاعی باشد، مانند یک رنگ، یک شیء یا حتی یک ایده. با فرض هر مفهوم تعریف‌شده توسط کاربر، هرچند ممکن است شبکهٔ عصبی صراحتاً با آن مفهوم آموزش ندیده باشد، رویکرد مبتنی بر مفهوم آن مفهوم را که در فضای نهفتهٔ (latent space) آموخته‌شده توسط شبکه جاسازی شده است تشخیص می‌دهد. به بیان دیگر، رویکرد مبتنی بر مفهوم می‌تواند توضیح‌هایی تولید کند که به فضای ویژگی‌های یک شبکهٔ عصبی محدود نیستند.

در این فصل عمدتاً بر مقالهٔ آزمون با بردارهای فعال‌سازی مفهوم (Testing with Concept Activation Vectors یا TCAV) از Kim و همکاران (۲۰۱۸) تمرکز می‌کنیم.

توضیح مترجم: «فضای نهفته» یا فضای فعال‌سازی، فضایی است که در آن خروجی یک لایهٔ میانی شبکه (بردار فعال‌سازی‌ها) به‌صورت یک نقطه نمایش داده می‌شود. «مفهوم» در این فصل با مجموعه‌ای از نمونه‌های تصویری (مثلاً تصاویر راه‌راه) تعریف می‌شود، نه با یک ویژگی ورودی خاص. «جعبه‌سیاه» مدلی است که سازوکار درونی‌اش مستقیم خوانا نیست.

TCAV: آزمون با بردارهای فعال‌سازی مفهوم

TCAV برای تولید توضیح‌های سراسری برای شبکه‌های عصبی پیشنهاد شده است، اما در نظریه باید برای هر مدلی که گرفتن مشتق جهتی (directional derivative) در آن ممکن باشد هم کار کند. برای هر مفهوم مفروض، TCAV میزان تأثیر آن مفهوم را بر پیش‌بینی مدل برای یک کلاس مشخص اندازه می‌گیرد. برای مثال، TCAV می‌تواند به پرسش‌هایی پاسخ دهد، مانند اینکه مفهوم «راه‌راه» چگونه بر مدلی که تصویری را «گورخر» دسته‌بندی می‌کند اثر می‌گذارد. چون TCAV رابطهٔ بین یک مفهوم و یک کلاس را توصیف می‌کند، به‌جای توضیح یک پیش‌بینی منفرد، تفسیری سراسری و مفید از رفتار کلی مدل ارائه می‌دهد.

💡 نکته — مفهوم را با دقت تعریف کنید

هنگام استفاده از TCAV مطمئن شوید مفهومی که بررسی می‌کنید متمایز و خوب‌تعریف‌شده است. این به اندازه‌گیری دقیق اثر آن بر پیش‌بینی‌های مدل کمک می‌کند.

بردار فعال‌سازی مفهوم (CAV)

CAV صرفاً نمایش عددی‌ای است که یک مفهوم را در فضای فعال‌سازی یک لایهٔ شبکهٔ عصبی تعمیم می‌دهد. یک CAV، که با $\mathbf{v}_l^C$ نشان داده می‌شود، به یک مفهوم $C$ و یک لایهٔ شبکهٔ عصبی $l$ بستگی دارد، که $l$ را گلوگاه (bottleneck) مدل هم می‌نامند. برای محاسبهٔ CAV مفهوم $C$، نخست باید دو مجموعه‌داده آماده کنیم: یک مجموعه‌دادهٔ مفهوم که $C$ را نمایندگی می‌کند، و یک مجموعه‌دادهٔ تصادفی که از داده‌های دلخواه تشکیل شده است. برای نمونه، برای تعریف مفهوم «راه‌راه» می‌توانیم تصاویر اشیای راه‌راه را به‌عنوان مجموعه‌دادهٔ مفهوم جمع کنیم، در حالی که مجموعه‌دادهٔ تصادفی گروهی از تصاویر تصادفی بدون راه‌راه است. سپس یک لایهٔ پنهان $l$ را هدف می‌گیریم و یک دسته‌بند دودویی آموزش می‌دهیم که فعال‌سازی‌های تولیدشده توسط مجموعهٔ مفهوم را از فعال‌سازی‌های تولیدشده توسط مجموعهٔ تصادفی جدا می‌کند. بردار ضرایب این دسته‌بند دودویی آموزش‌دیده در این صورت همان CAV یعنی $\mathbf{v}_l^C$ است. در عمل می‌توانیم از SVM یا مدل رگرسیون لجستیک به‌عنوان دسته‌بند دودویی استفاده کنیم. در نهایت، با فرض یک ورودی تصویری $\mathbf{x}$، می‌توانیم «حساسیت مفهومی» (conceptual sensitivity) آن را با محاسبهٔ مشتق جهتی پیش‌بینی در جهت CAV واحد (unit CAV) اندازه بگیریم:

$$S_{C,k,l}(\mathbf{x})=\nabla h_{l,k}(\hat{f}_l(\mathbf{x}))\cdot \mathbf{v}_l^C$$

که در آن $\hat{f}_l$ ورودی $\mathbf{x}$ را به بردار فعال‌سازی لایهٔ $l$ نگاشت می‌کند و $h_{l,k}$ بردار فعال‌سازی را به خروجی لوجیت (logit) کلاس $k$ نگاشت می‌کند.

از نظر ریاضی، علامت $S_{C,k,l}(\mathbf{x})$ فقط به زاویهٔ بین گرادیان $h_{l,k}(\hat{f}_l(\mathbf{x}))$ و $\mathbf{v}_l^C$ بستگی دارد. اگر زاویه کمتر از ۹۰ درجه باشد، $S_{C,k,l}(\mathbf{x})$ مثبت خواهد بود و اگر زاویه بیشتر از ۹۰ درجه باشد، $S_{C,k,l}(\mathbf{x})$ منفی خواهد بود. چون گرادیان $\nabla h_{l,k}$ به جهتی اشاره می‌کند که خروجی را با سریع‌ترین شیب بیشینه می‌کند، حساسیت مفهومی $S_{C,k,l}$، به‌طور شهودی، نشان می‌دهد آیا $\mathbf{v}_l^C$ به جهتی مشابه جهتی اشاره می‌کند که $h_{l,k}$ را بیشینه می‌کند یا نه. بنابراین، $S_{C,k,l}(\mathbf{x})>0$ را می‌توان چنین تفسیر کرد که مفهوم $C$ مدل را به دسته‌بندی $\mathbf{x}$ در کلاس $k$ ترغیب می‌کند.

توضیح مترجم: متن منبع CAV را ابتدا «بردار ضرایب دسته‌بند» می‌نامد و بعد از «CAV واحد» (طول یک) صحبت می‌کند؛ در عمل یعنی این بردار قبل از ضرب نرمال می‌شود تا فقط جهتش مهم باشد. ضرب نقطه‌ای در فرمول همان مشتق جهتی است: اندازهٔ تغییر امتیاز کلاس $k$ وقتی در فضای فعال‌سازی در جهت مفهوم $C$ حرکت کنیم. همچنین $k$ در متن منبع هم شمارندهٔ کلاس و هم (در بخش بعد) کلاس موردنظر است.

برای درک بهتر (توضیح مترجم): فرض کنید فضای فعال‌سازی فقط دو بعد دارد. اگر جهت مفهوم «راه‌راه» به سمت راست و بالا باشد و گرادیان امتیاز «گورخر» برای یک تصویر هم تقریباً به سمت راست و بالا باشد، زاویه کوچک و ضرب نقطه‌ای مثبت است؛ یعنی حرکت به سمت «راه‌راه‌تر» امتیاز «گورخر» را بالا می‌برد. اگر گرادیان به سمت چپ و پایین بود، زاویه از ۹۰ درجه بیشتر و حساسیت منفی می‌شد. این مثال دوبعدی ساختهٔ مترجم است.

آزمون با CAVها (TCAV)

در بند قبل یاد گرفتیم چگونه حساسیت مفهومی یک نقطهٔ داده را محاسبه کنیم. اما هدف ما تولید توضیحی سراسری است که حساسیت مفهومی کلی یک کلاس کامل را نشان دهد. یک رویکرد بسیار سرراست که TCAV اتخاذ می‌کند محاسبهٔ نسبت ورودی‌هایی با حساسیت مفهومی مثبت به تعداد ورودی‌های یک کلاس است:

$$TCAV_{Q,C,k,l}=\frac{|\lbrace \mathbf{x} \in \mathbf{X}_k : S_{C,k,l}(\mathbf{x}) > 0 \rbrace|}{|\mathbf{X}_k|}$$

توضیح مترجم: در فرمول، $\mathbf{X}_k$ مجموعهٔ ورودی‌های برچسب‌خوردهٔ کلاس $k$ است و $|\cdot|$ تعداد اعضای مجموعه. اندیس $Q$ در $TCAV_{Q,C,k,l}$ در متن منبع تعریف نشده است.

با بازگشت به مثال خودمان، می‌خواهیم بدانیم مفهوم «راه‌راه» هنگام دسته‌بندی تصاویر به‌عنوان «گورخر» چگونه بر مدل اثر می‌گذارد. داده‌هایی را که با «گورخر» برچسب خورده‌اند جمع می‌کنیم و حساسیت مفهومی را برای هر تصویر ورودی حساب می‌کنیم. سپس امتیاز TCAV مفهوم «راه‌راه» با پیش‌بینی کلاس «گورخر» برابر است با تعداد تصاویر «گورخر» که حساسیت مفهومی مثبت دارند تقسیم بر تعداد کل تصاویر «گورخر». به بیان دیگر، $TCAV$ با $C=\text{striped}$ و $k=\text{zebra}$ برابر با ۰٫۸ نشان می‌دهد که ۸۰٪ از پیش‌بینی‌ها برای کلاس «گورخر» به‌طور مثبت تحت تأثیر مفهوم «راه‌راه» هستند.

برای درک بهتر (توضیح مترجم): اگر ۵۰ تصویر گورخر داشته باشیم و برای ۴۰ تای آن‌ها حساسیت مفهومی «راه‌راه» مثبت باشد، امتیاز TCAV برابر $40/50=0{,}8$ است. اگر ۲۵ تصویر مثبت بودند، امتیاز ۰٫۵ می‌شد، یعنی مفهوم «راه‌راه» تقریباً بی‌اثر است (در حد شانس). اعداد این مثال برای فهم‌اند.

این عالی به نظر می‌رسد، اما از کجا بدانیم امتیاز TCAV ما معنادار است؟ به هر حال یک CAV با مفاهیم انتخاب‌شده توسط کاربر و مجموعه‌داده‌های تصادفی آموزش داده می‌شود. اگر مجموعه‌داده‌هایی که برای آموزش CAV به کار رفته‌اند بد باشند، توضیح می‌تواند گمراه‌کننده و بی‌فایده باشد. بنابراین یک آزمون ساده معناداری آماری انجام می‌دهیم تا TCAV قابل‌اعتمادتر شود. یعنی به‌جای آموزش تنها یک CAV، چند CAV را با مجموعه‌داده‌های تصادفی مختلف آموزش می‌دهیم و مجموعه‌دادهٔ مفهوم را ثابت نگه می‌داریم. یک مفهوم معنادار باید CAVهایی با امتیازهای TCAV سازگار تولید کند. رویهٔ دقیق‌تر آزمون به این صورت است:

  1. $N$ مجموعه‌دادهٔ تصادفی جمع کنید، که توصیه می‌شود $N$ دست‌کم ۱۰ باشد.
  2. مجموعه‌دادهٔ مفهوم را ثابت کنید و امتیاز TCAV را با هر یک از $N$ مجموعه‌دادهٔ تصادفی حساب کنید.
  3. یک آزمون $t$ دودنباله (two-sided t-test) را روی $N$ امتیاز TCAV در برابر $N$ امتیاز TCAV دیگر که با یک CAV تصادفی تولید شده‌اند اعمال کنید. یک CAV تصادفی را می‌توان با انتخاب یک مجموعه‌دادهٔ تصادفی به‌عنوان مجموعه‌دادهٔ مفهوم به دست آورد.

⚠️ هشدار — مفروضات آزمون t را بررسی کنید

هنگام انجام آزمون $t$ دودنباله برای امتیازهای TCAV مطمئن شوید داده‌هایتان مفروضات آزمون، مانند نرمال‌بودن و همگنی واریانس‌ها، را برآورده می‌کند. در غیر این صورت استفاده از آزمون‌های ناپارامتری را در نظر بگیرید.

همچنین پیشنهاد می‌شود اگر چند فرضیه دارید یک روش تصحیح آزمون چندگانه (multiple testing correction) اعمال کنید. مقالهٔ اصلی از تصحیح بونفرونی (Bonferroni) استفاده می‌کند و در اینجا تعداد فرضیه‌ها برابر تعداد مفاهیمی است که آزمایش می‌کنید.

برای درک بهتر (توضیح مترجم): تصحیح بونفرونی ساده است: اگر $m$ فرضیه را همزمان آزمون کنید، آستانهٔ معناداری $0{,}05$ را بر $m$ تقسیم می‌کنید. برای سه مفهوم، آستانه $0{,}05/3\approx 0{,}017$ می‌شود. دلیلش این است که با آزمون‌های بیشتر، احتمال یافتن یک «نتیجهٔ معنادار» صرفاً از روی شانس بالا می‌رود. این توضیح از مترجم است.

مثال

مثالی را ببینیم که در GitHub مربوط به TCAV موجود است. با ادامهٔ مثال کلاس «گورخر» که پیش‌تر به کار می‌بردیم، شکل ۲۹.۱ نتیجهٔ امتیازهای TCAV برای مفاهیم «راه‌راه» (striped)، «زیگزاگی» (zigzagged) و «نقطه‌نقطه» (dotted) را نشان می‌دهد. دسته‌بند تصویری که به کار می‌بریم InceptionV3 (Szegedy و همکاران ۲۰۱۶) است، یک شبکهٔ عصبی کانولوشنی که با داده‌های ImageNet آموزش دیده است. هر مجموعه‌دادهٔ مفهوم یا تصادفی ۵۰ تصویر دارد و برای آزمون معناداری آماری از ۱۰ مجموعه‌دادهٔ تصادفی با سطح معناداری ۰٫۰۵ استفاده می‌کنیم. تصحیح بونفرونی را به کار نمی‌بریم چون فقط چند مجموعه‌دادهٔ تصادفی داریم، اما در عمل توصیه می‌شود برای پرهیز از کشف کاذب (false discovery) این تصحیح اضافه شود.

توضیح مترجم (متن داخل تصویر): عنوان نمودار TCAV Scores for each concept and bottleneck (امتیازهای TCAV برای هر مفهوم و گلوگاه) است. محور عمودی TCAV Score (امتیاز TCAV) از ۰ تا ۱ است و محور افقی سه مفهوم dotted، striped و zigzagged را دارد. راهنمای mixed4c نام لایهٔ گلوگاه است. میلهٔ striped حدود ۰٫۸۹ و zigzagged حدود ۰٫۸۴ است (با خط‌های خطا)، و میلهٔ dotted نزدیک صفر است و ستاره دارد. مقادیر عددی را از روی نمودار تخمین زده‌ام و در متن منبع نیامده‌اند.

💡 نکته — از بیش از ۵۰ تصویر استفاده کنید

در عمل شاید بخواهید در هر مجموعه‌داده از بیش از ۵۰ تصویر استفاده کنید تا CAVهای بهتری آموزش دهید. همچنین شاید بخواهید از بیش از ۱۰ مجموعه‌دادهٔ تصادفی برای آزمون‌های معناداری آماری بهتر استفاده کنید. می‌توانید TCAV را برای چند گلوگاه هم اعمال کنید تا مشاهدهٔ دقیق‌تری داشته باشید.

نقاط قوت

چون از کاربران فقط خواسته می‌شود داده‌هایی برای آموزش مفاهیمی که به آن‌ها علاقه‌مندند جمع کنند، TCAV از کاربران انتظار تخصص یادگیری ماشین ندارد. این باعث می‌شود TCAV برای متخصصان حوزه جهت ارزیابی مدل‌های پیچیدهٔ شبکهٔ عصبی‌شان بسیار مفید باشد.

ویژگی منحصربه‌فرد دیگر TCAV سفارشی‌پذیری (customizability) آن است که با توضیح‌های فراتر از اسناد ویژگی در TCAV ممکن می‌شود. کاربران می‌توانند هر مفهومی را بررسی کنند، به شرط آنکه مفهوم را بتوان با مجموعه‌دادهٔ مفهوم آن تعریف کرد. به بیان دیگر، کاربر می‌تواند توازن بین پیچیدگی و تفسیرپذیری توضیح‌ها را بر اساس نیازش کنترل کند: اگر یک متخصص حوزه مسئله و مفهوم را بسیار خوب بفهمد، می‌تواند مجموعه‌دادهٔ مفهوم را با داده‌های پیچیده‌تر شکل دهد تا توضیح دقیق‌تری تولید کند.

سرانجام، TCAV توضیح‌های سراسری تولید می‌کند که مفاهیم را به هر کلاسی مرتبط می‌کنند. یک توضیح سراسری به شما ایده می‌دهد که آیا مدل کلی‌تان درست رفتار می‌کند یا نه، که معمولاً با توضیح‌های محلی ممکن نیست. و بنابراین TCAV را می‌توان برای شناسایی «نقص‌ها» یا «نقاط کور» احتمالی که هنگام آموزش مدل رخ می‌دهند به کار برد: شاید مدل شما یاد گرفته مفهومی را نامناسب وزن‌دهی کند. اگر کاربری بتواند این مفاهیم بد‌آموخته‌شده را شناسایی کند، می‌تواند از این دانش برای بهبود مدل استفاده کند. فرض کنید دسته‌بندی داریم که «گورخر» را با دقت بالا پیش‌بینی می‌کند. با این حال TCAV نشان می‌دهد دسته‌بند نسبت به مفهوم «نقطه‌نقطه» حساس‌تر است تا «راه‌راه». این ممکن است نشان دهد دسته‌بند به‌طور تصادفی با مجموعه‌دادهٔ نامتوازن آموزش دیده است، که به شما اجازه می‌دهد مدل را یا با افزودن تصاویر بیشتر «گورخر راه‌راه» یا با کاستن از تصاویر «گورخر نقطه‌نقطه» در مجموعه‌دادهٔ آموزشی بهبود دهید.

محدودیت‌ها

TCAV ممکن است روی شبکه‌های عصبی کم‌عمق‌تر عملکرد بدی داشته باشد. همان‌طور که مقاله‌های بسیاری پیشنهاد کرده‌اند (مثلاً Alain و Bengio ۲۰۱۸)، مفاهیم در لایه‌های عمیق‌تر قابل‌جداسازی‌ترند. اگر شبکه‌ای بیش از حد کم‌عمق باشد، لایه‌هایش ممکن است قادر به جداکردن روشن مفاهیم نباشند، به‌طوری که TCAV قابل‌اعمال نیست.

چون TCAV به حاشیه‌نویسی‌های اضافی برای مجموعه‌داده‌های مفهوم نیاز دارد، برای وظایفی که داده‌های برچسب‌خوردهٔ آماده ندارند می‌تواند بسیار پرهزینه باشد. یک جایگزین ممکن برای TCAV وقتی حاشیه‌نویسی گران است استفاده از ACE است که در بخش بعد به‌اختصار دربارهٔ آن صحبت می‌کنیم.

هرچند TCAV به خاطر سفارشی‌پذیری‌اش ستایش می‌شود، اعمال آن به مفاهیمی که بیش از حد انتزاعی یا کلی‌اند دشوار است. این عمدتاً به این دلیل است که TCAV یک مفهوم را با مجموعه‌دادهٔ مفهوم متناظرش توصیف می‌کند. هرچه مفهومی انتزاعی‌تر یا کلی‌تر باشد، مانند «شادی»، داده‌های بیشتری برای آموزش CAV آن مفهوم لازم است.

هرچند TCAV در اعمال بر داده‌های تصویری محبوبیت یافته است، کاربردهای نسبتاً محدودی در داده‌های متنی و جدولی دارد.

رویکردهای دیگر مبتنی بر مفهوم

رویکرد مبتنی بر مفهوم اخیراً محبوبیت روزافزونی یافته و روش‌های جدید بسیاری از به‌کارگیری مفاهیم الهام گرفته‌اند. در اینجا می‌خواهیم این روش‌ها را به‌اختصار نام ببریم و اگر علاقه‌مندید توصیه می‌کنیم کارهای اصلی را بخوانید.

توضیح خودکار مبتنی بر مفهوم (Automated Concept-based Explanation یا ACE) (Ghorbani و همکاران ۲۰۱۹) را می‌توان نسخهٔ خودکار TCAV دید. ACE مجموعه‌ای از تصاویر یک کلاس را مرور می‌کند و مفاهیم را بر پایهٔ خوشه‌بندی قطعه‌های تصویر به‌طور خودکار تولید می‌کند.

مدل‌های گلوگاه مفهومی (Concept Bottleneck Models یا CBM) (Koh و همکاران ۲۰۲۰) شبکه‌های عصبی ذاتاً تفسیرپذیرند. CBM شبیه یک مدل رمزگذار-رمزگشا (encoder-decoder) است، که در آن نیمهٔ اول CBM ورودی‌ها را به مفاهیم نگاشت می‌کند و نیمهٔ دوم از مفاهیم نگاشت‌شده برای پیش‌بینی خروجی مدل استفاده می‌کند. هر فعال‌سازی نورون لایهٔ گلوگاه آن‌گاه نمایندهٔ اهمیت یک مفهوم است. افزون بر این، کاربران می‌توانند فعال‌سازی نورون‌های گلوگاه را دستکاری کنند تا توضیح‌های خلاف‌واقع (counterfactual) از مدل تولید کنند.

سفیدسازی مفهوم (Concept Whitening یا CW) (Chen و همکاران ۲۰۲۰) رویکرد دیگری برای تولید دسته‌بندهای تصویری ذاتاً تفسیرپذیر است. برای استفاده از CW، یک لایهٔ نرمال‌سازی، مانند لایهٔ نرمال‌سازی دسته‌ای (batch normalization)، با یک لایهٔ CW جایگزین می‌شود. و بنابراین CW زمانی بسیار مفید است که کاربران بخواهند دسته‌بندهای تصویری از پیش آموزش‌دیدهٔ خود را به دسته‌بندهای ذاتاً تفسیرپذیر تبدیل کنند و عملکرد مدل را هم حفظ کنند. CW عمیقاً از تبدیل سفیدسازی (whitening transformation) الهام گرفته است و اگر علاقه‌مند به یادگیری بیشتر دربارهٔ CW هستید، به‌شدت توصیه می‌کنیم ریاضیات پشت تبدیل سفیدسازی را مطالعه کنید.

توضیح مترجم: «ذاتاً تفسیرپذیر» (intrinsically interpretable) یعنی مدل از ابتدا طوری طراحی شده که ساختارش خوانا باشد، برخلاف روش‌هایی مانند TCAV که پس از آموزش (post hoc) مدل را توضیح می‌دهند. «سفیدسازی» تبدیلی است که داده‌ها را طوری تغییر می‌دهد که ویژگی‌ها ناهمبسته و با واریانس واحد شوند. نویسندهٔ کتاب جزئیات ریاضی آن را ارائه نکرده است.

نرم‌افزار

کتابخانهٔ رسمی پایتون TCAV به TensorFlow نیاز دارد، اما نسخه‌های دیگری هم به‌صورت آنلاین پیاده‌سازی شده‌اند. نوت‌بوک‌های Jupyter آسان‌استفاده هم در tensorflow/tcav در دسترس‌اند.

فصل ۳۰: مثال‌های خصمانه

عنوان اصلی: Adversarial Examples
منبع: https://christophm.github.io/interpretable-ml-book/adversarial.html
نویسنده: Christoph Molnar
مترجم: مریم محمودی


مثال خصمانه (adversarial example) نمونه‌ای است با اختلال‌های کوچک و عمدی در ویژگی‌ها که باعث می‌شود یک مدل یادگیری ماشین پیش‌بینی نادرستی انجام دهد. توصیه می‌کنم نخست فصل توضیح‌های خلاف‌واقع را بخوانید، چون مفاهیم بسیار شبیه‌اند. مثال‌های خصمانه نمونه‌های خلاف‌واقعی هستند که هدفشان فریب‌دادن مدل است، نه تفسیر آن.

توضیح مترجم: در این کتاب adversarial را «خصمانه» ترجمه کرده‌ام (در برخی منابع «متخاصم» هم می‌آید). «مثال خلاف‌واقع» نمونه‌ای است که کمی تغییر می‌کند تا پیش‌بینی مدل عوض شود و به ما بگوید «چه چیزی باید فرق می‌کرد»؛ مثال خصمانه همین ساختار را دارد ولی با نیت فریب. «پیش‌بینی نادرست» یعنی خروجی‌ای که با برچسب درست همخوان نیست.

چرا به مثال‌های خصمانه علاقه‌مندیم؟ آیا فقط محصولات جانبی کنجکاوی‌برانگیز مدل‌های یادگیری ماشین و بدون اهمیت عملی نیستند؟ پاسخ یک «نه» روشن است. مثال‌های خصمانه مدل‌های یادگیری ماشین را در برابر حمله آسیب‌پذیر می‌کنند، مانند سناریوهای زیر.

یک خودروی خودران با خودروی دیگری برخورد می‌کند چون علامت ایست را نادیده گرفته است. کسی تصویری روی علامت چسبانده بود که برای انسان‌ها مانند یک علامت ایست با کمی لکهٔ کثیفی به نظر می‌رسد، اما طوری طراحی شده بود که برای نرم‌افزار تشخیص علامت خودرو مانند علامت ممنوعیت توقف دیده شود.

یک آشکارساز هرزنامه (spam) نمی‌تواند ایمیلی را هرزنامه دسته‌بندی کند. هرزنامه طوری طراحی شده که شبیه یک ایمیل عادی باشد، اما با نیت فریب‌دادن گیرنده.

یک اسکنر مبتنی بر یادگیری ماشین چمدان‌ها را در فرودگاه برای یافتن سلاح اسکن می‌کند. چاقویی ساخته شده که با وادار کردن سامانه به اینکه فکر کند چتر است، از شناسایی می‌گریزد.

بیایید به چند روش ساخت مثال‌های خصمانه نگاهی بیندازیم.

روش‌ها و مثال‌ها

تکنیک‌های بسیاری برای ساخت مثال‌های خصمانه وجود دارد. بیشتر رویکردها پیشنهاد می‌کنند فاصلهٔ بین مثال خصمانه و نمونه‌ای که قرار است دستکاری شود را کمینه کنیم، در حالی که پیش‌بینی را به نتیجهٔ دلخواه (خصمانه) می‌بریم. برخی روش‌ها به گرادیان‌های مدل دسترسی نیاز دارند، که البته فقط با مدل‌های مبتنی بر گرادیان مانند شبکه‌های عصبی کار می‌کند، در حالی که روش‌های دیگر فقط به تابع پیش‌بینی دسترسی می‌خواهند، که آن‌ها را مستقل از مدل (model-agnostic) می‌کند. روش‌های این بخش بر دسته‌بندهای تصویر با شبکه‌های عصبی عمیق تمرکز دارند، چون پژوهش بسیاری در این حوزه انجام شده و تجسم تصاویر خصمانه بسیار آموزنده است. مثال‌های خصمانه برای تصاویر، تصاویری با پیکسل‌های عمداً دستکاری‌شده‌اند که هدفشان فریب‌دادن مدل در زمان کاربرد (application time) است. این مثال‌ها به‌طرز شگفت‌انگیزی نشان می‌دهند شبکه‌های عصبی عمیق برای تشخیص اشیا چقدر آسان توسط تصاویری که برای انسان بی‌خطر به نظر می‌رسند فریب می‌خورند. اگر هنوز این مثال‌ها را ندیده‌اید، ممکن است شگفت‌زده شوید، چون تغییر در پیش‌بینی‌ها برای ناظر انسانی قابل‌درک نیست. مثال‌های خصمانه مانند خطای دید (optical illusion) هستند، ولی برای ماشین‌ها.

مشکلی در سگ من هست

Szegedy و همکاران (۲۰۱۴) در کارشان «ویژگی‌های جالب شبکه‌های عصبی» (Intriguing Properties of Neural Networks) از یک رویکرد بهینه‌سازی مبتنی بر گرادیان برای یافتن مثال‌های خصمانه برای شبکه‌های عصبی عمیق استفاده کردند. یک نتیجه در شکل ۳۰.۱ دیده می‌شود.

توضیح مترجم (متن داخل تصویر): این تصویر متن ندارد. سه ردیف دارد (یک دستگاه مایع دستشویی، یک آخوندک و یک سگ پشمالوی سفید). در هر ردیف ستون چپ تصویر اصلی، ستون وسط الگوی نویزمانند رنگی خطا و ستون راست تصویر اختلال‌دار است که با چشم از تصویر اصلی تقریباً تفاوتی ندارد، ولی شبکه همهٔ آن‌ها را «شترمرغ» می‌خواند. ترتیب ستون‌ها از شرح شکل می‌آید.

این مثال‌های خصمانه با کمینه‌کردن تابع زیر نسبت به $\mathbf{r}$ ساخته شدند:

$$\text{loss}(\hat{f}(\mathbf{x}+\mathbf{r}), l) + c \cdot |\mathbf{r}|$$

در این فرمول، $\mathbf{x}$ یک تصویر است (که به‌صورت بردار پیکسل‌ها نمایش داده می‌شود)، $\mathbf{r}$ تغییر در پیکسل‌ها برای ساخت یک تصویر خصمانه است ($\mathbf{x} + \mathbf{r}$ یک تصویر جدید تولید می‌کند)، $l$ کلاس نتیجهٔ دلخواه است و پارامتر $c$ برای متعادل‌کردن فاصلهٔ بین تصاویر و فاصلهٔ بین پیش‌بینی‌ها به کار می‌رود. جملهٔ اول فاصلهٔ بین نتیجهٔ پیش‌بینی‌شدهٔ مثال خصمانه و کلاس دلخواه $l$ است؛ جملهٔ دوم فاصلهٔ بین مثال خصمانه و تصویر اصلی را می‌سنجد. این فرمول‌بندی تقریباً با تابع زیان تولید توضیح‌های خلاف‌واقع یکسان است. قیدهای اضافی‌ای برای $\mathbf{r}$ وجود دارد تا مقادیر پیکسل‌ها بین ۰ و ۱ بمانند. نویسندگان پیشنهاد می‌کنند این مسئلهٔ بهینه‌سازی با L-BFGS با قید جعبه‌ای (box-constrained L-BFGS) حل شود، الگوریتم بهینه‌سازی‌ای که با گرادیان‌ها کار می‌کند.

برای درک بهتر (توضیح مترجم): فرمول دو هدف را هم‌زمان می‌خواهد: (۱) تصویر اختلال‌دار $\mathbf{x}+\mathbf{r}$ به کلاس دلخواه (مثلاً «شترمرغ») نزدیک شود (جملهٔ زیان) و (۲) اختلال $\mathbf{r}$ کوچک بماند تا تصویر برای انسان تغییری نکند (جملهٔ $c|\mathbf{r}|$). اگر $c$ بزرگ باشد، تصویر به اصلی نزدیک می‌ماند ولی شاید حمله موفق نشود؛ اگر $c$ کوچک باشد، حمله آسان‌تر موفق می‌شود ولی اختلال دیده می‌شود.

پاندای مختل‌شده: روش علامت گرادیان سریع

Goodfellow و همکاران (۲۰۱۵) روش علامت گرادیان سریع (fast gradient sign method) را برای ساخت تصاویر خصمانه ابداع کردند. روش علامت گرادیان از گرادیان مدل زیربنایی برای یافتن مثال‌های خصمانه استفاده می‌کند. تصویر اصلی $\mathbf{x}$ با افزودن یا کاستن یک خطای کوچک $\epsilon$ به هر پیکسل دستکاری می‌شود. اینکه $\epsilon$ را بیفزاییم یا بکاهیم به این بستگی دارد که علامت گرادیان برای یک پیکسل مثبت است یا منفی. افزودن خطاها در جهت گرادیان یعنی تصویر عمداً طوری تغییر می‌کند که دسته‌بندی مدل شکست بخورد.

فرمول زیر هستهٔ روش علامت گرادیان سریع را توصیف می‌کند:

$$\mathbf{x}^\prime = \mathbf{x} + \epsilon \cdot \text{sign}\left(\nabla_{\mathbf{x}} J(\boldsymbol{\theta}, \mathbf{x}, y)\right)$$

که در آن $\nabla_{\mathbf{x}} J$ گرادیان تابع زیان مدل نسبت به بردار پیکسل‌های ورودی اصلی $\mathbf{x}$ است، $y$ برچسب درست $\mathbf{x}$ و $\boldsymbol{\theta}$ بردار پارامترهای مدل است. از بردار گرادیان (که به‌اندازهٔ بردار پیکسل‌های ورودی طول دارد) فقط علامت را لازم داریم: علامت گرادیان مثبت (۱+) است اگر افزایش شدت پیکسل زیان (خطای مدل) را افزایش دهد و منفی (۱−) است اگر کاهش شدت پیکسل زیان را افزایش دهد. این آسیب‌پذیری زمانی رخ می‌دهد که شبکهٔ عصبی رابطهٔ بین شدت یک پیکسل ورودی و امتیاز کلاس را به‌صورت خطی در نظر بگیرد. به‌ویژه، معماری‌های شبکهٔ عصبی که خطی‌بودن را ترجیح می‌دهند، مانند LSTMها، شبکه‌های maxout، شبکه‌های با واحدهای فعال‌سازی ReLU، یا الگوریتم‌های یادگیری ماشین خطی دیگر مانند رگرسیون لجستیک، در برابر روش علامت گرادیان آسیب‌پذیرند. این حمله با برون‌یابی (extrapolation) انجام می‌شود. خطی‌بودن بین شدت پیکسل ورودی و امتیازهای کلاس به آسیب‌پذیری در برابر داده‌های پرت می‌انجامد، یعنی مدل را می‌توان با جابه‌جاکردن مقادیر پیکسل به نواحی بیرون از توزیع داده فریب داد. انتظار داشتم این مثال‌های خصمانه کاملاً مختص معماری یک شبکهٔ عصبی خاص باشند. اما معلوم می‌شود می‌توانید مثال‌های خصمانه را دوباره به کار ببرید تا شبکه‌هایی با معماری متفاوت را که روی همان وظیفه آموزش دیده‌اند فریب دهید.

برای درک بهتر (توضیح مترجم): فرض کنید تصویر فقط سه پیکسل دارد و علامت‌های گرادیان زیان برای آن‌ها $(+,-,+)$ است و $\epsilon=0{,}01$. تصویر جدید هر پیکسل را به اندازهٔ $0{,}01$ در همین جهت‌ها جابه‌جا می‌کند: پیکسل اول و سوم $0{,}01$ روشن‌تر و پیکسل دوم $0{,}01$ تیره‌تر. تغییر هر پیکسل ناچیز است، اما چون همهٔ آن‌ها در جهت افزایش زیان‌اند، اثرشان روی هم جمع می‌شود و مدل خطا می‌کند. اعداد مثال ساختهٔ مترجم‌اند.

Goodfellow و همکاران (۲۰۱۵) پیشنهاد کردند مثال‌های خصمانه به داده‌های آموزشی اضافه شوند تا مدل‌های مستحکم (robust) آموخته شوند.

یک چتر دریایی … نه، صبر کنید. یک وان حمام: حمله‌های تک‌پیکسلی

رویکرد ارائه‌شده توسط Goodfellow و همکارانش (۲۰۱۴) نیاز دارد پیکسل‌های بسیاری تغییر کنند، هرچند اندک. اما اگر فقط بتوانید یک پیکسل را تغییر دهید چه؟ آیا می‌توانید یک مدل یادگیری ماشین را فریب دهید؟ Su و همکاران (۲۰۱۹) نشان دادند که واقعاً ممکن است دسته‌بندهای تصویر را با تغییر یک پیکسل فریب داد، همان‌طور که در شکل ۳۰.۲ نشان داده شده است.

توضیح مترجم (متن داخل تصویر): این تصویر متن ندارد و یک طرح ساده است: دو شبکهٔ ۱۰×۱۰ از پیکسل‌های رنگی (آسمان آبی، درخت سبز تیره با تنهٔ قهوه‌ای، چمن سبز و چند خانهٔ خاکستری)، با یک پیکان بین آن‌ها. در شبکهٔ راست فقط یک پیکسل صورتی پررنگ با دایرهٔ قرمز مشخص شده است؛ این تنها تفاوت دو تصویر است.

مانند خلاف‌واقع‌ها، حملهٔ تک‌پیکسلی به دنبال یک نمونهٔ تغییریافته $\mathbf{x}^\prime$ می‌گردد که به تصویر اصلی $\mathbf{x}$ نزدیک باشد، اما پیش‌بینی را به نتیجه‌ای خصمانه تغییر دهد. با این حال، تعریف نزدیکی متفاوت است: فقط یک پیکسل ممکن است تغییر کند. حملهٔ تک‌پیکسلی برای پی‌بردن به اینکه کدام پیکسل و چگونه تغییر کند از تکامل تفاضلی (differential evolution) استفاده می‌کند. تکامل تفاضلی به‌طور سست از تکامل زیستی گونه‌ها الهام گرفته است. جمعیتی از افراد به نام راه‌حل‌های کاندیدا نسل به نسل ترکیب می‌شوند تا راه‌حلی یافت شود. هر راه‌حل کاندیدا یک تغییر پیکسل را کدگذاری می‌کند و با یک بردار پنج‌عنصری نمایش داده می‌شود: مختصات $x$ و $y$ و مقادیر قرمز، سبز و آبی (RGB). جست‌وجو، برای مثال، با ۴۰۰ راه‌حل کاندیدا (= پیشنهاد تغییر پیکسل) شروع می‌شود و با استفاده از فرمول زیر نسل جدیدی از راه‌حل‌های کاندیدا (فرزندان) را از نسل والد می‌سازد:

$$\mathbf{x}_{g+1}^{(i)} = \mathbf{x}_g^{(r1)} + F \cdot (\mathbf{x}_g^{(r2)}- \mathbf{x}_g^{(r3)})$$

که در آن هر $x^{(i)}$ یک عنصر از یک راه‌حل کاندیدا است (مختصات $x$، مختصات $y$، قرمز، سبز یا آبی)، $g$ نسل فعلی است، $F$ پارامتر مقیاس‌دهی است (برابر ۰٫۵ تنظیم شده) و $r1$ و $r2$ و $r3$ اعداد تصادفی متفاوت‌اند. هر راه‌حل کاندیدای فرزند جدید به نوبهٔ خود یک پیکسل با پنج ویژگی مکان و رنگ است و هر یک از آن ویژگی‌ها ترکیبی از سه پیکسل والد تصادفی است.

ساخت فرزندان وقتی متوقف می‌شود که یکی از راه‌حل‌های کاندیدا مثال خصمانه باشد، یعنی در کلاسی نادرست دسته‌بندی شود، یا وقتی به حداکثر تعداد تکرارهای تعیین‌شده توسط کاربر برسیم.

توضیح مترجم: در فرمول، $r1,r2,r3$ در منبع «اعداد تصادفی متفاوت» نامیده شده‌اند؛ در عمل شمارهٔ سه عضو تصادفی و متمایز از جمعیت‌اند. فرمول یعنی فرزند = یک والد + $0{,}5\times$ (تفاضل دو والد دیگر). اگر ۴۰۰ کاندیدا داشته باشیم، هر نسل ۴۰۰ پیکسل پیشنهادی جدید می‌سازد و دسته‌بند روی هر کدام امتحان می‌شود.

همه‌چیز یک توستر است: وصلهٔ خصمانه

یکی از روش‌های موردعلاقهٔ من مثال‌های خصمانه را به دنیای فیزیکی می‌آورد. Brown و همکاران (۲۰۱۸) برچسبی چاپ‌شدنی طراحی کردند که می‌توان آن را کنار اشیا چسباند تا برای یک دسته‌بند تصویر شبیه توستر به نظر برسند، شکل ۳۰.۳ را ببینید. کار درخشانی است!

توضیح مترجم (متن داخل تصویر): این تصویر متن ندارد. یک وصلهٔ دایره‌ای است با طرح رنگارنگ و انتزاعی که لبه‌هایی شبیه توستر دارد (شیارهای نان و خطوط فلزی)؛ این همان برچسب خصمانه‌ای است که کنار موز قرار می‌گیرد.

این روش با روش‌هایی که تاکنون برای مثال‌های خصمانه ارائه شد فرق دارد، چون محدودیتی که تصویر خصمانه باید بسیار به تصویر اصلی نزدیک باشد حذف شده است. در عوض، روش بخشی از تصویر را کاملاً با وصله‌ای جایگزین می‌کند که می‌تواند هر شکلی داشته باشد. تصویر وصله روی تصاویر پس‌زمینهٔ مختلف و با موقعیت‌های مختلف وصله روی تصاویر بهینه می‌شود، گاهی جابه‌جاشده، گاهی بزرگ‌تر یا کوچک‌تر و چرخیده، تا وصله در موقعیت‌های بسیار کار کند. در پایان، این تصویر بهینه‌شده را می‌توان چاپ کرد و برای فریب دسته‌بندهای تصویر در دنیای واقعی به کار برد.

هرگز یک لاک‌پشت چاپ سه‌بعدی‌شده را به یک تیراندازی نبرید – حتی اگر رایانه‌تان فکر کند ایدهٔ خوبی است: مثال‌های خصمانهٔ مستحکم

روش بعدی به معنای واقعی کلمه بعد دیگری به توستر می‌افزاید: Athalye و همکاران (۲۰۱۸) یک لاک‌پشت را چاپ سه‌بعدی کردند که طوری طراحی شده بود که از تقریباً همهٔ زاویه‌های ممکن برای یک شبکهٔ عصبی عمیق شبیه تفنگ به نظر برسد، همان‌طور که در شکل ۳۰.۴ نشان داده شده است. بله، درست خواندید. یک شیء فیزیکی که برای انسان‌ها شبیه لاک‌پشت است برای رایانه شبیه تفنگ است!

توضیح مترجم (متن داخل تصویر): این تصویر متن ندارد و یک کاریکاتور سیاه‌وسفید است: لاک‌پشت دریایی در پایین چپ، و یک رایانهٔ لپ‌تاپ با چهرهٔ متعجب و قطرهٔ عرق در سمت راست که در حباب فکرش یک تفنگ می‌بیند. یعنی رایانه لاک‌پشت را «تفنگ» می‌پندارد.

نویسندگان راهی برای ساخت مثال خصمانه به‌صورت سه‌بعدی برای یک دسته‌بند دوبعدی یافته‌اند که نسبت به تبدیل‌ها، مانند همهٔ امکان‌های چرخاندن لاک‌پشت، بزرگ‌نمایی و غیره، خصمانه است. رویکردهای دیگر، مانند روش گرادیان سریع، وقتی تصویر چرخانده می‌شود یا زاویهٔ دید عوض می‌شود دیگر کار نمی‌کنند. Athalye و همکاران (۲۰۱۷) الگوریتم امید ریاضی روی تبدیل‌ها (Expectation Over Transformation یا EOT) را پیشنهاد می‌کنند، روشی برای ساخت مثال‌های خصمانه که حتی وقتی تصویر تبدیل شود کار می‌کنند. ایدهٔ اصلی پشت EOT بهینه‌کردن مثال‌های خصمانه روی بسیاری از تبدیل‌های ممکن است. به‌جای کمینه‌کردن فاصلهٔ بین مثال خصمانه و تصویر اصلی، EOT فاصلهٔ مورد انتظار بین این دو را، با فرض توزیع انتخاب‌شده‌ای از تبدیل‌های ممکن، زیر یک آستانهٔ معین نگه می‌دارد. فاصلهٔ مورد انتظار تحت تبدیل را می‌توان چنین نوشت:

$$\mathbb{E}_{t \sim T}[d(t(\mathbf{x}^\prime), t(\mathbf{x}))]$$

که در آن $\mathbf{x}$ تصویر اصلی، $t(\mathbf{x})$ تصویر تبدیل‌شده (مثلاً چرخیده)، $\mathbf{x}^\prime$ مثال خصمانه و $t(\mathbf{x}^\prime)$ نسخهٔ تبدیل‌شدهٔ آن است. جدا از کار با یک توزیع از تبدیل‌ها، روش EOT الگوی آشنای چارچوب‌بندی جست‌وجوی مثال‌های خصمانه به‌عنوان مسئلهٔ بهینه‌سازی را دنبال می‌کند. می‌کوشیم مثال خصمانه‌ای $\mathbf{x}^\prime$ بیابیم که احتمال کلاس انتخاب‌شده $y_t$ (مثلاً «تفنگ») را روی توزیع تبدیل‌های ممکن $T$ بیشینه کند:

$$\arg\max_{\mathbf{x}^\prime} \mathbb{E}_{t \sim T}[\log \mathbb{P}(y_t | t(\mathbf{x}^\prime))]$$

با این قید که فاصلهٔ مورد انتظار روی همهٔ تبدیل‌های ممکن بین مثال خصمانه $\mathbf{x}^\prime$ و تصویر اصلی $\mathbf{x}$ زیر یک آستانهٔ معین بماند:

$$\mathbb{E}_{t \sim T}[d(t(\mathbf{x}^\prime), t(\mathbf{x}))] < \epsilon \quad \text{and} \quad \mathbf{x} \in [0,1]^d$$

فکر می‌کنم باید نگران امکان‌هایی باشیم که این روش ایجاد می‌کند. روش‌های دیگر بر دستکاری تصاویر دیجیتال استوارند. اما این مثال‌های خصمانهٔ مستحکم چاپ‌شدهٔ سه‌بعدی را می‌توان در هر صحنهٔ واقعی قرار داد و رایانه را فریب داد تا یک شیء را اشتباه دسته‌بندی کند. بیایید برعکسش کنیم: اگر کسی تفنگی بسازد که شبیه لاک‌پشت باشد چه؟

برای درک بهتر (توضیح مترجم): «امید ریاضی روی تبدیل‌ها» یعنی به‌جای اینکه مثال خصمانه را فقط برای یک عکس ثابت بهینه کنیم، آن را برای میانگین روی بسیاری از چرخش‌ها، بزرگ‌نمایی‌ها و نورپردازی‌ها بهینه می‌کنیم. اگر حمله فقط برای یک زاویه کار کند، با چرخاندن لاک‌پشت از بین می‌رود؛ اما اگر برای میانگین زاویه‌ها بهینه شده باشد، در بیشتر زاویه‌ها کار می‌کند. همچنین در فرمول $d$ تابع فاصله و $\epsilon$ آستانهٔ فاصله است؛ در متن منبع $d$ (بُعد/تعداد پیکسل‌ها در $[0,1]^d$) و $d(\cdot)$ (تابع فاصله) هر دو با حرف $d$ آمده‌اند.

دشمن چشم‌بسته: حملهٔ جعبه‌سیاه

سناریوی زیر را تصور کنید: به شما از طریق یک API وب به دسته‌بند تصویر عالی من دسترسی می‌دهم. می‌توانید از مدل پیش‌بینی بگیرید، ولی به پارامترهای مدل دسترسی ندارید. از راحتی مبل‌تان می‌توانید داده بفرستید و سرویس من با دسته‌بندی‌های متناظر پاسخ می‌دهد. بیشتر حمله‌های خصمانه برای کار در این سناریو طراحی نشده‌اند، چون برای یافتن مثال‌های خصمانه به دسترسی به گرادیان شبکهٔ عصبی عمیق زیربنایی نیاز دارند. Papernot و همکاران (۲۰۱۷) نشان دادند که می‌توان مثال‌های خصمانه را بدون اطلاعات درونی مدل و بدون دسترسی به داده‌های آموزشی ساخت. این نوع حملهٔ (تقریباً) بدون دانش را حملهٔ جعبه‌سیاه (black box attack) می‌نامند.

نحوهٔ کار:

  1. با چند تصویر که از همان حوزهٔ داده‌های آموزشی می‌آیند شروع کنید؛ مثلاً اگر دسته‌بند مورد حمله یک دسته‌بند ارقام است، از تصاویر ارقام استفاده کنید. دانستن حوزه لازم است، اما دسترسی به داده‌های آموزشی نه.
  2. برای مجموعهٔ فعلی تصاویر از جعبه‌سیاه پیش‌بینی بگیرید.
  3. یک مدل جانشین (surrogate) را روی مجموعهٔ فعلی تصاویر آموزش دهید (برای مثال یک شبکهٔ عصبی).
  4. با استفاده از یک اکتشاف (heuristic) که برای مجموعهٔ فعلی تصاویر بررسی می‌کند پیکسل‌ها در چه جهتی دستکاری شوند تا خروجی مدل واریانس بیشتری داشته باشد، مجموعهٔ جدیدی از تصاویر مصنوعی بسازید.
  5. گام‌های ۲ تا ۴ را برای تعداد از پیش تعیین‌شده‌ای دوره (epoch) تکرار کنید.
  6. با روش گرادیان سریع (یا مشابه) برای مدل جانشین مثال‌های خصمانه بسازید.
  7. با مثال‌های خصمانه به مدل اصلی حمله کنید.

هدف مدل جانشین تقریب مرزهای تصمیم مدل جعبه‌سیاه است، نه لزوماً رسیدن به همان دقت.

نویسندگان این رویکرد را با حمله به دسته‌بندهای تصویری که روی خدمات ابری مختلف یادگیری ماشین آموزش دیده بودند آزمودند. این خدمات دسته‌بندهای تصویر را روی تصاویر و برچسب‌های بارگذاری‌شدهٔ کاربر آموزش می‌دهند. نرم‌افزار مدل را به‌طور خودکار آموزش می‌دهد – گاهی با الگوریتمی ناشناخته برای کاربر – و آن را مستقر می‌کند. دسته‌بند سپس برای تصاویر بارگذاری‌شده پیش‌بینی می‌دهد، اما خود مدل را نمی‌توان بازرسی یا دانلود کرد. نویسندگان توانستند برای ارائه‌دهندگان مختلف مثال‌های خصمانه بیابند و تا ۸۴٪ مثال‌های خصمانه نادرست دسته‌بندی شدند.

این روش حتی وقتی مدل جعبه‌سیاهی که باید فریب بخورد شبکهٔ عصبی نباشد هم کار می‌کند. این شامل مدل‌های یادگیری ماشین بدون گرادیان مانند درخت‌های تصمیم هم می‌شود.

دیدگاه امنیت سایبری

یادگیری ماشین با «ناشناخته‌های شناخته‌شده» سروکار دارد: پیش‌بینی نقاط داده‌ای ناشناخته از یک توزیع شناخته‌شده. دفاع در برابر حمله‌ها با «ناشناخته‌های ناشناخته» سروکار دارد: پیش‌بینی مستحکم نقاط داده‌ای ناشناخته از یک توزیع ناشناختهٔ ورودی‌های خصمانه. با ادغام یادگیری ماشین در سامانه‌های بیشتر و بیشتر، مانند خودروهای خودران یا دستگاه‌های پزشکی، آن‌ها به نقاط ورود برای حمله هم تبدیل می‌شوند. حتی اگر پیش‌بینی‌های یک مدل یادگیری ماشین روی یک مجموعه‌دادهٔ آزمون ۱۰۰٪ درست باشد، می‌توان مثال‌های خصمانه یافت که مدل را فریب دهند. دفاع از مدل‌های یادگیری ماشین در برابر حمله‌های سایبری بخش جدیدی از حوزهٔ امنیت سایبری است.

Biggio و Roli (۲۰۱۸) مرور خوبی از ده سال پژوهش دربارهٔ یادگیری ماشین خصمانه ارائه می‌دهند که این بخش بر آن استوار است. امنیت سایبری یک مسابقهٔ تسلیحاتی است که در آن مهاجمان و مدافعان بارها همدیگر را فریب می‌دهند.

توضیح مترجم: «ناشناخته‌های شناخته‌شده» یعنی نمونه‌های جدیدی که از همان توزیع داده‌های آموزشی می‌آیند (نمی‌دانیم هر نمونه چیست، ولی می‌دانیم از کجا می‌آید). «ناشناخته‌های ناشناخته» یعنی ورودی‌هایی که مهاجم عمداً از بیرون این توزیع می‌سازد. در متن منبع Biggio و Roli با عنوان «biggio2018wild» ارجاع شده‌اند.

سه قانون طلایی در امنیت سایبری وجود دارد: ۱) دشمن خود را بشناسید، ۲) پیش‌دستانه عمل کنید و ۳) از خودتان محافظت کنید.

کاربردهای مختلف دشمنان مختلف دارند. افرادی که می‌کوشند از راه ایمیل دیگران را برای پولشان فریب دهند، عوامل دشمن کاربران و ارائه‌دهندگان خدمات ایمیل‌اند. ارائه‌دهندگان می‌خواهند از کاربرانشان محافظت کنند تا بتوانند به استفاده از برنامهٔ ایمیلشان ادامه دهند؛ مهاجمان می‌خواهند مردم را وادار کنند به آن‌ها پول بدهند. شناخت دشمنانتان یعنی شناخت هدف‌هایشان. اگر فرض کنید نمی‌دانید این هرزنامه‌فرستان وجود دارند و تنها سوءاستفاده از سرویس ایمیل ارسال نسخه‌های دزدی موسیقی است، آنگاه دفاع متفاوت می‌بود (مثلاً اسکن پیوست‌ها برای محتوای دارای حق نشر به‌جای تحلیل متن برای نشانه‌های هرزنامه).

پیش‌دستانه‌بودن یعنی فعالانه آزمودن و شناسایی نقاط ضعف سامانه. وقتی فعالانه می‌کوشید مدل را با مثال‌های خصمانه فریب دهید و سپس در برابر آن‌ها دفاع کنید، پیش‌دستانه عمل می‌کنید. استفاده از روش‌های تفسیر برای فهمیدن اینکه کدام ویژگی‌ها مهم‌اند و ویژگی‌ها چگونه بر پیش‌بینی اثر می‌گذارند هم گام پیش‌دستانه‌ای برای فهم نقاط ضعف یک مدل یادگیری ماشین است. شما به‌عنوان دانشمند داده، آیا در این دنیای خطرناک به مدلتان اعتماد دارید بی‌آنکه هرگز فراتر از توان پیش‌بینی روی یک مجموعه‌دادهٔ آزمون نگاه کرده باشید؟ آیا بررسی کرده‌اید مدل در سناریوهای مختلف چگونه رفتار می‌کند، مهم‌ترین ورودی‌ها را شناسایی کرده‌اید و توضیح‌های پیش‌بینی را برای چند مثال بررسی کرده‌اید؟ آیا کوشیده‌اید ورودی‌های خصمانه بیابید؟ تفسیرپذیری مدل‌های یادگیری ماشین نقش بزرگی در امنیت سایبری دارد. واکنشی‌بودن (reactive)، نقطهٔ مقابل پیش‌دستانه‌بودن، یعنی منتظر ماندن تا سامانه مورد حمله قرار گیرد و تنها آن‌گاه مسئله را فهمیدن و چند اقدام دفاعی نصب کردن.

چگونه می‌توانیم سامانه‌های یادگیری ماشین‌مان را در برابر مثال‌های خصمانه محافظت کنیم؟ یک رویکرد پیش‌دستانه بازآموزی تکراری دسته‌بند با مثال‌های خصمانه است که آموزش خصمانه (adversarial training) هم نامیده می‌شود. رویکردهای دیگر بر نظریهٔ بازی‌ها استوارند، مانند یادگیری تبدیل‌های ناوردای ویژگی‌ها یا بهینه‌سازی مستحکم (منظم‌سازی). روش پیشنهادی دیگر استفاده از چند دسته‌بند به‌جای فقط یکی و رأی‌گیری آن‌ها برای پیش‌بینی است (ensemble)، اما تضمینی برای کارکرد ندارد، چون همهٔ آن‌ها ممکن است از مثال‌های خصمانهٔ مشابه آسیب ببینند. رویکرد دیگری که آن هم خوب کار نمی‌کند پنهان‌سازی گرادیان (gradient masking) است، که می‌توان با ساخت مدلی بدون گرادیان‌های مفید و با استفاده از دسته‌بند نزدیک‌ترین همسایه به‌جای مدل اصلی به دست آورد.

می‌توانیم انواع حمله را بر اساس اینکه مهاجم چقدر دربارهٔ سامانه می‌داند از هم تمیز دهیم. مهاجمان ممکن است دانش کامل داشته باشند (حملهٔ جعبه‌سفید یا white box)، یعنی همه‌چیز دربارهٔ مدل مانند نوع مدل، پارامترها و داده‌های آموزشی را بدانند؛ مهاجمان ممکن است دانش جزئی داشته باشند (حملهٔ جعبه‌خاکستری یا gray box)، یعنی شاید فقط نمایش ویژگی‌ها و نوع مدل به‌کاررفته را بدانند، اما به داده‌های آموزشی یا پارامترها دسترسی نداشته باشند؛ مهاجمان ممکن است دانش صفر داشته باشند (حملهٔ جعبه‌سیاه)، یعنی فقط بتوانند مدل را به شیوهٔ جعبه‌سیاه پرس‌وجو کنند اما به داده‌های آموزشی یا اطلاعات پارامترهای مدل دسترسی نداشته باشند. بسته به سطح اطلاعات، مهاجمان می‌توانند از تکنیک‌های مختلف برای حمله به مدل استفاده کنند. همان‌طور که در مثال‌ها دیدیم، حتی در حالت جعبه‌سیاه هم می‌توان مثال خصمانه ساخت، پس پنهان‌کردن اطلاعات دربارهٔ داده و مدل برای محافظت در برابر حمله‌ها کافی نیست.

با توجه به ماهیت بازی موش و گربه بین مهاجمان و مدافعان، شاهد پیشرفت و نوآوری بسیاری در این حوزه خواهیم بود. فقط به انواع مختلف ایمیل‌های هرزنامه فکر کنید که پیوسته در حال تحول‌اند. روش‌های جدید حمله علیه مدل‌های یادگیری ماشین ابداع می‌شوند و اقدام‌های دفاعی جدید در برابر این حمله‌های جدید پیشنهاد می‌شوند. حمله‌های قدرتمندتری برای دورزدن آخرین دفاع‌ها ساخته می‌شوند و همین‌طور تا ابد. با این فصل امیدوارم شما را نسبت به مسئلهٔ مثال‌های خصمانه حساس کرده باشم و اینکه تنها با مطالعهٔ پیش‌دستانهٔ مدل‌های یادگیری ماشین می‌توانیم ضعف‌ها را کشف و رفع کنیم.

فصل ۳۱: نمونه‌های تأثیرگذار

عنوان اصلی: Influential Instances
منبع: https://christophm.github.io/interpretable-ml-book/influential.html
نویسنده: Christoph Molnar
مترجم: مریم محمودی


مدل‌های یادگیری ماشین در نهایت محصول داده‌های آموزشی‌اند و حذف یکی از نمونه‌های آموزشی می‌تواند مدل حاصل را تغییر دهد. یک نمونهٔ آموزشی را «تأثیرگذار» (influential) می‌نامیم وقتی حذفش از داده‌های آموزشی پارامترها یا پیش‌بینی‌های مدل را به‌طور قابل‌توجهی تغییر دهد. با شناسایی نمونه‌های آموزشی تأثیرگذار می‌توانیم مدل‌های یادگیری ماشین را «اشکال‌زدایی» (debug) کنیم و رفتار و پیش‌بینی‌های آن‌ها را بهتر توضیح دهیم.

این فصل دو رویکرد برای شناسایی نمونه‌های تأثیرگذار نشان می‌دهد: تشخیص‌های حذفی (deletion diagnostics) و توابع تأثیر (influence functions). هر دو رویکرد بر آمار استوار (robust statistics) مبتنی‌اند، که روش‌های آماری‌ای فراهم می‌کند که کمتر تحت تأثیر داده‌های پرت یا نقض مفروضات مدل قرار می‌گیرند. آمار استوار همچنین روش‌هایی برای اندازه‌گیری میزان استواری برآوردهای حاصل از داده (مانند برآورد میانگین یا وزن‌های یک مدل پیش‌بینی) فراهم می‌کند.

توضیح مترجم: «نمونه» (instance) در این فصل یک ردیف از داده‌های آموزشی است. «آمار استوار» شاخه‌ای از آمار است که روش‌هایی می‌سازد که با چند داده‌ٔ غیرعادی به‌سادگی خراب نشوند؛ میانه از این نظر از میانگین استوارتر است. «اشکال‌زدایی مدل» یعنی یافتن علت رفتار نادرست مدل، که اینجا به داده‌های آموزشی مسئول بازمی‌گردد.

تصور کنید می‌خواهید میانگین درآمد مردم شهرتان را برآورد کنید و از ده نفر تصادفی در خیابان می‌پرسید چقدر درآمد دارند. جدا از این واقعیت که نمونهٔ شما احتمالاً واقعاً بد است، برآورد میانگین درآمد شما چقدر می‌تواند تحت تأثیر یک نفر قرار گیرد؟ برای پاسخ به این پرسش، می‌توانید با حذف پاسخ‌های منفرد میانگین را دوباره حساب کنید، یا از راه ریاضی با «توابع تأثیر» استنتاج کنید میانگین چگونه می‌تواند تحت تأثیر قرار گیرد. با رویکرد حذف، میانگین را ده بار دوباره حساب می‌کنیم و هر بار یکی از اظهارات درآمد را کنار می‌گذاریم و می‌سنجیم برآورد میانگین چقدر تغییر کرده است. تغییر بزرگ یعنی یک نمونه بسیار تأثیرگذار بوده است. رویکرد دوم یکی از افراد را با وزن بی‌نهایت کوچک افزایش وزن می‌دهد (upweight)، که معادل محاسبهٔ مشتق اول یک آماره یا مدل است. این رویکرد «رویکرد بی‌نهایت‌کوچک» یا «تابع تأثیر» هم نامیده می‌شود. پاسخ، به‌هرحال، این است که برآورد میانگین شما می‌تواند به‌شدت تحت تأثیر یک پاسخ منفرد قرار گیرد، چون میانگین به‌طور خطی با مقادیر منفرد مقیاس می‌شود. انتخاب استوارتر میانه است (مقداری که نیمی از مردم بیشتر و نیم دیگر کمتر از آن درآمد دارند)، چون حتی اگر فردی با بالاترین درآمد نمونهٔ شما ده برابر بیشتر درآمد داشته باشد، میانهٔ حاصل تغییر نخواهد کرد.

برای درک بهتر (توضیح مترجم): فرض کنید درآمد پنج نفر (به میلیون) ۲۰، ۲۲، ۲۵، ۲۸ و ۳۰ است. میانگین ۲۵٫۰ و میانه ۲۵ است. اگر نفر پنجم ۳۰ را به ۳۰۰ تغییر دهد، میانگین به ۷۹٫۰ می‌رسد، ولی میانه همان ۲۵ می‌ماند. این یعنی میانگین به یک نمونه بسیار حساس (کم‌استوار) و میانه استوار است. اعداد مثال ساختهٔ مترجم‌اند.

تشخیص‌های حذفی و توابع تأثیر را می‌توان برای پارامترها یا پیش‌بینی‌های مدل‌های یادگیری ماشین هم به کار برد تا رفتارشان بهتر فهمیده شود یا پیش‌بینی‌های منفرد توضیح داده شوند. پیش از بررسی این دو رویکرد برای یافتن نمونه‌های تأثیرگذار، تفاوت بین یک داده‌پرت و یک نمونهٔ تأثیرگذار را بررسی می‌کنیم.

داده‌پرت

داده‌پرت (outlier) نمونه‌ای است که از نمونه‌های دیگر مجموعه‌داده دور است. «دور» یعنی فاصله، مثلاً فاصلهٔ اقلیدسی، تا همهٔ نمونه‌های دیگر بسیار بزرگ است. در مجموعه‌دادهٔ نوزادان، نوزادی با وزن ۵ کیلوگرم داده‌پرت به شمار می‌آید. در مجموعه‌دادهٔ حساب‌های بانکی که بیشتر حساب جاری‌اند، یک حساب وام اختصاصی (موجودی منفی بزرگ، تراکنش کم) داده‌پرت به شمار می‌آید. شکل ۳۱.۱ یک داده‌پرت را برای توزیع یک‌بعدی نشان می‌دهد.

توضیح مترجم (متن داخل تصویر): نمودار هیستوگرام است. محور افقی Feature x (ویژگی x) و محور عمودی count (تعداد) است. بیشتر داده‌ها حول مقدار ۱ تا ۲ تجمع دارند و یک ستون تک‌نمونه‌ای جدا در حدود x=۸ دیده می‌شود، که همان داده‌پرت است.

داده‌پرت‌ها می‌توانند نقاط داده‌ای جالب باشند (مثلاً انتقادها). وقتی یک داده‌پرت بر مدل اثر می‌گذارد، نمونهٔ تأثیرگذار هم هست.

نمونهٔ تأثیرگذار

نمونهٔ تأثیرگذار نمونهٔ داده‌ای است که حذفش اثر قوی بر مدل آموزش‌دیده دارد. هرچه پارامترها یا پیش‌بینی‌های مدل بیشتر تغییر کنند، وقتی مدل با حذف یک نمونهٔ مشخص از داده‌های آموزشی دوباره آموزش داده می‌شود، آن نمونه تأثیرگذارتر است. اینکه یک نمونه برای یک مدل آموزش‌دیده تأثیرگذار باشد یا نه، به مقدار آن برای هدف $y$ هم بستگی دارد. شکل ۳۱.۲ یک نمونهٔ تأثیرگذار برای یک مدل رگرسیون خطی را نشان می‌دهد.

توضیح مترجم (متن داخل تصویر): محور افقی Feature x و محور عمودی Target y (هدف y) است. عنوان راهنما Model trained with influential instance? (مدلی که با نمونهٔ تأثیرگذار آموزش دیده؟) است: خط ممتد قرمز با برچسب no (خیر) مدل بدون نمونه و خط خط‌چین فیروزه‌ای با برچسب yes (بله) مدل با نمونه است. برچسب جعبه‌ای Influential instance (نمونهٔ تأثیرگذار) به نقطهٔ پایین راست در x=۸ اشاره دارد. این یک نقطه شیب خط را به‌طرز چشمگیری کم می‌کند.

توضیح مترجم: داده‌پرت‌بودن (دوربودن از بقیه در فضای ویژگی) و تأثیرگذاربودن (اثر بر مدل) یکی نیستند. در شکل ۳۱.۱ نقطهٔ x=۸ داده‌پرت است؛ اگر مقدار $y$ آن با روند بقیه همخوان باشد (مثلاً بالای خط)، مدل را تقریباً تغییر نمی‌دهد و تأثیرگذار نیست. در شکل ۳۱.۲ مقدار $y$ آن ($0$) با روند ناهمخوان است و به همین دلیل شیب را به‌شدت عوض می‌کند. به همین دلیل متن می‌گوید تأثیرگذاربودن به $y$ هم بستگی دارد.

چرا نمونه‌های تأثیرگذار به فهم مدل کمک می‌کنند؟

ایدهٔ کلیدی پشت نمونه‌های تأثیرگذار برای تفسیرپذیری، ردیابی پارامترها و پیش‌بینی‌های مدل به جایی است که همه‌چیز از آنجا شروع شد: داده‌های آموزشی. یادگیرنده (learner)، یعنی الگوریتمی که مدل یادگیری ماشین را تولید می‌کند، تابعی است که داده‌های آموزشی متشکل از ویژگی‌های $\mathbf{X}$ و بردار هدف $\mathbf{y}$ را می‌گیرد و یک مدل یادگیری ماشین تولید می‌کند، همچنین شکل ۳۱.۳ را ببینید. برای مثال، یادگیرندهٔ یک درخت تصمیم الگوریتمی است که ویژگی‌های شکست و مقادیری را که در آن‌ها شکست انجام می‌شود انتخاب می‌کند. یادگیرنده برای شبکهٔ عصبی از پس‌انتشار برای یافتن بهترین وزن‌ها استفاده می‌کند.

توضیح مترجم (متن داخل تصویر): متن‌های تصویر: Features X (ویژگی‌های X) و Target y (هدف y) با پیکان به Learner (یادگیرنده)، سپس به Model (مدل). X_new (X جدید) از بالا به مدل وارد می‌شود و y_predicted (y پیش‌بینی‌شده) از پایین خارج می‌شود.

می‌پرسیم اگر نمونه‌ها را در فرایند آموزش از داده‌های آموزشی حذف کنیم، پارامترها یا پیش‌بینی‌های مدل چگونه تغییر می‌کردند. این در تقابل با رویکردهای تفسیرپذیری دیگر است که تحلیل می‌کنند وقتی ویژگی‌های نمونه‌هایی را که باید پیش‌بینی شوند دستکاری می‌کنیم پیش‌بینی چگونه تغییر می‌کند، مانند نمودارهای وابستگی جزئی یا اهمیت ویژگی. با نمونه‌های تأثیرگذار، مدل را ثابت در نظر نمی‌گیریم، بلکه تابعی از داده‌های آموزشی می‌دانیم. نمونه‌های تأثیرگذار به ما کمک می‌کنند به پرسش‌هایی دربارهٔ رفتار سراسری مدل و پیش‌بینی‌های منفرد پاسخ دهیم. کدام نمونه‌ها در مجموع برای پارامترها یا پیش‌بینی‌های مدل بیشترین تأثیر را داشتند؟ کدام نمونه‌ها برای یک پیش‌بینی مشخص بیشترین تأثیر را داشتند؟ نمونه‌های تأثیرگذار به ما می‌گویند مدل برای کدام نمونه‌ها ممکن است مشکل داشته باشد، کدام نمونه‌های آموزشی باید برای خطا بررسی شوند، و تصوری از استواری مدل می‌دهند. اگر یک نمونه تأثیر قوی بر پیش‌بینی‌ها و پارامترهای مدل داشته باشد، ممکن است به مدل اعتماد نکنیم. دست‌کم این ما را وا می‌دارد بیشتر بررسی کنیم.

چگونه می‌توانیم نمونه‌های تأثیرگذار را بیابیم؟ دو راه برای اندازه‌گیری تأثیر داریم: گزینهٔ نخست حذف نمونه از داده‌های آموزشی، آموزش دوبارهٔ مدل روی مجموعه‌دادهٔ آموزشی کاهش‌یافته و مشاهدهٔ تفاوت در پارامترها یا پیش‌بینی‌های مدل است (چه به‌طور منفرد چه روی کل مجموعه‌داده). گزینهٔ دوم افزایش وزن یک نمونهٔ داده با تقریب تغییرات پارامتر بر پایهٔ گرادیان‌های پارامترهای مدل است. رویکرد حذف فهمش آسان‌تر است و انگیزه‌ای برای رویکرد افزایش وزن فراهم می‌کند، پس با آن شروع می‌کنیم.

تشخیص‌های حذفی

آماردانان پیش‌تر پژوهش‌های بسیاری در حوزهٔ نمونه‌های تأثیرگذار انجام داده‌اند، به‌ویژه برای مدل‌های رگرسیون خطی (تعمیم‌یافته). وقتی «مشاهدات تأثیرگذار» را جست‌وجو می‌کنید، نخستین نتایج دربارهٔ معیارهایی مانند DFBETA و فاصلهٔ کوک (Cook’s distance) هستند. DFBETA اثر حذف یک نمونه بر پارامترهای مدل را می‌سنجد. فاصلهٔ کوک (Cook ۱۹۷۷) اثر حذف یک نمونه بر پیش‌بینی‌های مدل را می‌سنجد. برای هر دو معیار باید مدل را بارها از نو آموزش دهیم و هر بار نمونه‌های منفرد را کنار بگذاریم. پارامترها یا پیش‌بینی‌های مدل با همهٔ نمونه‌ها با پارامترها یا پیش‌بینی‌های مدلی مقایسه می‌شوند که یکی از نمونه‌ها از داده‌های آموزشی حذف شده است.

DFBETA این‌گونه تعریف می‌شود:

$$DFBETA_{i}=\boldsymbol{\beta}-\boldsymbol{\beta}^{(-i)}$$

که در آن $\boldsymbol{\beta}$ بردار وزن‌هاست وقتی مدل روی همهٔ نمونه‌های داده آموزش می‌بیند و $\boldsymbol{\beta^{(-i)}}$ بردار وزن‌هاست وقتی مدل بدون نمونهٔ $i$ آموزش می‌بیند. می‌توانم بگویم کاملاً شهودی است. DFBETA فقط برای مدل‌هایی با پارامتر وزن، مانند رگرسیون لجستیک یا شبکه‌های عصبی، کار می‌کند، اما برای مدل‌هایی مانند درخت‌های تصمیم، گروه‌های درختی (tree ensembles)، برخی ماشین‌های بردار پشتیبان و مانند آن‌ها نه.

فاصلهٔ کوک برای مدل‌های رگرسیون خطی ابداع شد و تقریب‌هایی برای مدل‌های رگرسیون خطی تعمیم‌یافته وجود دارد. فاصلهٔ کوک برای یک نمونهٔ آموزشی به‌صورت مجموع (مقیاس‌شدهٔ) مربع تفاوت‌ها در نتیجهٔ پیش‌بینی‌شده تعریف می‌شود وقتی نمونهٔ $i$-ام از آموزش مدل حذف شود.

$$D_i=\frac{\sum_{j=1}^n(\hat{y}_j-\hat{y}_{j}^{(-i)})^2}{p\cdot{}MSE}$$

که در آن صورت کسر مربع تفاوت پیش‌بینی مدل با و بدون نمونهٔ $i$-ام است که روی مجموعه‌داده جمع زده شده است. مخرج تعداد ویژگی‌ها $p$ ضرب در میانگین مربعات خطا (MSE) است. مخرج برای همهٔ نمونه‌ها یکسان است، مهم نیست کدام نمونهٔ $i$ حذف شود. فاصلهٔ کوک به ما می‌گوید وقتی نمونهٔ $i$-ام را از آموزش حذف می‌کنیم، خروجی پیش‌بینی‌شدهٔ یک مدل خطی چقدر تغییر می‌کند.

برای درک بهتر (توضیح مترجم): فرض کنید مدلی با ۳ نمونه برای هر نمونه پیش‌بینی $(10, 20, 30)$ می‌دهد و پس از حذف نمونهٔ اول پیش‌بینی‌ها $(11, 19, 30)$ می‌شوند. تفاوت‌ها $(-1, +1, 0)$ هستند، مجموع مربعاتشان ۲ و صورت کسر فاصلهٔ کوک ۲ است. تقسیم بر $p\cdot MSE$ فقط این عدد را مقیاس می‌کند. اعداد مثال ساختهٔ مترجم‌اند.

آیا می‌توانیم فاصلهٔ کوک و DFBETA را برای هر مدل یادگیری ماشین به کار ببریم؟ DFBETA به پارامترهای مدل نیاز دارد، پس این معیار فقط برای مدل‌های پارامتری کار می‌کند. فاصلهٔ کوک به هیچ پارامتر مدلی نیاز ندارد. جالب است که فاصلهٔ کوک معمولاً بیرون از زمینهٔ مدل‌های خطی و مدل‌های خطی تعمیم‌یافته دیده نمی‌شود، اما ایدهٔ گرفتن تفاوت بین پیش‌بینی‌های مدل پیش و پس از حذف یک نمونهٔ مشخص بسیار عمومی است. مشکلی که در تعریف فاصلهٔ کوک هست MSE است، که برای همهٔ انواع مدل‌های پیش‌بینی (مثلاً دسته‌بندی) معنادار نیست.

ساده‌ترین معیار تأثیر برای اثر بر پیش‌بینی‌های مدل را می‌توان چنین نوشت:

$$\text{Influence}^{(-i)}=\frac{1}{n}\sum_{k=1}^{n}\left|\hat{y}_k-\hat{y}_{k}^{(-i)}\right|$$

این عبارت اساساً صورت کسر فاصلهٔ کوک است، با این تفاوت که به‌جای مربع تفاوت‌ها قدر مطلق تفاوت‌ها جمع زده می‌شود. این انتخابی بود که من کردم چون برای مثال‌های بعدی معنا دارد. شکل کلی معیارهای تشخیص حذفی شامل انتخاب یک معیار (مانند نتیجهٔ پیش‌بینی‌شده) و محاسبهٔ تفاوت آن معیار برای مدل آموزش‌دیده روی همهٔ نمونه‌ها و هنگامی است که نمونه حذف شده است.

می‌توانیم به‌آسانی تأثیر را تجزیه کنیم تا برای پیش‌بینی نمونهٔ $k$ توضیح دهیم تأثیر نمونهٔ آموزشی $i$-ام چه بوده است:

$$\text{Influence}_{k}^{(-i)}=\left|\hat{y}_k - \hat{y}_{k}^{(-i)}\right|$$

این برای تفاوت در پارامترهای مدل یا تفاوت در زیان هم کار می‌کند. در مثال زیر از همین معیارهای ساده تأثیر استفاده خواهیم کرد.

مثال تشخیص‌های حذفی

در مثال زیر، یک جنگل تصادفی (random forest) آموزش می‌دهیم تا جنسیت یک پنگوئن را با توجه به اندازه‌گیری‌های بدن پیش‌بینی کند و می‌سنجیم کدام نمونه‌های آموزشی در مجموع و برای یک پیش‌بینی مشخص بیشترین تأثیر را داشتند. چون این یک مسئلهٔ دسته‌بندی است، تأثیر را به‌صورت تفاوت در احتمال پیش‌بینی‌شده برای ماده (female) می‌سنجیم. یک نمونه تأثیرگذار است اگر احتمال پیش‌بینی‌شده، وقتی نمونه از آموزش مدل حذف شود، به‌طور میانگین در مجموعه‌داده به‌شدت افزایش یا کاهش یابد. اندازه‌گیری تأثیر برای همهٔ نمونه‌های آموزشی نیاز دارد مدل یک بار روی همهٔ داده‌ها و سپس به تعداد نمونه‌های آموزشی (= اندازهٔ داده‌های آموزشی) هر بار با حذف یکی از نمونه‌ها دوباره آموزش داده شود.

توضیح مترجم: در متن منبع تعداد نمونه‌های آموزشی و برخی اعداد بعدی با کد R در لحظهٔ ساخت کتاب محاسبه و درج می‌شوند و در فایل خام وجود ندارند. تعداد نمونه‌های آموزشی را از شکل ۳۱.۴ به دست می‌آوریم: برگ‌های درخت ۵۲، ۱۶۰ و ۱۰ نمونه دارند، یعنی ۲۲۲ نمونهٔ آموزشی؛ پس برای این مثال مدل ۲۲۲ بار دوباره آموزش داده می‌شود. همچنین بیشینهٔ تأثیر از محور جعبه‌نمودارهای همان شکل حدود ۰٫۰۱۲ خوانده می‌شود. در متن منبع جملهٔ «whether a penguin’s sex» هم ناقص است («جنسیت پنگوئن» ترجمه شد).

بیشینهٔ تأثیر برای تأثیرگذارترین نمونه حدود ۰٫۰۱۲ است. تأثیر ۰٫۰۱۲ یعنی اگر آن نمونه را حذف کنیم، احتمال پیش‌بینی‌شده به‌طور میانگین حدود ۱٫۲ نقطهٔ درصد تغییر می‌کند. این زیاد به نظر نمی‌رسد، اما میانگینی روی کل داده است که فقط از حذف ۱ نقطهٔ داده به دست می‌آید. اکنون می‌دانیم کدام نمونه‌های داده برای مدل بیشترین تأثیر را داشتند. این برای اشکال‌زدایی داده‌ها همین حالا مفید است. آیا نمونهٔ مشکل‌داری هست؟ آیا خطاهای اندازه‌گیری هست؟ نمونه‌های تأثیرگذار اولین نمونه‌هایی‌اند که باید برای خطا بررسی شوند، چون هر خطا در آن‌ها به‌شدت بر پیش‌بینی‌های مدل اثر می‌گذارد.

💡 نکته — داده‌های تأثیرگذار را مرور کنید

برای اشکال‌زدایی، ابتدا تأثیرگذارترین نمونه‌ها را مرور کنید تا زمانتان را به‌طور مؤثر روی داده‌هایی صرف کنید که برای پیش‌بینی‌ها بیشترین اهمیت را دارند.

فراتر از اشکال‌زدایی مدل، آیا می‌توانیم چیزی برای درک بهتر مدل بیاموزیم؟ فقط چاپ کردن ۱۰ نمونهٔ تأثیرگذار برتر چندان مفید نیست، چون فقط جدولی از نمونه‌ها با ویژگی‌های فراوان است. همهٔ روش‌هایی که نمونه‌ها را به‌عنوان خروجی برمی‌گردانند فقط وقتی معنا دارند که راه خوبی برای نمایش آن‌ها داشته باشیم. اما می‌توانیم بهتر بفهمیم چه نوع نمونه‌هایی تأثیرگذارند اگر بپرسیم: چه چیزی نمونهٔ تأثیرگذار را از نمونهٔ غیرتأثیرگذار متمایز می‌کند؟ می‌توانیم این پرسش را به یک مسئلهٔ رگرسیون تبدیل کنیم و تأثیر یک نمونه را به‌صورت تابعی از مقادیر ویژگی‌هایش مدل کنیم. آزادیم هر مدل تفسیرپذیری را انتخاب کنیم. برای این مثال یک درخت تصمیم انتخاب کردم (شکل ۳۱.۴) که نشان می‌دهد داده‌های پنگوئن‌های با منقار عمیق برای ماشین بردار پشتیبان بیشترین تأثیر را داشتند.

توضیح مترجم (متن داخل تصویر): ریشه و گره‌های داخلی bill_depth_mm (عمق منقار به میلی‌متر) هستند. ریشه بر مرز < 20.15 و ≥ 20.15 شکسته می‌شود و گرهٔ چپ بر ≥ 18.55 و < 18.55. سه برگ جعبه‌نمودار تأثیر هستند با n = 52، n = 160 و n = 10 نمونه، و محور عمودی از ۰٫۰۰۸ تا ۰٫۰۱۲ می‌رود. جعبه‌نمودار برگ سمت راست (n = 10، یعنی عمق منقار ≥ ۲۰٫۱۵) بالاترین میانهٔ تأثیر را دارد. توجه: متن منبع می‌گوید این مثال برای «ماشین بردار پشتیبان» است، در حالی که مدل این مثال جنگل تصادفی است؛ این ناهمخوانی منبع بدون تغییر ترجمه شد.

این نخستین تحلیل تأثیر، تأثیرگذارترین نمونهٔ کلی را آشکار کرد. اکنون یکی از نمونه‌ها را انتخاب می‌کنیم، یعنی نمونهٔ ۸ام، که می‌خواهیم پیش‌بینی‌اش را با یافتن تأثیرگذارترین نمونه‌های داده آموزشی توضیح دهیم. این مانند یک پرسش خلاف‌واقع است: اگر نمونهٔ $i$ را از فرایند آموزش کنار بگذاریم، پیش‌بینی برای نمونهٔ ۸ام چگونه تغییر می‌کند؟ این حذف را برای همهٔ نمونه‌ها تکرار می‌کنیم. سپس نمونه‌های آموزشی‌ای را که هنگام کنارگذاشتن از آموزش بزرگ‌ترین تغییر را در پیش‌بینی نمونهٔ ۸ام ایجاد می‌کنند انتخاب می‌کنیم و از آن‌ها برای توضیح پیش‌بینی مدل برای آن نمونه استفاده می‌کنیم. می‌توانستیم ۱۰ نمونهٔ تأثیرگذار برتر را برای پیش‌بینی نمونهٔ ۸ام به‌صورت جدول چاپ کنیم. چندان مفید نیست، چون چیز زیادی نمی‌بینیم. باز هم منطقی‌تر است بفهمیم چه چیزی نمونه‌های تأثیرگذار را از غیرتأثیرگذار متمایز می‌کند، با تحلیل ویژگی‌هایشان. از یک درخت تصمیم استفاده می‌کنیم که برای پیش‌بینی تأثیر با توجه به ویژگی‌ها آموزش دیده است، اما در واقع از آن سوءاستفاده می‌کنیم تا فقط ساختاری بیابیم و نه اینکه واقعاً چیزی پیش‌بینی کنیم. درخت تصمیم در شکل ۳۱.۵ نشان می‌دهد چه نوع نمونه‌های آموزشی بیشترین تأثیر را در پیش‌بینی نمونهٔ ۸ام داشتند. داده‌های پنگوئن‌هایی با جرم بدن بالا و منقار عمیق تأثیر بزرگ‌تری بر پیش‌بینی نمونهٔ ۸ام داشتند.

توضیح مترجم (متن داخل تصویر): ریشه bill_length_mm (طول منقار) با مرزهای < 50.65 و ≥ 50.65 است؛ گرهٔ چپ و راست هر دو bill_depth_mm (عمق منقار) هستند با مرزهای < 18.35 / ≥ 18.35 در چپ و ≥ 18.9 / < 18.9 در راست. چهار برگ جعبه‌نمودار تأثیر با n = 138، n = 61، n = 9 و n = 13 نمونه‌اند و محور عمودی تا ۰٫۰۱۵ می‌رود. جعبه‌نمودار برگ آخر (n = 13) میانهٔ بالاتری دارد. نکته: در درخت، «جرم بدن» (body mass) هیچ‌جا ظاهر نشده و فقط طول و عمق منقار می‌آیند؛ پس جملهٔ منبع دربارهٔ «جرم بدن بالا» با شکل نمی‌خواند. این ناهمخوانی منبع بدون تغییر ترجمه و فقط گوشزد شد.

این مثال‌ها نشان دادند شناسایی نمونه‌های تأثیرگذار برای بررسی استواری مدل چقدر مفید است. یک مشکل رویکرد پیشنهادی این است که مدل باید برای هر نمونهٔ آموزشی دوباره آموزش داده شود. کل آموزش دوباره می‌تواند بسیار کند باشد، چون اگر هزاران نمونهٔ آموزشی دارید، باید مدلتان را هزاران بار دوباره آموزش دهید. فرض کنید آموزش مدل یک روز طول می‌کشد و ۱٬۰۰۰ نمونهٔ آموزشی دارید؛ آنگاه محاسبهٔ نمونه‌های تأثیرگذار – بدون موازی‌سازی – تقریباً ۳ سال طول می‌کشد. هیچ‌کس برای این وقت ندارد. در بقیهٔ این فصل روشی نشانتان می‌دهم که نیازی به آموزش دوبارهٔ مدل ندارد.

برای درک بهتر (توضیح مترجم): حساب ساده: ۱٬۰۰۰ بار آموزش، هر بار ۱ روز، می‌شود ۱٬۰۰۰ روز، یعنی حدود $1000/365\approx 2{,}7$ سال، که همان «تقریباً ۳ سال» متن است.

توابع تأثیر

شما: می‌خواهم بدانم یک نمونهٔ آموزشی چه تأثیری بر یک پیش‌بینی مشخص دارد.
پژوهش: می‌توانید نمونهٔ آموزشی را حذف کنید، مدل را دوباره آموزش دهید و تفاوت پیش‌بینی را بسنجید.
شما: عالی! اما روشی برایم دارید که بدون آموزش دوباره کار کند؟ این‌قدر زمان می‌برد.
پژوهش: آیا مدلی با تابع زیان دارید که نسبت به پارامترهایش دو بار مشتق‌پذیر باشد؟
شما: یک شبکهٔ عصبی با زیان لجستیک آموزش داده‌ام. پس بله.
پژوهش: پس می‌توانید تأثیر نمونه را بر پارامترهای مدل و بر پیش‌بینی با توابع تأثیر تقریب بزنید. تابع تأثیر معیاری است که نشان می‌دهد پارامترها یا پیش‌بینی‌های مدل چقدر به یک نمونهٔ آموزشی وابسته‌اند. به‌جای حذف نمونه، این روش نمونه را در زیان با گامی بسیار کوچک افزایش وزن می‌دهد. این روش شامل تقریب زیان پیرامون پارامترهای فعلی مدل با استفاده از گرادیان و ماتریس هسین (Hessian) است. افزایش وزن زیان شبیه حذف نمونه است.
شما: عالی، همین را می‌خواستم!

Koh و Liang (۲۰۱۷) پیشنهاد کردند از توابع تأثیر، روشی از آمار استوار، برای سنجش اینکه یک نمونه چگونه بر پارامترها یا پیش‌بینی‌های مدل اثر می‌گذارد استفاده شود. مانند تشخیص‌های حذفی، توابع تأثیر پارامترها و پیش‌بینی‌های مدل را به نمونهٔ آموزشی مسئول ردیابی می‌کنند. با این حال، به‌جای حذف نمونه‌های آموزشی، این روش تقریب می‌زند وقتی نمونه در ریسک تجربی (empirical risk؛ مجموع زیان روی داده‌های آموزشی) افزایش وزن می‌یابد مدل چقدر تغییر می‌کند.

روش توابع تأثیر به دسترسی به گرادیان زیان نسبت به پارامترهای مدل (یا نسبت به پیش‌بینی‌ها) نیاز دارد، که فقط برای زیرمجموعه‌ای از مدل‌های یادگیری ماشین کار می‌کند. رگرسیون لجستیک، شبکه‌های عصبی و ماشین‌های بردار پشتیبان واجد شرایط‌اند؛ روش‌های مبتنی بر درخت مانند جنگل‌های تصادفی نیستند. توابع تأثیر به درک رفتار مدل، اشکال‌زدایی مدل و شناسایی خطاها در مجموعه‌داده کمک می‌کنند.

بخش بعد شهود و ریاضیات پشت توابع تأثیر را توضیح می‌دهد.

ریاضیات پشت توابع تأثیر

ایدهٔ کلیدی پشت توابع تأثیر افزایش وزن زیان یک نمونهٔ آموزشی با گامی بی‌نهایت کوچک $\epsilon$ است، که به پارامترهای جدید مدل می‌انجامد:

$$\hat{\boldsymbol{\theta}}_{\epsilon, \mathbf{z}} = \arg\min_{\boldsymbol{\theta} \in \Theta} \left(\frac{1}{n}\sum_{i=1}^n L(\mathbf{z}^{(i)}, \boldsymbol{\theta}) + \epsilon L(\mathbf{z}, \boldsymbol{\theta}) \right)$$

که در آن $\theta$ بردار پارامترهای مدل است و $\hat{\boldsymbol{\theta}}_{\epsilon, \mathbf{z}}$ بردار پارامتر پس از افزایش وزن $\mathbf{z}$ با عدد بسیار کوچک $\epsilon$ است. $L$ تابع زیانی است که مدل با آن آموزش دیده، $\mathbf{z}^{(i)}$ داده‌های آموزشی و $\mathbf{z}$ نمونهٔ آموزشی‌ای است که می‌خواهیم برای شبیه‌سازی حذفش افزایش وزن دهیم. شهود پشت این فرمول این است: اگر نمونهٔ خاصی $\mathbf{z}^{(i)}$ را از داده‌های آموزشی کمی ($\epsilon$) افزایش وزن دهیم و نمونه‌های داده دیگر را متناسب کاهش وزن دهیم، زیان چقدر تغییر می‌کند؟ بردار پارامتر برای بهینه‌کردن این زیان ترکیبی جدید چگونه خواهد بود؟ تابع تأثیر پارامترها، یعنی تأثیر افزایش وزن نمونهٔ آموزشی $\mathbf{z}$ بر پارامترها، را می‌توان به‌صورت زیر محاسبه کرد.

$$I_{\text{up,params}}(\mathbf{z}) = \left.\frac{d \hat{\boldsymbol{\theta}}_{\epsilon, \mathbf{z}}}{d\epsilon}\right|_{\epsilon=0} = -H_{\hat{\boldsymbol{\theta}}}^{-1} \nabla_{\boldsymbol{\theta}} L(\mathbf{z}, \hat{\boldsymbol{\theta}})$$

آخرین عبارت $\nabla_{\boldsymbol{\theta}}L(\mathbf{z}, \hat{\boldsymbol{\theta}})$ گرادیان زیان نسبت به پارامترها برای نمونهٔ آموزشی افزایش‌وزن‌یافته است. گرادیان نرخ تغییر زیان نمونهٔ آموزشی است. به ما می‌گوید وقتی پارامترهای مدل $\hat{\boldsymbol{\theta}}$ را کمی تغییر می‌دهیم زیان چقدر تغییر می‌کند. یک درایهٔ مثبت در بردار گرادیان یعنی افزایش کوچک پارامتر متناظر زیان را افزایش می‌دهد؛ درایهٔ منفی یعنی افزایش پارامتر زیان را کاهش می‌دهد. بخش اول $H^{-1}_{\hat{\boldsymbol{\theta}}}$ ماتریس هسین وارون (مشتق دوم زیان نسبت به پارامترهای مدل) است. ماتریس هسین نرخ تغییر گرادیان است، یا اگر بر حسب زیان بیان شود، نرخ تغییرِ نرخ تغییر زیان است. می‌توان آن را با این برآورد کرد:

$$H_{\boldsymbol{\theta}} = \frac{1}{n}\sum_{i=1}^n \nabla^2_{\hat{\boldsymbol{\theta}}}L(\mathbf{z}^{(i)}, \hat{\boldsymbol{\theta}})$$

غیررسمی‌تر: ماتریس هسین ثبت می‌کند زیان در یک نقطهٔ مشخص چقدر خمیده است. هسین یک ماتریس است و نه فقط یک بردار چون خمیدگی زیان را توصیف می‌کند و خمیدگی به جهتی که در آن نگاه می‌کنیم بستگی دارد. محاسبهٔ واقعی ماتریس هسین اگر پارامترهای بسیار داشته باشید زمان‌بر است. Koh و Liang چند ترفند برای محاسبهٔ کارآمد آن پیشنهاد کردند، که از دامنهٔ این فصل فراتر می‌رود. به‌روزرسانی پارامترهای مدل، همان‌طور که در فرمول بالا توصیف شد، معادل برداشتن یک گام نیوتن (Newton step) پس از تشکیل بسط درجه‌دوم پیرامون پارامترهای برآوردشدهٔ مدل است.

توضیح مترجم: «گام نیوتن» یعنی از روی شیب (گرادیان) و خمیدگی (هسین) در نقطهٔ فعلی، یک پرش به سمت کمینهٔ تقریبیِ تابع انجام می‌دهیم؛ هسین مشخص می‌کند در هر جهت چقدر باید قدم بزرگ یا کوچک باشد. در متن منبع $\theta$ و $\boldsymbol{\theta}$ و $\hat{\boldsymbol{\theta}}$ گاهی به‌جای هم نوشته شده‌اند؛ همگی بردار پارامتر مدل‌اند.

شهود پشت این فرمول تابع تأثیر چیست؟ فرمول از تشکیل یک بسط درجه‌دوم پیرامون پارامترهای $\hat{\boldsymbol{\theta}}$ می‌آید. یعنی ما واقعاً نمی‌دانیم، یا محاسبه‌اش بسیار پیچیده است که زیان نمونهٔ $\mathbf{z}$ هنگام حذف/افزایش وزن دقیقاً چگونه تغییر می‌کند. تابع را به‌طور محلی با استفاده از اطلاعات دربارهٔ تندی (= گرادیان) و خمیدگی (= ماتریس هسین) در تنظیم فعلی پارامتر مدل تقریب می‌زنیم. با این تقریب زیان می‌توانیم محاسبه کنیم اگر نمونهٔ $\mathbf{z}$ را افزایش وزن می‌دادیم پارامترهای جدید تقریباً چگونه می‌شدند:

$$\hat{\boldsymbol{\theta}}_{-\mathbf{z}} \approx \hat{\boldsymbol{\theta}} - \frac{1}{n} I_{\text{up,params}}(\mathbf{z})$$

بردار پارامتر تقریبی اساساً پارامتر اصلی منهای گرادیان زیان $\mathbf{z}$ است (چون می‌خواهیم زیان را کاهش دهیم) که با خمیدگی مقیاس شده (= ضرب در ماتریس هسین وارون) و با $\frac{1}{n}$ مقیاس شده، چون این وزن یک نمونهٔ آموزشی منفرد است.

شکل ۳۱.۶ نشان می‌دهد افزایش وزن چگونه کار می‌کند. محور x مقدار پارامتر $\boldsymbol{\theta}$ و محور y مقدار متناظر زیان با نمونهٔ افزایش‌وزن‌یافتهٔ $\mathbf{z}$ را نشان می‌دهد. پارامتر مدل در اینجا برای نمایش یک‌بعدی است، اما در واقعیت معمولاً بعد بالایی دارد. ما فقط $\frac{1}{n}$ در جهت بهبود زیان نمونهٔ $\mathbf{z}$ حرکت می‌کنیم. نمی‌دانیم هنگام حذف $\mathbf{z}$ زیان واقعاً چگونه تغییر می‌کند، اما با مشتق‌های اول و دوم زیان این تقریب درجه‌دوم را پیرامون پارامتر فعلی مدل می‌سازیم و وانمود می‌کنیم زیان واقعی چنین رفتار می‌کند.

توضیح مترجم (متن داخل تصویر): محور افقی Model parameter (پارامتر مدل) و محور عمودی Loss with upweighted instance z (زیان با نمونهٔ افزایش‌وزن‌یافتهٔ z) است و عددی روی محورها نیست. راهنمای type دو منحنی را نشان می‌دهد: Actual loss (زیان واقعی؛ خط ممتد قرمز) و Quadratic expansion (بسط درجه‌دوم؛ خط‌چین فیروزه‌ای). نقطهٔ سمت چپ با $\hat{\theta}$ و نقطهٔ سمت راست با $\hat{\theta}_{-z}$ برچسب خورده‌اند و پیکان بالای آن‌ها $-\frac{1}{n}I_{up,\theta}(z)$ را نشان می‌دهد؛ یعنی گام تقریبی از پارامتر فعلی به پارامتر پس از حذف $z$. منحنی بسط درجه‌دوم نزدیک $\hat\theta$ بر زیان واقعی منطبق است و دورتر از آن فاصله می‌گیرد.

لازم نیست پارامترهای جدید را واقعاً محاسبه کنیم، بلکه می‌توانیم تابع تأثیر را به‌عنوان معیاری از تأثیر $\mathbf{z}$ بر پارامترها به کار ببریم.

وقتی نمونهٔ آموزشی $\mathbf{z}$ را افزایش وزن دهیم، پیش‌بینی‌ها چگونه تغییر می‌کنند؟ می‌توانیم یا پارامترهای جدید را محاسبه کنیم و سپس با مدل پارامترگذاری‌شدهٔ جدید پیش‌بینی کنیم، یا می‌توانیم تأثیر نمونهٔ $\mathbf{z}$ بر پیش‌بینی‌ها را مستقیم هم محاسبه کنیم، چون می‌توانیم تأثیر را با استفاده از قاعدهٔ زنجیره‌ای (chain rule) محاسبه کنیم:

$$ \begin{aligned} I_{up,loss}(\mathbf{z}, \mathbf{z}_{test}) & = \left.\frac{d L(\mathbf{z}_{test},\hat{\boldsymbol{\theta}}_{\epsilon, \mathbf{z}})}{d\epsilon}\right|_{\epsilon=0} \\ & = \left.\nabla_{\boldsymbol{\theta}}L(\mathbf{z}_{test},\hat{\boldsymbol{\theta}})^T \frac{d\hat{\boldsymbol{\theta}}_{\epsilon,\mathbf{z}}}{d \epsilon}\right|_{\epsilon=0} \\ & = -\nabla_{\boldsymbol{\theta}}L(\mathbf{z}_{test}, \hat{\boldsymbol{\theta}})^T H^{-1}_{\boldsymbol{\theta}} \nabla_{\boldsymbol{\theta}} L(\mathbf{z},\hat{\boldsymbol{\theta}}) \end{aligned} $$

خط اول این معادله یعنی تأثیر یک نمونهٔ آموزشی بر یک پیش‌بینی مشخص $\mathbf{z}_{test}$ را به‌صورت تغییر در زیان نمونهٔ آزمون می‌سنجیم، وقتی نمونهٔ $\mathbf{z}$ را افزایش وزن می‌دهیم و پارامترهای جدید $\hat{\theta}_{\epsilon,z}$ را می‌گیریم. در خط دوم معادله قاعدهٔ زنجیره‌ای مشتق‌ها را اعمال کرده‌ایم و مشتق زیان نمونهٔ آزمون نسبت به پارامترها ضرب در تأثیر $z$ بر پارامترها را می‌گیریم. در خط سوم، عبارت را با تابع تأثیر برای پارامترها جایگزین می‌کنیم. جملهٔ اول در خط سوم $\nabla_{\boldsymbol{\theta}} L(\mathbf{z}_{test},\hat{\boldsymbol{\theta}})^T$ گرادیان نمونهٔ آزمون نسبت به پارامترهای مدل است.

داشتن یک فرمول عالی است و راه علمی و دقیق نشان‌دادن چیزهاست. اما فکر می‌کنم بسیار مهم است کمی شهود دربارهٔ معنی فرمول داشته باشیم. فرمول $I_{\text{up,loss}}$ می‌گوید تابع تأثیر نمونهٔ آموزشی $\mathbf{z}$ بر پیش‌بینی نمونهٔ $\mathbf{z}_{test}$ برابر است با «نمونه چقدر به تغییر پارامترهای مدل واکنش نشان می‌دهد» ضرب در «پارامترها چقدر تغییر می‌کنند وقتی نمونهٔ $\mathbf{z}$ را افزایش وزن می‌دهیم». راه دیگر خواندن فرمول: تأثیر متناسب است با اینکه گرادیان‌های زیان آموزشی و آزمون چقدر بزرگ‌اند. هرچه گرادیان زیان آموزشی بالاتر باشد، تأثیرش بر پارامترها و تأثیرش بر پیش‌بینی آزمون بیشتر است. هرچه گرادیان پیش‌بینی آزمون بالاتر باشد، نمونهٔ آزمون تأثیرپذیرتر است. کل این ساختار را می‌توان معیاری از شباهت (آن‌گونه که مدل آموخته) بین نمونهٔ آموزشی و آزمون هم دید.

برای درک بهتر (توضیح مترجم): فرض کنید پارامتر مدل فقط دو عدد است. اگر گرادیان زیان نمونهٔ آموزشی $\mathbf{z}$ و گرادیان زیان نمونهٔ آزمون در یک جهت باشند (شبیه به هم)، حاصل‌ضرب نقطه‌ای بزرگ و تأثیر (با علامت مناسب) زیاد است؛ یعنی «این نمونهٔ آموزشی شبیه نمونهٔ آزمون است و مدل از آن برای پیش‌بینی آزمون استفاده کرده». اگر دو گرادیان تقریباً عمود باشند، حاصل‌ضرب نزدیک صفر است و تأثیر ناچیز. این توضیح از مترجم است.

این بود نظریه و شهود. بخش بعد توضیح می‌دهد توابع تأثیر چگونه به کار می‌روند.

کاربرد توابع تأثیر

توابع تأثیر کاربردهای بسیاری دارند که برخی از آن‌ها پیش‌تر در این فصل ارائه شدند.

فهم رفتار مدل

مدل‌های یادگیری ماشین مختلف راه‌های مختلفی برای پیش‌بینی دارند. حتی اگر دو مدل عملکرد یکسانی داشته باشند، راهی که از روی ویژگی‌ها پیش‌بینی می‌کنند می‌تواند بسیار متفاوت باشد و بنابراین در سناریوهای مختلف شکست بخورند. فهم ضعف‌های خاص یک مدل با شناسایی نمونه‌های تأثیرگذار به شکل‌دادن یک «مدل ذهنی» از رفتار مدل یادگیری ماشین در ذهنتان کمک می‌کند.

مدیریت ناهمخوانی حوزه / اشکال‌زدایی خطاهای مدل

مدیریت ناهمخوانی حوزه (domain mismatch) ارتباط نزدیکی با فهم بهتر رفتار مدل دارد. ناهمخوانی حوزه یعنی توزیع داده‌های آموزشی و آزمون متفاوت است، که می‌تواند باعث شود مدل روی داده‌های آزمون عملکرد ضعیفی داشته باشد. توابع تأثیر می‌توانند نمونه‌های آموزشی‌ای را که خطا را ایجاد کرده‌اند شناسایی کنند. فرض کنید یک مدل پیش‌بینی برای پیامد بیمارانی که تحت جراحی قرار گرفته‌اند آموزش داده‌اید. همهٔ این بیماران از یک بیمارستان هستند. اکنون مدل را در بیمارستان دیگری به کار می‌برید و می‌بینید برای بسیاری از بیماران خوب کار نمی‌کند. البته فرض می‌کنید دو بیمارستان بیماران متفاوتی دارند و اگر به داده‌هایشان نگاه کنید، می‌بینید در ویژگی‌های بسیاری فرق دارند. اما کدام ویژگی‌ها یا نمونه‌ها مدل را «شکسته‌اند»؟ در اینجا هم نمونه‌های تأثیرگذار راه خوبی برای پاسخ به این پرسش‌اند. یکی از بیماران جدید را که مدل برایش پیش‌بینی نادرست کرده انتخاب می‌کنید و تأثیرگذارترین نمونه‌ها را می‌یابید و تحلیل می‌کنید. برای مثال، این می‌تواند نشان دهد بیمارستان دوم به‌طور میانگین بیماران مسن‌تری دارد و تأثیرگذارترین نمونه‌های داده‌های آموزشی همان چند بیمار مسن بیمارستان اول‌اند و مدل به‌سادگی داده‌ای برای آموختن پیش‌بینی خوب این زیرگروه نداشته. نتیجه این می‌شد که مدل باید روی بیماران مسن‌تر بیشتری آموزش ببیند تا در بیمارستان دوم خوب کار کند.

اصلاح داده‌های آموزشی

اگر محدودیتی در تعداد نمونه‌های آموزشی‌ای دارید که می‌توانید برای درستی بررسی کنید، چگونه انتخاب کارآمدی می‌کنید؟ بهترین راه انتخاب تأثیرگذارترین نمونه‌هاست، چون – طبق تعریف – بیشترین تأثیر را بر مدل دارند. حتی اگر نمونه‌ای با مقادیر آشکارا نادرست داشته باشید، اگر آن نمونه تأثیرگذار نباشد و فقط برای مدل پیش‌بینی به داده نیاز داشته باشید، انتخاب بهتر بررسی نمونه‌های تأثیرگذار است. برای مثال، مدلی برای پیش‌بینی اینکه بیمار باید در بیمارستان بماند یا زودتر ترخیص شود آموزش می‌دهید. واقعاً می‌خواهید مطمئن شوید مدل استوار است و پیش‌بینی‌های درست می‌کند، چون ترخیص نادرست یک بیمار می‌تواند پیامدهای بدی داشته باشد. پرونده‌های بیماران می‌توانند بسیار آشفته باشند، پس به کیفیت داده‌ها اطمینان کامل ندارید. اما بررسی اطلاعات بیمار و اصلاح آن می‌تواند بسیار زمان‌بر باشد، چون پس از اینکه گزارش کردید کدام بیماران را باید بررسی کنید، بیمارستان واقعاً باید کسی را بفرستد تا پرونده‌های بیماران انتخاب‌شده را دقیق‌تر ببیند، که ممکن است دست‌نویس باشند و در آرشیوی افتاده باشند. بررسی داده‌های یک بیمار می‌تواند یک ساعت یا بیشتر طول بکشد. با توجه به این هزینه‌ها، منطقی است فقط چند نمونهٔ مهم داده را بررسی کنیم. بهترین راه انتخاب بیمارانی است که تأثیر زیادی بر مدل پیش‌بینی داشته‌اند. Koh و Liang (۲۰۱۷) نشان دادند این نوع انتخاب بسیار بهتر از انتخاب تصادفی یا انتخاب نمونه‌هایی با بیشترین زیان یا دسته‌بندی نادرست کار می‌کند.

نقاط قوت

رویکردهای تشخیص‌های حذفی و توابع تأثیر با رویکردهای مبتنی بر اختلال ویژگی مانند SHAP بسیار متفاوت‌اند. نگاه به نمونه‌های تأثیرگذار بر نقش داده‌های آموزشی در فرایند یادگیری تأکید می‌کند. این توابع تأثیر و تشخیص‌های حذفی را یکی از بهترین ابزارهای اشکال‌زدایی برای مدل‌های یادگیری ماشین می‌کند. از میان تکنیک‌هایی که در این کتاب ارائه شد، آن‌ها تنها روش‌هایی‌اند که مستقیماً به شناسایی نمونه‌هایی که باید برای خطا بررسی شوند کمک می‌کنند.

تشخیص‌های حذفی مستقل از مدل هستند، یعنی این رویکرد را می‌توان برای هر مدلی به کار برد. همچنین توابع تأثیر مبتنی بر مشتق‌ها را می‌توان برای دستهٔ گسترده‌ای از مدل‌ها به کار برد.

می‌توانیم از این روش‌ها برای مقایسهٔ مدل‌های یادگیری ماشین مختلف و فهم بهتر رفتارهای متفاوتشان استفاده کنیم، فراتر از مقایسهٔ صرف عملکرد پیش‌بینی.

دربارهٔ این موضوع در این فصل صحبت نکرده‌ایم، اما توابع تأثیر از راه مشتق‌ها را می‌توان برای ساخت داده‌های آموزشی خصمانه هم به کار برد. این‌ها نمونه‌هایی‌اند که طوری دستکاری شده‌اند که مدل نتواند برخی نمونه‌های آزمون را درست پیش‌بینی کند وقتی مدل روی آن نمونه‌های دستکاری‌شده آموزش ببیند. تفاوت با روش‌های فصل مثال‌های خصمانه این است که حمله در زمان آموزش رخ می‌دهد، که به حمله‌های مسموم‌سازی (poisoning attacks) هم معروف است. اگر علاقه‌مندید، مقالهٔ Koh و Liang (۲۰۱۷) را بخوانید.

برای تشخیص‌های حذفی و توابع تأثیر، تفاوت در پیش‌بینی و برای تابع تأثیر افزایش زیان را در نظر گرفتیم. اما در واقع، این رویکرد قابل‌تعمیم است به هر پرسشی به شکل: «وقتی نمونهٔ $\mathbf{z}$ را حذف یا افزایش وزن می‌دهیم چه بر سر … می‌آید؟»، که می‌توانید «…» را با هر تابعی از مدلتان که بخواهید پر کنید. می‌توانید تحلیل کنید یک نمونهٔ آموزشی چقدر بر زیان کلی مدل اثر می‌گذارد. می‌توانید تحلیل کنید یک نمونهٔ آموزشی چقدر بر اهمیت ویژگی اثر می‌گذارد. می‌توانید تحلیل کنید یک نمونهٔ آموزشی چقدر بر اینکه کدام ویژگی برای نخستین شکست هنگام آموزش یک درخت تصمیم انتخاب شود اثر می‌گذارد.

همچنین ممکن است گروه‌هایی از نمونه‌های تأثیرگذار را شناسایی کرد (Koh و همکاران ۲۰۱۹).

محدودیت‌ها

تشخیص‌های حذفی محاسبهٔ بسیار پرهزینه‌ای دارند چون آموزش دوباره می‌خواهند. اما تاریخ نشان داده منابع رایانه‌ای پیوسته افزایش می‌یابند. محاسباتی که ۲۰ سال پیش از نظر منابع غیرقابل‌تصور بود، اکنون به‌آسانی با گوشی هوشمندتان انجام می‌شود. می‌توانید مدل‌هایی با هزاران نمونهٔ آموزشی و صدها پارامتر را روی یک لپ‌تاپ در ثانیه/دقیقه آموزش دهید. بنابراین جهش بزرگی نیست که فرض کنیم تشخیص‌های حذفی در ۱۰ سال آینده حتی با شبکه‌های عصبی بزرگ بدون مشکل کار خواهد کرد.

توابع تأثیر جایگزین خوبی برای تشخیص‌های حذفی‌اند، اما فقط برای مدل‌هایی با تابع زیان مشتق‌پذیر مرتبهٔ دوم نسبت به پارامترهایش، مانند شبکه‌های عصبی. برای روش‌های مبتنی بر درخت مانند جنگل‌های تصادفی، درخت‌های تقویت‌شده (boosted trees) یا درخت‌های تصمیم کار نمی‌کنند. حتی اگر مدل‌هایی با پارامتر و تابع زیان داشته باشید، ممکن است زیان مشتق‌پذیر نباشد. اما برای مشکل آخر یک ترفند هست: از یک زیان مشتق‌پذیر به‌عنوان جانشین برای محاسبهٔ تأثیر استفاده کنید، مثلاً وقتی مدل زیربنایی به‌جای یک زیان مشتق‌پذیر از زیان لولایی (Hinge loss) استفاده می‌کند. زیان برای توابع تأثیر با نسخهٔ هموارشدهٔ زیان مشکل‌ساز جایگزین می‌شود، اما مدل همچنان می‌تواند با زیان ناهموار آموزش ببیند.

توابع تأثیر فقط تقریبی‌اند، چون رویکرد یک بسط درجه‌دوم پیرامون پارامترها تشکیل می‌دهد. تقریب می‌تواند نادرست باشد و تأثیر یک نمونه هنگام حذف واقعاً بالاتر یا پایین‌تر باشد. Koh و Liang (۲۰۱۷) برای چند مثال نشان دادند تأثیر محاسبه‌شده با تابع تأثیر به معیار تأثیری که وقتی مدل پس از حذف نمونه واقعاً دوباره آموزش داده شد به دست آمد نزدیک بود. اما تضمینی نیست که تقریب همیشه این‌قدر نزدیک باشد.

هیچ آستانهٔ روشنی از معیار تأثیر وجود ندارد که در آن بگوییم نمونه‌ای تأثیرگذار است یا غیرتأثیرگذار. مرتب‌کردن نمونه‌ها بر اساس تأثیر مفید است، اما عالی می‌بود اگر ابزاری داشتیم که نه فقط نمونه‌ها را مرتب کند بلکه واقعاً بین تأثیرگذار و غیرتأثیرگذار تمایز بگذارد. برای مثال، اگر ۱۰ نمونهٔ آموزشی تأثیرگذار برتر را برای یک نمونهٔ آزمون شناسایی کنید، ممکن است برخی از آن‌ها تأثیرگذار نباشند چون مثلاً فقط ۳ نمونهٔ برتر واقعاً تأثیرگذار بودند.

نرم‌افزار و جایگزین‌ها

تشخیص‌های حذفی پیاده‌سازی بسیار ساده‌ای دارند.

برای مدل‌های خطی و مدل‌های خطی تعمیم‌یافته، بسیاری از معیارهای تأثیر، مانند فاصلهٔ کوک، در R در بستهٔ stats پیاده‌سازی شده‌اند.

Koh و Liang کد پایتون توابع تأثیر را از مقالهٔشان در یک مخزن منتشر کردند. عالی است! متأسفانه این «فقط» کد مقاله است و یک ماژول پایتون نگهداری‌شده و مستندشده نیست. کد بر کتابخانهٔ TensorFlow متمرکز است، پس نمی‌توانید مستقیم برای مدل‌های جعبه‌سیاه با چارچوب‌های دیگر مانند scikit-learn از آن استفاده کنید.

فصل ۳۲: ارزیابی روش‌های تفسیرپذیری

عنوان اصلی: Evaluation of Interpretability Methods
منبع: https://christophm.github.io/interpretable-ml-book/evaluation.html
نویسنده: Christoph Molnar
مترجم: مریم محمودی


این فصل دربارهٔ موضوع پیشرفته‌تر چگونگی ارزیابی روش‌های تفسیرپذیری است. ارزیابی برای پژوهشگران و متخصصان تفسیرپذیری در نظر گرفته شده که کمی عمیق‌تر وارد تفسیرپذیری می‌شوند. در غیر این صورت بی‌تعارف از آن بگذرید.

ارزیابی رویکردهای یادگیری ماشین تفسیرپذیر به دلیل نبود کلی حقیقت پایه (ground truth) دشوار است. از زبان کسی که دکترایش را در تفسیرپذیری مستقل از مدل گذرانده، می‌تواند به‌ویژه آزاردهنده باشد، چون در یادگیری ماشین نظارت‌شده این طرز فکر هست که همه‌چیز باید معیار سنجش (benchmark) داشته باشد. و منظورم از معیار سنجش، ارزیابی روی داده‌های واقعی در برابر یک حقیقت پایه است. معیارهای سنجش وقتی معنا دارند که مدل‌های پیش‌بینی را با حقیقت پایهٔ در دسترس توسعه می‌دهید. برای یادگیری ماشین تفسیرپذیر، در داده‌های دنیای واقعی حقیقت پایه وجود ندارد. فقط می‌توانید با داده‌های شبیه‌سازی‌شده چیزی شبیه حقیقت پایه تولید کنید.

توضیح مترجم: «حقیقت پایه» یعنی پاسخ درست معلوم. برای یک مدل پیش‌بینی، برچسب واقعی هر نمونه حقیقت پایه است و می‌توان دقت را سنجید. اما برای یک توضیح (مثلاً «این ویژگی مهم بوده») هیچ پاسخ درست معلومی در داده‌های واقعی نیست که توضیح را با آن مقایسه کنیم؛ برای همین فقط در داده‌های شبیه‌سازی‌شده (که خودمان رابطهٔ ویژگی‌ها را می‌دانیم) می‌توان چیزی شبیه حقیقت پایه ساخت.

بیایید نگاهی کلی‌تر به ارزیابی بیندازیم.

سطوح ارزیابی

Doshi-Velez و Kim (۲۰۱۷) سه سطح اصلی برای ارزیابی تفسیرپذیری پیشنهاد می‌کنند:

ارزیابی در سطح کاربرد (وظیفهٔ واقعی): توضیح را در محصول بگذارید و کاربر نهایی آن را آزمون کند. نرم‌افزار تشخیص شکستگی با یک مؤلفهٔ یادگیری ماشین را تصور کنید که شکستگی‌ها را در تصاویر پرتو ایکس مکان‌یابی و علامت‌گذاری می‌کند. در سطح کاربرد، رادیولوژیست‌ها نرم‌افزار تشخیص شکستگی را مستقیماً آزمون می‌کنند تا مدل را ارزیابی کنند. این به یک طرح آزمایشی خوب و فهم اینکه چگونه کیفیت را بسنجیم نیاز دارد. یک خط پایهٔ خوب برای این همیشه این است که یک انسان چقدر در توضیح همان تصمیم خوب است.

ارزیابی در سطح انسان (وظیفهٔ ساده) ارزیابی ساده‌شدهٔ سطح کاربرد است. تفاوت در این است که این آزمایش‌ها با متخصصان حوزه انجام نمی‌شوند، بلکه با افراد عادی. این آزمایش‌ها را ارزان‌تر می‌کند (به‌ویژه اگر متخصصان حوزه رادیولوژیست باشند) و یافتن آزمون‌کنندگان بیشتر آسان‌تر است. یک نمونه نشان‌دادن توضیح‌های مختلف به کاربر است و کاربر بهترین را انتخاب می‌کند.

ارزیابی در سطح تابع (وظیفهٔ نیابتی) به انسان نیاز ندارد. وقتی بهترین عملکرد را دارد که دستهٔ مدل به‌کاررفته پیش‌تر توسط شخص دیگری در یک ارزیابی سطح انسان ارزیابی شده باشد. برای مثال، ممکن است معلوم باشد کاربران نهایی درخت‌های تصمیم را می‌فهمند. در این حالت، یک نماینده (proxy) برای کیفیت توضیح می‌تواند عمق درخت باشد. درخت‌های کوتاه‌تر امتیاز توضیح‌پذیری بهتری می‌گیرند. منطقی است قید اضافه شود که عملکرد پیش‌بینی درخت خوب بماند و در مقایسه با درخت بزرگ‌تر بیش از حد کاهش نیابد.

برای درک بهتر (توضیح مترجم): فرض کنید می‌خواهید سه روش توضیح را برای تشخیص بیماری مقایسه کنید. سطح کاربرد: پزشکان واقعی در بیمارستان با هر نرم‌افزار کار می‌کنند و کیفیت تصمیم‌هایشان سنجیده می‌شود (گران و دقیق). سطح انسان: دانشجویان غیرپزشک سه توضیح را می‌بینند و می‌گویند کدام را بهتر می‌فهمند (ارزان‌تر). سطح تابع: هیچ انسانی لازم نیست؛ فقط عدد ساده‌ای مثل «عمق درخت» یا «تعداد قاعده‌ها» را اندازه می‌گیریم و فرض می‌کنیم عدد کوچک‌تر یعنی فهم‌پذیرتر. این مثال از مترجم است.

فصل بعد بر ارزیابی توضیح‌های پیش‌بینی‌های منفرد در سطح تابع تمرکز دارد. ویژگی‌های مرتبط توضیح‌ها که برای ارزیابی آن‌ها در نظر می‌گیریم چیست؟

توضیح مترجم: جملهٔ «فصل بعد» در متن منبع به بخش بعدی یعنی «ویژگی‌های توضیح‌ها» اشاره دارد، که در همین فصل می‌آید (در نسخهٔ کتاب این دو بخش در یک فصل‌اند).

ویژگی‌های توضیح‌ها

برای توضیح‌ها حقیقت پایه وجود ندارد. در عوض، می‌توانیم به ویژگی‌های کلی‌تر توضیح‌ها نگاه کنیم و به‌طور کیفی (گاهی کمی) ارزیابی کنیم یک توضیح چقدر خوب عمل می‌کند. این بر توضیح‌های پیش‌بینی‌های منفرد متمرکز است. یک توضیح مقادیر ویژگی یک نمونه را با پیش‌بینی مدل آن به شیوه‌ای که برای انسان قابل‌فهم باشد مرتبط می‌کند. انواع دیگر توضیح‌ها از مجموعه‌ای از نمونه‌های داده تشکیل می‌شوند (مثلاً در مورد مدل k-نزدیک‌ترین همسایه). برای مثال، می‌توانیم خطر سرطان را با ماشین بردار پشتیبان پیش‌بینی کنیم و پیش‌بینی‌ها را با روش جانشین محلی توضیح دهیم، که درخت‌های تصمیم را به‌عنوان توضیح تولید می‌کند. یا می‌توانیم به‌جای ماشین بردار پشتیبان از یک مدل رگرسیون خطی استفاده کنیم. مدل رگرسیون خطی از قبل به یک روش توضیح (تفسیر وزن‌ها) مجهز است.

نگاه دقیق‌تری به ویژگی‌های روش‌های توضیح می‌اندازیم (Robnik-Šikonja و Bohanec ۲۰۱۸). این ویژگی‌ها را می‌توان برای قضاوت دربارهٔ اینکه یک روش توضیح یا توضیح چقدر خوب است به کار برد. برای همهٔ این ویژگی‌ها روشن نیست چگونه درست اندازه‌گیری شوند، پس یکی از چالش‌ها صوری‌کردن (formalize) چگونگی محاسبهٔ آن‌هاست.

توضیح مترجم: در متن منبع جملهٔ بالا (“We take a closer look at the properties of explanation methods and [@…]”) ناقص‌نوشته شده و ارجاع بدون فعل آمده است؛ ترجمه معنای آشکار آن را (ارجاع به Robnik-Šikonja و Bohanec) آورده است.

ویژگی‌های روش‌های توضیح

  • توان بیان (Expressive Power) «زبان» یا ساختار توضیح‌هایی است که روش قادر به تولید آن‌هاست. یک روش توضیح می‌تواند قاعده‌های اگر-آنگاه (IF-THEN)، درخت‌های تصمیم، یک مجموع وزن‌دار، زبان طبیعی یا چیز دیگری تولید کند.
  • شفافیت (Translucency) توضیح می‌دهد روش توضیح چقدر به نگاه‌کردن به درون مدل یادگیری ماشین، مثل پارامترهایش، متکی است. برای مثال، روش‌های توضیحی که به مدل‌های ذاتاً تفسیرپذیر مانند مدل رگرسیون خطی (وابسته به مدل) متکی‌اند بسیار شفاف‌اند. روش‌هایی که فقط به دستکاری ورودی‌ها و مشاهدهٔ پیش‌بینی‌ها متکی‌اند شفافیت صفر دارند. بسته به سناریو، سطوح مختلف شفافیت ممکن است مطلوب باشد. مزیت شفافیت بالا این است که روش می‌تواند برای تولید توضیح به اطلاعات بیشتری متکی باشد. مزیت شفافیت پایین این است که روش توضیح قابل‌حمل‌تر است.
  • قابلیت حمل (Portability) دامنهٔ مدل‌های یادگیری ماشینی را که روش توضیح با آن‌ها قابل‌استفاده است توصیف می‌کند. روش‌هایی با شفافیت پایین قابلیت حمل بالاتری دارند چون مدل یادگیری ماشین را جعبه‌سیاه در نظر می‌گیرند. مدل‌های جانشین (surrogate) شاید روش توضیحی با بالاترین قابلیت حمل باشند. روش‌هایی که فقط برای مثلاً شبکه‌های عصبی بازگشتی کار می‌کنند قابلیت حمل پایینی دارند.
  • پیچیدگی الگوریتمی (Algorithmic Complexity) پیچیدگی محاسباتی روشی را که توضیح را تولید می‌کند توصیف می‌کند. این ویژگی وقتی مهم است که زمان محاسبه گلوگاه تولید توضیح‌ها باشد.

برای درک بهتر (توضیح مترجم): «شفافیت» را مثل نگاه‌کردن به داخل یک ماشین بدانید: روش‌هایی که پارامترهای مدل را می‌خوانند (مثل وزن‌های رگرسیون) داخل ماشین را می‌بینند (شفافیت بالا)، ولی فقط برای همان مدل کار می‌کنند. روش‌هایی مثل LIME فقط ورودی می‌دهند و خروجی می‌بینند (شفافیت صفر)، ولی روی هر مدلی کار می‌کنند (قابلیت حمل بالا). این دو ویژگی معمولاً در جهت مخالف هم‌اند.

ویژگی‌های توضیح‌های منفرد

  • دقت (Accuracy): یک توضیح داده‌های دیده‌نشده را چقدر خوب پیش‌بینی می‌کند؟ دقت بالا به‌ویژه وقتی مهم است که توضیح به‌جای مدل یادگیری ماشین برای پیش‌بینی به کار رود. دقت پایین می‌تواند اشکالی نداشته باشد اگر دقت مدل یادگیری ماشین هم پایین باشد، و اگر هدف توضیح این باشد که مدل جعبه‌سیاه چه می‌کند. در این حالت فقط وفاداری (fidelity) مهم است.
  • وفاداری (Fidelity): توضیح پیش‌بینی مدل جعبه‌سیاه را چقدر خوب تقریب می‌زند؟ وفاداری بالا یکی از مهم‌ترین ویژگی‌های یک توضیح است، چون توضیح با وفاداری پایین برای توضیح مدل یادگیری ماشین بی‌فایده است. دقت و وفاداری نزدیک به هم‌اند. اگر مدل جعبه‌سیاه دقت بالایی داشته باشد و توضیح وفاداری بالایی، توضیح هم دقت بالایی دارد. برخی توضیح‌ها فقط وفاداری محلی ارائه می‌دهند، یعنی توضیح فقط برای زیرمجموعه‌ای از داده‌ها (مثلاً مدل‌های جانشین محلی) یا حتی فقط برای یک نمونهٔ داده منفرد (مثلاً مقادیر شپلی) پیش‌بینی مدل را خوب تقریب می‌زنند.
  • سازگاری (Consistency): توضیح بین مدل‌هایی که روی همان وظیفه آموزش دیده‌اند و پیش‌بینی‌های مشابهی تولید می‌کنند چقدر فرق می‌کند؟ برای مثال، یک ماشین بردار پشتیبان و یک مدل رگرسیون خطی را روی همان وظیفه آموزش می‌دهم و هر دو پیش‌بینی‌های بسیار مشابهی تولید می‌کنند. توضیح‌ها را با روشی به انتخاب خودم محاسبه می‌کنم و تحلیل می‌کنم توضیح‌ها چقدر فرق دارند. اگر توضیح‌ها بسیار مشابه باشند، توضیح‌ها بسیار سازگارند. این ویژگی را کمی پیچیده می‌یابم، چون دو مدل می‌توانند از ویژگی‌های متفاوتی استفاده کنند اما پیش‌بینی‌های مشابهی بگیرند (که به آن «اثر راشومون» هم می‌گویند). در این حالت سازگاری بالا مطلوب نیست چون توضیح‌ها باید بسیار متفاوت باشند. سازگاری بالا وقتی مطلوب است که مدل‌ها واقعاً به روابط مشابهی متکی باشند.
  • پایداری (Stability): توضیح‌ها برای نمونه‌های مشابه چقدر شبیه‌اند؟ در حالی که سازگاری توضیح‌ها را بین مدل‌ها مقایسه می‌کند، پایداری توضیح‌ها را بین نمونه‌های مشابه برای یک مدل ثابت مقایسه می‌کند. پایداری بالا یعنی تغییرات اندک در ویژگی‌های یک نمونه توضیح را به‌طور اساسی تغییر نمی‌دهد (مگر اینکه این تغییرات اندک پیش‌بینی را هم به‌شدت تغییر دهد). نبود پایداری می‌تواند نتیجهٔ واریانس بالای روش توضیح باشد. به بیان دیگر، روش توضیح به‌شدت تحت تأثیر تغییرات اندک در مقادیر ویژگی نمونه‌ای که باید توضیح داده شود قرار می‌گیرد. نبود پایداری همچنین می‌تواند ناشی از مؤلفه‌های غیرقطعی (non-deterministic) روش توضیح باشد، مانند گام نمونه‌گیری از داده، همان‌طور که روش جانشین محلی استفاده می‌کند. پایداری بالا همیشه مطلوب است.
  • فهم‌پذیری (Comprehensibility): انسان‌ها توضیح‌ها را چقدر خوب می‌فهمند؟ این ظاهراً فقط یک ویژگی دیگر در میان ویژگی‌های بسیار است، اما «فیلی» است که در اتاق نشسته و کسی به رویش نمی‌آورد (the elephant in the room). تعریف و اندازه‌گیری آن دشوار است، اما درست‌کردنش بسیار مهم است. بسیاری از مردم موافق‌اند که فهم‌پذیری به مخاطب بستگی دارد. ایده‌هایی برای اندازه‌گیری فهم‌پذیری شامل اندازه‌گیری اندازهٔ توضیح (تعداد ویژگی‌هایی با وزن غیرصفر در یک مدل خطی، تعداد قاعده‌های تصمیم، …) یا آزمودن این است که مردم چقدر خوب می‌توانند رفتار مدل یادگیری ماشین را از روی توضیح‌ها پیش‌بینی کنند. فهم‌پذیری ویژگی‌های به‌کاررفته در توضیح هم باید در نظر گرفته شود. یک تبدیل پیچیدهٔ ویژگی‌ها ممکن است کمتر از ویژگی‌های اصلی فهم‌پذیر باشد.
  • قطعیت (Certainty): آیا توضیح قطعیت مدل یادگیری ماشین را بازتاب می‌دهد؟ بسیاری از مدل‌های یادگیری ماشین فقط پیش‌بینی می‌دهند بدون بیانی دربارهٔ اطمینان مدل از درست‌بودن پیش‌بینی. اگر مدل احتمال ۴٪ سرطان را برای یک بیمار پیش‌بینی کند، آیا به همان اندازه قطعی است که احتمال ۴٪ که بیمار دیگری با مقادیر ویژگی متفاوت دریافت کرد؟ توضیحی که قطعیت مدل را شامل شود بسیار مفید است. افزون بر این، خود توضیح ممکن است یک مدل یا برآوردی بر پایهٔ داده باشد و بنابراین خود تحت عدم قطعیت باشد. این عدم قطعیت توضیح هم ویژگی مرتبطی از خود توضیح است.
  • درجهٔ اهمیت (Degree of Importance): توضیح اهمیت ویژگی‌ها یا بخش‌های توضیح را چقدر خوب بازتاب می‌دهد؟ برای مثال، اگر یک قاعدهٔ تصمیم به‌عنوان توضیح یک پیش‌بینی منفرد تولید شود، آیا روشن است کدام یک از شرط‌های قاعده مهم‌ترین بود؟
  • تازگی (Novelty): آیا توضیح بازتاب می‌دهد که نمونهٔ داده‌ای که باید توضیح داده شود از یک ناحیهٔ «جدید» دور از توزیع داده‌های آموزشی می‌آید؟ در چنین حالت‌هایی مدل ممکن است نادقیق باشد و توضیح ممکن است بی‌فایده باشد. مفهوم تازگی با مفهوم قطعیت مرتبط است. هرچه تازگی بیشتر باشد، محتمل‌تر است که مدل به‌دلیل کمبود داده قطعیت پایینی داشته باشد.
  • نمایندگی (Representativeness): یک توضیح چند نمونه را پوشش می‌دهد؟ توضیح‌ها می‌توانند کل مدل را پوشش دهند (مثلاً تفسیر وزن‌ها در مدل رگرسیون خطی) یا فقط یک پیش‌بینی منفرد را نمایندگی کنند (مثلاً مقادیر شپلی).

برای درک بهتر (توضیح مترجم): تفاوت سازگاری و پایداری: سازگاری یعنی «دو مدل مختلف با پیش‌بینی مشابه، توضیح مشابه می‌دهند؟» و پایداری یعنی «یک مدل برای دو نمونهٔ تقریباً یکسان، توضیح تقریباً یکسان می‌دهد؟». مثلاً اگر با عوض‌شدن سن یک بیمار از ۵۰ به ۵۱ سال، توضیح مدل کاملاً برعکس شود، توضیح ناپایدار است. اثر راشومون یعنی چند مدل با پیش‌بینی یکسان ولی استدلال متفاوت؛ در آن حالت توضیح‌های متفاوت مشکل نیستند، بلکه نشان‌دهندهٔ واقعیت‌اند.

توضیح مترجم: در منبع، «دقت» (Accuracy) در اینجا یعنی دقت پیش‌بینی خودِ توضیح روی داده‌های دیده‌نشده، نه دقت مدل اصلی. «وفاداری» یعنی اینکه توضیح چقدر خروجی مدل جعبه‌سیاه را (نه برچسب واقعی را) تقلید می‌کند. به همین دلیل وفاداری بالا حتی اگر مدل جعبه‌سیاه دقت پایینی داشته باشد هم می‌تواند مطلوب باشد.

فصل ۳۳: وقت داستان

عنوان اصلی: Story Time
منبع: https://christophm.github.io/interpretable-ml-book/storytime.html
نویسنده: Christoph Molnar
مترجم: مریم محمودی


هر یک از داستان‌های کوتاه زیر فراخوانی اغراق‌آمیز برای یادگیری ماشین تفسیرپذیر است. قالب آن‌ها از «افسانه‌های فناوری» (Tech Tales) جک کلارک (Jack Clark) در خبرنامهٔ Import AI او الهام گرفته است. اگر این‌گونه داستان‌ها را دوست دارید یا به هوش مصنوعی علاقه‌مندید، توصیه می‌کنم مشترک آن شوید.

توضیح مترجم: این فصل برخلاف فصل‌های دیگر کتاب، متن ادبی (داستان کوتاه و شعر) است و شکل یا فرمول ندارد. تصویرها فقط تصویرسازی داستان‌اند و متنی ندارند، مگر تصویر داستان دوم که عبارت انگلیسی ACCESS DENIED! (دسترسی رد شد!) روی آن نوشته شده است. نام‌ها و رویدادهای داستان‌ها خیالی‌اند. «الگوریتموکراسی» (algocracy) در داستان دوم به حکومتی گفته می‌شود که الگوریتم‌ها در آن تصمیم‌گیری می‌کنند.

رعدوبرق هرگز دو بار نمی‌زند

۲۰۳۰: یک آزمایشگاه پزشکی در سوئیس

توضیح مترجم (متن داخل تصویر): تصویر یک نمودار ضربان قلب (نوار قلب) است: چند ضربان و سپس خط صاف در سمت راست، که مرگ بیمار را نشان می‌دهد. متن ندارد.

«قطعاً بدترین شکل مردن نیست!» تام نتیجه گرفت و می‌کوشید در این فاجعه چیز مثبتی بیابد. پمپ را از پایهٔ سرم باز کرد.
لنا افزود: «او فقط به دلیل اشتباهی مرد.»
«و قطعاً با پمپ مورفین اشتباهی! فقط برای ما کار اضافه می‌تراشد!» تام شکایت کرد و صفحهٔ پشتی پمپ را باز می‌کرد. پس از درآوردن همهٔ پیچ‌ها، صفحه را بلند کرد و کنار گذاشت. کابلی را به درگاه تشخیصی وصل کرد.
لنا با لبخندی تمسخرآمیز گفت: «فقط داشتی از داشتن شغل شکایت می‌کردی، مگه نه؟»
«معلومه که نه. هرگز!» او با لحنی کنایه‌آمیز فریاد زد.

رایانهٔ پمپ را بوت کرد. لنا سر دیگر کابل را به تبلتش وصل کرد. اعلام کرد: «باشه، عیب‌یابی در حال اجراست. واقعاً کنجکاوم چه چیزی خراب شده.»
«قطعاً جان‌دوی ما را به نیروانا فرستاد. آن غلظت بالای این مورفین‌ها. مرد. یعنی … این اولین بار است، درسته؟ معمولاً پمپ خراب یا خیلی کم از آن چیز شیرین می‌دهد یا اصلاً چیزی نمی‌دهد. اما هرگز، می‌دانی، مثل آن تزریق دیوانه‌وار نه،» تام توضیح داد.
«می‌دانم. لازم نیست متقاعدم کنی … هی، این را ببین.» لنا تبلتش را بالا گرفت. «این اوج را اینجا می‌بینی؟ این قدرت ترکیب مسکن‌هاست. ببین! این خط سطح مرجع را نشان می‌دهد. آن بیچاره ترکیبی از مسکن‌ها در جریان خونش بود که می‌توانست ۱۷ بار او را بکشد. تزریق‌شده توسط پمپ ما. و اینجا …» او انگشت کشید، «اینجا لحظهٔ مرگ بیمار را می‌بینی.»
تام از سرپرستش پرسید: «پس، رئیس، فکری دارید چه شده؟»
«هم … حسگرها به نظر سالم می‌رسند. ضربان قلب، سطح اکسیژن، گلوکز، … داده‌ها همان‌طور که انتظار می‌رفت جمع شده‌اند. چند مقدار گمشده در داده‌های اکسیژن خون هست، اما غیرمعمول نیست. اینجا را ببین. حسگرها کندشدن ضربان قلب بیمار و سطح بسیار پایین کورتیزول ناشی از مشتق مورفین و دیگر عوامل مسدودکنندهٔ درد را هم تشخیص داده‌اند.» او به ورق‌زدن گزارش عیب‌یابی ادامه داد.
تام مجذوب به صفحه خیره بود. این نخستین بررسی او از خرابی واقعی یک دستگاه بود.

«خب، این اولین تکهٔ پازل ماست. سامانه نتوانست هشدار را به کانال ارتباطی بیمارستان بفرستد. هشدار فعال شد، اما در سطح پروتکل رد شد. می‌تواند تقصیر ما باشد، اما می‌تواند تقصیر بیمارستان هم باشد. لطفاً لاگ‌ها را برای تیم فناوری اطلاعات بفرست،» لنا به تام گفت.
تام سر تکان داد در حالی که چشمانش هنوز به صفحه دوخته بود.
لنا ادامه داد: «عجیب است. هشدار باید باعث خاموش‌شدن پمپ هم می‌شد. اما آشکارا نشد. این باید یک باگ باشد. چیزی که تیم کیفیت از قلم انداخته. چیزی واقعاً بد. شاید به مشکل پروتکل مربوط باشد.»
«پس، سامانهٔ اضطراری پمپ یک‌جوری از کار افتاد، اما چرا پمپ تمام‌عیار دیوانه شد و این‌قدر مسکن به جان‌دو تزریق کرد؟» تام تعجب کرد.
«سؤال خوبی است. حق با توست. خارج از خرابی اضطراری پروتکل، پمپ اصلاً نباید این مقدار دارو می‌داد. با توجه به سطح پایین کورتیزول و دیگر نشانه‌های هشدار، الگوریتم باید خیلی زودتر خودش متوقف می‌شد،» لنا توضیح داد.
«شاید یک بدشانسی، مثل یکی در میلیون، مثل خوردن صاعقه؟» تام از او پرسید.
«نه، تام. اگر مستنداتی را که برایت فرستادم خوانده بودی، می‌دانستی پمپ ابتدا در آزمایش‌های حیوانی و سپس روی انسان‌ها آموزش دیده تا بر پایهٔ ورودی حسگرها بیاموزد مقدار کامل مسکن‌ها را تزریق کند. الگوریتم پمپ ممکن است مبهم و پیچیده باشد، اما تصادفی نیست. یعنی در همان وضعیت پمپ دوباره دقیقاً همان‌طور رفتار می‌کرد. بیمار ما دوباره می‌مرد. ترکیب یا برهم‌کنش ناخواستهٔ ورودی‌های حسگرها باید رفتار اشتباه پمپ را برانگیخته باشد. برای همین باید عمیق‌تر بکاویم و بفهمیم اینجا چه شده،» لنا توضیح داد.

«می‌فهمم …» تام در فکر فرو رفته پاسخ داد. «مگر بیمار هر طور شده به‌زودی نمی‌مرد؟ به‌خاطر سرطان یا چیزی؟»
لنا در حالی که گزارش تحلیل را می‌خواند سر تکان داد. تام برخاست و به سمت پنجره رفت. بیرون را نگاه کرد، چشمانش به نقطه‌ای دور دوخته بود. «شاید ماشین به او لطفی کرد، می‌دانی، او را از درد رها کرد. دیگر رنجی نیست. شاید فقط کار درست را کرد. مثل صاعقه، اما، می‌دانی، یک صاعقهٔ خوب. یعنی مثل قرعه‌کشی، اما نه تصادفی. بلکه به یک دلیل. اگر من پمپ بودم، همین کار را می‌کردم.»
سرانجام لنا سرش را بلند کرد و به او نگاه کرد. او همچنان به چیزی بیرون خیره بود. هر دو چند لحظه ساکت ماندند. لنا دوباره سرش را پایین آورد و تحلیل را ادامه داد.
«نه، تام. باگ است … فقط یک باگ لعنتی.»

توضیح مترجم: نکتهٔ این داستان برای تفسیرپذیری آن است که مدلی «مبهم و پیچیده» (الگوریتم پمپ) قطعی (deterministic) است، نه تصادفی: همین ورودی‌ها دوباره همین خروجی را می‌سازند. پس علت خطا باید با تحلیل ورودی‌ها قابل‌ردیابی باشد، و توجیه کردن خطا با «بدشانسی» یا «شاید کار درستی کرده» جای فهم دلیل را نمی‌گیرد.

سقوط اعتماد

۲۰۵۰: یک ایستگاه مترو در آلمان

توضیح مترجم (متن داخل تصویر): روی تصویر عبارت ACCESS DENIED! (دسترسی رد شد!) در حبابی با حروف قرمز و محو نوشته شده و در کنارش یک شکلک زرد لبخندی است که گویی در حال ذوب‌شدن است، با چشم‌های سیاه و خطوط پایین‌چکیده. این همان شکلک «دوست‌داشتنی» صفحهٔ دروازهٔ مترو در متن داستان است.

او با عجله به ایستگاه مترو رفت. ذهنش از قبل مشغول کار بود. آزمون‌های معماری عصبی جدید باید تا حالا تمام شده باشد. او رهبری بازطراحی «سامانهٔ پیش‌بینی تمایل مالیاتی برای واحدهای منفرد» (Tax Affinity Prediction System for Individual Entities) دولت را بر عهده داشت، که پیش‌بینی می‌کند آیا شخصی پول را از اداره مالیات پنهان می‌کند یا نه. تیمش یک شاهکار مهندسی ظریف ساخته بود. اگر موفق می‌شد، سامانه نه‌فقط به اداره مالیات خدمت می‌کرد، بلکه سامانه‌های دیگری مانند سامانهٔ هشدار ضدتروریسم و ثبت شرکت‌ها را هم تغذیه می‌کرد. روزی دولت حتی می‌توانست پیش‌بینی‌ها را در امتیاز اعتماد شهروندی (Civic Trust Score) ادغام کند. امتیاز اعتماد شهروندی برآورد می‌کند یک فرد چقدر قابل‌اعتماد است. این برآورد بر هر بخش زندگی روزمره اثر می‌گذارد، مثل گرفتن وام یا اینکه فرد چقدر باید برای پاسپورت جدید منتظر بماند. هنگامی که از پله‌برقی پایین می‌رفت، تصور کرد ادغام سامانهٔ تیمش در سامانهٔ امتیاز اعتماد شهروندی چه شکلی خواهد داشت.

او به‌طور معمول دستش را روی RFID‌خوان کشید بدون اینکه سرعت راه‌رفتنش را کم کند. ذهنش مشغول بود، اما ناهمخوانی انتظارات حسی و واقعیت زنگ خطر را در مغزش به صدا درآورد.

خیلی دیر شده بود.

اول با بینی به دروازهٔ ورودی مترو خورد و با باسن روی زمین افتاد. در باید باز می‌شد، … اما نشد. گیج، برخاست و به صفحهٔ کنار دروازه نگاه کرد. «لطفاً بار دیگر امتحان کنید،» شکلکی با ظاهر دوستانه روی صفحه پیشنهاد می‌کرد. شخصی از کنارش رد شد و بدون توجه به او دستش را روی خوان کشید. در باز شد و او گذشت. در دوباره بسته شد. او بینی‌اش را پاک کرد. درد می‌کرد، اما دست‌کم خون نمی‌آمد. کوشید در را باز کند، اما دوباره رد شد. عجیب بود. شاید حساب حمل‌ونقل عمومی‌اش توکن کافی نداشت. به ساعت هوشمندش نگاه کرد تا موجودی حساب را بررسی کند.

«ورود ممنوع شد. لطفاً با دفتر مشاورهٔ شهروندی (Citizens Advice Bureau) تماس بگیرید!» ساعتش به او اطلاع داد.

احساس تهوع مثل مشتی به معده‌اش خورد. حدس زد چه شده است. برای تأیید نظریه‌اش، بازی موبایلی «Sniper Guild» (انجمن تک‌تیراندازان)، یک بازی تیراندازی اول‌شخص، را اجرا کرد. برنامه بلافاصله دوباره خودکار بسته شد، که نظریه‌اش را تأیید کرد. سرگیجه گرفت و دوباره روی زمین نشست.

فقط یک توضیح ممکن وجود داشت: امتیاز اعتماد شهروندی‌اش افت کرده بود. به‌طور قابل‌توجه. افت کوچک به معنای ناراحتی‌های جزئی بود، مانند نگرفتن پروازهای درجه یک یا کمی بیشتر انتظارکشیدن برای اسناد رسمی. امتیاز اعتماد پایین نادر بود و یعنی شما را تهدیدی برای جامعه دسته‌بندی کرده‌اند. یکی از اقدام‌ها در برخورد با این افراد دورنگه‌داشتن‌شان از مکان‌های عمومی مانند مترو بود. دولت تراکنش‌های مالی افراد با امتیاز اعتماد شهروندی پایین را محدود می‌کرد. همچنین شروع می‌کردند رفتارتان را در شبکه‌های اجتماعی فعالانه پایش کنند و حتی تا آنجا پیش می‌رفتند که برخی محتواها، مانند بازی‌های خشن، را محدود کنند. هرچه امتیاز اعتماد شهروندی‌تان پایین‌تر بود، بالابردنش به‌طور نمایی دشوارتر می‌شد. افراد با امتیاز بسیار پایین معمولاً هرگز بهبود نمی‌یافتند.

او نمی‌توانست دلیلی بیابد که چرا امتیازش باید افت کرده باشد. امتیاز بر پایهٔ یادگیری ماشین بود. سامانهٔ امتیاز اعتماد شهروندی مانند موتوری خوب روغن‌کاری‌شده بود که جامعه را اداره می‌کرد. عملکرد سامانهٔ امتیاز اعتماد همیشه از نزدیک پایش می‌شد. یادگیری ماشین از آغاز قرن بسیار بهتر شده بود. آن‌قدر کارآمد شده بود که دیگر نمی‌شد تصمیم‌های سامانهٔ امتیاز اعتماد را به چالش کشید. سامانه‌ای خطاناپذیر.

او از سر ناامیدی خندید. سامانهٔ خطاناپذیر. کاش. سامانه به‌ندرت شکست خورده بود. اما شکست خورد. او باید یکی از آن موارد خاص باشد؛ یک خطای سامانه؛ از این پس یک طردشده. هیچ‌کس جرئت نمی‌کرد سامانه را زیر سؤال ببرد. بیش از حد در دولت، در خود جامعه ادغام شده بود که بتوان آن را زیر سؤال برد. در معدود کشورهای دموکراتیک باقی‌مانده، تشکیل جنبش‌های ضددموکراتیک ممنوع بود، نه چون ذاتاً بدخواه بودند، بلکه چون سامانهٔ فعلی را بی‌ثبات می‌کردند. همین منطق در الگوریتموکراسی‌های (algocracies) رایج‌تر اکنون هم اعمال می‌شد. نقد الگوریتم‌ها به‌خاطر خطری که برای وضع موجود ایجاد می‌کرد ممنوع بود.

اعتماد الگوریتمی تار و پود نظم اجتماعی بود. برای خیر عمومی، امتیازهای اعتماد نادرستِ نادر به‌طور ضمنی پذیرفته می‌شد. صدها سامانهٔ پیش‌بینی و پایگاه داده دیگر به امتیاز خوراک می‌دادند، که دانستن علت افت امتیازش را غیرممکن می‌کرد. او احساس کرد یک سوراخ بزرگ تاریک در درون و زیر او باز می‌شود. با وحشت به خلأ نگاه کرد.

توضیح مترجم: این داستان نمونه‌ای از نبود تفسیرپذیری و حق اعتراض است: سامانه‌ای که تصمیمش قابل‌ردیابی و قابل‌به‌چالش‌کشیدن نباشد، حتی وقتی کم‌خطاست، برای قربانی خطا هیچ راه توضیح یا جبران نمی‌گذارد. در متن منبع «ego shooter» (به‌جای first-person shooter) نوشته شده؛ به‌صورت «تیراندازی اول‌شخص» ترجمه شد.

گیره‌های کاغذ فرمی

سال ۶۱۲ پ‌م‌م (پس از مستعمره‌سازی مریخ): یک موزه در مریخ

توضیح مترجم (متن داخل تصویر): تصویر متن ندارد. سیلوئت سیاه یک مرد را روی زمینی پر از کنده‌های درخت زیر آسمان قرمزرنگ نشان می‌دهد، با یک تبر در یکی از کنده‌ها. این همان صحنهٔ شعر داستان («شخصی با کت‌وشلوار در جنگلی که فقط کنده‌ها مانده») است.

توضیح مترجم: عنوان این داستان به «گیره‌های کاغذ» اشاره دارد، که اشاره‌ای است به آزمایش فکری «بیشینه‌ساز گیرهٔ کاغذ» (paperclip maximizer) در بحث ایمنی هوش مصنوعی: سامانه‌ای که فقط یک هدف مشخص را بیشینه می‌کند و کنار آن همه‌چیز را نابود می‌کند. «فرمی» به «پارادوکس فرمی» (چرا تمدن‌های بیگانه را نمی‌بینیم؟) و «فیلتر بزرگ» در شعر اشاره دارد. این توضیح‌ها از مترجم است و در متن منبع نیامده‌اند.

«تاریخ کسل‌کننده است،» ژولا (Xola) به دوستش نجوا کرد. ژولا، دختری با موهای آبی، تنبلانه با دست چپش یکی از پهپادهای نمایش را که در اتاق وزوز می‌کردند دنبال می‌کرد.
«تاریخ مهم است،» معلم با صدایی آزرده گفت و به دخترها نگاه کرد. ژولا سرخ شد. انتظار نداشت معلمش حرفش را بشنود.

«ژولا، همین حالا چه آموختی؟» معلم از او پرسید.
«اینکه مردم باستان همهٔ منابع سیارهٔ زمینی را مصرف کردند و بعد مردند؟» او با احتیاط پرسید.
«نه. آن‌ها آب‌وهوا را گرم کردند و مردم نبودند، رایانه‌ها و ماشین‌ها بودند. و سیارهٔ زمین است، نه سیارهٔ زمینی،» دختر دیگری به نام لین (Lin) افزود.
ژولا موافقانه سر تکان داد. معلم با کمی غرور لبخند زد و سر تکان داد. «هر دو درست می‌گویید. می‌دانید چرا این اتفاق افتاد؟»
«چون مردم کوته‌بین و حریص بودند؟» ژولا پرسید.
«مردم نمی‌توانستند ماشین‌هایشان را متوقف کنند!» لین ناگهان گفت.

«باز هم، هر دو درست می‌گویید،» معلم تصمیم گرفت، «اما خیلی پیچیده‌تر از این است. بیشتر مردم آن زمان از آنچه رخ می‌داد آگاه نبودند. برخی تغییرات شدید را می‌دیدند، اما نمی‌توانستند وارونه‌شان کنند. معروف‌ترین اثر این دوره شعری از نویسنده‌ای ناشناس است. بهترین بازتاب آن چیزی است که آن زمان اتفاق افتاد. با دقت گوش دهید!»

معلم شعر را شروع کرد. دوازده پهپاد کوچک خود را جلوی بچه‌ها جابه‌جا کردند و ویدیو را مستقیماً در چشمانشان نمایش دادند. شخصی با کت‌وشلوار را نشان می‌داد که در جنگلی ایستاده بود و فقط کنده‌های درخت مانده بود. او شروع به سخن‌گفتن کرد:

ماشین‌ها محاسبه می‌کنند؛ ماشین‌ها پیش‌بینی می‌کنند.

ما پیش می‌رویم چون بخشی از آن هستیم.

ما بهینه‌ای را دنبال می‌کنیم، همان‌طور که آموزش دیده‌ایم.

بهینه یک‌بعدی، محلی و بی‌قید است.

سیلیکون و گوشت، در تعقیب نمایی‌بودن.

رشد ذهنیت ماست.

وقتی همهٔ پاداش‌ها جمع شد،

و عوارض جانبی نادیده ماند؛

وقتی همهٔ سکه‌ها استخراج شد،

و طبیعت پشت سر ماند؛

به دردسر می‌افتیم،

به هر حال رشد نمایی یک حباب است.

تراژدی منابع مشترک در حال گشودن است،

منفجر می‌شود،

پیش چشمانمان.

محاسبات سرد و طمع یخی،

زمین را از گرما پر می‌کنند.

همه‌چیز در حال مردن است،

و ما در حال تبعیت.

مانند اسب‌هایی با چشم‌بند در مسابقه‌ای که خود ساخته‌ایم می‌تازیم،

به سوی فیلتر بزرگِ تمدن.

و بدین‌سان بی‌امان پیش می‌رویم.

چون بخشی از ماشین هستیم.

آنتروپی را در آغوش می‌کشیم.

توضیح مترجم: شعر را به‌صورت آزاد و تا حد امکان نزدیک به معنای هر مصرع ترجمه کرده‌ام. چند اصطلاح: «تراژدی منابع مشترک» (tragedy of the commons) یعنی وضعیتی که در آن هر فرد برای نفع خود از منبع مشترک بیش از حد برداشت می‌کند و منبع نابود می‌شود؛ «فیلتر بزرگ» (Great Filter) فرضیه‌ای است که می‌گوید تمدن‌ها در مسیر پیشرفت به مانعی بزرگ می‌رسند که بیشترشان را نابود می‌کند؛ «بهینه یک‌بعدی، محلی و بی‌قید» اشاره‌ای به بهینه‌سازی تک‌هدفی بدون در نظر گرفتن قیدها و عوارض جانبی است.

«یک خاطرهٔ تاریک،» معلم برای شکستن سکوت اتاق گفت. «در کتابخانه‌تان بارگذاری خواهد شد. تکلیفتان این است که تا هفتهٔ آینده آن را حفظ کنید.» ژولا آهی کشید. توانست یکی از پهپادهای کوچک را بگیرد. پهپاد از CPU و موتورها گرم بود. ژولا از اینکه پهپاد دستانش را گرم می‌کرد خوشش می‌آمد.

فصل ۳۴: آیندهٔ تفسیرپذیری

عنوان اصلی: The Future of Interpretability
منبع: https://christophm.github.io/interpretable-ml-book/future.html
نویسنده: Christoph Molnar
مترجم: مریم محمودی


آیندهٔ یادگیری ماشین تفسیرپذیر چیست؟ این فصل یک تمرین ذهنی تأملی و حدس ذهنی دربارهٔ چگونگی توسعهٔ یادگیری ماشین تفسیرپذیر است.

گمانه‌زنی‌هایم را بر سه پیش‌فرض بنا کرده‌ام:

  1. دیجیتال‌سازی: هر اطلاعات (جالب) دیجیتال خواهد شد. به پول الکترونیکی و تراکنش‌های آنلاین فکر کنید. به کتاب‌های الکترونیکی، موسیقی و ویدیوها فکر کنید. به همهٔ داده‌های حسگری دربارهٔ محیطمان، رفتار انسانی‌مان، فرایندهای تولید صنعتی و مانند آن‌ها فکر کنید. محرک‌های دیجیتال‌سازی همه‌چیز عبارت‌اند از: رایانه‌ها/حسگرها/ذخیره‌سازی ارزان، اثرهای مقیاس (برنده همه‌چیز را می‌برد)، مدل‌های کسب‌وکار جدید، زنجیره‌های ارزش ماژولار، فشار هزینه و بسیار چیزهای دیگر.
  2. خودکارسازی: وقتی کاری قابل‌خودکارسازی باشد و هزینهٔ خودکارسازی کمتر از هزینهٔ انجام آن کار در گذر زمان باشد، آن کار خودکار خواهد شد. حتی پیش از معرفی رایانه هم درجه‌ای از خودکارسازی داشتیم. برای مثال، ماشین بافندگی بافتن را خودکار کرد یا ماشین بخار اسب‌بخار را. اما رایانه‌ها و دیجیتال‌سازی خودکارسازی را به سطح بعدی می‌برند. همین واقعیت که می‌توانید حلقه‌های for برنامه‌نویسی کنید، ماکروهای اکسل بنویسید، پاسخ‌های ایمیل را خودکار کنید و مانند آن، نشان می‌دهد یک فرد چقدر می‌تواند خودکار کند. دستگاه‌های بلیت خرید بلیت قطار را خودکار می‌کنند (دیگر صندوقدار لازم نیست)، ماشین‌های لباسشویی شست‌وشوی لباس را خودکار می‌کنند، دستور پرداخت‌های ثابت (standing orders) تراکنش‌های پرداخت را خودکار می‌کنند و مانند آن. خودکارسازی وظایف زمان و پول آزاد می‌کند، پس انگیزهٔ اقتصادی و شخصی عظیمی برای خودکارکردن چیزها هست. اکنون شاهد خودکارسازی ترجمهٔ زبان، رانندگی و، تا حد کمی، حتی کشف علمی هستیم.
  3. مشخصات نادرست: نمی‌توانیم یک هدف را با همهٔ قیدهایش کاملاً مشخص کنیم. غول چراغ جادو را در نظر بگیرید که همیشه آرزوهایتان را تحت‌اللفظی می‌گیرد: «می‌خواهم ثروتمندترین فرد جهان باشم!» -> ثروتمندترین فرد می‌شوید، اما به‌عنوان اثر جانبی، پولی که دارید به دلیل تورم سقوط می‌کند.
    «می‌خواهم تا آخر عمر شاد باشم!» -> پنج دقیقهٔ بعد بسیار شادید، سپس غول شما را می‌کشد.
    «صلح جهانی می‌خواهم!» -> غول همهٔ انسان‌ها را می‌کشد.
    ما اهداف را نادرست مشخص می‌کنیم، یا چون همهٔ قیدها را نمی‌دانیم یا چون نمی‌توانیم آن‌ها را اندازه بگیریم. شرکت‌ها را به‌عنوان مثالی از مشخصات ناقص هدف در نظر بگیریم. یک شرکت هدف ساده‌ای دارد: کسب پول برای سهام‌داران. اما این مشخصات هدف واقعی را با همهٔ قیدهایی که واقعاً دنبالشان هستیم نمی‌گیرد: برای مثال، از شرکتی که برای پول‌درآوردن آدم می‌کشد، رودخانه‌ها را مسموم می‌کند یا صرفاً پول خودش را چاپ می‌کند قدردانی نمی‌کنیم. قوانین، مقررات، تحریم‌ها، رویه‌های انطباق (compliance)، اتحادیه‌های کارگری و بیشتر را ابداع کرده‌ایم تا مشخصات ناقص هدف را وصله‌پینه کنیم. مثال دیگری که خودتان می‌توانید تجربه‌اش کنید Paperclips است، بازی‌ای که در آن نقش ماشینی را بازی می‌کنید با هدف تولید حداکثر ممکن گیرهٔ کاغذ. هشدار: اعتیادآور است. نمی‌خواهم زیاد لو بدهم، اما بگذارید بگویم اوضاع واقعاً سریع از کنترل خارج می‌شود. در یادگیری ماشین، نقص‌ها در مشخصات هدف از انتزاع‌های ناقص داده (جمعیت‌های سوگیرانه، خطاهای اندازه‌گیری، …)، توابع زیان بی‌قید، نبود دانش دربارهٔ قیدها، جابه‌جایی توزیع بین داده‌های آموزش و کاربرد و بسیار چیزهای دیگر ناشی می‌شوند.

توضیح مترجم: «مشخصات نادرست» (misspecification) یعنی هدفی که به مدل یا ماشین می‌دهیم با هدف واقعی ما یکی نیست، چون قیدها یا ارزش‌های ضمنی را نمی‌توانیم کامل بنویسیم. مثال غول چراغ جادو همین را نشان می‌دهد: غول دقیقاً چیزی را اجرا می‌کند که گفته‌ایم، نه چیزی را که منظورمان بود. «تابع زیان بی‌قید» یعنی مدل فقط یک عدد (خطا) را کمینه می‌کند و به هیچ قید دیگری (مثلاً انصاف یا ایمنی) توجه ندارد. «جابه‌جایی توزیع» یعنی داده‌هایی که مدل در عمل می‌بیند با داده‌های آموزشی فرق دارند.

دیجیتال‌سازی خودکارسازی را پیش می‌راند. مشخصات ناقص هدف با خودکارسازی در تضاد است. ادعا می‌کنم این تضاد تا حدی با روش‌های تفسیر میانجی‌گری می‌شود.

صحنهٔ پیش‌بینی‌هایمان آماده شده، گوی بلورین مهیاست، اکنون می‌بینیم حوزه ممکن است به کجا برود!

آیندهٔ یادگیری ماشین

بدون یادگیری ماشین، یادگیری ماشین تفسیرپذیر نمی‌تواند وجود داشته باشد. بنابراین پیش از صحبت دربارهٔ تفسیرپذیری باید حدس بزنیم یادگیری ماشین به کجا می‌رود.

یادگیری ماشین (یا «هوش مصنوعی») با وعده‌ها و انتظارات بسیاری همراه است. اما بیایید با یک مشاهدهٔ کمتر خوش‌بینانه شروع کنیم: در حالی که علم ابزارهای یادگیری ماشین پرزرق‌وبرق بسیاری توسعه می‌دهد، بر پایهٔ تجربه‌ام ادغام آن‌ها در فرایندها و محصولات موجود کاملاً دشوار است. نه چون ممکن نیست، بلکه صرفاً چون زمان می‌برد تا شرکت‌ها و مؤسسه‌ها خود را برسانند. در هجوم طلای اوج هیاهوی هوش مصنوعی فعلی، شرکت‌ها «آزمایشگاه‌های هوش مصنوعی»، «واحدهای یادگیری ماشین» باز می‌کنند و «دانشمندان داده»، «متخصصان یادگیری ماشین»، «مهندسان هوش مصنوعی» و مانند آن استخدام می‌کنند، اما واقعیت، بر پایهٔ تجربه‌ام، بسیار ناامیدکننده است. اغلب شرکت‌ها حتی داده را به شکل موردنیاز ندارند و دانشمندان داده ماه‌ها بیکار منتظر می‌مانند. گاهی شرکت‌ها به‌خاطر رسانه‌ها چنان انتظارات بالایی از هوش مصنوعی و علم داده دارند که دانشمندان داده هرگز نمی‌توانند برآورده‌شان کنند. و اغلب هیچ‌کس نمی‌داند چگونه دانشمندان داده را در ساختارهای موجود جا بدهد و بسیار مشکلات دیگر. این به پیش‌بینی اول من می‌انجامد.

یادگیری ماشین آرام اما پیوسته بزرگ خواهد شد.

دیجیتال‌سازی در حال پیشروی است و وسوسهٔ خودکارسازی پیوسته می‌کشد. حتی اگر مسیر پذیرش یادگیری ماشین آهسته و سنگلاخی باشد، یادگیری ماشین پیوسته از علم به فرایندهای کسب‌وکار، محصولات و کاربردهای دنیای واقعی می‌رود.

باور دارم باید بهتر به غیرمتخصصان توضیح دهیم چه نوع مسئله‌هایی را می‌توان به‌صورت مسئلهٔ یادگیری ماشین فرمول‌بندی کرد. دانشمندان داده‌ای با حقوق بالا می‌شناسم که به‌جای به‌کاربردن یادگیری ماشین محاسبات اکسل یا هوش تجاری کلاسیک با گزارش‌دهی و پرس‌وجوهای SQL انجام می‌دهند. اما چند شرکت از پیش با موفقیت از یادگیری ماشین استفاده می‌کنند، با شرکت‌های بزرگ اینترنتی در پیشانی. باید راه‌های بهتری برای ادغام یادگیری ماشین در فرایندها و محصولات بیابیم، مردم را آموزش دهیم و ابزارهای یادگیری ماشین آسان‌استفاده توسعه دهیم. باور دارم استفاده از یادگیری ماشین بسیار آسان‌تر خواهد شد: همین حالا می‌بینیم یادگیری ماشین در دسترس‌تر می‌شود، مثلاً از راه خدمات ابری («یادگیری ماشین به‌عنوان سرویس» – فقط برای پرتاب چند واژهٔ پرطمطراق). وقتی یادگیری ماشین به بلوغ برسد – و این نوپا از پیش اولین قدم‌هایش را برداشته – پیش‌بینی بعدی من این است:

یادگیری ماشین بسیاری چیزها را سوخت‌رسانی خواهد کرد.

بر پایهٔ اصل «هرچه قابل خودکارسازی باشد خودکار خواهد شد»، نتیجه می‌گیرم که هرگاه ممکن باشد، وظایف به‌صورت مسئله‌های پیش‌بینی فرمول‌بندی و با یادگیری ماشین حل می‌شوند. یادگیری ماشین نوعی خودکارسازی است یا دست‌کم می‌تواند بخشی از آن باشد. بسیاری از وظایفی که اکنون انسان‌ها انجام می‌دهند با یادگیری ماشین جایگزین می‌شوند. در اینجا چند مثال از وظایفی آمده که در آن‌ها از یادگیری ماشین برای خودکارسازی بخشی از آن استفاده می‌شود:

  • مرتب‌سازی / تصمیم‌گیری / تکمیل اسناد (مثلاً در شرکت‌های بیمه، بخش حقوقی یا شرکت‌های مشاوره)
  • تصمیم‌های داده‌محور مانند درخواست‌های اعتبار
  • کشف دارو
  • کنترل‌های کیفیت در خطوط مونتاژ
  • خودروهای خودران
  • تشخیص بیماری‌ها
  • ترجمه. برای این کتاب، از یک سرویس ترجمه به نام (DeepL) استفاده کردم که با شبکه‌های عصبی عمیق کار می‌کند تا جمله‌هایم را با ترجمه از انگلیسی به آلمانی و دوباره به انگلیسی بهبود دهم.
  • …

موفقیت یادگیری ماشین فقط با رایانه‌های بهتر / داده‌های بیشتر / نرم‌افزار بهتر به دست نمی‌آید، بلکه:

ابزارهای تفسیرپذیری پذیرش یادگیری ماشین را کاتالیز می‌کنند.

بر پایهٔ این پیش‌فرض که هدف یک مدل یادگیری ماشین هرگز نمی‌تواند کاملاً مشخص شود، نتیجه می‌شود که یادگیری ماشین تفسیرپذیر برای بستن شکاف بین هدف نادرست‌مشخص‌شده و هدف واقعی ضروری است. در بسیاری از حوزه‌ها و بخش‌ها، تفسیرپذیری کاتالیزور پذیرش یادگیری ماشین خواهد بود. چند شاهد حکایتی: بسیاری از افرادی که با آن‌ها صحبت کرده‌ام از یادگیری ماشین استفاده نمی‌کنند چون نمی‌توانند مدل‌ها را برای دیگران توضیح دهند. باور دارم تفسیرپذیری این مسئله را برطرف می‌کند و یادگیری ماشین را برای سازمان‌ها و افرادی که کمی شفافیت می‌خواهند جذاب می‌کند. افزون بر مشخصات نادرست مسئله، بسیاری از صنایع تفسیرپذیری می‌خواهند، چه به دلایل قانونی، چه به دلیل ریسک‌گریزی یا برای به‌دست‌آوردن بینش دربارهٔ وظیفهٔ زیربنایی. یادگیری ماشین فرایند مدل‌سازی را خودکار می‌کند و انسان را کمی از داده و وظیفهٔ زیربنایی دورتر می‌کند: این خطر مشکلات در طراحی آزمایش، انتخاب توزیع آموزشی، نمونه‌گیری، کدگذاری داده، مهندسی ویژگی و مانند آن را افزایش می‌دهد. ابزارهای تفسیر شناسایی این مشکلات را آسان‌تر می‌کنند.

توضیح مترجم: متن منبع می‌گوید برای نوشتن کتاب از DeepL برای بهبود جمله‌ها (ترجمهٔ رفت‌وبرگشتی انگلیسی-آلمانی-انگلیسی) استفاده شده است. این ادعای نویسندهٔ کتاب دربارهٔ نوشتن متن انگلیسی است و دربارهٔ این ترجمهٔ فارسی نیست. «کاتالیزور» یعنی عاملی که یک فرایند را سریع‌تر می‌کند؛ در اینجا یعنی تفسیرپذیری مانع اعتماد را برمی‌دارد و پذیرش را تسریع می‌کند.

آیندهٔ تفسیرپذیری

نگاهی به آیندهٔ ممکن تفسیرپذیری یادگیری ماشین بیندازیم.

تمرکز بر ابزارهای تفسیرپذیری مستقل از مدل خواهد بود.

وقتی تفسیرپذیری از مدل یادگیری ماشین زیربنایی جدا باشد، خودکارکردنش بسیار آسان‌تر است. مزیت تفسیرپذیری مستقل از مدل در ماژولار بودن آن است. می‌توانیم مدل یادگیری ماشین زیربنایی را به‌آسانی عوض کنیم. به همان آسانی می‌توانیم روش تفسیر را عوض کنیم. به این دلایل، روش‌های مستقل از مدل بسیار بهتر مقیاس می‌گیرند. به همین دلیل باور دارم روش‌های مستقل از مدل در بلندمدت غالب‌تر می‌شوند. اما روش‌های ذاتاً تفسیرپذیر هم جایگاه خود را خواهند داشت.

یادگیری ماشین خودکار خواهد شد و همراه آن تفسیرپذیری.

یک روند که از پیش دیده می‌شود خودکارسازی آموزش مدل است. این شامل مهندسی و انتخاب خودکار ویژگی‌ها، بهینه‌سازی خودکار ابرپارامترها، مقایسهٔ مدل‌های مختلف و گروه‌سازی (ensembling) یا انباشتن (stacking) مدل‌هاست. نتیجه بهترین مدل پیش‌بینی ممکن است. وقتی از روش‌های تفسیر مستقل از مدل استفاده می‌کنیم، می‌توانیم آن‌ها را به‌طور خودکار روی هر مدلی که از فرایند یادگیری ماشین خودکار برمی‌آید اعمال کنیم. به‌نوعی، می‌توانیم این گام دوم را هم خودکار کنیم: اهمیت ویژگی را خودکار حساب کنیم، وابستگی جزئی را رسم کنیم، یک مدل جانشین آموزش دهیم و مانند آن. هیچ‌کس جلوی شما را نمی‌گیرد که همهٔ این تفسیرهای مدل را خودکار محاسبه کنید. تفسیر واقعی هنوز به انسان‌ها نیاز دارد. تصور کنید: مجموعه‌داده‌ای بارگذاری می‌کنید، هدف پیش‌بینی را مشخص می‌کنید و با فشردن یک دکمه بهترین مدل پیش‌بینی آموزش می‌بیند و برنامه همهٔ تفسیرهای مدل را بیرون می‌دهد. از پیش نخستین محصولات هست و استدلال می‌کنم که برای بسیاری از کاربردها استفاده از این خدمات یادگیری ماشین خودکار کافی خواهد بود. امروز هر کسی می‌تواند بدون دانستن HTML، CSS و جاوااسکریپت وب‌سایت بسازد، اما هنوز توسعه‌دهندگان وب بسیاری هستند. به‌طور مشابه، باور دارم همه خواهند توانست بدون دانستن برنامه‌نویسی مدل‌های یادگیری ماشین آموزش دهند و باز هم به متخصصان یادگیری ماشین نیاز خواهد بود.

برای درک بهتر (توضیح مترجم): فرض کنید فایل داده فروش یک فروشگاه را در یک سرویس «یادگیری ماشین خودکار» بارگذاری می‌کنید و ستون «فروش ماه بعد» را هدف می‌دهید. سرویس خودش ویژگی‌ها را انتخاب می‌کند، چند مدل را امتحان می‌کند، بهترین را نگه می‌دارد و بعد خودکار نمودار اهمیت ویژگی‌ها و نمودار وابستگی جزئی را هم می‌سازد. شما بدون یک خط کد گزارش را می‌بینید؛ اما معنای گزارش (مثلاً اینکه آیا «تبلیغات» واقعاً علت فروش است یا فقط همبسته) را باید یک انسان تفسیر کند. این مثال از مترجم است.

ما داده را تحلیل نمی‌کنیم، مدل‌ها را تحلیل می‌کنیم.

خود داده خام همیشه بی‌فایده است. (عمداً اغراق می‌کنم. واقعیت این است که برای انجام تحلیلی معنادار به فهم عمیقی از داده نیاز دارید.) من به داده اهمیت نمی‌دهم؛ به دانش نهفته در داده اهمیت می‌دهم. یادگیری ماشین تفسیرپذیر راه عالی‌ای برای تقطیر دانش از داده است. می‌توانید مدل را به‌طور گسترده بکاوید، مدل خودکار تشخیص می‌دهد آیا و چگونه ویژگی‌ها برای پیش‌بینی مرتبط‌اند (بسیاری مدل‌ها انتخاب ویژگی درونی دارند)، مدل می‌تواند خودکار تشخیص دهد روابط چگونه نمایش داده می‌شوند، و – اگر درست آموزش دیده باشد – مدل نهایی تقریب بسیار خوبی از واقعیت است.

بسیاری از ابزارهای تحلیلی از پیش بر مدل‌های داده استوارند (چون بر فرض‌های توزیعی مبتنی‌اند):

  • آزمون‌های فرضیهٔ ساده مانند آزمون t استیودنت.
  • آزمون‌های فرضیه با تعدیل برای متغیرهای مخدوش‌گر (معمولاً GLMها)
  • تحلیل واریانس (ANOVA)
  • ضریب همبستگی (ضریب رگرسیون خطی استانداردشده با ضریب همبستگی پیرسون مرتبط است)
  • …

آنچه اینجا به شما می‌گویم در واقع هیچ چیز جدیدی نیست. پس چرا از تحلیل مدل‌های شفاف مبتنی بر فرض به تحلیل مدل‌های جعبه‌سیاه بدون فرض می‌رویم؟ چون ایجاد همهٔ این فرض‌ها مشکل‌ساز است: معمولاً نادرست‌اند (مگر باور داشته باشید بیشتر جهان از توزیع گاوسی پیروی می‌کند)، بررسی‌شان دشوار است، بسیار انعطاف‌ناپذیرند و خودکارکردنشان سخت است. در بسیاری از حوزه‌ها، مدل‌های مبتنی بر فرض معمولاً روی داده‌های آزمون دست‌نخورده عملکرد پیش‌بینی بدتری از مدل‌های یادگیری ماشین جعبه‌سیاه دارند. این فقط برای مجموعه‌داده‌های بزرگ درست است، چون مدل‌های تفسیرپذیر با فرض‌های خوب اغلب با مجموعه‌داده‌های کوچک بهتر از مدل‌های جعبه‌سیاه عمل می‌کنند. رویکرد یادگیری ماشین جعبه‌سیاه برای خوب‌کارکردن به داده‌های بسیار نیاز دارد. با دیجیتال‌سازی همه‌چیز، مجموعه‌داده‌های بزرگ‌تر و بزرگ‌تری خواهیم داشت و بنابراین رویکرد یادگیری ماشین جذاب‌تر می‌شود. ما فرض نمی‌کنیم، واقعیت را تا حد ممکن نزدیک تقریب می‌زنیم (در حالی که از بیش‌برازش داده‌های آموزشی پرهیز می‌کنیم). استدلال می‌کنم باید همهٔ ابزارهایی را که در آمار برای پاسخ‌دادن به پرسش‌ها داریم (آزمون‌های فرضیه، معیارهای همبستگی، معیارهای برهم‌کنش، ابزارهای تجسم، بازه‌های اطمینان، مقدارهای p، بازه‌های پیش‌بینی، توزیع‌های احتمال) توسعه دهیم و برای مدل‌های جعبه‌سیاه بازنویسی کنیم. به‌نوعی، این از پیش در حال رخ‌دادن است:

  • یک مدل خطی کلاسیک را در نظر بگیریم: ضریب رگرسیون استانداردشده از پیش یک معیار اهمیت ویژگی است. با معیار اهمیت ویژگی جایگشتی ابزاری داریم که با هر مدلی کار می‌کند.
  • در یک مدل خطی، ضرایب اثر یک ویژگی منفرد را بر نتیجهٔ پیش‌بینی‌شده می‌سنجند. نسخهٔ تعمیم‌یافتهٔ آن نمودار وابستگی جزئی است.
  • آزمودن اینکه A بهتر است یا B: برای این هم می‌توانیم از توابع وابستگی جزئی استفاده کنیم. آنچه هنوز نداریم (تا آنجا که می‌دانم) آزمون‌های آماری برای مدل‌های جعبه‌سیاه دلخواه است.

توضیح مترجم: «مدل مبتنی بر فرض» (assumption-based) مدلی مانند رگرسیون خطی یا آزمون t است که فرض‌هایی دربارهٔ توزیع داده (مثلاً گاوسی‌بودن) دارد و اگر فرض‌ها برقرار نباشند نتایجش قابل‌اتکا نیست. «مدل جعبه‌سیاه بدون فرض» مثل جنگل تصادفی یا شبکهٔ عصبی چنین فرض‌هایی ندارد، اما برای تفسیرش به روش‌های این کتاب (اهمیت ویژگی، وابستگی جزئی و …) نیاز داریم. اینکه آزمون‌های آماری برای مدل‌های دلخواه «هنوز نداریم» ادعای نویسنده است و به زمان نگارش کتاب برمی‌گردد.

دانشمندان داده خودشان را خودکار خواهند کرد.

باور دارم دانشمندان داده سرانجام برای بسیاری از وظایف تحلیل و پیش‌بینی بخش‌های بزرگ‌تری از کارشان را خودکار می‌کنند. برای رخ‌دادن این، وظایف باید خوب‌تعریف‌شده باشند و باید فرایندها و روال‌هایی پیرامون آن‌ها وجود داشته باشد. امروز این روال‌ها و فرایندها کم‌اند، اما دانشمندان داده و همکاران در حال کار روی آن‌ها هستند. با تبدیل‌شدن یادگیری ماشین به بخش جدایی‌ناپذیر بسیاری از صنایع و مؤسسه‌ها، بسیاری از وظایف خودکار خواهند شد.

ربات‌ها و برنامه‌ها خودشان را توضیح خواهند داد.

به رابط‌های شهودی‌تر برای ماشین‌ها و برنامه‌هایی که شدیداً از یادگیری ماشین استفاده می‌کنند نیاز داریم. چند مثال: خودروی خودرانی که گزارش می‌دهد چرا ناگهان ایستاده («۷۰٪ احتمال اینکه بچه‌ای از جاده عبور کند»)؛ برنامهٔ نکول اعتبار که به کارمند بانک توضیح می‌دهد چرا درخواست اعتبار رد شد («متقاضی کارت‌های اعتباری بسیار دارد و در شغل ناپایداری مشغول است.»)؛ بازوی رباتی که توضیح می‌دهد چرا کالا را از نوار نقاله به سطل زباله منتقل کرد («کالا در پایین ترک دارد.»).

توضیح مترجم: در متن منبع «a craze at the bottom» آمده است؛ در اینجا «craze» به معنای ترک‌های ریز سطحی روی شیء (مثلاً سرامیک یا شیشه) است و «ترک» ترجمه شد.

در پایان، همه‌اش گمانه‌زنی است و باید ببینیم آینده واقعاً چه می‌آورد. نظر خودتان را شکل دهید و به یادگیری ادامه دهید!

فصل ۳۵: ترجمه‌ها

عنوان اصلی: Translations
منبع: https://christophm.github.io/interpretable-ml-book/translations.html
نویسنده: Christoph Molnar
مترجم: مریم محمودی


علاقه‌مند به ترجمهٔ کتاب هستید؟

این کتاب تحت مجوز بین‌المللی ۴٫۰ Creative Commons Attribution-NonCommercial-ShareAlike منتشر شده است. این یعنی مجاز هستید آن را ترجمه کنید و آنلاین بگذارید. باید من را به‌عنوان نویسندهٔ اصلی ذکر کنید و مجاز نیستید کتاب را بفروشید.

اگر علاقه‌مند به ترجمهٔ کتاب هستید، می‌توانید پیام بنویسید و من می‌توانم ترجمهٔ شما را اینجا پیوند دهم. نشانی من chris@christophmolnar.com است.

توضیح مترجم: این فصل فهرستی است که نویسندهٔ کتاب از ترجمه‌های کتاب به زبان‌های دیگر نگه می‌دارد. فهرست و پیوندها عیناً از متن اصلی آمده‌اند و ممکن است در زمان خواندن شما تغییر کرده باشند؛ پیوندها را من بررسی نکرده‌ام. عبارت «ترجمه‌ای کامل» یا «در حال انجام» وضعیتی است که در متن اصلی برای هر ترجمه ذکر شده، نه ارزیابی من. «مجوز CC BY-NC-SA ۴٫۰» یعنی: نام نویسنده باید ذکر شود (BY)، استفادهٔ تجاری مجاز نیست (NC) و آثار برگرفته باید با همان مجوز منتشر شوند (SA). همین شرط‌ها در این ترجمهٔ فارسی هم رعایت شده است.

فهرست ترجمه‌ها

بهاسا ایندونزی (Bahasa Indonesia)

  • ترجمهٔ کامل توسط Hatma Suryotrisongko و آزمایشگاه شهر هوشمند و امنیت سایبری (Smart City & Cybersecurity Laboratory)، فناوری اطلاعات، ITS.

چینی (Chinese):

فرانسوی (French):

ژاپنی (Japanese)

کره‌ای (Korean):

فارسی (Persian / Farsi)

توضیح مترجم: این همان ترجمهٔ فارسی‌ای است که اکنون می‌خوانید.

اسپانیایی (Spanish)

توضیح مترجم: در متن اصلی نخستین پیوند اسپانیایی به مخزنی با نام پرتغالی («Aprendizado de Máquina Interpretável») اشاره می‌کند؛ مطابق متن اصلی بدون تغییر ترجمه شد.

ترکی (Turkish)

ویتنامی (Vietnamese)

فصل ۳۶: ارجاع به این کتاب

عنوان اصلی: Citing this Book
منبع: https://christophm.github.io/interpretable-ml-book/cite.html
نویسنده: Christoph Molnar
مترجم: مریم محمودی


اگر این کتاب برای وبلاگ، مقالهٔ پژوهشی یا محصول شما مفید بوده، سپاسگزار می‌شوم اگر به این کتاب ارجاع دهید. می‌توانید به این شکل به کتاب ارجاع دهید:

Molnar, C. (2025). Interpretable Machine Learning:
A Guide for Making Black Box Models Explainable (3rd ed.).
christophm.github.io/interpretable-ml-book/

یا از مدخل bibtex زیر استفاده کنید:

@book{molnar2025,
  title={Interpretable Machine Learning},
  subtitle={A Guide for Making Black Box Models Explainable},
  author={Christoph Molnar},
  year={2025},
  edition={3},
  isbn={978-3-911578-03-5},
  url={https://christophm.github.io/interpretable-ml-book}
}

توضیح مترجم: قالب ارجاع و مدخل bibtex بالا عیناً از متن اصلی آمده‌اند و عمداً ترجمه نشده‌اند، چون باید برای ارجاع به کتاب اصلی دقیقاً به همین شکل (با عنوان انگلیسی) استفاده شوند. اگر از این ترجمهٔ فارسی در نوشته‌ای استفاده می‌کنید، مرجع علمی همچنان کتاب اصلی Christoph Molnar است؛ در صورت تمایل می‌توانید جداگانه به این ترجمه هم اشاره کنید. شکل دقیق ارجاع به ترجمه در متن اصلی توضیح داده نشده است.

من همیشه کنجکاوم بدانم روش‌های تفسیر در صنعت و پژوهش کجا و چگونه به کار می‌روند. اگر از کتاب به‌عنوان مرجع استفاده می‌کنید، عالی می‌شد اگر چند خطی برایم بنویسید و بگویید برای چه. این البته اختیاری است و فقط کنجکاوی خود من را ارضا می‌کند و گفت‌وگوهای جالب را برمی‌انگیزد. ایمیل من chris@christophmolnar.com است

فصل ۳۷: قدردانی

عنوان اصلی: Acknowledgments
منبع: https://christophm.github.io/interpretable-ml-book/acknowledgements.html
نویسنده: Christoph Molnar
مترجم: مریم محمودی


نوشتن این کتاب (و همچنان) بسیار لذت‌بخش بود. اما کار زیادی هم هست و از حمایتی که دریافت کردم بسیار خوشحالم.

بزرگ‌ترین تشکر من برای Katrin است، که از نظر ساعت‌ها و تلاش سخت‌ترین کار را داشت: او کتاب را از ابتدا تا انتها غلط‌گیری کرد و بسیاری از اشتباهات املایی و ناهماهنگی‌ها را کشف کرد که من هرگز نمی‌یافتم. برای حمایتش بسیار سپاسگزارم.

تشکر بزرگی نثار همهٔ نویسندگان مهمان می‌شود. واقعاً از دانستن اینکه مردم به مشارکت در کتاب علاقه دارند شگفت‌زده شدم. و به لطف تلاش‌هایشان، محتوای کتاب بهبود یافت! Tobias Goerke و Magdalena Lang فصل مربوط به قواعد محدوده‌دار (Scoped Rules یا Anchors) را نوشتند. Fangzhou Li فصل تشخیص مفاهیم (Detecting Concepts) را مشارکت کرد. و Susanne Dandl فصل مثال‌های خلاف‌واقع (Counterfactual Examples) را بسیار بهبود داد. و در آخر، Verena Haunschmid بخش مربوط به توضیح‌های LIME برای تصاویر را نوشت. همچنین می‌خواهم از همهٔ خوانندگانی که بازخورد دادند و اصلاحات را مستقیماً در GitHub مشارکت کردند تشکر کنم!

توضیح مترجم: نام‌ها (مانند Katrin، Tobias Goerke، Magdalena Lang، Fangzhou Li، Susanne Dandl، Verena Haunschmid، Heidi Seibold و Yvonne Doinel) افراد واقعی‌اند و به لاتین نگه داشته شده‌اند. «قواعد محدوده‌دار (Anchors)» همان فصل ۱۶ این کتاب و «تشخیص مفاهیم» فصل ۲۹ است. فصل «مثال‌های خلاف‌واقع» فصل ۱۵ است. «نویسنده مهمان» یعنی کسی که فصل یا بخشی را به درخواست یا با همکاری نویسندهٔ اصلی نوشته است.

علاوه بر این، می‌خواهم از همهٔ کسانی که تصویرسازی کردند تشکر کنم: طرح جلد را دوستم @YvonneDoinel طراحی کرد. گرافیک‌های فصل مقدار شپلی را Heidi Seibold ساخت، و همچنین مثال لاک‌پشت در فصل مثال‌های خصمانه را. Verena Haunschmid گرافیک فصل RuleFit را ساخت.

همچنین می‌خواهم از همسر و خانواده‌ام تشکر کنم که همیشه حمایتم کرده‌اند. به‌ویژه همسرم مجبور بود زیاد به غر زدن‌های من دربارهٔ کتاب گوش بدهد. او در بسیاری از تصمیم‌ها پیرامون نوشتن کتاب به من کمک کرد.

شیوهٔ انتشار این کتاب کمی غیرمتعارف است. نخست، کتاب نه‌تنها به‌صورت کاغذی و کتاب الکترونیکی، بلکه به‌صورت وب‌سایت و کاملاً رایگان هم در دسترس است. کتاب را به‌صورت یک کتاب در دست تکمیل (in-progress) منتشر کردم، که به من بسیار کمک کرد بازخورد بگیرم و در طول راه از آن کسب درآمد کنم. همچنین می‌خواهم از شما، خواننده عزیز، تشکر کنم که این کتاب را بدون نام یک ناشر بزرگ در پشتش خوانده‌اید.

از وزارت علوم و هنر ایالت بایرن (Bavarian State Ministry of Science and the Arts) در چارچوب مرکز دیجیتال‌سازی بایرن (Centre Digitisation.Bavaria یا ZD.B) و از مؤسسهٔ پژوهشی بایرن برای تحول دیجیتال (Bavarian Research Institute for Digital Transformation یا bidt) برای تأمین مالی دکترایم، که در ۲۰۲۲ تمام کردم، سپاسگزارم.

توضیح مترجم: در متن اصلی، پس از این بخش یک قسمت «Impressum» (اطلاعات حقوقی ناشر: حق نشر ۲۰۲۵ Christoph Molnar، مجوز CC BY-NC-SA ۴٫۰، چاپ سوم و نشانی پستی) فقط برای قالب کتاب الکترونیکی (epub) نمایش داده می‌شود و در نسخهٔ وب دیده نمی‌شود. به همین دلیل در این ترجمهٔ وب نیامده است؛ شرایط مجوز در بخش «دربارهٔ کتاب» و فصل «ترجمه‌ها» آمده است.

پیوست الف — اصطلاحات یادگیری ماشین

عنوان اصلی: Machine Learning Terms
منبع: https://christophm.github.io/interpretable-ml-book/what-is-machine-learning.html
نویسنده: Christoph Molnar
مترجم: مریم محمودی


برای پرهیز از سردرگمی ناشی از ابهام، در اینجا چند تعریف از اصطلاحات به‌کاررفته در این کتاب آمده است:

الگوریتم (Algorithm) مجموعه‌ای از قواعد است که یک ماشین برای رسیدن به هدفی مشخص از آن‌ها پیروی می‌کند (Merriam-Webster ۲۰۱۷). الگوریتم را می‌توان دستورپختی دانست که ورودی‌ها، خروجی و همهٔ گام‌های لازم برای رسیدن از ورودی‌ها به خروجی را تعریف می‌کند. دستور پخت‌های آشپزی الگوریتم‌اند که در آن‌ها مواد اولیه ورودی‌ها هستند، غذای پخته‌شده خروجی است و گام‌های آماده‌سازی و پخت دستورالعمل‌های الگوریتم‌اند.

یادگیری ماشین (Machine Learning) مجموعه‌ای از روش‌هاست که به رایانه‌ها امکان می‌دهد از داده بیاموزند تا پیش‌بینی کنند و پیش‌بینی‌ها را بهبود دهند (برای مثال پیش‌بینی سرطان، فروش هفتگی، نکول اعتباری). یادگیری ماشین تغییر الگو (paradigm shift) است، از «برنامه‌نویسی عادی» که در آن همهٔ دستورالعمل‌ها باید صریحاً به رایانه داده شوند، به «برنامه‌نویسی غیرمستقیم» که از راه فراهم‌کردن داده انجام می‌شود.

توضیح مترجم (متن داخل تصویر): تصویر دو نیمه دارد. نیمهٔ چپ با عنوان Without Machine Learning (بدون یادگیری ماشین): فردی کتاب دستورالعملی را برای رایانه‌ای که عینک دارد باز کرده و کنارش نوشته VERY SPECIFIC INSTRUCTIONS (دستورالعمل‌های بسیار مشخص). نیمهٔ راست با عنوان With Machine Learning (با یادگیری ماشین): همان فرد از یک کیسه با برچسب DATA (داده) دانه‌هایی را به دهان باز رایانه می‌ریزد، یعنی رایانه از داده «تغذیه» می‌شود.

یادگیرنده (Learner) یا الگوریتم یادگیری ماشین (Machine Learning Algorithm) برنامه‌ای است که برای آموختن یک مدل یادگیری ماشین از داده به کار می‌رود. نام دیگر آن «استقراگر» (inducer) است (مثلاً «tree inducer» یعنی استقراگر درخت).

مدل یادگیری ماشین (Machine Learning Model) برنامهٔ آموخته‌شده‌ای است که ورودی‌ها را به پیش‌بینی‌ها نگاشت می‌کند. این می‌تواند مجموعه‌ای از وزن‌ها برای یک مدل خطی یا یک شبکهٔ عصبی باشد. نام‌های دیگر برای واژهٔ نسبتاً نامشخص «مدل» عبارت‌اند از «پیش‌بین» (predictor) یا – بسته به وظیفه – «دسته‌بند» (classifier) یا «مدل رگرسیون». در فرمول‌ها، مدل یادگیری ماشین آموزش‌دیده را $\hat{f}$ یا $\hat{f}(\mathbf{x})$ می‌نامند.

توضیح مترجم (متن داخل تصویر): متن‌های تصویر: Features X (ویژگی‌های X) و Target y (هدف y) با پیکان به Learner (یادگیرنده) و سپس Model (مدل). X_new (X جدید) از بالا وارد مدل می‌شود و y_predicted (y پیش‌بینی‌شده) از پایین خارج می‌شود.

مدل جعبه‌سیاه (Black Box Model) سامانه‌ای است که سازوکارهای درونی‌اش را آشکار نمی‌کند. در یادگیری ماشین، اصطلاح «جعبه‌سیاه» مدل‌هایی را توصیف می‌کند که با نگاه‌کردن به پارامترهایشان قابل‌فهم نیستند (مثلاً یک شبکهٔ عصبی). نقطهٔ مقابل جعبه‌سیاه گاهی جعبه‌سفید (White Box) نامیده می‌شود و در این کتاب «مدل تفسیرپذیر» خوانده می‌شود. روش‌های تفسیرپذیری مستقل از مدل (model-agnostic) مدل‌های یادگیری ماشین را جعبه‌سیاه در نظر می‌گیرند، حتی اگر نباشند.

توضیح مترجم (متن داخل تصویر): در حباب گفتار فرد نوشته شده Why did you predict 42 for this data point? (چرا برای این نقطهٔ داده ۴۲ را پیش‌بینی کردی؟) و در حباب خط‌چین کنار رایانه *awkward silence* (سکوت معذب) آمده است؛ یعنی مدل جعبه‌سیاه توضیحی برای پیش‌بینی‌اش ندارد.

یادگیری ماشین تفسیرپذیر (Interpretable Machine Learning) به روش‌ها و مدل‌هایی اشاره دارد که رفتار و پیش‌بینی‌های سامانه‌های یادگیری ماشین را برای انسان قابل‌فهم می‌کنند.

مجموعه‌داده (Dataset) جدولی است با داده‌هایی که ماشین از آن می‌آموزد. مجموعه‌داده شامل ویژگی‌ها و هدفی است که باید پیش‌بینی شود. وقتی برای استقرای یک مدل (induce) به کار رود، مجموعه‌داده را داده‌های آموزشی (training data) می‌نامند.

نمونه (Instance) یک سطر در مجموعه‌داده است. نام‌های دیگر «نمونه» عبارت‌اند از: نقطهٔ (داده)، مثال (example)، مشاهده (observation). یک نمونه از مقادیر ویژگی $\mathbf{x}^{(i)}$ و، اگر معلوم باشد، نتیجهٔ هدف $y^{(i)}$ تشکیل می‌شود.

ویژگی‌ها (Features) ورودی‌هایی‌اند که برای پیش‌بینی یا دسته‌بندی به کار می‌روند. یک ویژگی یک ستون در مجموعه‌داده است. در سراسر کتاب فرض می‌شود ویژگی‌ها تفسیرپذیرند، یعنی فهمیدن معنایشان آسان است، مانند دمای یک روز مشخص یا قد یک فرد. تفسیرپذیری ویژگی‌ها یک فرض بزرگ است. اما اگر فهمیدن ویژگی‌های ورودی دشوار باشد، فهمیدن کاری که مدل می‌کند دشوارتر است. ماتریس همهٔ ویژگی‌ها $\mathbf{X}$ نامیده می‌شود و $\mathbf{x}^{(i)}$ برای یک نمونهٔ منفرد. بردار یک ویژگی منفرد برای همهٔ نمونه‌ها $\mathbf{x}_j$ است و مقدار ویژگی $j$ برای نمونهٔ $i$ برابر $x^{(i)}_j$ است.

هدف (Target) اطلاعاتی است که ماشین پیش‌بینی آن را می‌آموزد. در فرمول‌های ریاضی، هدف معمولاً $y$ یا برای یک نمونهٔ منفرد $y^{(i)}$ نامیده می‌شود.

وظیفهٔ یادگیری ماشین (Machine Learning Task) ترکیب یک مجموعه‌داده با ویژگی‌ها و یک هدف است. بسته به نوع هدف، وظیفه می‌تواند دسته‌بندی، رگرسیون، تحلیل بقا (survival analysis)، خوشه‌بندی یا تشخیص داده‌پرت باشد.

پیش‌بینی (Prediction) «حدس» مدل یادگیری ماشین برای مقدار هدف بر پایهٔ ویژگی‌های داده‌شده است. در این کتاب، پیش‌بینی مدل با $\hat{f}(\mathbf{x}^{(i)})$ یا $\hat{y}$ نشان داده می‌شود.

برای درک بهتر (توضیح مترجم): یک مثال واحد برای همهٔ اصطلاحات: فرض کنید می‌خواهید قیمت خانه را پیش‌بینی کنید. مجموعه‌داده جدولی با ۱٬۰۰۰ خانه است. هر نمونه یک سطر (یک خانه) است. ویژگی‌ها ستون‌هایی مانند متراژ و تعداد اتاق‌اند و هدف ستون قیمت. یادگیرنده الگوریتمی است که از این جدول یک مدل می‌سازد. وظیفه «رگرسیون قیمت خانه» است. برای خانهٔ جدید، مدل یک پیش‌بینی $\hat{y}$ می‌دهد. اگر مدل شبکهٔ عصبی بزرگی باشد که نتوانید وزن‌هایش را بخوانید، جعبه‌سیاه است و روش‌های این کتاب برای تفسیرش به کار می‌آیند. این مثال از مترجم است.

پیوست ب — اصطلاحات ریاضی

عنوان اصلی: Math Terms
منبع: https://christophm.github.io/interpretable-ml-book/math-terms.html
نویسنده: Christoph Molnar
مترجم: مریم محمودی


اصطلاحات ریاضی به‌کاررفته در سراسر این کتاب:

اصطلاح ریاضیمعنا
$X_j$متغیر تصادفی متناظر با ویژگی $j$.
$X$مجموعهٔ همهٔ متغیرهای تصادفی.
$\mathbb{P}$معیار احتمال.
$\mathbb{P}(X_j = c)$احتمال اینکه متغیر تصادفی $X_j$ مقدار $c$ را بگیرد.
$\mathbf{x}_j$بردار مقادیر ویژگی $j$ در چند نمونهٔ داده.
$\mathbf{x}^{(i)}$بردار ویژگی‌های $i$-امین نمونه.
$x^{(i)}_j$مقدار ویژگی $j$ برای $i$-امین نمونه.
$y^{(i)}$مقدار هدف برای $i$-امین نمونه.
$\mathbf{X}$ماتریس ویژگی‌ها، که در آن سطرها متناظر با نمونه‌ها و ستون‌ها متناظر با ویژگی‌ها هستند.
$\mathbf{y}$بردار مقادیر هدف، یکی برای هر نمونه.
$n$تعداد نمونه‌های داده (سطرهای $\mathbf{X}$).
$p$تعداد ویژگی‌ها (ستون‌های $\mathbf{X}$).

توضیح مترجم: حروف بزرگ (مانند $X_j$ یا $\mathbf{X}$) در اینجا یا متغیر تصادفی (قبل از دیدن داده) یا ماتریس‌اند، و حروف کوچک (مانند $x^{(i)}_j$) مقدار مشخص یک نمونه. حروف پررنگ (مانند $\mathbf{x}$ و $\mathbf{y}$) بردار یا ماتریس را نشان می‌دهند. اندیس بالای داخل پرانتز، $(i)$، شمارهٔ نمونه (سطر) است و اندیس پایین، $j$، شمارهٔ ویژگی (ستون). این جدول با اصطلاحات «نمونه»، «ویژگی» و «هدف» در پیوست الف هماهنگ است.

برای درک بهتر (توضیح مترجم): فرض کنید جدولی از ۳ خانه و ۲ ویژگی (متراژ و تعداد اتاق) و قیمت هر خانه دارید:

خانهمتراژ ($j=1$)تعداد اتاق ($j=2$)قیمت ($y$)
$i=1$۷۰۲۳۰۰
$i=2$۱۰۰۳۴۵۰
$i=3$۱۲۰۳۵۲۰

در این جدول $n=3$ و $p=2$ است. $\mathbf{X}$ ماتریس ۳×۲ از متراژ و تعداد اتاق است. $\mathbf{x}_1=(70, 100, 120)$ بردار متراژ همهٔ خانه‌هاست، $\mathbf{x}^{(2)}=(100, 3)$ ویژگی‌های خانهٔ دوم، $x^{(2)}_1=100$ متراژ خانهٔ دوم و $y^{(2)}=450$ قیمت آن است. $\mathbf{y}=(300, 450, 520)$ بردار همهٔ قیمت‌هاست. این اعداد ساختهٔ مترجم‌اند.

پیوست ج — بسته‌های R مورد استفاده

عنوان اصلی: R Packages Used
منبع: https://christophm.github.io/interpretable-ml-book/r-packages.html
نویسنده: Christoph Molnar
مترجم: مریم محمودی


توضیح مترجم: در متن منبع این پیوست (r-packages.qmd) فقط یک بلوک کد R وجود دارد که با تابع cite_packages هنگام ساخت کتاب فهرست بسته‌های R استفاده‌شده و مراجع آن‌ها را تولید می‌کند؛ خود فایل منبع متنی یا جدول ثابت ندارد. جدول و فهرست مراجع زیر همان خروجی تولیدشدهٔ کتاب است و نسخه‌ها مربوط به زمان انتشار کتاب‌اند، نه لزوماً آخرین نسخه‌های امروز. در ستون «مرجع» نام نویسندگان و سال لاتین مانند منبع آمده است («and» یعنی «و»، «et al.» یعنی «و همکاران»). پیوندهای ستون مرجع به فهرست مراجع صفحهٔ اصلی کتاب اشاره می‌کنند و فهرست کامل همین مراجع در ادامهٔ همین پیوست آمده است.

برای درک بهتر (توضیح مترجم): یک ردیف را اینگونه بخوانید: ردیف iml | 0.11.3 | Molnar, Bischl, and Casalicchio (2018) یعنی کتاب از بستهٔ R با نام iml و نسخهٔ ۰٫۱۱٫۳ استفاده کرده و مرجع آن مقالهٔ Molnar و Bischl و Casalicchio در سال ۲۰۱۸ است. اگر برخی ردیف‌ها چند مرجع دارند (مثل glmnet)، یعنی نویسندگان بسته خواسته‌اند برای استفاده از آن چند اثر ارجاع داده شود.

بستهنسخهمرجع
base4.4.2R Core Team (2024a)
caret6.0.94Kuhn and Max (2008)
ceterisParibus0.4.2Biecek (2020)
DALEX2.4.3Biecek (2018)
data.table1.16.2Barrett et al. (2024)
e10711.7.16D. Meyer et al. (2024)
GGally2.2.1Schloerke et al. (2024)
glmnet4.1.8Friedman, Tibshirani, and Hastie (2010); Simon et al. (2011); Tay, Narasimhan, and Hastie (2023)
grid4.4.2R Core Team (2024b)
iml0.11.3Molnar, Bischl, and Casalicchio (2018)
infotheo1.2.0.1P. E. Meyer (2022)
interactions1.2.0Long (2024)
jpeg0.1.10Urbanek (2022)
kableExtra1.4.0Zhu (2024)
knitr1.48Xie (2014); Xie (2015); Xie (2024)
latex2exp0.9.6Meschiari (2022)
Metrics0.1.4Hamner and Frasco (2018)
mgcv1.9.1S. N. Wood (2003); S. N. Wood (2004); S. N. Wood (2011); S. N. Wood et al. (2016); S. N. Wood (2017)
nnet7.3.19Venables and Ripley (2002)
OneR2.2von Jouanne-Diedrich (2017)
palmerpenguins0.1.1Horst, Hill, and Gorman (2020)
partykit1.2.22Hothorn, Hornik, and Zeileis (2006); Zeileis, Hothorn, and Hornik (2008); Hothorn and Zeileis (2015)
patchwork1.3.0Pedersen (2024)
pre1.0.7Fokkema (2020)
randomForest4.7.1.2Liaw and Wiener (2002)
ranger0.17.0Wright and Ziegler (2017)
reshape21.4.4Wickham (2007)
rJava1.0.11Urbanek (2024)
rmarkdown2.29Xie, Allaire, and Grolemund (2018); Xie, Dervieux, and Riederer (2020); Allaire et al. (2024)
rpart4.1.23Therneau and Atkinson (2023)
RWeka0.4.46Witten and Frank (2005); Hornik, Buchta, and Zeileis (2009)
sbrl1.2Yang, Rudin, and Seltzer (2016)
tidyverse2.0.0Wickham et al. (2019)
tm0.7.14Feinerer, Hornik, and Meyer (2008); Feinerer and Hornik (2024)
viridis0.6.5Garnier et al. (2024)
yaImpute1.0.34.1Nicholas L. Crookston and Andrew O. Finley (2007)

Allaire, JJ, Yihui Xie, Christophe Dervieux, Jonathan McPherson, Javier Luraschi, Kevin Ushey, Aron Atkins, et al. 2024. rmarkdown: Dynamic Documents for r. https://github.com/rstudio/rmarkdown.

Barrett, Tyson, Matt Dowle, Arun Srinivasan, Jan Gorecki, Michael Chirico, Toby Hocking, and Benjamin Schwendinger. 2024. data.table: Extension of “data.frame”. https://CRAN.R-project.org/package=data.table.

Biecek, Przemyslaw. 2018. “DALEX: Explainers for Complex Predictive Models in r.” Journal of Machine Learning Research 19 (84): 1–5. https://jmlr.org/papers/v19/18-416.html.

———. 2020. ceterisParibus: Ceteris Paribus Profiles. https://CRAN.R-project.org/package=ceterisParibus.

Feinerer, Ingo, and Kurt Hornik. 2024. tm: Text Mining Package. https://CRAN.R-project.org/package=tm.

Feinerer, Ingo, Kurt Hornik, and David Meyer. 2008. “Text Mining Infrastructure in r.” Journal of Statistical Software 25 (5): 1–54. https://doi.org/10.18637/jss.v025.i05.

Fokkema, Marjolein. 2020. “Fitting Prediction Rule Ensembles with R Package pre.” Journal of Statistical Software 92 (12): 1–30. https://doi.org/10.18637/jss.v092.i12.

Friedman, Jerome, Robert Tibshirani, and Trevor Hastie. 2010. “Regularization Paths for Generalized Linear Models via Coordinate Descent.” Journal of Statistical Software 33 (1): 1–22. https://doi.org/10.18637/jss.v033.i01.

Garnier, Simon, Ross, Noam, Rudis, Robert, Camargo, et al. 2024. viridis(Lite) - Colorblind-Friendly Color Maps for r. https://doi.org/10.5281/zenodo.4679423.

Hamner, Ben, and Michael Frasco. 2018. Metrics: Evaluation Metrics for Machine Learning. https://CRAN.R-project.org/package=Metrics.

Hornik, Kurt, Christian Buchta, and Achim Zeileis. 2009. “Open-Source Machine Learning: R Meets Weka.” Computational Statistics 24 (2): 225–32. https://doi.org/10.1007/s00180-008-0119-7.

Horst, Allison Marie, Alison Presmanes Hill, and Kristen B Gorman. 2020. palmerpenguins: Palmer Archipelago (Antarctica) Penguin Data. https://doi.org/10.5281/zenodo.3960218.

Hothorn, Torsten, Kurt Hornik, and Achim Zeileis. 2006. “Unbiased Recursive Partitioning: A Conditional Inference Framework.” Journal of Computational and Graphical Statistics 15 (3): 651–74. https://doi.org/10.1198/106186006X133933.

Hothorn, Torsten, and Achim Zeileis. 2015. “partykit: A Modular Toolkit for Recursive Partytioning in R.” Journal of Machine Learning Research 16: 3905–9. https://jmlr.org/papers/v16/hothorn15a.html.

Kuhn, and Max. 2008. “Building Predictive Models in r Using the Caret Package.” Journal of Statistical Software 28 (5): 1–26. https://doi.org/10.18637/jss.v028.i05.

Liaw, Andy, and Matthew Wiener. 2002. “Classification and Regression by randomForest.” R News 2 (3): 18–22. https://CRAN.R-project.org/doc/Rnews/.

Long, Jacob A. 2024. interactions: Comprehensive, User-Friendly Toolkit for Probing Interactions. https://doi.org/10.32614/CRAN.package.interactions.

Meschiari, Stefano. 2022. Latex2exp: Use LaTeX Expressions in Plots. https://CRAN.R-project.org/package=latex2exp.

Meyer, David, Evgenia Dimitriadou, Kurt Hornik, Andreas Weingessel, and Friedrich Leisch. 2024. E1071: Misc Functions of the Department of Statistics, Probability Theory Group (Formerly: E1071), TU Wien. https://CRAN.R-project.org/package=e1071.

Meyer, Patrick E. 2022. infotheo: Information-Theoretic Measures. https://CRAN.R-project.org/package=infotheo.

Molnar, Christoph, Bernd Bischl, and Giuseppe Casalicchio. 2018. “iml: An r Package for Interpretable Machine Learning.” JOSS 3 (26): 786. https://doi.org/10.21105/joss.00786.

Nicholas L. Crookston, and Andrew O. Finley. 2007. “yaImpute: An r Package for kNN Imputation.” Journal of Statistical Software 23 (10). https://doi.org/10.18637/jss.v023.i10.

Pedersen, Thomas Lin. 2024. patchwork: The Composer of Plots. https://CRAN.R-project.org/package=patchwork.

R Core Team. 2024a. R: A Language and Environment for Statistical Computing. Vienna, Austria: R Foundation for Statistical Computing. https://www.R-project.org/.

———. 2024b. R: A Language and Environment for Statistical Computing. Vienna, Austria: R Foundation for Statistical Computing. https://www.R-project.org/.

Schloerke, Barret, Di Cook, Joseph Larmarange, Francois Briatte, Moritz Marbach, Edwin Thoen, Amos Elberg, and Jason Crowley. 2024. GGally: Extension to “ggplot2”. https://CRAN.R-project.org/package=GGally.

Simon, Noah, Jerome Friedman, Robert Tibshirani, and Trevor Hastie. 2011. “Regularization Paths for Cox’s Proportional Hazards Model via Coordinate Descent.” Journal of Statistical Software 39 (5): 1–13. https://doi.org/10.18637/jss.v039.i05.

Tay, J. Kenneth, Balasubramanian Narasimhan, and Trevor Hastie. 2023. “Elastic Net Regularization Paths for All Generalized Linear Models.” Journal of Statistical Software 106 (1): 1–31. https://doi.org/10.18637/jss.v106.i01.

Therneau, Terry, and Beth Atkinson. 2023. rpart: Recursive Partitioning and Regression Trees. https://CRAN.R-project.org/package=rpart.

Urbanek, Simon. 2022. jpeg: Read and Write JPEG Images. https://CRAN.R-project.org/package=jpeg.

———. 2024. rJava: Low-Level r to Java Interface. https://CRAN.R-project.org/package=rJava.

Venables, W. N., and B. D. Ripley. 2002. Modern Applied Statistics with s. Fourth. New York: Springer. https://www.stats.ox.ac.uk/pub/MASS4/.

von Jouanne-Diedrich, Holger. 2017. OneR: One Rule Machine Learning Classification Algorithm with Enhancements. https://CRAN.R-project.org/package=OneR.

Wickham, Hadley. 2007. “Reshaping Data with the reshape Package.” Journal of Statistical Software 21 (12): 1–20. http://www.jstatsoft.org/v21/i12/.

Wickham, Hadley, Mara Averick, Jennifer Bryan, Winston Chang, Lucy D’Agostino McGowan, Romain François, Garrett Grolemund, et al. 2019. “Welcome to the tidyverse.” Journal of Open Source Software 4 (43): 1686. https://doi.org/10.21105/joss.01686.

Witten, Ian H., and Eibe Frank. 2005. Data Mining: Practical Machine Learning Tools and Techniques. 2nd ed. San Francisco: Morgan Kaufmann.

Wood, S. N. 2017. Generalized Additive Models: An Introduction with r. 2nd ed. Chapman; Hall/CRC.

Wood, S. N. 2003. “Thin-Plate Regression Splines.” Journal of the Royal Statistical Society (B) 65 (1): 95–114.

———. 2004. “Stable and Efficient Multiple Smoothing Parameter Estimation for Generalized Additive Models.” Journal of the American Statistical Association 99 (467): 673–86.

———. 2011. “Fast Stable Restricted Maximum Likelihood and Marginal Likelihood Estimation of Semiparametric Generalized Linear Models.” Journal of the Royal Statistical Society (B) 73 (1): 3–36.

Wood, S. N., N., Pya, and B. S“afken. 2016. “Smoothing Parameter and Model Selection for General Smooth Models (with Discussion).” Journal of the American Statistical Association 111: 1548–75.

Wright, Marvin N., and Andreas Ziegler. 2017. “ranger: A Fast Implementation of Random Forests for High Dimensional Data in C++ and R.” Journal of Statistical Software 77 (1): 1–17. https://doi.org/10.18637/jss.v077.i01.

Xie, Yihui. 2014. “knitr: A Comprehensive Tool for Reproducible Research in R.” In Implementing Reproducible Computational Research, edited by Victoria Stodden, Friedrich Leisch, and Roger D. Peng. Chapman; Hall/CRC.

———. 2015. Dynamic Documents with R and Knitr. 2nd ed. Boca Raton, Florida: Chapman; Hall/CRC. https://yihui.org/knitr/.

———. 2024. knitr: A General-Purpose Package for Dynamic Report Generation in r. https://yihui.org/knitr/.

Xie, Yihui, J. J. Allaire, and Garrett Grolemund. 2018. R Markdown: The Definitive Guide. Boca Raton, Florida: Chapman; Hall/CRC. https://bookdown.org/yihui/rmarkdown.

Xie, Yihui, Christophe Dervieux, and Emily Riederer. 2020. R Markdown Cookbook. Boca Raton, Florida: Chapman; Hall/CRC. https://bookdown.org/yihui/rmarkdown-cookbook.

Yang, Hongyu, Cynthia Rudin, and Margo Seltzer. 2016. sbrl: Scalable Bayesian Rule Lists Model. https://CRAN.R-project.org/package=sbrl.

Zeileis, Achim, Torsten Hothorn, and Kurt Hornik. 2008. “Model-Based Recursive Partitioning.” Journal of Computational and Graphical Statistics 17 (2): 492–514. https://doi.org/10.1198/106186008X319331.

Zhu, Hao. 2024. kableExtra: Construct Complex Table with “kable” and Pipe Syntax. https://CRAN.R-project.org/package=kableExtra.

توضیح مترجم: چند ناهمگونی در فهرست مراجع خروجی منبع وجود دارد که بدون تغییر ماندند: مرجع «Kuhn, and Max. 2008» (در واقع Kuhn، Max) درست جداسازی نشده، مرجع R Core Team دو بار با همان متن (۲۰۲۴a و ۲۰۲۴b) آمده، و ترتیب چند مرجع Wood و نشانه‌گذاری حروف در یک نام (B S"afken) ناهمگون است. این‌ها نتیجهٔ تولید خودکار مراجع‌اند، نه ترجمه.

پیوست د — منابع

عنوان اصلی: References
منبع: https://christophm.github.io/interpretable-ml-book/references.html
نویسنده: Christoph Molnar
مترجم: مریم محمودی


Aas, Kjersti, Martin Jullum, and Anders Løland. 2021. “Explaining Individual Predictions When Features Are Dependent: More Accurate Approximations to Shapley Values.” Artificial Intelligence 298: 103502. https://doi.org/https://doi.org/10.1016/j.artint.2021.103502.

Adadi, Amina, and Mohammed Berrada. 2018. “Peeking Inside the Black-Box: A Survey on Explainable Artificial Intelligence (XAI).” IEEE Access 6: 52138–60. https://doi.org/10.1109/ACCESS.2018.2870052.

Adebayo, Julius, Justin Gilmer, Michael Muelly, Ian Goodfellow, Moritz Hardt, and Been Kim. 2018. “Sanity Checks for Saliency Maps.” In Proceedings of the 32nd International Conference on Neural Information Processing Systems, 9525–36. NIPS’18. Red Hook, NY, USA: Curran Associates Inc.

Alain, Guillaume, and Yoshua Bengio. 2018. “Understanding Intermediate Layers Using Linear Classifier Probes.” arXiv. https://doi.org/10.48550/arXiv.1610.01644.

Alber, Maximilian, Sebastian Lapuschkin, Philipp Seegerer, Miriam Hägele, Kristof T. Schütt, Grégoire Montavon, Wojciech Samek, Klaus-Robert Müller, Sven Dähne, and Pieter-Jan Kindermans. 2019. “iNNvestigate Neural Networks!” Journal of Machine Learning Research 20 (93): 1–8. http://jmlr.org/papers/v20/18-540.html.

Alberto, Túlio C, Johannes V Lochter, and Tiago A Almeida. 2015. “Tubespam: Comment Spam Filtering on Youtube.” In 2015 IEEE 14th International Conference on Machine Learning and Applications (ICMLA), 138–43. IEEE.

Allaire, JJ, Yihui Xie, Christophe Dervieux, Jonathan McPherson, Javier Luraschi, Kevin Ushey, Aron Atkins, et al. 2024. rmarkdown: Dynamic Documents for r. https://github.com/rstudio/rmarkdown.

Alvarez-Melis, David, and Tommi S. Jaakkola. 2018. “On the Robustness of Interpretability Methods.” arXiv. https://doi.org/10.48550/arXiv.1806.08049.

Apley, Daniel W., and Jingyu Zhu. 2020. “Visualizing the Effects of Predictor Variables in Black Box Supervised Learning Models.” Journal of the Royal Statistical Society Series B: Statistical Methodology 82 (4): 1059–86. https://doi.org/10.1111/rssb.12377.

Athalye, Anish, Logan Engstrom, Andrew Ilyas, and Kevin Kwok. 2018. “Synthesizing Robust Adversarial Examples.” In International Conference on Machine Learning, 284–93. PMLR.

Bach, Sebastian, Alexander Binder, Grégoire Montavon, Frederick Klauschen, Klaus-Robert Müller, and Wojciech Samek. 2015. “On Pixel-Wise Explanations for Non-Linear Classifier Decisions by Layer-Wise Relevance Propagation.” PLOS ONE 10 (7): e0130140. https://doi.org/10.1371/journal.pone.0130140.

Barrett, Tyson, Matt Dowle, Arun Srinivasan, Jan Gorecki, Michael Chirico, Toby Hocking, and Benjamin Schwendinger. 2024. data.table: Extension of “data.frame”. https://CRAN.R-project.org/package=data.table.

Bau, David, Bolei Zhou, Aditya Khosla, Aude Oliva, and Antonio Torralba. 2017. “Network Dissection: Quantifying Interpretability of Deep Visual Representations.” In 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 3319–27. https://doi.org/10.1109/CVPR.2017.354.

Biecek, Przemyslaw. 2018. “DALEX: Explainers for Complex Predictive Models in r.” Journal of Machine Learning Research 19 (84): 1–5. https://jmlr.org/papers/v19/18-416.html.

———. 2020. ceterisParibus: Ceteris Paribus Profiles. https://CRAN.R-project.org/package=ceterisParibus.

Biggio, Battista, and Fabio Roli. 2018. “Wild Patterns: Ten Years After the Rise of Adversarial Machine Learning.” Pattern Recognition 84 (December): 317–31. https://doi.org/10.1016/j.patcog.2018.07.023.

Bilodeau, Blair, Natasha Jaques, Pang Wei Koh, and Been Kim. 2024. “Impossibility Theorems for Feature Attribution.” Proceedings of the National Academy of Sciences 121 (2): e2304406120. https://doi.org/10.1073/pnas.2304406120.

Biran, Or, and Courtenay V. Cotton. 2017. “Explanation and Justification in Machine Learning: A Survey.” In Proceedings of the IJCAI-17 Workshop on Explainable Artificial Intelligence (XAI). https://www.cs.columbia.edu/~orb/papers/xai_survey_paper_2017.pdf.

Borgelt, Christian. 2005. “An Implementation of the FP-Growth Algorithm.” In Proceedings of the 1st International Workshop on Open Source Data Mining: Frequent Pattern Mining Implementations, 1–5. OSDM ’05. New York, NY, USA: Association for Computing Machinery. https://doi.org/10.1145/1133905.1133907.

Breiman, Leo. 2001. “Random Forests.” Machine Learning 45 (1): 5–32. https://doi.org/10.1023/A:1010933404324.

Britton, Matthew. 2019. “Vine: Visualizing Statistical Interactions in Black Box Models.” arXiv Preprint arXiv:1904.00561.

Brown, Tom B., Dandelion Mané, Aurko Roy, Martín Abadi, and Justin Gilmer. 2018. “Adversarial Patch.” arXiv. https://doi.org/10.48550/arXiv.1712.09665.

Bühlmann, Peter, and Torsten Hothorn. 2007. “Boosting Algorithms: Regularization, Prediction and Model Fitting.” Statistical Science 22 (4): 477–505. https://doi.org/10.1214/07-STS242.

Caruana, Rich, Yin Lou, Johannes Gehrke, Paul Koch, Marc Sturm, and Noemie Elhadad. 2015. “Intelligible Models for HealthCare: Predicting Pneumonia Risk and Hospital 30-Day Readmission.” In Proceedings of the 21th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, 1721–30. KDD ’15. New York, NY, USA: Association for Computing Machinery. https://doi.org/10.1145/2783258.2788613.

Chen, Zhi, Yijie Bei, and Cynthia Rudin. 2020. “Concept Whitening for Interpretable Image Recognition.” Nature Machine Intelligence 2 (12): 772–82. https://doi.org/10.1038/s42256-020-00265-z.

Cohen, William W. 1995. “Fast Effective Rule Induction.” In Machine Learning Proceedings 1995, edited by Armand Prieditis and Stuart Russell, 115–23. San Francisco (CA): Morgan Kaufmann. https://doi.org/10.1016/B978-1-55860-377-6.50023-2.

Cook, R. Dennis. 1977. “Detection of Influential Observation in Linear Regression.” Technometrics 19 (1): 15–18. https://doi.org/10.1080/00401706.1977.10489493.

Dandl, Susanne, Christoph Molnar, Martin Binder, and Bernd Bischl. 2020. “Multi-Objective Counterfactual Explanations.” In Parallel Problem Solving from Nature – PPSN XVI, edited by Thomas Bäck, Mike Preuss, André Deutz, Hao Wang, Carola Doerr, Michael Emmerich, and Heike Trautmann, 448–69. Cham: Springer International Publishing. https://doi.org/10.1007/978-3-030-58112-1_31.

Deb, K., A. Pratap, S. Agarwal, and T. Meyarivan. 2002. “A Fast and Elitist Multiobjective Genetic Algorithm: NSGA-II.” IEEE Transactions on Evolutionary Computation 6 (2): 182–97. https://doi.org/10.1109/4235.996017.

Debeer, Dries, and Carolin Strobl. 2020. “Conditional Permutation Importance Revisited.” BMC Bioinformatics 21 (1): 307. https://doi.org/10.1186/s12859-020-03622-2.

DeLMA, and Will Cukierski. 2013. “The ICML 2013 Whale Challenge - Right Whale Redux.” https://kaggle.com/competitions/the-icml-2013-whale-challenge-right-whale-redux.

Deng, Jia, Wei Dong, Richard Socher, Li-Jia Li, Kai Li, and Li Fei-Fei. 2009. “ImageNet: A Large-Scale Hierarchical Image Database.” In 2009 IEEE Conference on Computer Vision and Pattern Recognition, 248–55. https://doi.org/10.1109/CVPR.2009.5206848.

Doshi-Velez, Finale, and Been Kim. 2017. “Towards a Rigorous Science of Interpretable Machine Learning.” arXiv Preprint arXiv:1702.08608.

Fanaee-T, Hadi, and Joao Gama. 2014. “Event Labeling Combining Ensemble Detectors and Background Knowledge.” Progress in Artificial Intelligence 2 (2): 113–27. https://doi.org/10.1007/s13748-013-0040-3.

Feinerer, Ingo, and Kurt Hornik. 2024. tm: Text Mining Package. https://CRAN.R-project.org/package=tm.

Feinerer, Ingo, Kurt Hornik, and David Meyer. 2008. “Text Mining Infrastructure in r.” Journal of Statistical Software 25 (5): 1–54. https://doi.org/10.18637/jss.v025.i05.

Fisher, Aaron, Cynthia Rudin, and Francesca Dominici. 2019. “All Models Are Wrong, but Many Are Useful: Learning a Variable’s Importance by Studying an Entire Class of Prediction Models Simultaneously.” Journal of Machine Learning Research : JMLR 20: 177. https://www.ncbi.nlm.nih.gov/pmc/articles/PMC8323609/.

Flora, Montgomery, Corey Potvin, Amy McGovern, and Shawn Handler. 2022. “Comparing Explanation Methods for Traditional Machine Learning Models Part 1: An Overview of Current Methods and Quantifying Their Disagreement.” arXiv. http://arxiv.org/abs/2211.08943.

Fokkema, Marjolein. 2020a. “Fitting Prediction Rule Ensembles with r Package Pre.” Journal of Statistical Software 92: 1–30.

———. 2020b. “Fitting Prediction Rule Ensembles with R Package pre.” Journal of Statistical Software 92 (12): 1–30. https://doi.org/10.18637/jss.v092.i12.

Freedman, David, and Persi Diaconis. 1981. “On the Histogram as a Density Estimator:L2 Theory.” Zeitschrift für Wahrscheinlichkeitstheorie Und Verwandte Gebiete 57 (4): 453–76. https://doi.org/10.1007/BF01025868.

Freiesleben, Timo, Gunnar König, Christoph Molnar, and Álvaro Tejero-Cantero. 2024. “Scientific Inference with Interpretable Machine Learning: Analyzing Models to Learn About Real-World Phenomena.” Minds and Machines 34 (3): 32. https://doi.org/10.1007/s11023-024-09691-z.

Friedman, Jerome H. 2001. “Greedy Function Approximation: A Gradient Boosting Machine.” The Annals of Statistics 29 (5): 1189–1232. https://doi.org/10.1214/aos/1013203451.

Friedman, Jerome H., and Bogdan E. Popescu. 2008. “Predictive Learning via Rule Ensembles.” The Annals of Applied Statistics 2 (3): 916–54. https://www.jstor.org/stable/30245114.

Friedman, Jerome, Robert Tibshirani, and Trevor Hastie. 2010. “Regularization Paths for Generalized Linear Models via Coordinate Descent.” Journal of Statistical Software 33 (1): 1–22. https://doi.org/10.18637/jss.v033.i01.

Fürnkranz, Johannes, Dragan Gamberger, and Nada Lavrač. 2012. Foundations of Rule Learning. Cognitive Technologies. Berlin, Heidelberg: Springer. https://doi.org/10.1007/978-3-540-75197-7.

Garnier, Simon, Ross, Noam, Rudis, Robert, Camargo, et al. 2024. viridis(Lite) - Colorblind-Friendly Color Maps for r. https://doi.org/10.5281/zenodo.4679423.

Gauss, Carl Friedrich. 1877. Theoria Motus Corporum Coelestium in Sectionibus Conicis Solem Ambientium. Vol. 7. FA Perthes.

Ghorbani, Amirata, Abubakar Abid, and James Zou. 2019. “Interpretation of Neural Networks Is Fragile.” Proceedings of the AAAI Conference on Artificial Intelligence 33 (01): 3681–88. https://doi.org/10.1609/aaai.v33i01.33013681.

Ghorbani, Amirata, James Wexler, James Zou, and Been Kim. 2019. “Towards Automatic Concept-Based Explanations.” In Proceedings of the 33rd International Conference on Neural Information Processing Systems, 32:9277–86. 832. Red Hook, NY, USA: Curran Associates Inc.

Gkolemis, Vasilis, Theodore Dalamagas, Eirini Ntoutsi, and Christos Diou. 2023. “RHALE: Robust and Heterogeneity-Aware Accumulated Local Effects.” In ECAI 2023, 859–66. IOS Press.

———. n.d. “Fast and Accurate Regional Effect Plots for Automated Tabular Data Analysis.” Proceedings of the VLDB Endowment. ISSN 2150: 8097.

Goldstein, Alex, Adam Kapelner, Justin Bleich, and Emil Pitkin. 2015. “Peeking Inside the Black Box: Visualizing Statistical Learning With Plots of Individual Conditional Expectation.” Journal of Computational and Graphical Statistics 24 (1): 44–65. https://doi.org/10.1080/10618600.2014.907095.

Goodfellow, Ian J., Jonathon Shlens, and Christian Szegedy. 2015. “Explaining and Harnessing Adversarial Examples.” arXiv. https://doi.org/10.48550/arXiv.1412.6572.

Gorman, Kristen B., Tony D. Williams, and William R. Fraser. 2014. “Ecological Sexual Dimorphism and Environmental Variability Within a Community of Antarctic Penguins (Genus Pygoscelis).” PloS One 9 (3): e90081. https://doi.org/10.1371/journal.pone.0090081.

Greenwell, Brandon M., Bradley C. Boehmke, and Andrew J. McCarthy. 2018. “A Simple and Effective Model-Based Variable Importance Measure.” arXiv. https://doi.org/10.48550/arXiv.1805.04755.

Grömping, Ulrike. 2020. “Model-Agnostic Effects Plots for Interpreting Machine Learning Models.” Reports in Mathematics, Physics and Chemistry, Department II, Beuth University of Applied Sciences Berlin Report 1: 2020.

Hamner, Ben, and Michael Frasco. 2018. Metrics: Evaluation Metrics for Machine Learning. https://CRAN.R-project.org/package=Metrics.

Hastie, Trevor. 2009. “The Elements of Statistical Learning: Data Mining, Inference, and Prediction.” Springer. https://hastie.su.domains/ElemStatLearn/.

Heider, Fritz, and Marianne Simmel. 1944. “An Experimental Study of Apparent Behavior.” The American Journal of Psychology 57 (2): 243–59. https://doi.org/10.2307/1416950.

Herbinger, Julia, Bernd Bischl, and Giuseppe Casalicchio. 2022. “REPID: Regional Effect Plots with Implicit Interaction Detection.” In International Conference on Artificial Intelligence and Statistics, 10209–33. PMLR.

Herbinger, Julia, Marvin N Wright, Thomas Nagler, Bernd Bischl, and Giuseppe Casalicchio. 2024. “Decomposing Global Feature Effects Based on Feature Interactions.” Journal of Machine Learning Research 25 (381): 1–65.

Holte, Robert C. 1993. “Very Simple Classification Rules Perform Well on Most Commonly Used Datasets.” Machine Learning 11 (1): 63–90. https://doi.org/10.1023/A:1022631118932.

Hooker, Giles. 2004. “Discovering Additive Structure in Black Box Functions.” In Proceedings of the Tenth ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, 575–80.

———. 2007. “Generalized Functional ANOVA Diagnostics for High-Dimensional Functions of Dependent Variables.” Journal of Computational and Graphical Statistics 16 (3): 709–32. https://doi.org/10.1198/106186007X237892.

Hornik, Kurt, Christian Buchta, and Achim Zeileis. 2009. “Open-Source Machine Learning: R Meets Weka.” Computational Statistics 24 (2): 225–32. https://doi.org/10.1007/s00180-008-0119-7.

Horst, Allison Marie, Alison Presmanes Hill, and Kristen B Gorman. 2020. palmerpenguins: Palmer Archipelago (Antarctica) Penguin Data. https://doi.org/10.5281/zenodo.3960218.

Horst, Allison M., Alison Presmanes Hill, and Kristen B. Gorman. 2020. “Allisonhorst/Palmerpenguins: V0.1.0.” Zenodo. https://doi.org/10.5281/zenodo.3960218.

Hothorn, Torsten, Kurt Hornik, and Achim Zeileis. 2006. “Unbiased Recursive Partitioning: A Conditional Inference Framework.” Journal of Computational and Graphical Statistics 15 (3): 651–74. https://doi.org/10.1198/106186006X133933.

Hothorn, Torsten, and Achim Zeileis. 2015. “partykit: A Modular Toolkit for Recursive Partytioning in R.” Journal of Machine Learning Research 16: 3905–9. https://jmlr.org/papers/v16/hothorn15a.html.

Inglis, Alan, Andrew Parnell, and Catherine B. Hurley. 2022. “Visualizing Variable Importance and Variable Interaction Effects in Machine Learning Models.” Journal of Computational and Graphical Statistics 31 (3): 766–78. https://doi.org/10.1080/10618600.2021.2007935.

Janzing, Dominik, Lenon Minorics, and Patrick Blöbaum. 2020. “Feature Relevance Quantification in Explainable AI: A Causal Problem.” In International Conference on Artificial Intelligence and Statistics, 2907–16. PMLR.

Kahneman, Daniel, and Amos Tversky. 1982. “The Simulation Heuristic.” In Judgment Under Uncertainty: Heuristics and Biases, edited by Amos Tversky, Daniel Kahneman, and Paul Slovic, 201–8. Cambridge: Cambridge University Press. https://doi.org/10.1017/CBO9780511809477.015.

Karimi, Amir-Hossein, Gilles Barthe, Borja Balle, and Isabel Valera. 2020. “Model-Agnostic Counterfactual Explanations for Consequential Decisions.” In Proceedings of the Twenty Third International Conference on Artificial Intelligence and Statistics, 895–905. PMLR. https://proceedings.mlr.press/v108/karimi20a.html.

Karpathy, Andrej, Justin Johnson, and Li Fei-Fei. 2015. “Visualizing and Understanding Recurrent Networks.” arXiv. https://doi.org/10.48550/arXiv.1506.02078.

Kaufmann, Emilie, and Shivaram Kalyanakrishnan. 2013. “Information Complexity in Bandit Subset Selection.” In Proceedings of the 26th Annual Conference on Learning Theory, 228–51. PMLR. https://proceedings.mlr.press/v30/Kaufmann13.html.

Kim, Been, Rajiv Khanna, and Oluwasanmi Koyejo. 2016. “Examples Are Not Enough, Learn to Criticize! Criticism for Interpretability.” In Proceedings of the 30th International Conference on Neural Information Processing Systems, 2288–96. NIPS’16. Red Hook, NY, USA: Curran Associates Inc.

Kim, Been, Martin Wattenberg, Justin Gilmer, Carrie Cai, James Wexler, Fernanda Viegas, and Rory Sayres. 2018. “Interpretability Beyond Feature Attribution: Quantitative Testing with Concept Activation Vectors (TCAV).” In Proceedings of the 35th International Conference on Machine Learning, 2668–77. PMLR. https://proceedings.mlr.press/v80/kim18d.html.

Kindermans, Pieter-Jan, Sara Hooker, Julius Adebayo, Maximilian Alber, Kristof T. Schütt, Sven Dähne, Dumitru Erhan, and Been Kim. 2019. “The (Un)reliability of Saliency Methods.” In Explainable AI: Interpreting, Explaining and Visualizing Deep Learning, edited by Wojciech Samek, Grégoire Montavon, Andrea Vedaldi, Lars Kai Hansen, and Klaus-Robert Müller, 267–80. Cham: Springer International Publishing. https://doi.org/10.1007/978-3-030-28954-6_14.

Koh, Pang Wei, Kai-Siang Ang, Hubert H. K. Teo, and Percy Liang. 2019. “On the Accuracy of Influence Functions for Measuring Group Effects.” In Proceedings of the 33rd International Conference on Neural Information Processing Systems, 32:5254–64. 472. Red Hook, NY, USA: Curran Associates Inc.

Koh, Pang Wei, and Percy Liang. 2017. “Understanding Black-Box Predictions via Influence Functions.” In Proceedings of the 34th International Conference on Machine Learning - Volume 70, 1885–94. ICML’17. Sydney, NSW, Australia: JMLR.org.

Koh, Pang Wei, Thao Nguyen, Yew Siang Tang, Stephen Mussmann, Emma Pierson, Been Kim, and Percy Liang. 2020. “Concept Bottleneck Models.” In Proceedings of the 37th International Conference on Machine Learning, 5338–48. PMLR. https://proceedings.mlr.press/v119/koh20a.html.

Kuhn, and Max. 2008. “Building Predictive Models in r Using the Caret Package.” Journal of Statistical Software 28 (5): 1–26. https://doi.org/10.18637/jss.v028.i05.

Kuźba, Michał, Ewa Baranowska, and Przemysław Biecek. 2019. “pyCeterisParibus: Explaining Machine Learning Models with Ceteris Paribus Profiles in Python.” Journal of Open Source Software 4 (37): 1389. https://doi.org/10.21105/joss.01389.

Lapuschkin, Sebastian, Stephan Wäldchen, Alexander Binder, Grégoire Montavon, Wojciech Samek, and Klaus-Robert Müller. 2019. “Unmasking Clever Hans Predictors and Assessing What Machines Really Learn.” Nature Communications 10 (1): 1096. https://doi.org/10.1038/s41467-019-08987-4.

Laugel, Thibault, Marie-Jeanne Lesot, Christophe Marsala, Xavier Renard, and Marcin Detyniecki. 2017. “Inverse Classification for Comparison-based Interpretability in Machine Learning.” arXiv. https://doi.org/10.48550/arXiv.1712.08443.

Legendre, Adrien Marie. 1806. Nouvelles méthodes Pour La détermination Des Orbites Des Comètes: Avec Un Supplément Contenant Divers Perfectionnemens de Ces méthodes Et Leur Application Aux Deux Comètes de 1805. Courcier.

Lei, Jing, Max G’Sell, Alessandro Rinaldo, Ryan J. Tibshirani, and Larry Wasserman. 2018. “Distribution-Free Predictive Inference for Regression.” Journal of the American Statistical Association 113 (523): 1094–1111. https://doi.org/10.1080/01621459.2017.1307116.

Letham, Benjamin, Cynthia Rudin, Tyler H. McCormick, and David Madigan. 2015. “Interpretable Classifiers Using Rules and Bayesian Analysis: Building a Better Stroke Prediction Model.” The Annals of Applied Statistics 9 (3): 1350–71. https://doi.org/10.1214/15-AOAS848.

Liaw, Andy, and Matthew Wiener. 2002. “Classification and Regression by randomForest.” R News 2 (3): 18–22. https://CRAN.R-project.org/doc/Rnews/.

Lipton, Peter. 1990. “Contrastive Explanation.” Royal Institute of Philosophy Supplements 27 (March): 247–66. https://doi.org/10.1017/S1358246100005130.

Long, Jacob A. 2024. interactions: Comprehensive, User-Friendly Toolkit for Probing Interactions. https://doi.org/10.32614/CRAN.package.interactions.

Lundberg, Scott M., Gabriel G. Erion, and Su-In Lee. 2019. “Consistent Individualized Feature Attribution for Tree Ensembles.” arXiv. https://doi.org/10.48550/arXiv.1802.03888.

Lundberg, Scott M., and Su-In Lee. 2017. “A Unified Approach to Interpreting Model Predictions.” In Proceedings of the 31st International Conference on Neural Information Processing Systems, 4768–77. NIPS’17. Red Hook, NY, USA: Curran Associates Inc.

Ma, Chiyu, Jon Donnelly, Wenjun Liu, Soroush Vosoughi, Cynthia Rudin, and Chaofan Chen. 2024. “Interpretable Image Classification with Adaptive Prototype-based Vision Transformers.” arXiv. http://arxiv.org/abs/2410.20722.

Mahmoudi, Amin, and Dariusz Jemielniak. 2024. “Proof of Biased Behavior of Normalized Mutual Information.” Scientific Reports 14 (1): 9021. https://doi.org/10.1038/s41598-024-59073-9.

Merriam-Webster. 2017. “Definition of Algorithm.” https://www.merriam-webster.com/dictionary/algorithm.

Meschiari, Stefano. 2022. Latex2exp: Use LaTeX Expressions in Plots. https://CRAN.R-project.org/package=latex2exp.

Meyer, David, Evgenia Dimitriadou, Kurt Hornik, Andreas Weingessel, and Friedrich Leisch. 2024. E1071: Misc Functions of the Department of Statistics, Probability Theory Group (Formerly: E1071), TU Wien. https://CRAN.R-project.org/package=e1071.

Meyer, Patrick E. 2022. infotheo: Information-Theoretic Measures. https://CRAN.R-project.org/package=infotheo.

Miller, Tim. 2019. “Explanation in Artificial Intelligence: Insights from the Social Sciences.” Artificial Intelligence 267 (February): 1–38. https://doi.org/10.1016/j.artint.2018.07.007.

Mitchell, Rory, Joshua Cooper, Eibe Frank, and Geoffrey Holmes. 2022. “Sampling Permutations for Shapley Value Estimation.” Journal of Machine Learning Research 23 (43): 1–46. http://jmlr.org/papers/v23/21-0439.html.

Molnar, Christoph, Bernd Bischl, and Giuseppe Casalicchio. 2018. “iml: An r Package for Interpretable Machine Learning.” JOSS 3 (26): 786. https://doi.org/10.21105/joss.00786.

Molnar, Christoph, Giuseppe Casalicchio, and Bernd Bischl. 2018. “Iml: An R Package for Interpretable Machine Learning.” Journal of Open Source Software 3 (26): 786. https://doi.org/10.21105/joss.00786.

———. 2020a. “Interpretable Machine Learning – A Brief History, State-of-the-Art and Challenges.” In ECML PKDD 2020 Workshops, edited by Irena Koprinska, Michael Kamp, Annalisa Appice, Corrado Loglisci, Luiza Antonie, Albrecht Zimmermann, Riccardo Guidotti, et al., 417–31. Cham: Springer International Publishing. https://doi.org/10.1007/978-3-030-65965-3_28.

———. 2020b. “Quantifying Model Complexity via Functional Decomposition for Better Post-hoc Interpretability.” In Machine Learning and Knowledge Discovery in Databases, edited by Peggy Cellier and Kurt Driessens, 193–204. Cham: Springer International Publishing. https://doi.org/10.1007/978-3-030-43823-4_17.

Molnar, Christoph, Timo Freiesleben, Gunnar König, Julia Herbinger, Tim Reisinger, Giuseppe Casalicchio, Marvin N. Wright, and Bernd Bischl. 2023. “Relating the Partial Dependence Plot and Permutation Feature Importance to the Data Generating Process.” In Explainable Artificial Intelligence, edited by Luca Longo, 456–79. Communications in Computer and Information Science. Cham: Springer Nature Switzerland. https://doi.org/10.1007/978-3-031-44064-9_24.

Molnar, Christoph, Gunnar König, Bernd Bischl, and Giuseppe Casalicchio. 2023. “Model-Agnostic Feature Importance and Effects with Dependent Features – A Conditional Subgroup Approach.” Data Mining and Knowledge Discovery, January. https://doi.org/10.1007/s10618-022-00901-9.

Mothilal, Ramaravind K., Amit Sharma, and Chenhao Tan. 2020. “Explaining Machine Learning Classifiers Through Diverse Counterfactual Explanations.” In Proceedings of the 2020 Conference on Fairness, Accountability, and Transparency, 607–17. FAT* ’20. New York, NY, USA: Association for Computing Machinery. https://doi.org/10.1145/3351095.3372850.

Murdoch, W. James, Chandan Singh, Karl Kumbier, Reza Abbasi-Asl, and Bin Yu. 2019. “Definitions, Methods, and Applications in Interpretable Machine Learning.” Proceedings of the National Academy of Sciences 116 (44): 22071–80. https://doi.org/10.1073/pnas.1900654116.

Muschalik, Maximilian, Hubert Baniecki, Fabian Fumagalli, Patrick Kolpaczki, Barbara Hammer, and Eyke Hüllermeier. 2024. “Shapiq: Shapley Interactions for Machine Learning.” arXiv. https://doi.org/10.48550/arXiv.2410.01649.

Nguyen, Anh, Jeff Clune, Yoshua Bengio, Alexey Dosovitskiy, and Jason Yosinski. 2017. “Plug & Play Generative Networks: Conditional Iterative Generation of Images in Latent Space.” In 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 3510–20. IEEE Computer Society. https://doi.org/10.1109/CVPR.2017.374.

Nguyen, Anh, Alexey Dosovitskiy, Jason Yosinski, Thomas Brox, and Jeff Clune. 2016. “Synthesizing the Preferred Inputs for Neurons in Neural Networks via Deep Generator Networks.” In Proceedings of the 30th International Conference on Neural Information Processing Systems, 3395–3403. NIPS’16. Red Hook, NY, USA: Curran Associates Inc.

Nicholas L. Crookston, and Andrew O. Finley. 2007. “yaImpute: An r Package for kNN Imputation.” Journal of Statistical Software 23 (10). https://doi.org/10.18637/jss.v023.i10.

Nickerson, Raymond S. 1998. “Confirmation Bias: A Ubiquitous Phenomenon in Many Guises.” https://doi.org/https://journals.sagepub.com/doi/10.1037/1089-2680.2.2.175.

Olah, Chris, Alexander Mordvintsev, and Ludwig Schubert. 2017. “Feature Visualization.” Distill. https://doi.org/10.23915/distill.00007.

Olah, Chris, Arvind Satyanarayan, Ian Johnson, Shan Carter, Ludwig Schubert, Katherine Ye, and Alexander Mordvintsev. 2018. “The Building Blocks of Interpretability.” Distill. https://doi.org/10.23915/distill.00010.

Papernot, Nicolas, Patrick McDaniel, Ian Goodfellow, Somesh Jha, Z. Berkay Celik, and Ananthram Swami. 2017. “Practical Black-Box Attacks Against Machine Learning.” In Proceedings of the 2017 ACM on Asia Conference on Computer and Communications Security, 506–19. ASIA CCS ’17. New York, NY, USA: Association for Computing Machinery. https://doi.org/10.1145/3052973.3053009.

Pedersen, Thomas Lin. 2024. patchwork: The Composer of Plots. https://CRAN.R-project.org/package=patchwork.

R Core Team. 2024a. R: A Language and Environment for Statistical Computing. Vienna, Austria: R Foundation for Statistical Computing. https://www.R-project.org/.

———. 2024b. R: A Language and Environment for Statistical Computing. Vienna, Austria: R Foundation for Statistical Computing. https://www.R-project.org/.

Rdusseeun, LKPJ, and P Kaufman. 1987. “Clustering by Means of Medoids.” In Proceedings of the Statistical Data Analysis Based on the L1 Norm Conference, Neuchatel, Switzerland. Vol. 31.

Ribeiro, Marco Tulio, Sameer Singh, and Carlos Guestrin. 2016a. “Model-Agnostic Interpretability of Machine Learning.” arXiv Preprint arXiv:1606.05386.

———. 2016b. ““Why Should I Trust You?”: Explaining the Predictions of Any Classifier.“ In Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, 1135–44. KDD ’16. New York, NY, USA: Association for Computing Machinery. https://doi.org/10.1145/2939672.2939778.

———. 2018. “Anchors: High-Precision Model-Agnostic Explanations.” Proceedings of the AAAI Conference on Artificial Intelligence 32 (1). https://doi.org/10.1609/aaai.v32i1.11491.

Robnik-Šikonja, Marko, and Marko Bohanec. 2018. “Perturbation-Based Explanations of Prediction Models.” In Human and Machine Learning: Visible, Explainable, Trustworthy and Transparent, edited by Jianlong Zhou and Fang Chen, 159–75. Cham: Springer International Publishing. https://doi.org/10.1007/978-3-319-90403-0_9.

Roscher, Ribana, Bastian Bohn, Marco F. Duarte, and Jochen Garcke. 2020. “Explainable Machine Learning for Scientific Insights and Discoveries.” IEEE Access 8: 42200–42216. https://doi.org/10.1109/ACCESS.2020.2976199.

Rudin, Cynthia. 2019. “Stop Explaining Black Box Machine Learning Models for High Stakes Decisions and Use Interpretable Models Instead.” Nature Machine Intelligence 1 (5): 206–15. https://doi.org/10.1038/s42256-019-0048-x.

Schloerke, Barret, Di Cook, Joseph Larmarange, Francois Briatte, Moritz Marbach, Edwin Thoen, Amos Elberg, and Jason Crowley. 2024. GGally: Extension to “ggplot2”. https://CRAN.R-project.org/package=GGally.

Schmidhuber, Jürgen. 2015. “Deep Learning in Neural Networks: An Overview.” Neural Networks 61 (January): 85–117. https://doi.org/10.1016/j.neunet.2014.09.003.

Scholbeck, Christian A., Christoph Molnar, Christian Heumann, Bernd Bischl, and Giuseppe Casalicchio. 2020. “Sampling, Intervention, Prediction, Aggregation: A Generalized Framework for Model-Agnostic Interpretations.” In Machine Learning and Knowledge Discovery in Databases, edited by Peggy Cellier and Kurt Driessens, 205–16. Communications in Computer and Information Science. Cham: Springer International Publishing. https://doi.org/10.1007/978-3-030-43823-4_18.

Selvaraju, Ramprasaath R., Michael Cogswell, Abhishek Das, Ramakrishna Vedantam, Devi Parikh, and Dhruv Batra. 2017. “Grad-CAM: Visual Explanations from Deep Networks via Gradient-Based Localization.” In 2017 IEEE International Conference on Computer Vision (ICCV), 618–26. https://doi.org/10.1109/ICCV.2017.74.

Shapley, Lloyd S. 1953. “A Value for n-Person Games.” Contribution to the Theory of Games 2.

Shrikumar, Avanti, Peyton Greenside, and Anshul Kundaje. 2017. “Learning Important Features Through Propagating Activation Differences.” In Proceedings of the 34th International Conference on Machine Learning - Volume 70, 3145–53. ICML’17. Sydney, NSW, Australia: JMLR.org.

Simon, Noah, Jerome Friedman, Robert Tibshirani, and Trevor Hastie. 2011. “Regularization Paths for Cox’s Proportional Hazards Model via Coordinate Descent.” Journal of Statistical Software 39 (5): 1–13. https://doi.org/10.18637/jss.v039.i05.

Simonyan, Karen, Andrea Vedaldi, and Andrew Zisserman. 2014. “Deep Inside Convolutional Networks: Visualising Image Classification Models and Saliency Maps.” arXiv. https://doi.org/10.48550/arXiv.1312.6034.

Simonyan, Karen, and Andrew Zisserman. 2015. “Very Deep Convolutional Networks for Large-Scale Image Recognition.” arXiv. https://doi.org/10.48550/arXiv.1409.1556.

Slack, Dylan, Sophie Hilgard, Emily Jia, Sameer Singh, and Himabindu Lakkaraju. 2020. “Fooling LIME and SHAP: Adversarial Attacks on Post Hoc Explanation Methods.” In Proceedings of the AAAI/ACM Conference on AI, Ethics, and Society, 180–86. AIES ’20. New York, NY, USA: Association for Computing Machinery. https://doi.org/10.1145/3375627.3375830.

Smilkov, Daniel, Nikhil Thorat, Been Kim, Fernanda Viégas, and Martin Wattenberg. 2017. “SmoothGrad: Removing Noise by Adding Noise.” arXiv. https://doi.org/10.48550/arXiv.1706.03825.

Staniak, Mateusz, and Przemyslaw Biecek. 2018. “Explanations of Model Predictions with Live and breakDown Packages.” arXiv. https://doi.org/10.48550/arXiv.1804.01955.

Strobl, Carolin, Anne-Laure Boulesteix, Thomas Kneib, Thomas Augustin, and Achim Zeileis. 2008. “Conditional Variable Importance for Random Forests.” BMC Bioinformatics 9 (1): 307. https://doi.org/10.1186/1471-2105-9-307.

Štrumbelj, Erik, and Igor Kononenko. 2011. “A General Method for Visualizing and Explaining Black-Box Regression Models.” In Adaptive and Natural Computing Algorithms, edited by Andrej Dobnikar, Uroš Lotrič, and Branko Šter, 21–30. Berlin, Heidelberg: Springer. https://doi.org/10.1007/978-3-642-20267-4_3.

———. 2014. “Explaining Prediction Models and Individual Predictions with Feature Contributions.” Knowledge and Information Systems 41 (3): 647–65. https://doi.org/10.1007/s10115-013-0679-x.

Su, Jiawei, Danilo Vasconcellos Vargas, and Kouichi Sakurai. 2019. “One Pixel Attack for Fooling Deep Neural Networks.” IEEE Transactions on Evolutionary Computation 23 (5): 828–41. https://doi.org/10.1109/TEVC.2019.2890858.

Sudjianto, Agus, Aijun Zhang, Zebin Yang, Yu Su, and Ningzhou Zeng. 2023. “PiML Toolbox for Interpretable Machine Learning Model Development and Diagnostics.” arXiv Preprint arXiv:2305.04214.

Sundararajan, Mukund, and Amir Najmi. 2020. “The Many Shapley Values for Model Explanation.” In Proceedings of the 37th International Conference on Machine Learning, 9269–78. PMLR. https://proceedings.mlr.press/v119/sundararajan20b.html.

Sundararajan, Mukund, Ankur Taly, and Qiqi Yan. 2017. “Axiomatic Attribution for Deep Networks.” In Proceedings of the 34th International Conference on Machine Learning - Volume 70, 3319–28. ICML’17. Sydney, NSW, Australia: JMLR.org.

Szegedy, Christian, Vincent Vanhoucke, Sergey Ioffe, Jon Shlens, and Zbigniew Wojna. 2016. “Rethinking the Inception Architecture for Computer Vision.” In 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2818–26. https://doi.org/10.1109/CVPR.2016.308.

Szegedy, Christian, Wojciech Zaremba, Ilya Sutskever, Joan Bruna, Dumitru Erhan, Ian Goodfellow, and Rob Fergus. 2014. “Intriguing Properties of Neural Networks.” arXiv. https://doi.org/10.48550/arXiv.1312.6199.

Tay, J. Kenneth, Balasubramanian Narasimhan, and Trevor Hastie. 2023. “Elastic Net Regularization Paths for All Generalized Linear Models.” Journal of Statistical Software 106 (1): 1–31. https://doi.org/10.18637/jss.v106.i01.

Therneau, Terry, and Beth Atkinson. 2023. rpart: Recursive Partitioning and Regression Trees. https://CRAN.R-project.org/package=rpart.

Tomsett, Richard, Dave Braines, Dan Harborne, Alun Preece, and Supriyo Chakraborty. 2018. “Interpretable to Whom? A Role-based Model for Analyzing Interpretable Machine Learning Systems.” arXiv. https://doi.org/10.48550/arXiv.1806.07552.

Tomsett, Richard, Dan Harborne, Supriyo Chakraborty, Prudhvi Gurram, and Alun Preece. 2020. “Sanity Checks for Saliency Metrics.” Proceedings of the AAAI Conference on Artificial Intelligence 34 (04): 6021–29. https://doi.org/10.1609/aaai.v34i04.6064.

Tufte, Edward R, and Peter R Graves-Morris. 1983. The Visual Display of Quantitative Information. Graphics press Cheshire, CT.

Urbanek, Simon. 2022. jpeg: Read and Write JPEG Images. https://CRAN.R-project.org/package=jpeg.

———. 2024. rJava: Low-Level r to Java Interface. https://CRAN.R-project.org/package=rJava.

Van Looveren, Arnaud, and Janis Klaise. 2021. “Interpretable Counterfactual Explanations Guided by Prototypes.” In Machine Learning and Knowledge Discovery in Databases. Research Track, edited by Nuria Oliver, Fernando Pérez-Cruz, Stefan Kramer, Jesse Read, and Jose A. Lozano, 650–65. Cham: Springer International Publishing. https://doi.org/10.1007/978-3-030-86520-7_40.

Van Noorden, Richard, and Jeffrey M. Perkel. 2023. “AI and Science: What 1,600 Researchers Think.” Nature 621 (7980): 672–75. https://doi.org/10.1038/d41586-023-02980-0.

Venables, W. N., and B. D. Ripley. 2002. Modern Applied Statistics with s. Fourth. New York: Springer. https://www.stats.ox.ac.uk/pub/MASS4/.

von Jouanne-Diedrich, Holger. 2017. OneR: One Rule Machine Learning Classification Algorithm with Enhancements. https://CRAN.R-project.org/package=OneR.

Wachter, Sandra, Brent Mittelstadt, and Chris Russell. 2018. “Counterfactual Explanations Without Opening the Black Box: Automated Decisions and the GDPR.” Harvard Journal of Law and Technology 31 (2): 841–87.

Watson, David S., and Marvin N. Wright. 2021. “Testing Conditional Independence in Supervised Learning Algorithms.” Machine Learning 110 (8): 2107–29. https://doi.org/10.1007/s10994-021-06030-6.

Wei, Pengfei, Zhenzhou Lu, and Jingwen Song. 2015. “Variable Importance Analysis: A Comprehensive Review.” Reliability Engineering & System Safety 142 (October): 399–432. https://doi.org/10.1016/j.ress.2015.05.018.

Wickham, Hadley. 2007. “Reshaping Data with the reshape Package.” Journal of Statistical Software 21 (12): 1–20. http://www.jstatsoft.org/v21/i12/.

Wickham, Hadley, Mara Averick, Jennifer Bryan, Winston Chang, Lucy D’Agostino McGowan, Romain François, Garrett Grolemund, et al. 2019. “Welcome to the tidyverse.” Journal of Open Source Software 4 (43): 1686. https://doi.org/10.21105/joss.01686.

Witten, Ian H., and Eibe Frank. 2005. Data Mining: Practical Machine Learning Tools and Techniques. 2nd ed. San Francisco: Morgan Kaufmann.

Wood, S. N. 2017. Generalized Additive Models: An Introduction with r. 2nd ed. Chapman; Hall/CRC.

Wood, S. N. 2003. “Thin-Plate Regression Splines.” Journal of the Royal Statistical Society (B) 65 (1): 95–114.

———. 2004. “Stable and Efficient Multiple Smoothing Parameter Estimation for Generalized Additive Models.” Journal of the American Statistical Association 99 (467): 673–86.

———. 2011. “Fast Stable Restricted Maximum Likelihood and Marginal Likelihood Estimation of Semiparametric Generalized Linear Models.” Journal of the Royal Statistical Society (B) 73 (1): 3–36.

Wood, S. N., N., Pya, and B. S“afken. 2016. “Smoothing Parameter and Model Selection for General Smooth Models (with Discussion).” Journal of the American Statistical Association 111: 1548–75.

Wright, Marvin N., and Andreas Ziegler. 2017. “ranger: A Fast Implementation of Random Forests for High Dimensional Data in C++ and R.” Journal of Statistical Software 77 (1): 1–17. https://doi.org/10.18637/jss.v077.i01.

Xie, Yihui. 2014. “knitr: A Comprehensive Tool for Reproducible Research in R.” In Implementing Reproducible Computational Research, edited by Victoria Stodden, Friedrich Leisch, and Roger D. Peng. Chapman; Hall/CRC.

———. 2015. Dynamic Documents with R and Knitr. 2nd ed. Boca Raton, Florida: Chapman; Hall/CRC. https://yihui.org/knitr/.

———. 2024. knitr: A General-Purpose Package for Dynamic Report Generation in r. https://yihui.org/knitr/.

Xie, Yihui, J. J. Allaire, and Garrett Grolemund. 2018. R Markdown: The Definitive Guide. Boca Raton, Florida: Chapman; Hall/CRC. https://bookdown.org/yihui/rmarkdown.

Xie, Yihui, Christophe Dervieux, and Emily Riederer. 2020. R Markdown Cookbook. Boca Raton, Florida: Chapman; Hall/CRC. https://bookdown.org/yihui/rmarkdown-cookbook.

Yang, Hongyu, Cynthia Rudin, and Margo Seltzer. 2016. sbrl: Scalable Bayesian Rule Lists Model. https://CRAN.R-project.org/package=sbrl.

———. 2017. “Scalable Bayesian Rule Lists.” In International Conference on Machine Learning, 3921–30. PMLR.

Yang, Zebin, Agus Sudjianto, Xiaoming Li, and Aijun Zhang. 2024. “Inherently Interpretable Tree Ensemble Learning.” arXiv. https://doi.org/10.48550/arXiv.2410.19098.

Zeileis, Achim, Torsten Hothorn, and Kurt Hornik. 2008. “Model-Based Recursive Partitioning.” Journal of Computational and Graphical Statistics 17 (2): 492–514. https://doi.org/10.1198/106186008X319331.

Zeiler, Matthew D., and Rob Fergus. 2014. “Visualizing and Understanding Convolutional Networks.” In Computer Vision – ECCV 2014, edited by David Fleet, Tomas Pajdla, Bernt Schiele, and Tinne Tuytelaars, 818–33. Cham: Springer International Publishing. https://doi.org/10.1007/978-3-319-10590-1_53.

Zhang, Zhou, Yufang Jin, Bin Chen, and Patrick Brown. 2019. “California Almond Yield Prediction at the Orchard Level With a Machine Learning Approach.” Frontiers in Plant Science 10 (July): 809. https://doi.org/10.3389/fpls.2019.00809.

Zhao, Qingyuan, and Trevor Hastie. 2019. “CAUSAL INTERPRETATIONS OF BLACK-BOX MODELS.” Journal of Business & Economic Statistics: A Publication of the American Statistical Association 2019. https://doi.org/10.1080/07350015.2019.1624293.

Zhu, Hao. 2024. kableExtra: Construct Complex Table with “kable” and Pipe Syntax. https://CRAN.R-project.org/package=kableExtra.