Keyboard shortcuts

Press ← or → to navigate between chapters

Press S or / to search in the book

Press ? to show this help

Press Esc to hide this help

فصل ۱۵: توضیحات خلاف واقع

عنوان اصلی: Counterfactual Explanations
منبع: https://christophm.github.io/interpretable-ml-book/counterfactual.html
نویسنده: Christoph Molnar
مترجم: مریم محمودی


نویسندگان: Susanne Dandl و Christoph Molnar

توضیح خلاف واقع (counterfactual explanation) یک وضعیت علّی را به این شکل بیان می‌کند: «اگر X رخ نداده بود، Y هم رخ نمی‌داد.» برای مثال: «اگر یک جرعه از این قهوهٔ داغ را نمی‌نوشیدم، زبانم نمی‌سوخت.» رویداد Y این است که زبانم سوخته است؛ علت X این است که قهوهٔ داغ نوشیده‌ام. تفکر خلاف واقع مستلزم تصور یک واقعیت فرضی است که با حقایق مشاهده‌شده در تضاد است (برای مثال، دنیایی که در آن قهوهٔ داغ ننوشیده‌ام)؛ از همین رو «خلاف واقع» نامیده می‌شود. توانایی تفکر خلاف واقع است که ما انسان‌ها را در مقایسه با جانوران دیگر بسیار باهوش می‌کند.

توضیح مترجم: در این فصل «توضیح خلاف واقع» معادل counterfactual explanation است. «خلاف واقع» یعنی وضعیتی که در واقعیت رخ نداده، ولی می‌پرسیم «اگر رخ داده بود چه می‌شد؟». مثال ساده‌تر برای حالت یادگیری ماشین: «اگر درآمد من ۱۰ میلیون بیشتر بود، وامم تأیید می‌شد.» این جمله هم یک واقعیت (درآمد کنونی) و هم یک جهان فرضی (درآمد بیشتر) دارد.

در یادگیری ماشین تفسیرپذیر، توضیحات خلاف واقع را می‌توان برای توضیح پیش‌بینی‌های نمونه‌های منفرد به کار برد.1 اگر آن را به‌صورت یک گراف نمایش دهیم (شکل ۱۵.۱)، رابطهٔ میان ورودی‌ها و پیش‌بینی بسیار ساده است: مقادیر ویژگی‌ها پیش‌بینی را ایجاد می‌کنند. حتی اگر در واقعیت رابطهٔ میان ورودی‌ها و پیامدی که باید پیش‌بینی شود علّی نباشد، می‌توانیم ورودی‌های یک مدل را علت پیش‌بینی بدانیم.

شکل ۱۵.۱: روابط علّی میان ورودی‌های یک مدل یادگیری ماشین و پیش‌بینی‌ها، وقتی مدل صرفاً یک جعبه‌سیاه در نظر گرفته می‌شود. ورودی‌ها پیش‌بینی را ایجاد می‌کنند (این لزوماً بازتاب‌دهندهٔ رابطهٔ علّی واقعیِ داده‌ها نیست).

توضیح مترجم (متن داخل تصویر): تصویر یک گراف جهت‌دار است. گره‌های بالایی با برچسب‌های x1، x2، x3 و «…» ویژگی‌های ورودی را نشان می‌دهند (نقطه‌چین یعنی ویژگی‌های دیگر) و گرهٔ پایینی با برچسب prediction = «پیش‌بینی» است. فلش‌ها از هر ویژگی به پیش‌بینی می‌رسند. نام‌های x1 تا x3 نماد ریاضی‌اند و ترجمه نمی‌شوند.

با توجه به این گراف ساده، به‌آسانی می‌توان دید که چگونه می‌توانیم حالت‌های خلاف واقع را برای پیش‌بینی‌های مدل‌های یادگیری ماشین شبیه‌سازی کنیم: کافی است پیش از انجام پیش‌بینی، مقادیر ویژگی‌های یک نمونه را تغییر دهیم و تحلیل کنیم که پیش‌بینی چگونه تغییر می‌کند. ما به سناریوهایی علاقه‌مندیم که در آن‌ها پیش‌بینی به شیوه‌ای معنادار تغییر می‌کند، مانند وارونه شدن کلاس پیش‌بینی‌شده (برای مثال، پذیرفته یا رد شدن درخواست اعتبار)، یا سناریوهایی که در آن‌ها پیش‌بینی به آستانه‌ای مشخص می‌رسد (برای مثال، احتمال سرطان به ۱۰٪ می‌رسد). توضیح خلاف واقع برای یک پیش‌بینی، کوچک‌ترین تغییر در مقادیر ویژگی‌ها را توصیف می‌کند که پیش‌بینی را به یک خروجی از پیش تعیین‌شده تغییر می‌دهد.

هم روش‌های توضیح خلاف واقعِ مستقل از مدل (model-agnostic) و هم روش‌های وابسته به مدل (model-specific) وجود دارند، اما در این فصل بر روش‌های مستقل از مدل تمرکز می‌کنیم که فقط با ورودی‌ها و خروجی‌های مدل کار می‌کنند (و نه با ساختار درونی مدل‌های خاص).

پیش از بحث دربارهٔ چگونگی ساخت توضیحات خلاف واقع، می‌خواهم چند مورد استفاده از آن‌ها و ویژگی‌های یک توضیح خلاف واقع خوب را مطرح کنم.

در این مثال نخست، پیتر برای وام درخواست می‌دهد و نرم‌افزار بانکیِ مبتنی بر یادگیری ماشین درخواستش را رد می‌کند. او می‌خواهد بداند چرا درخواستش رد شده و چگونه می‌تواند شانس خود را برای دریافت وام افزایش دهد. پرسش «چرا» را می‌توان به‌شکل یک توضیح خلاف واقع صورت‌بندی کرد: کوچک‌ترین تغییر در ویژگی‌ها (درآمد، تعداد کارت‌های اعتباری، سن، …) که پیش‌بینی را از «رد شده» به «تأیید شده» تغییر دهد چیست؟ یک پاسخ ممکن این است: اگر پیتر سالانه ۱۰٬۰۰۰ بیشتر درآمد داشت، وام را می‌گرفت. یا اگر پیتر کارت‌های اعتباری کمتری داشت و پنج سال پیش وامی را نکول نکرده بود (default)، وام را می‌گرفت. پیتر هرگز دلایل رد درخواستش را نخواهد فهمید، چون بانک علاقه‌ای به شفافیت ندارد؛ اما آن داستان دیگری است.

در مثال دوم، می‌خواهیم مدلی را که یک پیامد پیوسته را پیش‌بینی می‌کند با توضیحات خلاف واقع توضیح دهیم. آنا می‌خواهد آپارتمانش را اجاره بدهد، اما مطمئن نیست چقدر اجاره بگیرد؛ بنابراین تصمیم می‌گیرد یک مدل یادگیری ماشین برای پیش‌بینی اجاره‌بها آموزش دهد. البته چون آنا دانشمند داده است، مسائلش را این‌گونه حل می‌کند. پس از وارد کردن همهٔ جزئیات دربارهٔ متراژ، موقعیت مکانی، مجاز بودن حیوان خانگی و مانند آن، مدل به او می‌گوید می‌تواند ۹۰۰ یورو اجاره بگیرد. او انتظار ۱۰۰۰ یورو یا بیشتر داشت، اما به مدلش اعتماد دارد و تصمیم می‌گیرد با مقادیر ویژگی‌های آپارتمان بازی کند تا ببیند چگونه می‌تواند ارزش آپارتمان را بهبود دهد. او درمی‌یابد که اگر آپارتمان ۱۵ m² بزرگ‌تر بود، می‌شد آن را بیش از ۱۰۰۰ یورو اجاره داد. جالب است، اما دانشی غیرقابل اجراست، چون او نمی‌تواند آپارتمانش را بزرگ‌تر کند. سرانجام، با دست‌کاری فقط ویژگی‌هایی که در اختیار خودش است (آشپزخانهٔ توکار دارد/ندارد، حیوان خانگی مجاز است/نیست، نوع کف و غیره)، متوجه می‌شود که اگر اجازهٔ نگهداری حیوان خانگی را بدهد و پنجره‌هایی با عایق بهتر نصب کند، می‌تواند ۱۰۰۰ یورو اجاره بگیرد. آنا به‌طور شهودی با توضیحات خلاف واقع کار کرده است تا پیامد را تغییر دهد. توجه کنید که آنا با مدل پیش‌بینی اجاره‌بها کار کرد و لزوماً به این موضوع علاقه‌مند نبود که آیا این عوامل در «دنیای واقعی» واقعاً علت اجارهٔ بالاتر هستند یا نه.

⚠️ هشدار

به‌طور پیش‌فرض، توضیحات خلاف واقع (به‌عنوان یک روش IML) به‌تنهایی از ادعاهای علّی دربارهٔ دنیای واقعی پشتیبانی نمی‌کنند. برای این کار به یک مدل علّی نیاز است.

توضیح مترجم: تفاوت «علّی بودن در مدل» و «علّی بودن در دنیای واقعی» مهم است: اگر مدل اجاره‌بها یاد گرفته باشد که «پذیرش حیوان خانگی ⇒ اجارهٔ بالاتر»، این فقط رفتار مدل است؛ ممکن است این الگو در داده‌ها فقط همبستگی باشد (مثلاً آپارتمان‌های لوکس بیشتر حیوان خانگی می‌پذیرند). بنابراین توضیح خلاف واقع می‌گوید «مدل چه پیش‌بینی می‌کند»، نه «واقعیت چه می‌شود».

توضیحات خلاف واقع توضیحات دوستانه برای انسان هستند، زیرا نسبت به نمونهٔ کنونی تقابلی (contrastive) و گزینشی (selective) هستند؛ یعنی معمولاً بر تعداد کمی از تغییرهای ویژگی‌ها تمرکز می‌کنند. اما توضیحات خلاف واقع از «اثر راشومون» (Rashomon effect) رنج می‌برند. راشومون فیلمی ژاپنی است که در آن قتل یک سامورایی از زبان افراد مختلف روایت می‌شود. هر یک از روایت‌ها پیامد را به یک اندازه خوب توضیح می‌دهد، اما روایت‌ها با یکدیگر در تضادند. همین اتفاق می‌تواند برای توضیحات خلاف واقع نیز رخ دهد، چون معمولاً چندین توضیح خلاف واقعِ متفاوت وجود دارد. هر توضیح خلاف واقع «داستان» متفاوتی از چگونگی رسیدن به یک پیامد مشخص روایت می‌کند. یک توضیح خلاف واقع ممکن است بگوید ویژگی A را تغییر بده، توضیح دیگر ممکن است بگوید A را ثابت نگه دار اما ویژگی B را تغییر بده، که یک تناقض است. این مسئلهٔ چند حقیقتی را می‌توان یا با گزارش همهٔ توضیحات خلاف واقع حل کرد، یا با داشتن معیاری برای ارزیابی توضیحات خلاف واقع و انتخاب بهترین آن‌ها.

توضیح مترجم: «تقابلی» یعنی توضیح به‌جای پاسخ به «چرا این پیش‌بینی؟»، به «چرا این پیش‌بینی و نه پیش‌بینی دیگر؟» پاسخ می‌دهد؛ و «گزینشی» یعنی از میان همهٔ ویژگی‌ها فقط چند عامل مهم را برمی‌گزیند. این دو ویژگی در بخش «توضیحات دوستانه برای انسان» فصل تفسیرپذیری آمده‌اند. «اثر راشومون» در کتاب به همین معناست که چند توضیح هم‌اندازه خوب ولی ناسازگار با هم وجود دارد.

حال که از معیارها سخن گفتیم، یک توضیح خلاف واقع خوب را چگونه تعریف کنیم؟ نخست، کاربرِ توضیح خلاف واقع تغییری معنادار در پیش‌بینیِ یک نمونه (واقعیت جایگزین) را تعریف می‌کند. نخستین الزام بدیهی این است که یک نمونهٔ خلاف واقع باید پیش‌بینیِ از پیش تعیین‌شده را تا حد امکان دقیق تولید کند. همیشه نمی‌توان توضیح خلاف واقعی با پیش‌بینیِ از پیش تعیین‌شده یافت. برای مثال، در یک مسئلهٔ دسته‌بندی با دو کلاس، یک کلاس نادر و یک کلاس پرتکرار، ممکن است مدل همیشه یک نمونه را در کلاس پرتکرار دسته‌بندی کند. تغییر مقادیر ویژگی‌ها به‌گونه‌ای که برچسب پیش‌بینی‌شده از کلاس پرتکرار به کلاس نادر وارونه شود ممکن است ناممکن باشد. بنابراین می‌خواهیم این الزام را که پیش‌بینیِ توضیح خلاف واقع باید دقیقاً با پیامد از پیش تعیین‌شده برابر باشد، تعدیل کنیم. در مثال دسته‌بندی، می‌توانیم به‌دنبال توضیح خلاف واقعی باشیم که در آن احتمال پیش‌بینی‌شدهٔ کلاس نادر به‌جای ۲٪ کنونی به ۱۰٪ افزایش یابد. پرسش آن‌گاه این است که حداقل تغییرها در ویژگی‌ها چیست تا احتمال پیش‌بینی‌شده از ۲٪ به ۱۰٪ (یا نزدیک به ۱۰٪) تغییر کند؟

💡 از احتمال‌ها استفاده کنید

برای مسائل دسته‌بندی، بهتر است توضیح خلاف واقع بر حسب احتمال‌های پیش‌بینی‌شده تعریف شود، نه پیامدهای کلاسی.

معیار کیفی دیگر این است که یک توضیح خلاف واقع از نظر مقادیر ویژگی‌ها باید تا حد امکان به نمونه شبیه باشد. فاصلهٔ میان دو نمونه را می‌توان، برای مثال، با فاصلهٔ منهتن (Manhattan distance) یا، در صورتی که هم ویژگی‌های گسسته و هم پیوسته داشته باشیم، با فاصلهٔ گاور (Gower distance) اندازه گرفت. توضیح خلاف واقع نه‌تنها باید به نمونهٔ اصلی نزدیک باشد، بلکه باید تا حد امکان ویژگی‌های کمتری را تغییر دهد. برای سنجش اینکه یک توضیح خلاف واقع در این معیار چقدر خوب است، می‌توانیم به‌سادگی تعداد ویژگی‌های تغییریافته را بشماریم یا، به زبان پیچیدهٔ ریاضی، نرم $L_0$ میان توضیح خلاف واقع و نمونهٔ واقعی را اندازه بگیریم.

سوم اینکه، اغلب مطلوب است که چند توضیح خلاف واقعِ متنوع تولید شود تا فردِ موضوع تصمیم (decision subject) به چند راه عملی برای ایجاد پیامدی متفاوت دسترسی پیدا کند. برای مثال، با ادامهٔ مثال وام، یک توضیح خلاف واقع ممکن است فقط دو برابر شدن درآمد را برای دریافت وام پیشنهاد کند، در حالی که توضیح خلاف واقع دیگری ممکن است نقل مکان به شهری نزدیک و افزایش اندکی در درآمد را برای دریافت وام پیشنهاد کند. می‌توان گفت در حالی که توضیح اول ممکن است برای برخی افراد شدنی باشد، توضیح دوم ممکن است برای دیگران عملی‌تر باشد. بنابراین، افزون بر اینکه تنوع راه‌های گوناگون رسیدن به پیامد دلخواه را در اختیار فردِ موضوع تصمیم می‌گذارد، به افراد «متنوع» نیز امکان می‌دهد ویژگی‌هایی را تغییر دهند که برایشان مناسب است.

آخرین الزام این است که یک نمونهٔ خلاف واقع باید مقادیر ویژگیِ محتمل داشته باشد. معنا ندارد برای مثال اجاره‌بها توضیحی خلاف واقع تولید شود که در آن متراژ آپارتمان منفی باشد یا تعداد اتاق‌ها ۲۰۰ تعیین شده باشد. حتی بهتر است توضیح خلاف واقع بر اساس توزیع توأم داده‌ها محتمل باشد؛ برای مثال، آپارتمانی با ۱۰ اتاق و ۲۰ m² نباید توضیح خلاف واقع به حساب بیاید. در حالت ایده‌آل، اگر تعداد متر مربع افزایش می‌یابد، افزایش تعداد اتاق‌ها نیز باید پیشنهاد شود.

توضیح مترجم: متن اصلی در این بخش پنج خواسته را مطرح می‌کند: (الف) نزدیکی پیش‌بینی به پیامد مطلوب، (ب) شباهت به نمونهٔ اصلی، (پ) تغییر دادن کمترین تعداد ویژگی (تنک بودن)، (ت) تنوع میان چند توضیح، و (ث) محتمل بودن مقادیر ویژگی. خود کتاب در ادامه از «چهار معیار» سخن می‌گوید و، برای نمونه، دربارهٔ روش Wachter می‌نویسد که معیارهای «اول و دوم» را در نظر می‌گیرد و «دو معیار آخر» (تغییرهای کم و مقادیر محتمل) را نه؛ و چهار هدف روش Dandl با (الف)، (ب)، (پ) و (ث) متناظرند. این شمارش در منبع کاملاً یکدست نیست و در ترجمه همان‌طور حفظ شده است.

تولید توضیحات خلاف واقع

یک رویکرد ساده و ساده‌لوحانه برای تولید توضیحات خلاف واقع، جست‌وجو به روش آزمون و خطاست. این رویکرد شامل تغییر تصادفی مقادیر ویژگی‌های نمونهٔ مورد نظر و توقف در لحظه‌ای است که خروجی مطلوب پیش‌بینی شود. مانند مثالی که آنا سعی کرد نسخه‌ای از آپارتمانش را بیابد که بتواند برایش اجارهٔ بیشتری بگیرد. اما رویکردهایی بهتر از آزمون و خطا وجود دارد. نخست، یک تابع زیان (loss function) بر پایهٔ معیارهای بالا تعریف می‌کنیم. این زیان، نمونهٔ مورد نظر، یک توضیح خلاف واقع و پیامد (خلاف واقع)ِ مطلوب را به‌عنوان ورودی می‌گیرد. سپس می‌توانیم با یک الگوریتم بهینه‌سازی، توضیح خلاف واقعی را بیابیم که این زیان را کمینه می‌کند. بسیاری از روش‌ها به همین شیوه عمل می‌کنند، اما در تعریف تابع زیان و روش بهینه‌سازی با هم تفاوت دارند.

در ادامه بر دو روش از آن‌ها تمرکز می‌کنیم: نخست روش Wachter و همکاران (۲۰۱۸) که توضیح خلاف واقع را به‌عنوان یک روش تفسیر معرفی کردند، و دوم روش Dandl و همکاران (۲۰۲۰) که هر چهار معیار بالا را در نظر می‌گیرد.

روش Wachter و همکاران

Wachter و همکاران پیشنهاد می‌کنند زیان زیر کمینه شود:

$$L(\mathbf{x}, \mathbf{x}^{\prime}, y^{\prime}, \lambda) = \lambda \cdot (\hat{f}(\mathbf{x}^{\prime}) - y^{\prime})^2 + d(\mathbf{x}, \mathbf{x}^{\prime})$$

جملهٔ اول، فاصلهٔ درجه دو میان پیش‌بینی مدل برای توضیح خلاف واقع $\mathbf{x}^{\prime}$ و پیامد مطلوب $y^{\prime}$ است که کاربر باید از پیش آن را تعریف کند. جملهٔ دوم، فاصلهٔ $d$ میان نمونه‌ای است که باید توضیح داده شود، $\mathbf{x}$، و توضیح خلاف واقع $\mathbf{x}^{\prime}$. این زیان اندازه می‌گیرد که پیامد پیش‌بینی‌شدهٔ توضیح خلاف واقع چقدر از پیامد از پیش تعیین‌شده دور است و توضیح خلاف واقع چقدر از نمونهٔ مورد نظر فاصله دارد. تابع فاصلهٔ $d$ به‌صورت فاصلهٔ منهتنِ وزن‌دار با وارون انحراف مطلق میانه (MAD: median absolute deviation) هر ویژگی تعریف می‌شود.

$$d(x,x^\prime)=\sum_{j=1}^p\frac{|x_j-x^\prime_j|}{MAD_j}$$

فاصلهٔ کل، مجموع همهٔ $p$ فاصلهٔ ویژگی‌به‌ویژگی است، یعنی تفاضل‌های مطلق مقادیر ویژگی میان نمونهٔ $\mathbf{x}$ و توضیح خلاف واقع $\mathbf{x}’$. فاصله‌های ویژگی‌به‌ویژگی با وارون انحراف مطلق میانهٔ ویژگی $j$ روی مجموعه داده مقیاس‌بندی می‌شوند که به‌صورت زیر تعریف می‌شود:

$$MAD_j = \text{median}_{i \in {1, \ldots, n}} \left( |x^{(i)}_j - \text{median}_{l \in {1, \ldots, n}}(x^{(l)}_j)| \right)$$

میانهٔ یک بردار مقداری است که نیمی از مقادیر بردار از آن بزرگ‌تر و نیم دیگر از آن کوچک‌ترند. MAD معادل واریانس یک ویژگی است، اما به‌جای استفاده از میانگین به‌عنوان مرکز و جمع روی فاصله‌های مجذور، از میانه به‌عنوان مرکز و جمع روی فاصله‌های مطلق استفاده می‌کنیم. تابع فاصلهٔ پیشنهادی نسبت به فاصلهٔ اقلیدسی این مزیت را دارد که نسبت به داده‌های پرت مقاوم‌تر است. مقیاس‌بندی با MAD لازم است تا همهٔ ویژگی‌ها به یک مقیاس برسند – نباید فرق کند که اندازهٔ یک آپارتمان را به متر مربع می‌سنجید یا به فوت مربع.

توضیح مترجم: در این فصل «زیان» (loss) معادل تابعی است که باید کمینه شود. در فرمول بالا نماد $\mathbf{x}^{\prime}$ (x پرایم) توضیح خلاف واقع است، $y^{\prime}$ پیامد مطلوب و $\hat{f}$ مدل یادگیری ماشین. فاصلهٔ منهتن یعنی جمع قدرمطلق تفاضل‌ها (مجموع «قدم‌ها» در یک شبکهٔ شهری)، که برخلاف فاصلهٔ اقلیدسی تفاضل‌ها را مجذور نمی‌کند و به همین دلیل یک اختلاف بسیار بزرگ، کل فاصله را بیش از حد بزرگ نمی‌کند.

برای درک بهتر (توضیح مترجم): فرض کنید ویژگی «متراژ» در داده‌ها مقادیر ۴۰، ۵۰، ۶۰، ۷۰ و ۱۲۰ دارد. میانهٔ آن ۶۰ است. قدرمطلق فاصله‌ها از ۶۰ می‌شود ۲۰، ۱۰، ۰، ۱۰ و ۶۰ که میانهٔ آن‌ها $MAD=10$ است. حالا اگر توضیح خلاف واقع متراژ را ۱۵ واحد تغییر دهد، فاصلهٔ این ویژگی $15/10=1.5$ می‌شود. به همین ترتیب، ویژگی‌ای که MAD آن ۱ است و ۱ واحد تغییر می‌کند فاصلهٔ ۱ دارد؛ یعنی مقیاس ویژگی‌ها یکسان شده است. (مثال عددی فرضی است و در کتاب وجود ندارد.)

پارامتر $\lambda$ فاصله در پیش‌بینی (جملهٔ اول) را با فاصله در مقادیر ویژگی (جملهٔ دوم) متعادل می‌کند. زیان برای یک $\lambda$ مشخص حل می‌شود و یک توضیح خلاف واقع $\mathbf{x}^{\prime}$ برمی‌گرداند. مقدار بزرگ‌تر $\lambda$ یعنی توضیحات خلاف واقعی را ترجیح می‌دهیم که پیش‌بینی‌شان به پیامد مطلوب $y^{\prime}$ نزدیک است، در حالی که مقدار کوچک‌تر یعنی توضیحات خلاف واقع $\mathbf{x}^{\prime}$ را ترجیح می‌دهیم که از نظر مقادیر ویژگی به $\mathbf{x}$ بسیار شبیه‌اند. اگر $\lambda$ بسیار بزرگ باشد، نمونه‌ای انتخاب می‌شود که پیش‌بینی‌اش به $y^{\prime}$ نزدیک‌تر از همه است، صرف‌نظر از اینکه چقدر از $\mathbf{x}$ دور باشد. در نهایت، کاربر باید تصمیم بگیرد چگونه میان این الزام که پیش‌بینیِ توضیح خلاف واقع با پیامد مطلوب برابر باشد و این الزام که توضیح خلاف واقع به $\mathbf{x}$ شبیه باشد، توازن برقرار کند. نویسندگان این روش پیشنهاد می‌کنند به‌جای انتخاب مقداری برای $\lambda$، تحملی (tolerance) مانند $\epsilon$ انتخاب شود که مشخص می‌کند پیش‌بینی نمونهٔ خلاف واقع مجاز است تا چه اندازه از $y^{\prime}$ دور باشد. این قید را می‌توان این‌گونه نوشت:

$$|\hat{f}(\mathbf{x}^{\prime}) - y^{\prime}| \leq \epsilon$$

برای کمینه کردن این تابع زیان، می‌توان از هر الگوریتم بهینه‌سازی مناسبی مانند Nelder-Mead استفاده کرد. اگر به گرادیان‌های مدل یادگیری ماشین دسترسی داشته باشید، می‌توانید از روش‌های مبتنی بر گرادیان مانند ADAM استفاده کنید. نمونهٔ $\mathbf{x}$ که باید توضیح داده شود، خروجی مطلوب $y^{\prime}$ و پارامتر تحمل $\epsilon$ باید از پیش تعیین شوند. تابع زیان نسبت به $\mathbf{x}^{\prime}$ کمینه می‌شود و توضیح خلاف واقعِ (به‌طور محلی) بهینهٔ $\mathbf{x}^{\prime}$ بازگردانده می‌شود، در حالی که $\lambda$ افزایش می‌یابد تا زمانی که جواب به‌قدر کافی نزدیک پیدا شود (= در محدودهٔ پارامتر تحمل):

$$\arg\min_{\mathbf{x}^{\prime}} \max_{\lambda} L(\mathbf{x}, \mathbf{x}^{\prime}, y^{\prime}, \lambda).$$

توضیح مترجم: Nelder-Mead روشی بهینه‌سازی است که به گرادیان نیاز ندارد و فقط با مقدار تابع کار می‌کند؛ ADAM روشی مبتنی بر گرادیان است. چون در این فصل مدل «جعبه‌سیاه» فرض می‌شود و معمولاً گرادیان در دسترس نیست، روش‌های بدون گرادیان اهمیت دارند.

در مجموع، دستورالعمل تولید توضیحات خلاف واقع ساده است:

  1. نمونهٔ $\mathbf{x}$ که باید توضیح داده شود، پیامد مطلوب $y^{\prime}$، تحمل $\epsilon$ و یک مقدار اولیهٔ (پایین) برای $\lambda$ را انتخاب کنید.
  2. یک نمونهٔ تصادفی را به‌عنوان توضیح خلاف واقع اولیه نمونه‌برداری کنید.
  3. زیان را با نقطهٔ شروع، همان توضیح خلاف واقعِ نمونه‌برداری‌شدهٔ اولیه، بهینه کنید.
  4. تا زمانی که $|\hat{f}(\mathbf{x}^{\prime}) - y^{\prime}| > \epsilon$:
    • $\lambda$ را افزایش دهید.
    • زیان را با نقطهٔ شروع، توضیح خلاف واقع فعلی، بهینه کنید.
    • توضیح خلاف واقعی را که زیان را کمینه می‌کند برگردانید.
  5. گام‌های ۲ تا ۴ را تکرار کنید و فهرست توضیحات خلاف واقع را یا آن یکی را که زیان را کمینه می‌کند برگردانید.

روش پیشنهادی چند عیب دارد. این روش فقط معیارهای اول و دوم را در نظر می‌گیرد، نه دو معیار آخر («تولید توضیحات خلاف واقع با تغییر تنها چند ویژگی و مقادیر ویژگیِ محتمل») را. $d$ جواب‌های تنک را ترجیح نمی‌دهد، چون افزایش ۱۰ ویژگی به اندازهٔ ۱ همان فاصله‌ای را از $\mathbf{x}$ می‌دهد که افزایش یک ویژگی به اندازهٔ ۱۰. ترکیب‌های ویژگیِ غیرواقع‌گرایانه جریمه نمی‌شوند.

این روش ویژگی‌های دسته‌ای (categorical) با سطوح متفاوت زیاد را به‌خوبی مدیریت نمی‌کند. نویسندگان روش پیشنهاد کرده‌اند روش را برای هر ترکیبی از مقادیر ویژگی‌های دسته‌ای جداگانه اجرا کنیم، اما اگر چند ویژگی دسته‌ای با مقادیر بسیار داشته باشید، این به انفجار ترکیبی می‌انجامد. برای مثال، شش ویژگی دسته‌ای با ده سطح یکتا به معنای یک میلیون اجرا خواهد بود.

اکنون به رویکرد دیگری نگاه می‌کنیم که بر این مشکلات غلبه می‌کند.

روش Dandl و همکاران

Dandl و همکاران پیشنهاد می‌کنند یک زیان چهارهدفه به‌طور هم‌زمان کمینه شود:

$$L(\mathbf{x},\mathbf{x’},y’,\mathbf{X}^{\text{obs}})=\big(o_1(\hat{f}(\mathbf{x’}),y’),o_2(\mathbf{x}, \mathbf{x’}),o_3(\mathbf{x},\mathbf{x’}),o_4(\mathbf{x’},\mathbf{X}^{\text{obs}})\big) $$

هر یک از چهار هدف $o_1$ تا $o_4$ با یکی از چهار معیار بالا متناظر است. هدف اول $o_1$ بازتاب می‌دهد که پیش‌بینیِ توضیح خلاف واقع ما $\mathbf{x’}$ باید تا حد امکان به پیش‌بینی مطلوب ما $y’$ نزدیک باشد. بنابراین می‌خواهیم فاصلهٔ میان $\hat{f}(\mathbf{x’})$ و $y’$ را کمینه کنیم، که در اینجا با متریک منهتن (نرم $L_1$) محاسبه می‌شود:

$$ o_1(\hat{f}(\mathbf{x’}), y’) = \begin{cases} 0 & \text{if } \hat{f}(\mathbf{x’}) \in y’ \\ \inf\limits_{y’ \in y’} \left| \hat{f}(\mathbf{x’}) - y’ \right| & \text{else} \end{cases} $$

توضیح مترجم: در فرمول بالا $y’$ یک مجموعهٔ پیامدهای مطلوب است (مثلاً بازهٔ «احتمال بیش از ۵۰٪»)، نه الزاماً یک عدد. اگر پیش‌بینی درون این مجموعه باشد، هدف $o_1$ صفر است؛ وگرنه برابر است با فاصلهٔ پیش‌بینی تا نزدیک‌ترین عضو مجموعه ($\inf$ یعنی کوچک‌ترین مقدار ممکن). نماد $y’$ در متن اصلی هم برای مجموعه و هم برای عضو آن به کار رفته است (در عبارت $\inf_{y’ \in y’}$) که یک ابهام نمادگذاری در خود منبع است و عیناً حفظ شد.

هدف دوم $o_2$ بازتاب می‌دهد که توضیح خلاف واقع ما باید تا حد امکان به نمونهٔ $\mathbf{x}$ ما شبیه باشد. این هدف فاصلهٔ میان $\mathbf{x’}$ و $\mathbf{x}$ را به‌صورت فاصلهٔ گاور (Gower distance) می‌سنجد:

$$o_2(\mathbf{x},\mathbf{x’})=\frac{1}{p}\sum_{j=1}^{p}\delta_G(x_j, x’_j)$$

که در آن $p$ تعداد ویژگی‌هاست. مقدار $\delta_G$ به نوع ویژگیِ $x_j$ بستگی دارد:

$$ \delta_G(x_j, x’_j) = \begin{cases} \frac{1}{\widehat{R}_j} |x_j - x’_j| & \text{if } x_j \text{ numerical} \\ \mathbb{I}_{x_j \neq x’_j} & \text{if } x_j \text{ categorical} \end{cases} $$

تقسیم فاصلهٔ یک ویژگی عددی $j$ بر $\widehat{R}_j$، یعنی دامنهٔ مشاهده‌شده (observed value range)، مقدار $\delta_G$ را برای همهٔ ویژگی‌ها بین ۰ و ۱ مقیاس‌بندی می‌کند.

توضیح مترجم: numerical = عددی (پیوسته)، categorical = دسته‌ای (گسسته). $\mathbb{I}$ تابع نشانگر است: اگر مقدار دسته‌ای تغییر کرده باشد ۱ و اگر تغییر نکرده باشد ۰ می‌دهد. $\widehat{R}_j$ برابر است با بزرگ‌ترین منهای کوچک‌ترین مقدار مشاهده‌شدهٔ ویژگی $j$ در داده.

برای درک بهتر (توضیح مترجم): فرض کنید سه ویژگی داریم: سن (دامنهٔ مشاهده‌شده ۵۰ سال)، مدت وام (دامنه ۶۰ ماه) و شغل (دسته‌ای). اگر یک توضیح خلاف واقع سن را ۱۰ سال کم کند، مدت را ۳۰ ماه کم کند و شغل را تغییر ندهد، آنگاه $\delta_G$ برای هر ویژگی به ترتیب $10/50=0.2$، $30/60=0.5$ و $0$ است و $o_2=(0.2+0.5+0)/3\approx 0.233$. (مثال عددی فرضی است و در کتاب نیست.)

فاصلهٔ گاور می‌تواند هم ویژگی‌های عددی و هم دسته‌ای را مدیریت کند، اما نمی‌شمارد که چند ویژگی تغییر کرده‌اند. بنابراین، تعداد ویژگی‌ها را در یک هدف سوم $o_3$ با نرم $L_0$ می‌شماریم:

$$o_3(\mathbf{x},\mathbf{x’})=||\mathbf{x}-\mathbf{x’}||_0=\sum_{j=1}^{p}I_{x’_j\neq x_j}.$$

با کمینه کردن $o_3$ معیار سوم خود، یعنی تغییرهای تنک ویژگی‌ها، را دنبال می‌کنیم.

هدف چهارم $o_4$ بازتاب می‌دهد که توضیحات خلاف واقع ما باید ترکیب‌های محتمل از مقادیر ویژگی داشته باشند. می‌توانیم با استفاده از داده‌های آموزشی یا مجموعه داده‌ای دیگر استنباط کنیم یک نقطهٔ داده چقدر «محتمل» است. این مجموعه داده را با $\mathbf{X}^{\text{obs}}$ نشان می‌دهیم. به‌عنوان تقریبی برای درست‌نمایی (likelihood)، $o_4$ میانگین فاصلهٔ گاور میان $\mathbf{x’}$ و نزدیک‌ترین نقطهٔ داده‌ٔ مشاهده‌شده $x^{[1]}\in \mathbf{X}^{\text{obs}}$ را اندازه می‌گیرد:

$$o_4(\mathbf{x’},\mathbf{X}^{\text{obs}})=\frac{1}{p}\sum_{j=1}^{p}\delta_G(x’_j,x^{[1]}_j)$$

در مقایسه با Wachter و همکاران، $L(\mathbf{x},\mathbf{x}‘,y’,\mathbf{X}^{\text{obs}})$ هیچ جملهٔ توازن/وزن‌دهی مانند $\lambda$ ندارد. ما نمی‌خواهیم چهار هدف $o_1$، $o_2$، $o_3$ و $o_4$ را با جمع کردن و وزن‌دهی در یک هدف واحد ادغام کنیم، بلکه می‌خواهیم هر چهار جمله را هم‌زمان بهینه کنیم.

چگونه می‌توانیم این کار را انجام دهیم؟ از الگوریتم ژنتیک مرتب‌سازی نامغلوب (Nondominated Sorting Genetic Algorithm) استفاده می‌کنیم (Deb و همکاران، ۲۰۰۲) که به‌اختصار NSGA-II نامیده می‌شود. NSGA-II الگوریتمی برگرفته از طبیعت است که قانون داروین یعنی «بقای اصلح» را به کار می‌گیرد. شایستگی (fitness) یک توضیح خلاف واقع را با بردار مقادیر هدفش $(o_1,o_2,o_3,o_4)$ نشان می‌دهیم. هرچه مقادیر هدف‌ها برای یک توضیح خلاف واقع کمتر باشد، «شایسته‌تر» است.

توضیح مترجم: در متن اصلی «Nondominated» آمده است؛ در این ترجمه «نامغلوب/غیرمغلوب» (در مقابل dominated = مغلوب) به کار رفته است. یک توضیح خلاف واقع وقتی بر دیگری «غلبه» دارد که در هیچ هدفی بدتر و دست‌کم در یک هدف بهتر باشد. توضیحاتی که هیچ‌کدام بر دیگری غلبه ندارند «نامغلوب»اند. در این ترجمه «نامغلوب» یکدست به کار می‌رود.

الگوریتم از چهار گام تشکیل شده است که تا برآورده شدن یک معیار توقف تکرار می‌شوند، برای مثال حداکثر تعداد تکرار/نسل. شکل ۱۵.۲ چهار گام یک نسل را نشان می‌دهد.

شکل ۱۵.۲: نمایش یک نسل از الگوریتم NSGA-II.

توضیح مترجم (متن داخل تصویر): تصویر چهار پنل دارد. عنوان پنل‌ها از چپ به راست: Selection, Recombination, Mutation = انتخاب، ترکیب، جهش؛ Nondominated Sorting Algorithm = الگوریتم مرتب‌سازی نامغلوب؛ Crowding Distance Sorting Algorithm = الگوریتم مرتب‌سازی فاصلهٔ تراکمی؛ Selection = انتخاب. در پنل اول برچسب‌های هر کاندیدا (شکل آدمک) عبارت‌اند از: Income +€30000 = درآمد ۳۰٬۰۰۰ یورو بیشتر؛ No. cards -1 / Income €5000 = تعداد کارت‌ها ۱ کمتر / درآمد ۵٬۰۰۰ یورو؛ No. cards -2 / Income €6000 = تعداد کارت‌ها ۲ کمتر / درآمد ۶٬۰۰۰ یورو؛ Income €23000 = درآمد ۲۳٬۰۰۰ یورو. در پنل دوم، دسته‌هایی از کاندیداها بر اساس رتبهٔ نامغلوبی چیده شده‌اند و دسته‌های دارای علامت ضربدر قرمز کنار گذاشته می‌شوند. در پنل سوم اعداد ۱ تا ۸ رتبهٔ هر کاندیدا بر اساس فاصلهٔ تراکمی‌اند و ضربدر قرمز کاندیداهای حذف‌شده را نشان می‌دهد. پنل آخر مجموعهٔ انتخاب‌شده برای نسل بعد است.

در نسل اول، گروهی از کاندیداهای توضیح خلاف واقع با تغییر تصادفی برخی ویژگی‌ها نسبت به نمونهٔ $\mathbf{x}$ که باید توضیح داده شود مقداردهی اولیه می‌شود. با ادامهٔ مثال اعتباری بالا، یک توضیح خلاف واقع می‌تواند افزایش درآمد به اندازهٔ ۳۰٬۰۰۰ یورو را پیشنهاد کند، در حالی که دیگری پیشنهاد می‌کند در پنج سال گذشته نکول وجود نداشته باشد و سن ده سال کمتر باشد. همهٔ مقادیر ویژگیِ دیگر با مقادیر $\mathbf{x}$ برابرند. سپس هر کاندیدا با چهار تابع هدف بالا ارزیابی می‌شود. از میان آن‌ها، برخی کاندیداها را تصادفی برمی‌گزینیم، به‌طوری که کاندیداهای شایسته‌تر با احتمال بیشتری انتخاب می‌شوند. کاندیداها جفت‌جفت با هم ترکیب می‌شوند تا فرزندانی شبیه به آن‌ها تولید کنند، به این صورت که مقادیر ویژگی‌های عددی‌شان میانگین‌گیری می‌شود یا ویژگی‌های دسته‌ای‌شان با هم آمیخته (crossover) می‌شوند. افزون بر این، مقادیر ویژگیِ فرزندان را اندکی جهش می‌دهیم تا کل فضای ویژگی کاوش شود.

از دو گروه حاصل، یکی والدین و دیگری فرزندان، فقط نیمهٔ بهتر را با دو الگوریتم مرتب‌سازی می‌خواهیم. الگوریتم مرتب‌سازی نامغلوب کاندیداها را بر اساس مقادیر هدفشان مرتب می‌کند. اگر کاندیداها به یک اندازه خوب باشند، الگوریتم مرتب‌سازی فاصلهٔ تراکمی (crowding distance) کاندیداها را بر اساس تنوعشان مرتب می‌کند.

با توجه به رتبه‌بندی دو الگوریتم مرتب‌سازی، نیمهٔ امیدبخش‌ترین و/یا متنوع‌ترین کاندیداها را برمی‌گزینیم. از این مجموعه برای نسل بعد استفاده می‌کنیم و فرایند انتخاب، ترکیب و جهش را دوباره آغاز می‌کنیم. با تکرار پی‌درپی این گام‌ها، امیدواریم به مجموعه‌ای متنوع از کاندیداهای امیدبخش با مقادیر هدف پایین نزدیک شویم. از این مجموعه می‌توانیم آن‌هایی را برگزینیم که از همه بیشتر از آن‌ها راضی هستیم، یا می‌توانیم با برجسته کردن اینکه کدام ویژگی‌ها و چند بار تغییر کرده‌اند، خلاصه‌ای از همهٔ توضیحات خلاف واقع ارائه دهیم.

برای درک بهتر (توضیح مترجم): فرض کنید در نسل اول چهار کاندیدا داریم: A (درآمد +۳۰٬۰۰۰)، B (بدون نکول و سن −۱۰)، C و D. هر کدام چهار مقدار $(o_1,o_2,o_3,o_4)$ دارند. «ترکیب» یعنی ساختن فرزندی از A و B که مثلاً میانگین درآمدشان را و یکی از دو ویژگی دسته‌ایشان را می‌گیرد؛ «جهش» یعنی تغییر کوچکی در همان فرزند (مثلاً ۲۰۰ یورو درآمد بیشتر). سپس والدین و فرزندان با هم مرتب می‌شوند و فقط نیمهٔ بهتر به نسل بعد می‌رسد. (مثال فرضی است و در کتاب نیست.)

مثال

مثال زیر بر پایهٔ مثال مجموعه داده اعتباری در Dandl و همکاران (۲۰۲۰) است. مجموعه داده German Credit Risk را می‌توان در پلتفرم چالش‌های یادگیری ماشین kaggle.com یافت. نویسندگان یک ماشین بردار پشتیبان (با کرنل پایهٔ شعاعی) را برای پیش‌بینی احتمال اینکه یک مشتری ریسک اعتباری خوبی دارد آموزش دادند. مجموعه داده متناظر ۵۲۲ مشاهدهٔ کامل و نه ویژگی دارد که اطلاعات اعتباری و اطلاعات مشتری را شامل می‌شوند.

هدف یافتن توضیحات خلاف واقع برای مشتری‌ای با مقادیر ویژگی جدول ۱۵.۱ است.

جدول ۱۵.۱: مقادیر ویژگیِ یک مشتری مشخص.

agesexjobhousingsavingsamountdur.purpose
58funskilledfreelittle614348car

توضیح مترجم: نام ستون‌ها و مقادیر دسته‌ای جدول عیناً مطابق مجموعه داده به انگلیسی حفظ شده‌اند. معنی: age = سن، sex = جنسیت (f = زن/female، m = مرد/male)، job = شغل (unskilled = غیرماهر، skilled = ماهر)، housing = وضعیت مسکن (free = رایگان/بدون اجاره)، savings = پس‌انداز (little = اندک)، amount = مبلغ وام، dur. = مدت (duration، به ماه)، purpose = هدف وام (car = خرید خودرو).

پیش‌بینی SVM این است که احتمال اینکه این شخص ریسک اعتباری خوبی داشته باشد ۲۴٫۲٪ است. توضیحات خلاف واقع باید پاسخ دهند که ویژگی‌های ورودی باید چگونه تغییر کنند تا احتمال پیش‌بینی‌شده بزرگ‌تر از ۵۰٪ شود. جدول ۱۵.۲ ده توضیح خلاف واقع بهتر را نشان می‌دهد. پنج ستون اول تغییرهای پیشنهادیِ ویژگی‌ها را شامل می‌شوند (فقط ویژگی‌های تغییریافته نمایش داده شده‌اند)، سه ستون بعدی مقادیر هدف را نشان می‌دهند ($o_1$ در همهٔ موارد برابر ۰ است) و ستون آخر احتمال پیش‌بینی‌شده را نمایش می‌دهد.

جدول ۱۵.۲: ده توضیح خلاف واقع بهتری که برای این مشتری یافت شد.

agesexjobamountdur.o₂o₃o₄f(x’)
skilled‎-200.10820.0360.501
skilled‎-240.11420.0290.525
skilled‎-220.11120.0330.513
‎-6skilled‎-240.12630.0180.505
‎-3skilled‎-240.12030.0240.515
‎-1skilled‎-240.11630.0270.522
‎-3m‎-240.19530.0120.501
‎-6m‎-250.20230.0110.501
‎-30mskilled‎-240.28540.0050.590
‎-4m‎-1254‎-240.20440.0020.506

توضیح مترجم: اعداد جدول مقدار «تغییر» نسبت به مشتری جدول ۱۵.۱ هستند و فقط ویژگی‌های تغییریافته پر شده‌اند: مثلاً dur. برابر ‎−۲۰ یعنی مدت وام ۲۰ ماه کوتاه‌تر شود، و job برابر skilled یعنی شغل از «غیرماهر» به «ماهر» تغییر کند. $o_2$ فاصلهٔ گاور، $o_3$ تعداد ویژگی‌های تغییریافته، $o_4$ فاصلهٔ متوسط تا نزدیک‌ترین نمونهٔ مشاهده‌شده و f(x’) احتمال پیش‌بینی‌شدهٔ ریسک اعتباری خوب است. اعداد عیناً مطابق جدول اصلی‌اند.

همهٔ توضیحات خلاف واقع احتمال پیش‌بینی‌شدهٔ بزرگ‌تر از ۵۰٪ دارند و هیچ‌کدام بر دیگری غلبه ندارند. نامغلوب (nondominated) یعنی هیچ‌یک از توضیحات خلاف واقع در همهٔ هدف‌ها مقادیر کوچک‌تری نسبت به توضیحات دیگر ندارد. می‌توانیم توضیحات خلاف واقع خود را مجموعه‌ای از جواب‌های توازنی (trade-off) در نظر بگیریم.

همهٔ آن‌ها کاهش مدت را از ۴۸ ماه تا حداقل ۲۳ ماه پیشنهاد می‌کنند و برخی از آن‌ها پیشنهاد می‌کنند که زن به‌جای غیرماهر بودن، ماهر شود. برخی توضیحات خلاف واقع حتی تغییر جنسیت از زن به مرد را پیشنهاد می‌کنند، که سوگیری جنسیتی (gender bias) مدل را نشان می‌دهد. این تغییر همیشه با کاهشی میان یک تا ۳۰ سال در سن همراه است. همچنین می‌بینیم که اگرچه برخی توضیحات خلاف واقع تغییر چهار ویژگی را پیشنهاد می‌کنند، همین توضیحات نزدیک‌ترین‌ها به داده‌های آموزشی هستند.

توضیح مترجم: متن می‌گوید همهٔ توضیحات «حداقل ۲۳ ماه» کاهش مدت را پیشنهاد می‌کنند؛ در جدول ۱۵.۲ کوچک‌ترین کاهش ‎−۲۰ و بزرگ‌ترین ‎−۲۵ است و ۴۸−۲۵=۲۳ کوتاه‌ترین مدت پیشنهادی را می‌دهد. یعنی عبارت «از ۴۸ ماه تا حداقل ۲۳ ماه» به کوتاه‌ترین مدت پیشنهادی (۲۳ ماه) اشاره دارد، نه به کاهش ۲۳ ماهه. همچنین عبارت «سوگیری جنسیتی» یعنی مدل برای دو مشتریِ مشابه که فقط جنسیتشان فرق دارد پیش‌بینی متفاوتی می‌دهد؛ این نتیجه‌ای دربارهٔ مدل است، نه دربارهٔ واقعیت. و جملهٔ آخر می‌گوید توضیحات چهارتغییره، با اینکه تنک نیستند، به نقاط داده‌ای واقعی نزدیک‌ترند ($o_4$ کوچک‌تر در ردیف‌های ۹ و ۱۰ جدول).

نقاط قوت

تفسیر توضیحات خلاف واقع بسیار روشن است. اگر مقادیر ویژگیِ یک نمونه مطابق توضیح خلاف واقع تغییر کند، پیش‌بینی به پیش‌بینیِ از پیش تعیین‌شده تغییر می‌کند. هیچ فرض اضافی و هیچ جادویی در پس‌زمینه وجود ندارد. این همچنین یعنی توضیحات خلاف واقع به اندازهٔ روش‌هایی مانند LIME خطرناک نیستند، که در آن‌ها معلوم نیست مدل محلی را تا چه حد می‌توان برای تفسیر برون‌یابی کرد.

روش خلاف واقع یک نمونهٔ جدید می‌سازد، اما می‌توانیم یک توضیح خلاف واقع را با گزارش اینکه کدام مقادیر ویژگی تغییر کرده‌اند نیز خلاصه کنیم. این به ما دو گزینه برای گزارش نتایج می‌دهد. می‌توانید یا نمونهٔ خلاف واقع را گزارش کنید یا برجسته کنید که کدام ویژگی‌ها میان نمونهٔ مورد نظر و نمونهٔ خلاف واقع تغییر کرده‌اند.

روش خلاف واقع به دسترسی به داده‌ها یا مدل نیاز ندارد. فقط به دسترسی به تابع پیش‌بینیِ مدل نیاز دارد، که برای نمونه از طریق یک API وب نیز کار می‌کند. این برای شرکت‌هایی جذاب است که توسط اشخاص ثالث ممیزی می‌شوند یا برای کاربران توضیح ارائه می‌دهند بی‌آنکه مدل یا داده‌ها را افشا کنند. یک شرکت به دلیل اسرار تجاری یا حفاظت از داده‌ها علاقه دارد از مدل و داده‌ها محافظت کند. توضیحات خلاف واقع توازنی میان توضیح پیش‌بینی‌های مدل و حفاظت از منافع مالک مدل برقرار می‌کنند.

این روش با سامانه‌هایی که از یادگیری ماشین استفاده نمی‌کنند نیز کار می‌کند. می‌توانیم برای هر سامانه‌ای که ورودی دریافت و خروجی بازمی‌گرداند توضیح خلاف واقع بسازیم. سامانه‌ای که اجاره‌بهای آپارتمان‌ها را پیش‌بینی می‌کند می‌تواند از قواعد دست‌نویس نیز تشکیل شده باشد و توضیحات خلاف واقع باز هم کار می‌کنند.

روش توضیح خلاف واقع نسبتاً آسان پیاده‌سازی می‌شود، چون در اصل یک تابع زیان است (با یک یا چند هدف) که با کتابخانه‌های بهینه‌سازیِ استاندارد قابل بهینه‌سازی است. برخی جزئیات اضافی را باید در نظر گرفت، مانند محدود کردن مقادیر ویژگی به بازه‌های معنادار (مثلاً فقط متراژهای مثبت برای آپارتمان).

توضیحات خلاف واقع برای هدف توجیه (justification) مفیدند، به‌ویژه برای جبران (recourse)، چون صادقانه (truthful) و ساده‌اند. در مقایسه با سایر روش‌های تفسیر، آن‌ها فقط برآوردی از چیزی نیستند، مانند مقادیر Shapley. اما توضیحات خلاف واقع صرفاً نمونه‌های دادهٔ تازه‌ساخته‌شده‌ای هستند که می‌توانیم گزارش کنیم مدل برایشان چه پیش‌بینی می‌کند.

توضیح مترجم: «جبران» (recourse) به این معناست که فردی که تصمیم نامطلوب گرفته است (مثلاً رد وام) بداند برای رسیدن به تصمیم مطلوب چه کاری شدنی است؛ مثال پیتر در ابتدای فصل همین است. در متن انگلیسی جملهٔ آخر همین بند به‌صورت «just data newly created data instances» نوشته شده که ظاهراً یک غلط تایپی در منبع است («data» تکرار شده)؛ ترجمه بر اساس معنای مقصود است.

محدودیت‌ها

برای هر نمونه معمولاً چندین توضیح خلاف واقع خواهید یافت (اثر راشومون). این ناراحت‌کننده است – بیشتر مردم توضیح‌های ساده را بر پیچیدگی دنیای واقعی ترجیح می‌دهند. این یک چالش عملی نیز هست. فرض کنید برای یک نمونه ۲۳ توضیح خلاف واقع تولید کرده‌ایم. آیا همه را گزارش می‌کنیم؟ فقط بهترین را؟ اگر همه نسبتاً «خوب» باشند اما بسیار متفاوت باشند چه؟ این پرسش‌ها باید برای هر پروژه از نو پاسخ داده شوند. داشتن چند توضیح خلاف واقع می‌تواند مزیت هم باشد، چون انسان‌ها می‌توانند آن‌هایی را برگزینند که با دانش پیشین‌شان سازگار است.

توضیحات خلاف واقع برای بینش دربارهٔ مدل و داده چندان مفید نیستند، چون بینش‌های حاصل از یک توضیح خلاف واقع مختص یک نمونه و یک پیش‌بینیِ خلاف واقع است. این بینشی بسیار محدود است، حتی در مقایسه با سایر روش‌های محلی.

نرم‌افزار و جایگزین‌ها

روش توضیح خلاف واقع چندهدفهٔ Dandl و همکاران در یک مخزن GitHub پیاده‌سازی شده است.

در بستهٔ Python به نام Alibi، نویسندگان یک روش خلاف واقع ساده و نیز یک روش گسترش‌یافته را پیاده‌سازی کرده‌اند که از نمونه‌های اولیهٔ کلاس (class prototypes) برای بهبود تفسیرپذیری و همگرایی خروجی‌های الگوریتم استفاده می‌کند (Van Looveren و Klaise، ۲۰۲۱).

Karimi و همکاران (۲۰۲۰) نیز پیاده‌سازی Python الگوریتم MACE خود را در یک مخزن GitHub ارائه کردند. آن‌ها معیارهای لازم برای توضیحات خلاف واقعِ درست را به فرمول‌های منطقی ترجمه کردند و از حل‌کننده‌های ارضاپذیری (satisfiability solvers) برای یافتن توضیحات خلاف واقعی که آن‌ها را برآورده می‌کنند استفاده کردند.

Mothilal و همکاران (۲۰۲۰) DiCE (Diverse Counterfactual Explanation) را برای تولید مجموعه‌ای متنوع از توضیحات خلاف واقع بر پایهٔ فرایندهای نقطه‌ای دترمینانی (determinantal point processes) توسعه دادند. DiCE هم یک روش مستقل از مدل و هم یک روش مبتنی بر گرادیان را پیاده‌سازی می‌کند.

راه دیگر برای جست‌وجوی توضیحات خلاف واقع، الگوریتم Growing Spheres از Laugel و همکاران (۲۰۱۷) است. آن‌ها در مقاله‌شان واژهٔ «خلاف واقع» را به کار نمی‌برند، اما روش بسیار مشابه است. آن‌ها نیز یک تابع زیان تعریف می‌کنند که توضیحات خلاف واقعی را ترجیح می‌دهد که کمترین تغییر ممکن را در مقادیر ویژگی داشته باشند. آن‌ها به‌جای بهینه‌سازی مستقیم تابع، پیشنهاد می‌کنند ابتدا یک کره پیرامون نقطهٔ مورد نظر رسم شود، از نقاط درون آن کره نمونه‌برداری شود و بررسی شود که آیا یکی از نقاط نمونه‌برداری‌شده پیش‌بینی مطلوب را می‌دهد یا نه. سپس کره را به‌تناسب منقبض یا منبسط می‌کنند تا یک توضیح خلاف واقعِ (تنک) پیدا و در نهایت بازگردانده شود.

Anchors از Ribeiro و همکاران (۲۰۱۸) نقطهٔ مقابل توضیحات خلاف واقع است؛ فصل قوانین محدوده‌دار (Anchors) را ببینید.


  1. «Counterfactuals» اصطلاحی است که برای چند منظور به کار می‌رود. در استنتاج علّی (causal inference) معنای دیگری دارد و به مداخله‌های علّیِ فرضی مربوط است. ↩