فصل ۱۴: LIME

عنوان اصلی: LIME
منبع: https://christophm.github.io/interpretable-ml-book/lime.html
نویسنده: Christoph Molnar
مترجم: مریم محمودی

مدل‌های جانشین محلی (Local Surrogate Models) مدل‌های تفسیرپذیری هستند که برای توضیح پیش‌بینی‌های فردی یک مدل جعبه سیاه به کار می‌روند. LIME (Local Interpretable Model-agnostic Explanations — توضیحات محلی تفسیرپذیر مستقل از مدل)، که توسط Ribeiro، Singh و Guestrin (2016) پیشنهاد شده، روشی برای برازش مدل‌های جانشین محلی است.

ایده اصلی ساده است: به جای تلاش برای تفسیر مدل پیچیده در کل فضا، یک مدل تفسیرپذیر ساده‌تر را فقط در همسایگی نقطه مورد نظر برازش می‌دهیم.

دستورالعمل LIME:

۱. نمونه‌ای را که می‌خواهید توضیح دهید انتخاب کنید. ۲. مجموعه داده‌ای اختلال‌یافته (perturbed) بسازید و پیش‌بینی مدل جعبه سیاه را برای آن‌ها به دست آورید. ۳. به نمونه‌های اختلال‌یافته بر اساس نزدیکی به نمونه اصلی وزن دهید. ۴. یک مدل تفسیرپذیر وزن‌دار (مثلاً رگرسیون خطی) روی مجموعه داده وزن‌دار آموزش دهید. ۵. مدل محلی را برای توضیح پیش‌بینی نمونه اصلی تفسیر کنید.

پایه ریاضی

توضیح LIME برای یک نمونه $\mathbf{x}$ با حل مسئله بهینه‌سازی زیر به دست می‌آید:

$$\text{explanation}(\mathbf{x}) = \arg\min_{g ,\in, \mathcal{G}} ;\mathcal{L}\!\left(\hat{f},, g,, \pi_{\mathbf{x}}\right) + \Omega(g)$$

که در آن:

• $\hat{f}$: مدل جعبه سیاه که می‌خواهیم توضیح دهیم.
• $g \in \mathcal{G}$: مدل جانشین تفسیرپذیر (مثلاً رگرسیون خطی یا درخت تصمیم کوچک) از فضای مدل‌های تفسیرپذیر $\mathcal{G}$.
• $\mathcal{L}(\hat{f}, g, \pi_{\mathbf{x}})$: تابع خطا که اندازه می‌گیرد $g$ تا چه حد پیش‌بینی‌های $\hat{f}$ را در همسایگی $\mathbf{x}$ (با وزن‌دهی $\pi_{\mathbf{x}}$) تقریب می‌زند.
• $\Omega(g)$: پیچیدگی مدل $g$ (مثلاً تعداد ویژگی‌های غیرصفر در رگرسیون خطی).
• $\pi_{\mathbf{x}}$: تابع مجاورت (kernel) که نزدیکی نمونه‌های اختلال‌یافته به $\mathbf{x}$ را اندازه می‌گیرد.

هدف این است که مدل $g$ را بیابیم که هم به خوبی $\hat{f}$ را در محلی از $\mathbf{x}$ تقریب بزند و هم پیچیدگی پایینی داشته باشد.

LIME برای داده‌های جدولی

داده‌های جدولی در قالب جداول هستند که هر سطر یک نمونه و هر ستون یک ویژگی است. تعریف «همسایگی» برای داده‌های جدولی چالش‌برانگیز است.

LIME با نمونه‌گیری از توزیع نرمال حول هر ویژگی، نمونه‌های اختلال‌یافته می‌سازد. این کار با در نظر گرفتن میانگین و انحراف معیار هر ویژگی از مجموعه آموزشی انجام می‌شود. سپس نمونه‌های اختلال‌یافته توسط مدل جعبه سیاه برچسب‌گذاری شده و با توجه به فاصله از نمونه اصلی وزن می‌گیرند.

شکل ۱۴.۱ فرآیند LIME را برای داده‌های جدولی با دو ویژگی نشان می‌دهد:

شکل ۱۴.۱: الگوریتم LIME برای داده‌های جدولی. الف) سطح پیش‌بینی بر اساس ویژگی‌های $x_1$ و $x_2$. کلاس پیش‌بینی‌شده: ۱ (تیره) یا ۰ (روشن). ب) نمونه مورد نظر (نقطه بزرگ) و داده‌های نمونه‌برداری‌شده (نقاط کوچک). ج) وزن‌دهی نمونه‌ها بر اساس فاصله از نمونه اصلی. د) علامت‌های (+/−) طبقه‌بندی مدل محلی آموزش‌یافته از نمونه‌های وزن‌دار را نشان می‌دهند. خط سفید مرز تصمیم ($P(c=1)=0.5$) را مشخص می‌کند.

مشکل پهنای کرنل

یک مشکل بزرگ در LIME تبلایی برای داده‌های جدولی، انتخاب پهنای کرنل (kernel width) است. پهنای کرنل تعیین می‌کند که همسایگی چقدر گسترده باشد — کرنل باریک فقط نمونه‌های بسیار نزدیک را در نظر می‌گیرد، در حالی که کرنل پهن اثر وزن‌دهی را از بین می‌برد. LIME به‌طور پیش‌فرض پهنای کرنل را برابر $0.75 \times \sqrt{p}$ قرار می‌دهد، که در آن $p$ تعداد ویژگی‌هاست — اما منطق روشنی برای این انتخاب وجود ندارد.

شکل ۱۴.۲ نشان می‌دهد که پهنای کرنل‌های مختلف چه توضیحات متفاوتی برای همان نمونه تولید می‌کنند:

شکل ۱۴.۲: توضیح پیش‌بینی نمونه $x = 1.6$ با پهناهای کرنل مختلف. پیش‌بینی‌های مدل با خط ضخیم نشان داده شده و توزیع داده با نقاط روی محور افقی مشخص است. سه مدل جانشین محلی با پهناهای کرنل مختلف محاسبه شده‌اند.

مثال: داده پنگوئن

شکل ۱۴.۳ توضیحات LIME را برای دو نمونه از مجموعه داده پنگوئن نشان می‌دهد:

شکل ۱۴.۳: توضیحات LIME برای دو نمونه از مجموعه داده پنگوئن. محور افقی اثر ویژگی را نشان می‌دهد که برابر وزن ضربدر مقدار واقعی ویژگی است.