Keyboard shortcuts

Press ← or → to navigate between chapters

Press S or / to search in the book

Press ? to show this help

Press Esc to hide this help

فصل ۱۴: LIME

عنوان اصلی: LIME
منبع: https://christophm.github.io/interpretable-ml-book/lime.html
نویسنده: Christoph Molnar
مترجم: مریم محمودی


مدل‌های جانشین محلی (Local Surrogate Models) مدل‌هایی تفسیرپذیر هستند که برای توضیح پیش‌بینی‌های فردیِ مدل‌های یادگیری ماشین جعبه‌سیاه به کار می‌روند. توضیحات محلی تفسیرپذیر مستقل از مدل (Local Interpretable Model-agnostic Explanations یا LIME)، که Ribeiro و همکاران (۲۰۱۶) آن را پیشنهاد کرده‌اند، رویکردی برای برازش مدل‌های جانشین است. مدل‌های جانشین آموزش داده می‌شوند تا پیش‌بینی‌های مدل جعبه‌سیاهِ زیربنایی را تقریب بزنند.

توضیح مترجم: در این فصل «مدل جانشین» (surrogate model) به مدلی ساده و تفسیرپذیر گفته می‌شود که به‌جای مدل جعبه‌سیاه، رفتار آن را تقلید می‌کند. «محلی» (local) یعنی این تقلید فقط در اطراف یک نمونهٔ مشخص مدنظر است، نه در کل فضای ورودی؛ فصل مدل‌های جایگزین حالت سراسری (global) همین ایده را شرح می‌دهد.

ایده بسیار شهودی است. ابتدا داده‌های آموزشی را فراموش کنید و تصور کنید فقط خودِ مدل جعبه‌سیاه را در اختیار دارید، که می‌توانید به آن نقاط داده‌ای بدهید و پیش‌بینی‌های مدل را بگیرید. هر چند بار که بخواهید می‌توانید جعبه را بیازمایید. هدف شما این است که بفهمید چرا مدل یادگیری ماشین یک پیش‌بینی مشخص را انجام داده است. LIME آزمایش می‌کند وقتی گونه‌های مختلفی از داده‌های شما را به مدل یادگیری ماشین می‌دهید، پیش‌بینی‌ها چه می‌شوند. LIME یک مجموعه داده جدید تولید می‌کند که از نمونه‌های اختلال‌یافته (perturbed) و پیش‌بینی‌های متناظر مدل جعبه‌سیاه تشکیل شده است. سپس LIME روی این مجموعه داده جدید یک مدل تفسیرپذیر آموزش می‌دهد که بر اساس نزدیکیِ نمونه‌های تولیدشده به نمونهٔ مورد نظر وزن‌دهی شده است. مدل تفسیرپذیر می‌تواند هر چیزی از Lasso تا درخت تصمیم باشد. مدل آموخته‌شده باید پیش‌بینی‌های مدل یادگیری ماشین را به‌صورت محلی به‌خوبی تقریب بزند، اما لازم نیست تقریب سراسری خوبی باشد. این نوع دقت را وفاداری محلی (local fidelity) نیز می‌نامند.

از نظر ریاضی، مدل‌های جانشین محلی با قید تفسیرپذیری را می‌توان به‌صورت زیر بیان کرد:

$$\text{explanation}(\mathbf{x}) = \arg\min_{g \in G} L(\hat{f},g,\pi_{\mathbf{x}}) + \Omega(g)$$

مدل توضیح‌دهنده برای نمونهٔ $\mathbf{x}$، مدل $g$ است (مثلاً یک مدل رگرسیون خطی) که تابع زیان $L$ (مثلاً میانگین مربعات خطا) را کمینه می‌کند؛ این تابع زیان اندازه می‌گیرد که توضیح تا چه حد به پیش‌بینی مدل اصلی $\hat{f}$ (مثلاً یک مدل xgboost) نزدیک است، در حالی که پیچیدگی مدل $\Omega(g)$ پایین نگه داشته می‌شود (مثلاً ترجیح ویژگی‌های کمتر). $G$ خانوادهٔ توضیحات ممکن است، برای مثال همهٔ مدل‌های رگرسیون خطی ممکن. معیار مجاورت $\pi_{\mathbf{x}}$ مشخص می‌کند همسایگی پیرامون نمونهٔ $\mathbf{x}$ که برای توضیح در نظر می‌گیریم چقدر بزرگ است. در عمل، LIME فقط بخش زیان را بهینه می‌کند. کاربر باید پیچیدگی را تعیین کند، مثلاً با انتخاب حداکثر تعداد ویژگی‌هایی که مدل رگرسیون خطی مجاز به استفاده از آن‌هاست.

دستورالعمل آموزش مدل‌های جانشین محلی:

  • نمونهٔ مورد نظر خود را که می‌خواهید توضیحی برای پیش‌بینی جعبه‌سیاه آن داشته باشید انتخاب کنید.
  • مجموعه داده خود را اختلال دهید (perturb) و پیش‌بینی‌های جعبه‌سیاه را برای این نقاط جدید به دست آورید.
  • نمونه‌های جدید را بر اساس نزدیکی‌شان به نمونهٔ مورد نظر وزن‌دهی کنید.
  • یک مدل تفسیرپذیرِ وزن‌دار روی مجموعه داده‌ای که شامل گونه‌هاست آموزش دهید.
  • پیش‌بینی را با تفسیر مدل محلی توضیح دهید.

در پیاده‌سازی‌های فعلی در R و Python، برای مثال، می‌توان رگرسیون خطی را به‌عنوان مدل جانشین تفسیرپذیر برگزید. از پیش باید $K$ را انتخاب کنید، یعنی تعداد ویژگی‌هایی که می‌خواهید در مدل تفسیرپذیر شما باشد. هرچه $K$ کمتر باشد، تفسیر مدل آسان‌تر است. $K$ بزرگ‌تر به‌طور بالقوه مدل‌هایی با وفاداری بالاتر تولید می‌کند. روش‌های متعددی برای آموزش مدل‌هایی با دقیقاً $K$ ویژگی وجود دارد. انتخاب خوب، Lasso است. یک مدل Lasso با پارامتر منظم‌سازی $\lambda$ بزرگ، مدلی بدون هیچ ویژگی به دست می‌دهد. با آموزش مجدد مدل‌های Lasso و کاهش تدریجی $\lambda$، یکی پس از دیگری، ویژگی‌ها برآوردهای وزنی پیدا می‌کنند که با صفر تفاوت دارد. اگر در مدل $K$ ویژگی وجود داشته باشد، به تعداد ویژگی مطلوب رسیده‌اید. راهبردهای دیگر، انتخاب پیشروی (forward) یا پسروی (backward) ویژگی‌هاست. یعنی یا از مدل کامل (= شامل همهٔ ویژگی‌ها) شروع می‌کنید یا از مدلی که فقط عرض از مبدأ دارد، و سپس آزمون می‌کنید که افزودن یا حذف کدام ویژگی بیشترین بهبود را می‌آورد، تا زمانی که به مدلی با $K$ ویژگی برسید.

برای درک بهتر (توضیح مترجم): فرض کنید می‌خواهیم $K=2$ ویژگی داشته باشیم و مدل محلی روی چهار ویژگی (دما، رطوبت، باد، فشار) برازش می‌شود. با $\lambda$ خیلی بزرگ همهٔ ضرایب صفرند. $\lambda$ را کم‌کم کم می‌کنیم؛ ابتدا ضریب دما از صفر جدا می‌شود (۱ ویژگی)، کمی بعد ضریب رطوبت (۲ ویژگی). همین‌جا متوقف می‌شویم، چون $K=2$ ویژگی با ضریب غیرصفر داریم. (مثال فرضی و صرفاً برای توضیح است و در کتاب وجود ندارد.)

چگونه گونه‌های داده را به دست می‌آورید؟ این به نوع داده بستگی دارد، که می‌تواند متن، تصویر یا داده جدولی باشد. برای متن و تصویر، راه‌حل این است که کلمه‌های منفرد یا ابرپیکسل‌ها (super-pixels) را روشن یا خاموش کنیم. در مورد داده جدولی، LIME نمونه‌های جدید را با اختلال دادن به هر ویژگی به‌طور جداگانه می‌سازد، به این صورت که از یک توزیع نرمال نمونه می‌گیرد که میانگین و انحراف معیارش از همان ویژگی گرفته شده است.

LIME برای داده‌های جدولی

داده جدولی، داده‌ای است که در قالب جدول می‌آید و هر سطر یک نمونه و هر ستون یک ویژگی را نشان می‌دهد. نمونه‌های LIME پیرامون نمونهٔ مورد نظر گرفته نمی‌شوند، بلکه از مرکز جرم (mass center) داده‌های آموزشی گرفته می‌شوند، که مسئله‌ساز است. اما این کار احتمال اینکه نتیجهٔ پیش‌بینی برخی از نقاط نمونه با نقطهٔ داده مورد نظر متفاوت باشد را افزایش می‌دهد، و اینکه LIME دست‌کم بتواند مقداری توضیح بیاموزد. شکل ۱۴.۱ به‌صورت بصری توضیح می‌دهد که نمونه‌گیری و آموزش مدل محلی چگونه کار می‌کند:

شکل ۱۴.۱: الگوریتم LIME برای داده جدولی. الف) سطح پیش‌بینی بر حسب ویژگی‌های $x_1$ و $x_2$. کلاس‌های پیش‌بینی‌شده: ۱ (تیره) یا ۰ (روشن). ب) نمونهٔ مورد نظر (نقطهٔ بزرگ) و داده‌های نمونه‌گیری‌شده (نقطه‌های کوچک). ج) اختصاص وزن‌ها بر اساس فاصله تا نمونهٔ مورد نظر. د) علامت‌های (+/−) طبقه‌بندی‌های مدل آموخته‌شدهٔ محلی را از نمونه‌های وزن‌دار نشان می‌دهند. خط سفید مرز تصمیم ($P(c=1) = 0.5$) را مشخص می‌کند.

توضیح مترجم (متن داخل تصویر): تنها متن‌های داخل تصویر عبارت‌اند از عنوان چهار پنل (A تا D = الف تا د) و برچسب محورها ($x_1$ و $x_2$)، که نماد ریاضی‌اند و ترجمه نمی‌شوند. در پنل الف ناحیهٔ آبی روشن کلاس ۰ و ناحیهٔ خاکستری تیره کلاس ۱ است؛ در پنل ب نقطهٔ زرد نمونهٔ مورد نظر است؛ در پنل ج اندازهٔ نقطه‌ها نشان‌دهندهٔ وزن (نزدیکی به نمونهٔ مورد نظر) است؛ و در پنل د علامت «+» و «−» پیش‌بینی طبقه‌بندی مدل محلی (خط سفید) را نشان می‌دهد.

همان‌طور که همیشه، شیطان در جزئیات است. تعریف یک همسایگی معنادار پیرامون یک نقطه دشوار است. LIME در حال حاضر از یک کرنل هموارساز نمایی (exponential smoothing kernel) برای تعریف همسایگی استفاده می‌کند. کرنل هموارساز تابعی است که دو نمونهٔ داده می‌گیرد و یک معیار مجاورت برمی‌گرداند. پهنای کرنل (kernel width) تعیین می‌کند همسایگی چقدر بزرگ باشد: پهنای کرنل کوچک یعنی یک نمونه باید بسیار نزدیک باشد تا بر مدل محلی اثر بگذارد؛ پهنای کرنل بزرگ‌تر یعنی نمونه‌هایی که دورترند نیز بر مدل اثر می‌گذارند. اگر به پیاده‌سازی Python برای LIME (فایل lime/lime_tabular.py) نگاه کنید، خواهید دید که از یک کرنل هموارساز نمایی (روی داده‌های نرمال‌شده) استفاده می‌کند و پهنای کرنل برابر ۰٫۷۵ برابرِ جذر تعداد ستون‌های داده‌های آموزشی است. این شبیه یک خط کد بی‌گناه به نظر می‌رسد، اما فیلی است که در اتاق نشیمن شما، کنار ظروف چینی خوبی که از پدربزرگ و مادربزرگتان گرفته‌اید، نشسته است. مشکل بزرگ این است که راه خوبی برای یافتن بهترین کرنل یا پهنا نداریم. و اصلاً عدد ۰٫۷۵ از کجا آمده است؟ در برخی سناریوها، می‌توانید با تغییر پهنای کرنل توضیح خود را به‌راحتی وارونه کنید، همان‌طور که در شکل ۱۴.۲ نشان داده شده است: مدل رگرسیون خطی حاصل به پهنای کرنل بستگی دارد. آیا اثر محلی «حقیقی» ویژگی برای $x = 1.6$ باید منفی باشد، مثبت باشد، یا اثری نداشته باشد؟

توضیح مترجم: عبارت «elephant in the room» در انگلیسی اصطلاحی است برای مسئلهٔ بزرگ و آشکاری که همه از آن چشم می‌پوشند. نویسنده با تصویر طنزآمیز «فیلی در اتاق نشیمن، کنار ظروف چینی گران‌بها» می‌گوید این خط کد ساده در واقع حساس و پرخطر است؛ چون هر تغییری در آن می‌تواند توضیح را به‌کلی عوض کند.

شکل ۱۴.۲: توضیح پیش‌بینی نمونهٔ $x = 1.6$ با پهنای کرنل‌های مختلف. پیش‌بینی‌های مدل با خط ضخیم نشان داده شده‌اند و توزیع داده‌ها با علامت‌های کوتاه روی محور افقی (rug) نمایش داده شده است. سه مدل جانشین محلی با پهنای کرنل‌های متفاوت محاسبه شده‌اند.

توضیح مترجم (متن داخل تصویر): برچسب محور افقی: x. برچسب محور عمودی: Black Box prediction = پیش‌بینی جعبه‌سیاه. عنوان راهنما: Kernel width = پهنای کرنل، با سه مقدار ۰٫۱ (خط ممتد تیره)، ۰٫۷۵ (نقطه‌چین سبز) و ۲ (خط‌چین زرد). علامت «X» روی منحنی، نمونهٔ مورد توضیح ($x = 1.6$) را نشان می‌دهد. همان‌طور که در تصویر دیده می‌شود، شیب خط محلی برای پهنای ۰٫۱ منفی، برای ۰٫۷۵ تقریباً صفر و برای ۲ مثبت است.

این مثال فقط یک ویژگی را نشان می‌دهد. در فضاهای ویژگیِ با ابعاد بالا بدتر می‌شود. همچنین بسیار نامشخص است که آیا معیار فاصله باید با همهٔ ویژگی‌ها یکسان رفتار کند. آیا یک واحد فاصله برای ویژگی $X_1$ با یک واحد برای ویژگی $X_2$ یکسان است؟ معیارهای فاصله کاملاً دلخواه هستند و فاصله‌ها در ابعاد (یعنی ویژگی‌های) مختلف ممکن است اصلاً قابل مقایسه نباشند.

بیایید یک مثال عینی را ببینیم. به داده‌های پنگوئن برمی‌گردیم که دربارهٔ دسته‌بندی یک پنگوئن به ماده یا نر بر اساس اندازه‌گیری‌های بدن است. جنگل تصادفی‌ای را که برای این کار آموزش دیده تحلیل می‌کنیم. توضیحات با ۲ ویژگی ساخته شده‌اند. نتایج مدل‌های خطی محلیِ تُنک (sparse) که برای دو نمونه با کلاس‌های پیش‌بینی‌شدهٔ متفاوت آموزش دیده‌اند در شکل ۱۴.۳ نشان داده شده است. در اینجا، جرم بدنی بیشتر و منقار بلندتر با P(ماده) کمتر مرتبط‌اند.

شکل ۱۴.۳: توضیحات LIME برای دو نمونه از مجموعه داده پنگوئن. محور افقی اثر ویژگی را نشان می‌دهد که برابر وزن ضربدر مقدار واقعی ویژگی است.

توضیح مترجم (متن داخل تصویر): عنوان هر پنل: Actual prediction = پیش‌بینی واقعیِ جنگل تصادفی (پنل بالا ۰٫۰۷، پنل پایین ۰٫۹۵)؛ LocalModel prediction = پیش‌بینی مدل محلی (پنل بالا ۰٫۴۶، پنل پایین ۰٫۶۴). برچسب محور افقی: effect = اثر. برچسب میله‌ها: body_mass_g = جرم بدن (گرم) و bill_depth_mm = عمق منقار (میلی‌متر) به همراه مقدار آن ویژگی برای نمونه (پنل بالا: ۳۷۵۰ و ۱۸٫۷؛ پنل پایین: ۳۲۵۰ و ۱۸).

توجه: متن منبع می‌گوید «جرم بدنی بیشتر و منقار بلندتر»، در حالی که ویژگی دوم در تصویر عمق منقار (bill_depth_mm) است، نه طول منقار. همچنین پیوند «داده‌های پنگوئن» در متن اصلی به بخش داده‌های دوچرخه (#bike-data) اشاره می‌کند. ترجمه عیناً از متن منبع پیروی کرده است و در اینجا فقط ناهماهنگی گزارش می‌شود.

LIME برای داده‌های متنی

LIME برای متن با LIME برای داده جدولی تفاوت دارد. گونه‌های داده به شکل متفاوتی تولید می‌شوند: با شروع از متن اصلی، متن‌های جدید با حذف تصادفی کلمه‌ها از متن اصلی ساخته می‌شوند. مجموعه داده با ویژگی‌های دودویی برای هر کلمه نمایش داده می‌شود. اگر کلمهٔ متناظر در متن گنجانده شده باشد، ویژگی ۱ و اگر حذف شده باشد ۰ است.

به‌عنوان مثالی برای دسته‌بندی متن، با ۱۹۵۶ نظر از ۵ ویدیوی مختلف یوتیوب کار می‌کنیم. خوشبختانه نویسندگانی که از این مجموعه داده در مقاله‌ای دربارهٔ دسته‌بندی هرزنامه (spam) استفاده کرده‌اند، آن را آزادانه در دسترس قرار داده‌اند (Alberto و همکاران، ۲۰۱۵). نظرها از طریق API یوتیوب از پنج ویدیو از ده ویدیوی پربازدید یوتیوب در نیمهٔ اول سال ۲۰۱۵ جمع‌آوری شده‌اند. هر ۵ ویدیو موزیک ویدیو هستند. یکی از آن‌ها «Gangnam Style» اثر هنرمند کره‌ای Psy است. هنرمندان دیگر Katy Perry، LMFAO، Eminem و Shakira هستند. دو نظر را در جدول ۱۴.۱ ببینید، یکی هرزنامه (class=1) و دیگری معتبر (class=0). نظرها به‌صورت دستی به‌عنوان هرزنامه یا معتبر برچسب خورده‌اند. هرزنامه با «۱» و نظرهای معتبر با «۰» کدگذاری شده است. همچنین می‌توانید به یوتیوب بروید و بخش نظرات را ببینید. اما لطفاً در جهنم یوتیوب گرفتار نشوید و در نهایت به تماشای ویدیوهای میمون‌هایی که از گردشگران روی ساحل کوکتل می‌دزدند و می‌نوشند نپردازید. تشخیص‌دهندهٔ هرزنامهٔ گوگل نیز احتمالاً از سال ۲۰۱۵ تا کنون بسیار تغییر کرده است. ویدیوی رکوردشکن در تعداد بازدید، «Gangnam Style»، را اینجا تماشا کنید.

جدول ۱۴.۱: دو نمونه از نظرها.

CONTENTCLASS
267PSY is a good guy0
173For Christmas Song visit my channel! ;)1

توضیح مترجم: متن نظرها دادهٔ اصلی مجموعه داده است و عیناً به انگلیسی حفظ شد. معنای آن‌ها: نظر ۲۶۷: «PSY آدم خوبی است» (معتبر، ۰)؛ نظر ۱۷۳: «برای آهنگ کریسمس به کانال من سر بزنید! ;)» (هرزنامه، ۱). اعداد ۲۶۷ و ۱۷۳ شمارهٔ سطر در مجموعه داده‌اند.

مدل جعبه‌سیاه یک درخت تصمیم عمیق است که روی ماتریس سند-کلمه (document word matrix) آموزش دیده است. هر نظر یک سند (= یک سطر) است و هر ستون تعداد تکرارهای یک کلمهٔ مشخص است. درخت‌های تصمیم کوتاه فهمیدنشان آسان است، اما در این مورد درخت بسیار عمیق است. همچنین، به‌جای این درخت می‌توانست یک شبکهٔ عصبی بازگشتی (recurrent neural network) یا یک ماشین بردار پشتیبان (support vector machine) باشد که روی بردارنمایی‌های کلمه (word embeddings، بردارهای انتزاعی) آموزش دیده است.

گام بعدی ساختن چند گونه از مجموعه داده‌هایی است که در مدل محلی استفاده می‌شوند. برای مثال، چند گونه از یکی از نظرها را در جدول ۱۴.۲ ببینید. هر ستون متناظر با یک کلمه در جمله است. هر سطر یک گونه است؛ ۱ یعنی کلمه بخشی از این گونه است و ۰ یعنی کلمه حذف شده است. جملهٔ متناظر با یکی از گونه‌ها «Christmas Song visit my ;)» است. ستون «prob» احتمال پیش‌بینی‌شدهٔ هرزنامه بودن را برای هر یک از گونه‌های جمله نشان می‌دهد. ستون «weight» مجاورت گونه به جملهٔ اصلی را نشان می‌دهد، که به‌صورت ۱ منهای نسبت کلمه‌های حذف‌شده محاسبه می‌شود؛ برای مثال اگر ۱ کلمه از ۷ کلمه حذف شده باشد، مجاورت برابر ۱ − ۱/۷ = ۰٫۸۶ است.

جدول ۱۴.۲: گونه‌هایی از یکی از نظرهای یوتیوب، به همراه وزن‌هایشان (بر اساس فاصله) و احتمال پیش‌بینی‌شدهٔ هرزنامه بودن.

ForChristmasSongvisitmychannel!;)probweight
10110010.170.57
01111010.170.71
10011110.990.71
10111110.990.86
01110010.170.57

برای درک بهتر (توضیح مترجم): جمله ۷ کلمه دارد: For، Christmas، Song، visit، my، channel!، ;). در سطر دوم جدول، کلمه‌های For و channel! حذف شده‌اند (۲ کلمه از ۷)، پس وزن = ۱ − ۲/۷ ≈ ۰٫۷۱. در سطر اول ۳ کلمه حذف شده‌اند (Christmas، my و channel!) و وزن = ۱ − ۳/۷ ≈ ۰٫۵۷ است. به‌طور شهودی، گونه‌ای که کلمه‌های کمتری از آن حذف شده به جملهٔ اصلی نزدیک‌تر است و وزن بیشتری در برازش مدل محلی دارد. دقت کنید که هرگاه کلمهٔ «channel!» حذف شده باشد (سطرهای ۱، ۲ و ۵) احتمال هرزنامه ۰٫۱۷ و هرگاه حاضر باشد (سطرهای ۳ و ۴) ۰٫۹۹ است؛ همین الگو است که LIME در گام بعد کشف می‌کند.

و در نهایت جدول ۱۴.۳ دو جمله (یکی هرزنامه، یکی غیرهرزنامه) را همراه با وزن‌های محلیِ برآوردشده‌شان که الگوریتم LIME یافته است نشان می‌دهد: کلمهٔ «channel» نشان‌دهندهٔ احتمال بالای هرزنامه بودن است. برای نظر غیرهرزنامه، هیچ وزن غیرصفری برآورد نشد، زیرا مهم نیست کدام کلمه حذف شود، کلاس پیش‌بینی‌شده تغییر نمی‌کند.

جدول ۱۴.۳: توضیحات LIME برای دسته‌بندی متن.

caselabel_probfeaturefeature_weight
10.1701170PSY0.000000
10.1701170a0.000000
10.1701170good0.000000
20.9939024channel!6.180747
20.9939024For0.000000
20.9939024Song0.000000

توضیح مترجم: ستون‌ها: case = شمارهٔ نمونه (۱ همان نظر «PSY is a good guy» و ۲ همان نظر «For Christmas Song visit my channel! ;)» است)؛ label_prob = احتمال پیش‌بینی‌شدهٔ مدل جعبه‌سیاه برای کلاس هرزنامه؛ feature = کلمه؛ feature_weight = وزن آن کلمه در مدل خطی محلی. وزن صفر یعنی حذف آن کلمه پیش‌بینی را تغییر نمی‌دهد.

LIME برای داده‌های تصویری

این بخش توسط Verena Haunschmid نوشته شده است.

LIME برای تصاویر با LIME برای داده جدولی و متن متفاوت کار می‌کند. به‌طور شهودی، اختلال دادن به پیکسل‌های منفرد چندان معنا نخواهد داشت، زیرا بیش از یک پیکسل در تعیین یک کلاس نقش دارند. تغییر تصادفی پیکسل‌های منفرد احتمالاً پیش‌بینی‌ها را چندان تغییر نمی‌دهد. بنابراین، گونه‌هایی از تصاویر با بخش‌بندی تصویر به «ابرپیکسل» (superpixel) و خاموش یا روشن کردن ابرپیکسل‌ها ساخته می‌شوند. ابرپیکسل‌ها پیکسل‌های به‌هم‌پیوسته‌ای با رنگ‌های مشابه هستند و می‌توان آن‌ها را با جایگزین‌کردن هر پیکسل با یک رنگ تعریف‌شده توسط کاربر، مانند خاکستری، خاموش کرد. کاربر همچنین می‌تواند برای خاموش‌کردن یک ابرپیکسل در هر جایگشت (permutation) یک احتمال مشخص کند.

در این مثال، به یک دسته‌بندی که توسط شبکهٔ عصبی Inception V3 انجام شده نگاه می‌کنیم. تصویر مورد استفاده مقداری نان را نشان می‌دهد که من پخته‌ام و در یک کاسه قرار دارد (شکل ۱۴.۴ را ببینید). از آنجا که برای هر تصویر می‌توانیم چند برچسب پیش‌بینی‌شده داشته باشیم (مرتب‌شده بر اساس احتمال)، می‌توانیم برچسب‌های برتر را توضیح دهیم. پیش‌بینی برتر «Bagel» (نان بیگل) با احتمال $\mathbb{P}(Y = \text{Bagel}) = 0.77$ است، و پس از آن «Strawberry» (توت‌فرنگی) با احتمال $\mathbb{P}(Y = \text{Strawberry}) = 0.04$. تصاویر زیر توضیحات LIME را برای «Bagel» و «Strawberry» نشان می‌دهند. توضیحات را می‌توان مستقیماً روی نمونه‌های تصویر نمایش داد. سبز یعنی این بخش از تصویر احتمال برچسب را افزایش می‌دهد و قرمز یعنی کاهش می‌دهد.

شکل ۱۴.۴: چپ: تصویر یک کاسه نان. وسط و راست: توضیحات LIME برای ۲ کلاس برتر (Bagel، Strawberry) برای دسته‌بندی تصویر توسط شبکهٔ عصبی Inception V3 گوگل.

توضیح مترجم (متن داخل تصویر): این تصویر هیچ متن، محور یا برچسب نوشتاری ندارد. از چپ به راست: تصویر اصلی، توضیح LIME برای برچسب Bagel (نان بیگل) و توضیح LIME برای برچسب Strawberry (توت‌فرنگی). ناحیه‌های سبز بخش‌هایی‌اند که احتمال برچسب را افزایش می‌دهند و ناحیه‌های قرمز بخش‌هایی که آن را کاهش می‌دهند؛ خط زرد مرز ابرپیکسل‌های انتخاب‌شده را نشان می‌دهد.

پیش‌بینی و توضیح برای «Bagel» بسیار منطقی است، حتی اگر پیش‌بینی نادرست باشد – این‌ها آشکارا بیگل نیستند، چون سوراخ وسط آن‌ها وجود ندارد.

نقاط قوت

حتی اگر مدل یادگیری ماشین زیربنایی را جایگزین کنید، همچنان می‌توانید از همان مدل محلیِ تفسیرپذیر برای توضیح استفاده کنید. فرض کنید افرادی که به توضیحات نگاه می‌کنند درخت‌های تصمیم را از همه بهتر می‌فهمند. چون از مدل‌های جانشین محلی استفاده می‌کنید، درخت‌های تصمیم را به‌عنوان توضیح به کار می‌برید بی‌آنکه واقعاً مجبور باشید برای انجام پیش‌بینی‌ها از درخت تصمیم استفاده کنید. برای مثال، می‌توانید از SVM استفاده کنید. و اگر معلوم شود مدل xgboost بهتر کار می‌کند، می‌توانید SVM را جایگزین کنید و همچنان برای توضیح پیش‌بینی‌ها از یک درخت تصمیم استفاده کنید.

مدل‌های جانشین محلی از ادبیات و تجربهٔ آموزش و تفسیر مدل‌های تفسیرپذیر بهره می‌برند.

هنگام استفاده از Lasso یا درخت‌های کوتاه، توضیحات حاصل کوتاه (= گزینشی) و احتمالاً تقابلی (contrastive) هستند. بنابراین، توضیحات دوستانه برای انسان را می‌سازند.

LIME یکی از معدود روش‌هایی است که برای داده‌های جدولی، متن و تصویر کار می‌کند.

معیار وفاداری (اینکه مدل تفسیرپذیر چقدر خوب پیش‌بینی‌های جعبه‌سیاه را تقریب می‌زند) تصور خوبی به ما می‌دهد که مدل تفسیرپذیر در توضیح پیش‌بینی‌های جعبه‌سیاه در همسایگی نمونهٔ مورد نظر چقدر قابل اعتماد است.

LIME در Python (کتابخانهٔ lime) و R (بستهٔ lime و بستهٔ iml) پیاده‌سازی شده و بسیار آسان است.

توضیحاتی که با مدل‌های جانشین محلی ساخته می‌شوند می‌توانند از ویژگی‌های (تفسیرپذیر) دیگری غیر از آنچه مدل اصلی روی آن‌ها آموزش دیده استفاده کنند. البته این ویژگی‌های تفسیرپذیر باید از نمونه‌های داده مشتق شوند. یک دسته‌بند متن می‌تواند به بردارنمایی‌های انتزاعی کلمه به‌عنوان ویژگی تکیه کند، اما توضیح می‌تواند بر مبنای حضور یا غیاب کلمه‌ها در یک جمله باشد. یک مدل رگرسیون می‌تواند به یک تبدیل غیرتفسیرپذیر از برخی ویژگی‌ها تکیه کند، اما توضیحات را می‌توان با ویژگی‌های اصلی ساخت. برای مثال، مدل رگرسیون می‌تواند روی مؤلفه‌های یک تحلیل مؤلفه‌های اصلی (PCA) از پاسخ‌های یک نظرسنجی آموزش دیده باشد، اما LIME ممکن است روی سؤال‌های اصلی نظرسنجی آموزش ببیند. استفاده از ویژگی‌های تفسیرپذیر برای LIME می‌تواند مزیت بزرگی نسبت به روش‌های دیگر باشد، به‌ویژه وقتی مدل با ویژگی‌های غیرتفسیرپذیر آموزش دیده باشد.

محدودیت‌ها

انتخاب همسایگی یک مسئلهٔ حل‌نشده است هنگامی که LIME با داده جدولی به کار می‌رود. به نظر من، این بزرگ‌ترین مشکل LIME است و دلیلی است که توصیه می‌کنم LIME را فقط با احتیاط فراوان به کار ببرید. برای هر کاربرد، باید تنظیمات مختلف کرنل را امتحان کنید و خودتان ببینید آیا توضیحات معنادار هستند یا نه. متأسفانه، این بهترین توصیه‌ای است که می‌توانم برای یافتن پهنای کرنل مناسب ارائه کنم.

نمونه‌گیری در پیاده‌سازی فعلی LIME می‌تواند بهبود یابد. نقاط داده از یک توزیع گاوسی نمونه‌گیری می‌شوند و همبستگی بین ویژگی‌ها نادیده گرفته می‌شود. این می‌تواند به نقاط داده‌ای بی‌احتمال منجر شود، که سپس ممکن است برای آموزش مدل‌های توضیح محلی استفاده شوند.

پیچیدگی مدل توضیح‌دهنده باید از پیش تعریف شود. این فقط یک شکایت کوچک است، چون در نهایت کاربر همیشه باید توازن میان وفاداری و تُنکی (sparsity) را تعیین کند.

مشکل واقعاً بزرگ دیگر ناپایداری توضیحات است. در مقاله‌ای (Alvarez-Melis و Jaakkola، ۲۰۱۸)، نویسندگان نشان دادند که در یک محیط شبیه‌سازی‌شده، توضیحات دو نقطهٔ بسیار نزدیک به هم تفاوت زیادی داشتند. همچنین، طبق تجربهٔ من، اگر فرایند نمونه‌گیری را تکرار کنید، توضیحاتی که بیرون می‌آیند می‌توانند متفاوت باشند. ناپایداری یعنی اعتماد به توضیحات دشوار است و باید بسیار انتقادی باشید.

توضیحات LIME را می‌توان توسط دانشمند داده دستکاری کرد تا سوگیری‌ها پنهان شوند (Slack و همکاران، ۲۰۲۰). امکان دستکاری، اعتماد به توضیحات تولیدشده با LIME را دشوارتر می‌کند.

نتیجه‌گیری: مدل‌های جانشین محلی، با LIME به‌عنوان یک پیاده‌سازی مشخص، بسیار امیدبخش هستند. اما این روش هنوز در مرحلهٔ توسعه است و پیش از آنکه بتوان آن را با اطمینان به کار برد، بسیاری از مشکلات باید حل شوند.

برای درک بهتر (توضیح مترجم): ناپایداری یعنی دو اجرای LIME روی همان نمونه ممکن است توضیح‌های متفاوتی بدهند، چون نمونه‌گیری تصادفی است. اگر LIME را دو بار روی یک نمونه اجرا کنید و یک بار «channel» با وزن ۶٫۲ و بار دیگر «visit» با وزن ۳ ویژگی مهم گزارش شود، نمی‌توان به یک توضیح تکیه کرد. راه عملی (پیشنهاد مترجم، نه از متن کتاب): چند بار با بذرهای تصادفی مختلف اجرا کنید و فقط ویژگی‌هایی را معتبر بدانید که در اجراهای مختلف تکرار می‌شوند. (اعداد فرضی‌اند و در کتاب وجود ندارند.)

نرم‌افزار

پیاده‌سازی اصلی Python در بستهٔ lime قرار دارد. پیاده‌سازی‌های دیگر Python را می‌توانید در PiML و eli5 بیابید. در R می‌توانید از iml یا DALEX استفاده کنید.