فصل ۱۶: قوانین محدودهدار (Anchors)
عنوان اصلی: Scoped Rules (Anchors)
منبع: https://christophm.github.io/interpretable-ml-book/anchors.html
نویسنده: Christoph Molnar
مترجم: مریم محمودی
نویسندگان: Tobias Goerke و Magdalena Lang (با ویرایشهای بعدی از Christoph Molnar)
روش انکر (Anchors) پیشبینیهای منفردِ هر مدل طبقهبندی جعبهسیاه را با یافتن یک قانون تصمیم توضیح میدهد که پیشبینی را بهاندازهٔ کافی «لنگر میاندازد» (anchor). یک قانون زمانی پیشبینی را لنگر میاندازد که تغییر در مقادیر سایر ویژگیها بر پیشبینی اثری نداشته باشد. انکر از تکنیکهای یادگیری تقویتی در ترکیب با یک الگوریتم جستجوی گراف استفاده میکند تا تعداد فراخوانیهای مدل (و در نتیجه زمان اجرای لازم) را به حداقل برساند و در عین حال بتواند از بهینههای محلی رهایی یابد. Ribeiro و همکاران (۲۰۱۸) الگوریتم انکر را پیشنهاد کردند – همان پژوهشگرانی که الگوریتم LIME را معرفی کردند.
توضیح مترجم: در این فصل anchor بهصورت «انکر» (جمع: «انکرها») نوشته میشود و در معنای لغوی آن «لنگر» است: قانونی که پیشبینی را مثل لنگر کشتی «ثابت نگه میدارد». «محمول» (predicate) هم معادل یک شرط روی یک ویژگی است، مانند «جنسیت = زن» یا «دما بین ۷ و ۱۴». هر انکر مجموعهای از چنین شرطهاست که با «و» به هم وصل شدهاند. عنوان فصل، «قوانین محدودهدار»، به همین ویژگی اشاره دارد که هر قانون دامنهٔ اعتبار (پوشش) مشخصی دارد.
مانند الگوریتم پیشین خود، رویکرد انکر یک راهبرد مبتنی بر اختلال (perturbation-based) را برای تولید توضیحات محلی دربارهٔ پیشبینیهای مدلهای یادگیری ماشین جعبهسیاه به کار میگیرد. اما بهجای مدلهای جانشینی که LIME استفاده میکند، توضیحات حاصل بهصورت قوانین ساده و قابلفهمِ IF-THEN (اگر-آنگاه) بیان میشوند که انکر نام دارند. این قوانین قابلاستفادهٔ مجدد هستند، زیرا محدودهدار (scoped) هستند: انکرها مفهوم پوشش (coverage) را شامل میشوند و دقیقاً بیان میکنند که بر چه نمونههای دیگری، که ممکن است هنوز دیده نشده باشند، اعمال میشوند. یافتن انکرها شامل یک مسئلهٔ اکتشاف (exploration) یا راهزن چندبازو (multi-armed bandit) است که ریشه در شاخهٔ یادگیری تقویتی دارد. برای این منظور، برای هر نمونهای که توضیح داده میشود، همسایهها یا اختلالها ایجاد و ارزیابی میشوند. این کار به رویکرد اجازه میدهد ساختار جعبهسیاه و پارامترهای درونی آن را نادیده بگیرد، بهگونهای که اینها هم مشاهدهنشده و هم تغییرنیافته باقی بمانند. بنابراین الگوریتم مستقل از مدل (model-agnostic) است، یعنی میتوان آن را بر هر رده از مدلها به کار برد.
نویسندگان در مقالهٔ خود هر دو الگوریتم خود را مقایسه میکنند و نشان میدهند که این دو برای رسیدن به نتیجه چقدر متفاوت از همسایگی یک نمونه استفاده میکنند. برای این منظور، شکل ۱۶.۱ نشان میدهد که LIME و انکر چگونه یک طبقهبند دودویی پیچیده (که یا $-$ یا $+$ را پیشبینی میکند) را با دو نمونهٔ نمونهوار بهصورت محلی توضیح میدهند. نتایج LIME نشان نمیدهند که چقدر وفادارند، چون LIME فقط یک مرز تصمیم خطی را یاد میگیرد که با فرض یک فضای اختلال $\mathcal{D}$ بهترین تقریب را از مدل ارائه میدهد. با همان فضای اختلال، رویکرد انکر توضیحاتی میسازد که پوشش آنها با رفتار مدل تطبیق داده شده است و مرزهایشان را بهروشنی بیان میکند. بنابراین این توضیحات ذاتاً وفادارند و دقیقاً بیان میکنند که برای کدام نمونهها معتبرند. این ویژگی انکرها را بهویژه شهودی و آسان برای فهم میکند.
شکل ۱۶.۱: LIME در مقابل انکر – یک تصویرسازی نمونه. الهامگرفته از شکلی در Ribeiro، Singh و Guestrin (2018).
توضیح مترجم (متن داخل تصویر): در تصویر، ناحیهٔ آبی کلاس $-$ و ناحیهٔ کرم کلاس $+$ را نشان میدهد و مرز میان آنها مرز تصمیم پیچیدهٔ مدل جعبهسیاه است. خطچین مایل با برچسب LIME همان مرز تصمیم خطیِ LIME است که فقط در نزدیکی نقطهٔ مورد نظر مرز واقعی را تقریب میزند. مستطیل خطچین با برچسب anchor (انکر) ناحیهای است که قانون انکر پوشش میدهد و کاملاً درون ناحیهٔ آبی قرار میگیرد؛ یعنی حدود اعتبار آن روشن است. نامهای LIME و anchor در تصویر بدون ترجمه ماندند.
همانطور که پیشتر گفته شد، نتایج یا توضیحات الگوریتم به شکل قوانینی به نام انکر ارائه میشوند. مثال سادهٔ زیر چنین انکری را نشان میدهد. برای مثال، فرض کنید یک مدل جعبهسیاه دومتغیره داریم که پیشبینی میکند یک مسافر از فاجعهٔ تایتانیک جان سالم به در برده است یا نه. اکنون میخواهیم بدانیم چرا مدل برای یک فرد مشخص (جدول ۱۶.۱ را ببینید) پیشبینی میکند که او زنده مانده است. الگوریتم انکر نتیجهای مانند آنچه در ادامه میآید بهعنوان توضیح ارائه میدهد.
| ویژگی (Feature) | مقدار (Value) |
|---|---|
| سن (Age) | ۲۰ |
| جنسیت (Sex) | زن (female) |
| کلاس (Class) | اول (first) |
| قیمت بلیت (Ticket price) | ۳۰۰$ |
| سایر ویژگیها (More attributes) | … |
| زنده ماند (Survived) | درست (true) |
جدول ۱۶.۱: نمونهای که باید توضیح داده شود.
و توضیح انکرِ متناظر چنین است:
IF SEX = female AND Class = first THEN PREDICT Survived = true WITH PRECISION 97% AND COVERAGE 15%
توضیح مترجم: معنی قانون بالا: «اگر جنسیت زن و کلاس مسافرتی اول باشد، آنگاه پیشبینی کن که زنده میماند، با دقت ۹۷٪ و پوشش ۱۵٪.» عبارتهای IF، THEN، PREDICT، PRECISION و COVERAGE عیناً مطابق قالب منبع نگه داشته شدهاند.
این مثال نشان میدهد که انکرها چگونه میتوانند بینشهایی اساسی دربارهٔ پیشبینی یک مدل و استدلال پشت آن ارائه دهند. نتیجه نشان میدهد مدل کدام ویژگیها را در نظر گرفته است که در این مورد زن بودن و کلاس اول هستند. انسانها، که برای درستی (correctness) نقشی بسیار مهم دارند، میتوانند از این قانون برای اعتبارسنجی رفتار مدل استفاده کنند. انکر علاوه بر این به ما میگوید که این قانون بر ۱۵٪ از نمونههای فضای اختلال اعمال میشود. در آن موارد، توضیح ۹۷٪ دقیق است، یعنی محمولهای نمایشدادهشده تقریباً بهطور کامل مسئول خروجی پیشبینیشدهاند.
یک انکر $A$ بهصورت رسمی چنین تعریف میشود:
$$ \mathbb{E}_{\mathcal{D}_\mathbf{x}(\mathbf{z}|A)}[1_{\hat{f}(\mathbf{x})=\hat{f}(\mathbf{z})}] \geq \tau; A(\mathbf{x})=1 $$
که در آن:
- $\mathbf{x}$ نمونهای است که توضیح داده میشود (مثلاً یک سطر در یک مجموعهداده جدولی).
- $A$ مجموعهای از محمولها (predicates) است، یعنی قانون یا انکر حاصل، بهطوری که $A(\mathbf{x})=1$ است وقتی همهٔ محمولهای ویژگیِ تعریفشده توسط $A$ با مقادیر ویژگیهای $\mathbf{x}$ مطابقت داشته باشند.
- $\hat{f}$ مدل طبقهبندیای را نشان میدهد که باید توضیح داده شود (مثلاً یک مدل شبکهٔ عصبی مصنوعی). میتوان از آن برای پیشبینی برچسب $\mathbf{x}$ و اختلالهای آن پرسوجو کرد.
- $\mathcal{D}_{\mathbf{x}} (\cdot|A)$ توزیع همسایههای $\mathbf{x}$ را نشان میدهد که با $A$ مطابقت دارند.
- $0 \leq \tau \leq 1$ یک آستانهٔ دقت را مشخص میکند. فقط قوانینی که وفاداری محلیای دستکم برابر با $\tau$ داشته باشند، نتیجهٔ معتبر محسوب میشوند.
توضیح مترجم: نماد $\mathbb{E}$ امید ریاضی و $1_{\hat{f}(\mathbf{x})=\hat{f}(\mathbf{z})}$ تابع نشانگر است: اگر مدل برای همسایهٔ $\mathbf{z}$ همان کلاسی را پیشبینی کند که برای $\mathbf{x}$ پیشبینی کرده است مقدار ۱ و در غیر این صورت مقدار ۰ میدهد. پس امید ریاضیِ آن همان «کسری از همسایههاست که پیشبینیشان با پیشبینی $\mathbf{x}$ یکی است». «دقت» (precision) در این فصل به همین معنا به کار میرود و با دقت (precision) در معیارهای ارزیابی طبقهبندی، که بر پایهٔ برچسبهای واقعی تعریف میشود، یکی نیست: اینجا هیچ برچسب واقعیای در کار نیست و دقت فقط میسنجد که قانون چقدر «پیشبینی مدل» را ثابت نگه میدارد.
توصیف رسمی ممکن است ترسناک به نظر برسد و میتوان آن را با کلمات چنین بیان کرد:
با داشتن نمونهٔ $\mathbf{x}$ که باید توضیح داده شود، باید قانون یا انکر $A$ را چنان یافت که بر $\mathbf{x}$ اعمال شود، در حالی که کسری دستکم برابر با $\tau$ از همسایههای $\mathbf{x}$ که همان $A$ بر آنها قابلاعمال است، همان کلاسِ پیشبینیشده برای $\mathbf{x}$ را بگیرند. دقتِ یک قانون از ارزیابی همسایهها یا اختلالها (با پیروی از $\mathcal{D}_\mathbf{x} (\mathbf{z}|A)$) بهوسیلهٔ مدل یادگیری ماشینِ دادهشده به دست میآید (که با تابع نشانگر $1_{\hat{f}(\mathbf{x}) = \hat{f}(\mathbf{z})}$ نمایش داده میشود).
💡 دقت را با احتیاط تنظیم کنید
آستانهٔ دقت $\tau$ را عاقلانه تنظیم کنید: $\tau$ بالاتر قوانین قویتری تضمین میکند، اما ممکن است پوشش را کاهش دهد. مقادیر متفاوت را آزمایش کنید تا میان دقت و پوشش تعادل برقرار شود.
یافتن انکرها
اگرچه توصیف ریاضیِ انکرها ممکن است روشن و سرراست به نظر برسد، ساختن قوانین مشخص عملاً شدنی نیست. این کار مستلزم ارزیابی $1_{\hat{f}(\mathbf{x}) = \hat{f}(\mathbf{z})}$ برای همهٔ $\mathbf{z} \in \mathcal{D}_\mathbf{x}(\cdot|A)$ است، که در فضاهای ورودیِ پیوسته یا بزرگ ممکن نیست. از این رو نویسندگان پیشنهاد میکنند پارامتر $0 \leq \delta \leq 1$ برای ساختن یک تعریف احتمالاتی معرفی شود. به این ترتیب، نمونهها تا زمانی که اطمینان آماری دربارهٔ دقتشان حاصل شود، استخراج میشوند. تعریف احتمالاتی چنین است:
$$\mathbb{P}(prec(A) \geq \tau) \geq 1 - \delta \quad \textrm{with} \quad prec(A) = \mathbb{E}_{\mathcal{D}_\mathbf{x}(\mathbf{z}|A)}[1_{\hat{f}(\mathbf{x}) = \hat{f}(\mathbf{z})}]$$
دو تعریف پیشین با مفهوم پوشش ترکیب و گسترش داده میشوند. منطق آن یافتن قوانینی است که ترجیحاً بر بخش بزرگی از فضای ورودی مدل اعمال شوند. پوشش بهصورت رسمی چنین تعریف میشود: احتمال اینکه یک انکر بر همسایههایش، یعنی فضای اختلالش، اعمال شود:
$$cov(A) = \mathbb{E}_{\mathcal{D}_{(\mathbf{x})}}[A(\mathbf{z})]$$
افزودن این عنصر به تعریف نهایی انکر میانجامد که بیشینهسازی پوشش را در نظر میگیرد:
$$\underset{A :\textrm{s.t.};\mathbb{P}(prec(A) \geq \tau) \geq 1 - \delta}{\textrm{max}} cov(A)$$
بنابراین این روش بهدنبال قانونی است که در میان همهٔ قوانین مجاز (همهٔ آنهایی که با توجه به تعریف احتمالاتی آستانهٔ دقت را برآورده میکنند) بالاترین پوشش را داشته باشد. گمان میشود این قوانین مهمترند، چون بخش بزرگتری از مدل را توصیف میکنند. توجه کنید که قوانینِ دارای محمولهای بیشتر تمایل دارند دقت بالاتری از قوانینِ دارای محمولهای کمتر داشته باشند. بهویژه قانونی که همهٔ ویژگیهای $\mathbf{x}$ را ثابت میکند، همسایگیِ ارزیابیشده را به نمونههای یکسان فرومیکاهد. در نتیجه مدل همهٔ همسایهها را یکسان طبقهبندی میکند و دقت قانون $1$ است. در عین حال، قانونی که ویژگیهای زیادی را ثابت میکند بیش از حد اختصاصی است و فقط بر تعداد اندکی نمونه اعمال میشود. از این رو میان دقت و پوشش یک موازنه (trade-off) وجود دارد.
توضیح مترجم: در منبع جملهٔ «ساختن قوانین مشخص عملاً شدنی نیست» (infeasible) دربارهٔ محاسبهٔ دقیق و کامل دقت در همهٔ نقاط یک فضای پیوسته است؛ به همین دلیل از نمونهگیری و «اطمینان آماری» با پارامتر $\delta$ استفاده میشود: عبارت $\mathbb{P}(prec(A) \geq \tau) \geq 1 - \delta$ میگوید با احتمال دستکم $1-\delta$ دقتِ واقعیِ قانون از $\tau$ کمتر نیست. برای نمونه $\delta = 0.05$ یعنی ۹۵٪ اطمینان.
برای درک بهتر (توضیح مترجم): فرض کنید برای نمونهٔ تایتانیک بالا، مدل در یک فضای اختلالِ ۱٬۰۰۰ نمونهای کار میکند و آستانهٔ دقت $\tau = 0.95$ است. قانون $A_1$: «جنسیت = زن» بر ۵۰۰ نمونه اعمال میشود (پوشش ۵۰٪) و مدل در ۴۷۰ مورد از آنها «زنده ماند» پیشبینی میکند (دقت ۹۴٪) پس این قانون مجاز نیست. قانون $A_2$: «جنسیت = زن و کلاس = اول» بر ۱۵۰ نمونه اعمال میشود (پوشش ۱۵٪) و در ۱۴۶ مورد (دقت حدود ۹۷٪) مدل همان پیشبینی را میدهد؛ پس مجاز است. اگر ویژگیهای دیگر مانند سن و قیمت بلیت را هم ثابت کنیم، دقت شاید به ۱۰۰٪ برسد اما پوشش مثلاً به ۰٫۵٪ فرو میافتد. الگوریتم از میان قوانین مجاز، قانونی را برمیگزیند که بیشترین پوشش را دارد. (اعداد فرضیاند و در کتاب نیامدهاند.)
رویکرد انکر برای یافتن توضیحات از چهار مؤلفهٔ اصلی استفاده میکند.
تولید کاندیدا (Candidate Generation): کاندیدهای جدید توضیح را تولید میکند. در دور اول، به ازای هر ویژگیِ $\mathbf{x}$ یک کاندید ساخته میشود که مقدار همان ویژگی را در اختلالهای ممکن ثابت میکند. در هر دور دیگر، بهترین کاندیدهای دور قبل با یک محمول ویژگی که هنوز در آنها وجود ندارد، گسترش مییابند.
شناسایی بهترین کاندید (Best Candidate Identification): قوانین کاندید باید از این نظر مقایسه شوند که کدام قانون $\mathbf{x}$ را بهتر توضیح میدهد. برای این منظور، اختلالهایی که با قاعدهٔ مورد بررسی مطابقت دارند ایجاد میشوند و با فراخوانی مدل ارزیابی میشوند. با این حال، این فراخوانیها باید به حداقل برسند تا سربار محاسباتی محدود شود. به همین دلیل، در هستهٔ این مؤلفه یک راهزن چندبازوی اکتشاف محض (pure-exploration Multi-Armed Bandit یا MAB) قرار دارد. دقیقتر بگوییم، KL-LUCB از Kaufmann و Kalyanakrishnan (۲۰۱۳) است. MABها برای کاوش و بهرهبرداری کارآمد از راهبردهای مختلف (که به قیاس با ماشینهای قمار «بازو» (arm) نامیده میشوند) با استفاده از انتخاب ترتیبی به کار میروند. در این چارچوب، هر قانون کاندید بهمنزلهٔ یک بازو دیده میشود که میتوان آن را کشید. هر بار که کشیده میشود، همسایههای متناظر ارزیابی میشوند و به این ترتیب اطلاعات بیشتری دربارهٔ بازدهی (payoff) قانون کاندید، که در مورد انکر همان دقت است، به دست میآوریم. بنابراین دقت بیان میکند که قانون نمونهٔ مورد توضیح را چقدر خوب توصیف میکند.
اعتبارسنجی دقت کاندید (Candidate Precision Validation): در صورتی که هنوز اطمینان آماری وجود نداشته باشد که کاندید از آستانهٔ $\tau$ فراتر میرود، نمونههای بیشتری میگیرد.
جستجوی پرتویی اصلاحشده (Modified Beam Search): همهٔ مؤلفههای بالا در یک جستجوی پرتویی (beam search) گرد هم میآیند، که یک الگوریتم جستجوی گراف و گونهای از الگوریتم جستجوی سطحاول (breadth-first) است. این الگوریتم $B$ کاندید برتر هر دور را به دور بعد میبرد (که $B$ عرض پرتو (Beam Width) نامیده میشود). سپس از همین $B$ قانون برتر برای ساختن قوانین جدید استفاده میشود. جستجوی پرتویی حداکثر $featureCount(\mathbf{x})$ دور انجام میدهد، چون هر ویژگی را حداکثر یک بار میتوان در یک قانون گنجاند. بنابراین در هر دور $i$، کاندیدهایی با دقیقاً $i$ محمول تولید میکند و $B$ کاندید برتر از میان آنها را برمیگزیند. از این رو، با بزرگ گرفتن $B$ احتمال اینکه الگوریتم از بهینههای محلی دوری کند بیشتر میشود. در مقابل، این کار به تعداد زیادی فراخوانی مدل نیاز دارد و در نتیجه بار محاسباتی را افزایش میدهد.
توضیح مترجم: «راهزن چندبازو» نام مسئلهای است که از تشبیه به یک سالن ماشینهای قمار آمده است: هر ماشین (بازو) سود احتمالی نامعلومی دارد و شما با تعداد محدودی کشیدن باید بفهمید کدام ماشین بهتر است. اینجا هر «قانون کاندید» یک بازو و «دقت» آن همان سود است؛ MAB کمک میکند بهجای ارزیابی یکنواخت همهٔ کاندیدها، نمونههای بیشتری را به کاندیدهای امیدبخش اختصاص دهیم و کاندیدهای بد زود کنار گذاشته شوند. «جستجوی پرتویی» نیز یعنی در هر مرحله فقط $B$ گزینهٔ برتر نگه داشته و بسط داده میشوند، نه همهٔ گزینهها.
این چهار مؤلفه در شکل ۱۶.۲ نشان داده شدهاند.
شکل ۱۶.۲: مؤلفههای الگوریتم انکر و روابط متقابل آنها (سادهشده).
توضیح مترجم (متن داخل تصویر): تصویر یک نمودار گردشی است. جعبهٔ بالا: Instance x to be explained = نمونهٔ x که باید توضیح داده شود. کادر خطچین سمت چپ: Parameters = پارامترها: Model f = مدل f؛ Perturbation space D = فضای اختلال D. کادر خطچین سمت راست: Hyperparameters = هایپرپارامترها: Beam Width B = عرض پرتو B؛ Precision Threshold τ = آستانهٔ دقت τ. سپس جعبهٔ Beam Search = جستجوی پرتویی. بعد از آن: Generate new candidates by extending previous round’s B best candidates = تولید کاندیدهای جدید با گسترش B کاندید برتر دور قبل؛ Use Multi-Armed Bandit to select B best candidates = استفاده از راهزن چندبازو برای انتخاب B کاندید برتر. در کادر خطچین زیر آن: Generate x’s neighbors by calling D(·|currentRule) = تولید همسایههای x با فراخوانی D(·|currentRule) یعنی با شرط قانون جاری؛ Call f on perturbations and measure precision = فراخوانی f روی اختلالها و اندازهگیری دقت. سپس: Check if best rule passes τ = بررسی اینکه آیا بهترین قانون از τ عبور میکند؛ اگر No (خیر) به جستجوی پرتویی برمیگردد و اگر Yes (بله) به Measure coverage = اندازهگیری پوشش میرسد. جعبهٔ نقطهچین پایانی: Return candidate having highest coverage = anchor = بازگرداندن کاندیدی که بیشترین پوشش را دارد = انکر.
این رویکرد دستورپختی بهظاهر عالی برای به دست آوردن کارآمد اطلاعات از نظر آماری مستحکم دربارهٔ این است که چرا یک سیستم یک نمونه را آنگونه که طبقهبندی کرده، طبقهبندی کرده است. این روش بهطور نظاممند با ورودی مدل آزمایش میکند و با مشاهدهٔ خروجیهای متناظر نتیجهگیری میکند. برای کاهش تعداد فراخوانیهای مدل به روشهای یادگیری ماشینِ جاافتاده و پژوهیدهشده (MABها) تکیه دارد. این بهنوبهٔ خود زمان اجرای الگوریتم را بهشدت کاهش میدهد.
پیچیدگی و زمان اجرا
دانستن رفتار مجانبیِ زمان اجرای رویکرد انکر به ارزیابی اینکه انتظار میرود روی مسائل خاص چقدر خوب عمل کند کمک میکند. فرض کنید $B$ عرض پرتو و $p$ تعداد همهٔ ویژگیها باشد. آنگاه الگوریتم انکر تابع کران زیر است:
$$\mathcal{O}(B \cdot p^2 + p^2 \cdot \mathcal{O}_{\textrm{MAB} [B \cdot p, B]})$$
این کران از هایپرپارامترهای مستقل از مسئله، مانند اطمینان آماری $\delta$، انتزاع میکند. نادیده گرفتن هایپرپارامترها به کاهش پیچیدگی کران کمک میکند (برای اطلاعات بیشتر مقالهٔ اصلی را ببینید). چون MAB در هر دور $B$ کاندید برتر را از میان $B \cdot p$ کاندید استخراج میکند، در بیشتر MABها و زمانهای اجرای آنها، عامل $p^2$ بیش از هر پارامتر دیگری ضرب میشود.
بنابراین آشکار میشود: کارایی الگوریتم هنگامی که ویژگیهای زیادی وجود دارند کاهش مییابد.
توضیح مترجم: در نمادگذاری بالا $\mathcal{O}_{\textrm{MAB} [B \cdot p, B]}$ هزینهٔ اجرای یک MAB است که باید $B$ بازوی برتر را از میان $B \cdot p$ بازو بیابد؛ این عبارت داخل کران کلی بهعنوان یک جمله قرار گرفته و خودِ منبع جزئیات آن را به مقالهٔ اصلی واگذار کرده است. نتیجهٔ عملی: اگر تعداد ویژگیها $p$ دو برابر شود، هزینه در بهترین حالت حدود چهار برابر میشود، چون $p^2$ در کران ظاهر شده است.
مثال دادههای جدولی
دادههای جدولی دادههای ساختاریافتهای هستند که با جدول نمایش داده میشوند، بهطوری که ستونها ویژگیها و سطرها نمونهها را تجسم میبخشند. برای مثال، از دادههای اجارهٔ دوچرخه استفاده میکنیم تا توانایی رویکرد انکر را در توضیح پیشبینیهای یادگیری ماشین برای نمونههای منتخب نشان دهیم. برای این کار، رگرسیون را به یک مسئلهٔ طبقهبندی تبدیل میکنیم و یک جنگل تصادفی را بهعنوان مدل جعبهسیاهمان آموزش میدهیم. این مدل باید طبقهبندی کند که تعداد دوچرخههای اجارهشده بالاتر از خط روند است یا پایینتر از آن. همچنین از ویژگیهای اضافی مانند تعداد روزها از ابتدای سال ۲۰۱۱ بهعنوان روند زمانی، ماه و روز هفته استفاده میکنیم.
پیش از ساختن توضیحات انکر، باید یک تابع اختلال تعریف کرد. یک راه ساده برای انجام این کار استفاده از یک فضای اختلال پیشفرضِ شهودی برای موارد توضیحِ جدولی است که میتوان آن را مثلاً با نمونهگیری از دادههای آموزشی ساخت. هنگام ایجاد اختلال در یک نمونه، این رویکرد پیشفرض مقادیر ویژگیهایی را که مشمول محمولهای انکر هستند حفظ میکند و ویژگیهای ثابتنشده را، با احتمالی مشخص، با مقادیری جایگزین میکند که از نمونهای دیگر که تصادفی نمونهگیری شده است گرفته میشود. این فرایند نمونههای جدیدی میسازد که شبیه نمونهٔ توضیحدادهشدهاند، اما برخی مقادیر را از نمونههای تصادفی دیگر گرفتهاند. بنابراین شبیه همسایههای نمونهٔ توضیحدادهشده هستند.
برای درک بهتر (توضیح مترجم): فرض کنید میخواهیم روز ۴۰ را توضیح دهیم: دما $-2$ درجه، فصل زمستان، هوا خوب. اگر انکر فعلی فقط «دما $<0$» را ثابت کرده باشد، یک اختلال چنین ساخته میشود: مقدار دما همان $-2$ میماند، ولی فصل و هوا از یک روز تصادفی دیگر در دادههای آموزشی (مثلاً «تابستان» و «بد») گرفته میشوند. این نمونهٔ ساختگی به مدل داده میشود و میپرسیم هنوز «پایینتر از روند» پیشبینی میشود یا نه. نسبتِ پاسخهای «بله» در هزاران اختلال از این دست همان دقت انکر است. (مثال عددی فرضی است و در کتاب نیامده است.)
نتایج (شکل ۱۶.۳) بهطور شهودی قابل تفسیرند و برای هر نمونهٔ توضیحدادهشده نشان میدهند کدام ویژگیها برای پیشبینی مدل از همه مهمترند. چون انکرها محمولهای اندکی دارند، پوشش بالایی هم دارند و بنابراین بر موارد دیگر هم اعمال میشوند. قوانین نشاندادهشده در بالا با $\tau = 0.9$ تولید شدهاند. پس انکرهایی را درخواست میکنیم که اختلالهای ارزیابیشدهٔ آنها برچسب را با دقتی دستکم $90%$ وفادارانه پشتیبانی کنند. همچنین برای افزایش گویایی و کاربردپذیری ویژگیهای عددی از گسستهسازی استفاده شد.
شکل ۱۶.۳: انکرها در حال توضیح شش نمونه از مجموعهدادهٔ اجارهٔ دوچرخه. هر سطر یک توضیح یا انکر را نشان میدهد و هر میله محمولهای ویژگیای را نشان میدهد که انکر شامل آنهاست. محور x دقت یک قانون را نشان میدهد و ضخامت میله با پوشش آن متناظر است. قانون «پایه» (base) هیچ محمولی ندارد. این انکرها نشان میدهند که مدل عمدتاً دما را برای پیشبینیها در نظر میگیرد.
توضیح مترجم (متن داخل تصویر): محور افقی با عنوان Precision = دقت (از ۰٫۰ تا ۱٫۰). برچسبهای عمودی سمت چپ: «’ below ’ cases» = موارد «پایینتر از روند» (سه نمونهٔ ۷۰۰، ۱۰۶ و ۴۰) و «’ above ’ cases» = موارد «بالاتر از روند» (سه نمونهٔ ۲۰۰، ۶۱۰ و ۴۷۵)؛ اعداد، شمارهٔ سطر نمونه در دادهاند. Cov = Coverage = پوشش، با مقدار کنار هر میله (مثلاً Cov: 0.189 یعنی پوشش ۰٫۱۸۹). متن داخل میلهها محمول است:
IN [0,7)یعنی مقدار ویژگی در بازهٔ بستهـباز ۰ تا ۷؛IN <0یعنی کمتر از ۰؛IN >=28یعنی دستکم ۲۸؛= BADیعنی وضعیت آبوهوا برابر «بد». راهنما (legend): base = قانون پایه (بدون محمول)، temp = دما، weathersit = وضعیت آبوهوا. نام ویژگیها مطابق ستونهای مجموعهداده، به انگلیسی ماندند. مطابق متن، ستون temp در همهٔ شش انکر ظاهر میشود و فقط در نمونهٔ ۱۰۶ محمول وضعیت آبوهوا هم اضافه شده است.
همهٔ قوانین پیشین برای نمونههایی تولید شدند که مدل دربارهٔ آنها با اطمینان و بر پایهٔ چند ویژگی تصمیم میگیرد. اما نمونههای دیگر چنین بهروشنی طبقهبندی نمیشوند، چون ویژگیهای بیشتری اهمیت دارند. در چنین مواردی انکرها اختصاصیتر میشوند، ویژگیهای بیشتری را دربر میگیرند و بر نمونههای کمتری اعمال میشوند، همانطور که مثلاً در شکل ۱۶.۴ میبینیم.
شکل ۱۶.۴: توضیح نمونههای نزدیک به مرزهای تصمیم به قوانین اختصاصیای میانجامد که شمار بیشتری محمول ویژگی دارند و پوشش کمتری. همچنین قانون تهی، یعنی ویژگی پایه، اهمیت کمتری مییابد. این را میتوان نشانهای از مرز تصمیم تفسیر کرد، چون نمونه در یک همسایگی ناپایدار قرار دارد.
توضیح مترجم (متن داخل تصویر): دو نمونه نمایش داده شدهاند: نمونهٔ ۴۵۲ در گروه «’ above ’ cases» (بالاتر از روند) با پوشش Cov: 0.003 و نمونهٔ ۳۰۰ در گروه «’ below ’ cases» (پایینتر از روند) با پوشش Cov: 0.004؛ محور افقی Precision = دقت. در هر میله چند محمول با رنگهای متفاوت پشت سر هم آمدهاند، مانند
= SUMMER(فصل = تابستان)،= MAR(ماه = مارس)،= TUE(روز هفته = سهشنبه)،= 2012(سال)،= MISTY(وضعیت آبوهوا = مهآلود) و= NO HOLIDAY(تعطیل نیست)؛ بقیه مقدارهای عددی ویژگیها هستند (مثلاً= 451،= 29،= 299،= 81.2917،= 14.09،= 13.250121). برچسبهایی که بالای/زیر میله با علامت ^ یا v آمدهاند محمولهای بسیار باریکیاند که درون میله جا نمیشدند. راهنما (legend): base = قانون پایه، season = فصل، days_since_2011 = روزها از ۲۰۱۱، yr = سال، mnth = ماه، hum = رطوبت، temp = دما، weekday = روز هفته، weathersit = وضعیت آبوهوا، windspeed = سرعت باد، holiday = تعطیلی. نام ویژگیها مطابق مجموعهداده، به انگلیسی ماندند. بهویژه توجه کنید هر انکر تقریباً همهٔ ویژگیها را شامل میشود و پوششها (۰٫۰۰۳ و ۰٫۰۰۴) بسیار کوچکاند.
انتخاب فضای اختلال پیشفرض انتخابی راحت است، اما ممکن است تأثیر زیادی بر الگوریتم داشته باشد و بنابراین به نتایج سوگیرانه بینجامد. برای مثال، اگر مجموعهٔ آموزشی نامتوازن باشد (تعداد نمونههای هر کلاس نابرابر باشد)، فضای اختلال هم نامتوازن است. این وضعیت بر قانونیابی و دقتِ نتیجه نیز اثر میگذارد. این ممکن است ناخواسته باشد و میتوان از راههای گوناگون با آن مواجه شد. برای مثال میتوان یک فضای اختلال سفارشی تعریف کرد. این اختلال سفارشی میتواند به شکل متفاوتی نمونهگیری کند، مثلاً از یک مجموعهداده نامتوازن یا از یک توزیع نرمال. اما این کار یک عارضهٔ جانبی دارد: همسایههای نمونهگیریشده نماینده نیستند و دامنهٔ پوشش را تغییر میدهند. بهعنوان جایگزین، میتوانیم مقادیر پارامتر اطمینانِ $\delta$ و پارامتر خطای $\epsilon$ در MAB را تغییر دهیم. این کار باعث میشود MAB نمونههای بیشتری بگیرد و در نهایت به این بینجامد که کلاس اقلیت در عدد مطلق بیشتر نمونهگیری شود.
💡 نامتوازنی کلاسها را بررسی کنید
هنگام تعریف یک فضای اختلال سفارشی، راهبردهای نمونهگیریای را در نظر بگیرید که نامتوازنی کلاسها را رعایت میکنند. برای مثال، از نمونهگیری طبقهای (stratified sampling) استفاده کنید تا مطمئن شوید کلاسهای اقلیت بهدرستی در فضای اختلال نمایندگی میشوند.
توضیح مترجم: پارامتر $\epsilon$ در این فصل تعریف نشده و از مقالهٔ اصلی KL-LUCB میآید: خطای قابلقبول در تشخیص بهترین بازوها. کوچکتر گرفتن $\delta$ و $\epsilon$ یعنی الگوریتم باید اطمینان بیشتری کسب کند و در نتیجه نمونهٔ بیشتری میگیرد؛ هزینهٔ آن فراخوانیهای بیشتر مدل و زمان اجرای بیشتر است. «نمونهگیری طبقهای» یعنی نمونهها را جداگانه از هر کلاس چنان بگیریم که سهم هر کلاس در نمونه بهدلخواه (مثلاً مساوی) تعیین شود.
نقاط قوت
رویکرد انکر چند مزیت نسبت به LIME دارد. نخست، خروجی الگوریتم آسانتر فهمیده میشود، چون قوانین آسان برای تفسیر هستند (حتی برای افراد غیرمتخصص).
علاوه بر این، انکرها زیرمجموعهپذیرند (subsettable) و با گنجاندن مفهوم پوشش حتی معیاری از اهمیت را هم بیان میکنند. دوم، رویکرد انکر وقتی پیشبینیهای مدل در همسایگی یک نمونه غیرخطی یا پیچیده باشند، کار میکند. چون این رویکرد بهجای برازش مدلهای جانشین از تکنیکهای یادگیری تقویتی استفاده میکند، احتمال کمتری دارد که مدل را کمبرازش (underfit) کند.
گذشته از این، الگوریتم مستقل از مدل است و بنابراین بر هر مدلی قابلاعمال است.
انکرها میتوانند برای توجیه پیشبینیها مفید باشند، چون استواری پیشبینیها (یا نبود آن) را در برابر تغییرات برخی ویژگیها نشان میدهند.
افزون بر این، الگوریتم بسیار کارآمد است، چون میتوان آن را موازیسازی کرد، با استفاده از MABهایی که از نمونهگیری دستهای (batch sampling) پشتیبانی میکنند (مثلاً BatchSAR).
توضیح مترجم: منظور از «زیرمجموعهپذیر» در متن اصلی (subsettable) این است که هر انکر خودش یک زیرمجموعهٔ مشخص از فضای ورودی را توصیف میکند و عدد پوشش میگوید این زیرمجموعه چه بخشی از فضاست؛ به همین دلیل پوشش را میتوان معیاری از «اهمیت» قانون دانست. منبع این واژه را بیشتر توضیح نداده است.
محدودیتها
این الگوریتم، مانند بیشتر توضیحدهندههای مبتنی بر اختلال، از یک پیکربندی بسیار تنظیمپذیر و پراثیر رنج میبرد. نهتنها باید هایپرپارامترهایی مانند عرض پرتو یا آستانهٔ دقت تنظیم شوند تا نتایج معناداری به دست آید، بلکه تابع اختلال نیز باید بهصراحت برای یک حوزه/مورد استفاده طراحی شود. به این فکر کنید که دادههای جدولی چگونه مختل میشوند، و به این فکر کنید که چگونه همان مفاهیم را بر دادههای تصویری اعمال کنید (نکته: نمیتوان اعمال کرد). خوشبختانه در برخی حوزهها (مثلاً جدولی) میتوان از رویکردهای پیشفرض استفاده کرد که برپاسازی اولیهٔ توضیح را آسان میکند.
همچنین، بسیاری از سناریوها به گسستهسازی نیاز دارند (discretization)، چون در غیر این صورت نتایج بیش از حد اختصاصی میشوند، پوشش کمی دارند و به فهم مدل کمکی نمیکنند. گسستهسازی میتواند کمک کند، اما اگر بیدقت به کار رود ممکن است مرزهای تصمیم را محو کند و در نتیجه دقیقاً عکس اثر مطلوب را بگذارد. چون بهترین تکنیک گسستهسازی وجود ندارد، کاربران باید پیش از تصمیم دربارهٔ نحوهٔ گسستهسازی دادهها، با دادهها آشنا باشند تا به نتایج ضعیف نرسند.
ساختن انکرها، مانند همهٔ توضیحدهندههای مبتنی بر اختلال، به فراخوانیهای بسیار زیاد مدل یادگیری ماشین نیاز دارد. اگرچه الگوریتم از MABها برای حداقل کردن تعداد فراخوانیها استفاده میکند، زمان اجرای آن هنوز بسیار به عملکرد مدل وابسته است و بنابراین بسیار متغیر است.
سرانجام، مفهوم پوشش در برخی حوزهها تعریف نشده است. برای مثال، هیچ تعریف آشکار یا همهگیری وجود ندارد که ابرپیکسلهای (superpixels) یک تصویر چگونه با ابرپیکسلهای تصاویر دیگر مقایسه میشوند.
توضیح مترجم: «گسستهسازی» یعنی تبدیل یک ویژگی عددی پیوسته به چند بازه؛ مثلاً دما به بازههای
[0,7)،[7,14)و … که در شکل ۱۶.۳ هم دیده میشوند. مثال تصویر در متن منبع برای نشان دادن این است که «جایگزین کردن مقدار یک ویژگی با مقدار نمونهٔ دیگر» برای جدول معنا دارد، اما برای پیکسلهای یک تصویر روش مشخصی ندارد؛ به همین دلیل تابع اختلال باید برای هر حوزه جداگانه طراحی شود. «ابرپیکسل» نیز ناحیهای از پیکسلهای مجاور و مشابه است که در روشهای توضیح تصویر بهجای تکتک پیکسلها به کار میرود.
نرمافزار و جایگزینها
در حال حاضر دو پیادهسازی در دسترس است: anchor، یک بستهٔ پایتون (که Alibi نیز آن را یکپارچه کرده است)، و یک پیادهسازی جاوا. اولی مرجع نویسندگان الگوریتم انکر است و دومی پیادهسازیای با کارایی بالاست که با یک رابط R به نام anchors عرضه میشود و برای مثالهای این فصل به کار رفت. تا کنون، پیادهسازی انکر فقط از دادههای جدولی پشتیبانی میکند. با این حال، انکرها را از نظر نظری میتوان برای هر حوزه یا نوع داده ساخت.