فصل ۱۷: مقادیر شپلی
عنوان اصلی: Shapley Values
منبع: https://christophm.github.io/interpretable-ml-book/shapley.html
نویسنده: Christoph Molnar
مترجم: مریم محمودی
یک پیشبینی را میتوان با این فرض توضیح داد که هر مقدار ویژگیِ نمونه یک «بازیکن» در یک بازی است که در آن پیشبینی همان «پرداخت» (payout) است. مقادیر شپلی (Shapley values) – روشی برگرفته از نظریهٔ بازیهای ائتلافی (coalitional game theory) – به ما میگویند «پرداخت» را چگونه بهطور منصفانه میان ویژگیها توزیع کنیم.
توضیح مترجم: در این فصل Shapley value بهصورت «مقدار شپلی» نوشته میشود. ائتلاف (coalition) مجموعهای از بازیکنان است که با هم همکاری میکنند؛ در اینجا بازیکنان همان مقادیر ویژگیها هستند. پرداخت (payout) سودی است که از همکاری به دست میآید و باید میان بازیکنان تقسیم شود؛ در اینجا این سود همان پیشبینی مدل (منهای میانگین پیشبینی) است. نام شپلی از Lloyd Shapley، ریاضیدان و اقتصاددان برنده نوبل، گرفته شده که این مفهوم را در سال ۱۹۵۳ معرفی کرد.
💡 کتابی دربارهٔ SHAP
به دنبال راهنمایی جامع و عملی برای SHAP و مقادیر شپلی هستید؟ کتاب Interpreting Machine Learning Models with SHAP پاسخگوی نیاز شماست. با مثالهای عملی پایتون از بستهٔ
shap، یاد میگیرید چگونه مدلهایی از ساده تا پیچیده را توضیح دهید. این کتاب به سازوکار درونی SHAP میپردازد، قالبهایی برای تفسیر ارائه میدهد و محدودیتهای کلیدی را برجسته میکند و بینشهایی را که برای بهکارگیری مطمئن و مؤثر SHAP لازم دارید در اختیار شما میگذارد.
ایدهٔ کلی
سناریوی زیر را فرض کنید: شما یک مدل یادگیری ماشین برای پیشبینی قیمت آپارتمان آموزش دادهاید. برای یک آپارتمان مشخص، مدل ۳۰۰٬۰۰۰ یورو پیشبینی میکند و شما باید این پیشبینی را توضیح دهید. این آپارتمان ۵۰ متر مربع مساحت دارد، در طبقهٔ دوم قرار گرفته، در نزدیکی آن پارکی وجود دارد و نگهداری گربه در آن ممنوع است، همانطور که در شکل ۱۷.۱ نشان داده شده است. میانگین پیشبینی برای همهٔ آپارتمانها ۳۱۰٬۰۰۰ یورو است. هدف ما توضیح این است که هر یک از این مقادیر ویژگی چه سهمی در پیشبینی داشته است. هر مقدار ویژگی در مقایسه با میانگین پیشبینی چه مقدار به پیشبینی کمک کرده است؟
توضیح مترجم (متن داخل تصویر): در تصویر، نماد درختها با علامت ✓ یعنی «پارک در نزدیکی هست»؛ ساختمان با برچسب «50 m² / 2nd floor» یعنی «۵۰ مترمربع / طبقهٔ دوم»؛ نماد گربه با علامت ✗ یعنی «نگهداری گربه ممنوع است»؛ و عدد سمت راست پیکان، €300,000، قیمت پیشبینیشده (۳۰۰٬۰۰۰ یورو) است. نوشتههای انگلیسی تصویر بدون تغییر ماندند.
پاسخ برای مدلهای رگرسیون خطی ساده است. اثر هر ویژگی برابر است با وزن آن ویژگی ضرب در مقدار ویژگی. این روش تنها بهدلیل خطی بودن مدل کار میکند. برای مدلهای پیچیدهتر به راهحل دیگری نیاز داریم. برای مثال، LIME مدلهای محلی را برای تخمین اثرها پیشنهاد میکند. راهحل دیگر از نظریهٔ بازیهای تعاونی (cooperative game theory) میآید: مقدار شپلی، که Shapley (۱۹۵۳) آن را معرفی کرد، روشی برای تخصیص پرداخت به بازیکنان بر اساس سهمشان در پرداخت کل است. بازیکنان در یک ائتلاف همکاری میکنند و از این همکاری سود مشخصی دریافت میکنند.
بازیکنان؟
بازی؟
پرداخت؟
ارتباط اینها با پیشبینیهای یادگیری ماشین و تفسیرپذیری چیست؟
«بازی» همان وظیفهٔ پیشبینی برای یک نمونهٔ منفرد از مجموعهداده است.
«سود» (gain) برابر است با پیشبینی واقعی برای این نمونه منهای میانگین پیشبینی برای همهٔ نمونهها.
«بازیکنان» مقادیر ویژگیِ نمونه هستند که برای دریافت سود با هم همکاری میکنند (= پیشبینی یک مقدار مشخص).
در مثال آپارتمان ما، مقادیر ویژگی park-nearby (پارک در نزدیکی)، cat-banned (ممنوعیت گربه)، area-50 (مساحت ۵۰) و floor-2nd (طبقهٔ دوم) با هم کار کردند تا به پیشبینی ۳۰۰٬۰۰۰ یورو برسند.
هدف ما توضیح تفاوت میان پیشبینی واقعی (۳۰۰٬۰۰۰ یورو) و میانگین پیشبینی (۳۱۰٬۰۰۰ یورو) است: تفاوتی برابر با -۱۰٬۰۰۰ یورو.
پاسخ میتواند چنین باشد:
park-nearby ۳۰٬۰۰۰ یورو سهم داشت؛ area-50 ۱۰٬۰۰۰ یورو سهم داشت؛ floor-2nd سهمی برابر ۰ یورو داشت؛ cat-banned سهمی برابر -۵۰٬۰۰۰ یورو داشت.
سهمها روی هم -۱۰٬۰۰۰ یورو میشوند، یعنی پیشبینی نهایی منهای میانگین قیمت پیشبینیشدهٔ آپارتمان.
مقدار شپلی را برای یک ویژگی چگونه محاسبه میکنیم؟
مقدار شپلی میانگینِ سهم حاشیهای (marginal contribution) یک مقدار ویژگی در همهٔ ائتلافهای ممکن است. حالا همهچیز روشن شد؟
شکل ۱۷.۲ نشان میدهد سهم حاشیهایِ مقدار ویژگی cat-banned را وقتی به ائتلافی از park-nearby و area-50 اضافه میشود چگونه محاسبه کنیم.
ما وضعیتی را شبیهسازی میکنیم که فقط park-nearby، cat-banned و area-50 در یک ائتلاف هستند؛ برای این کار یک آپارتمان دیگر را بهطور تصادفی از دادهها بیرون میکشیم و مقدارِ آن را برای ویژگی طبقه به کار میبریم.
مقدار floor-2nd با floor-1st که بهطور تصادفی بیرون کشیده شده بود جایگزین شد.
سپس قیمت آپارتمانی را با این ترکیب پیشبینی میکنیم (۳۱۰٬۰۰۰ یورو).
در گام دوم، cat-banned را با جایگزینکردن آن با یک مقدار تصادفی از ویژگی مجاز/ممنوعبودن گربه، از همان آپارتمانِ تصادفی بیرونکشیدهشده، از ائتلاف حذف میکنیم.
در این مثال این مقدار cat-allowed (گربه مجاز) بود، اما میتوانست دوباره cat-banned باشد.
قیمت آپارتمان را برای ائتلاف park-nearby و area-50 پیشبینی میکنیم (۳۲۰٬۰۰۰ یورو).
سهم cat-banned برابر بود با ۳۱۰٬۰۰۰ یورو − ۳۲۰٬۰۰۰ یورو = -۱۰٬۰۰۰ یورو.
این تخمین به مقادیر آپارتمان تصادفیِ بیرونکشیدهشده بستگی دارد که برای مقادیر ویژگیهای گربه و طبقه نقش «اهداکننده» (donor) را داشت.
اگر این مرحلهٔ نمونهگیری را تکرار کنیم و سهمها را میانگین بگیریم، تخمینهای بهتری به دست میآوریم.
توضیح مترجم (متن داخل تصویر): در این تصویر هر دو ردیف آپارتمانی با «50 m² / 1st floor» (۵۰ مترمربع / طبقهٔ اول) و پارک در نزدیکی (✓) هستند. در ردیف بالا گربه ممنوع است (✗) و قیمت پیشبینیشده €310,000 است؛ در ردیف پایین گربه مجاز است (✓) و قیمت پیشبینیشده €320,000 است. تفاوت این دو قیمت (۳۱۰٬۰۰۰ − ۳۲۰٬۰۰۰ = -۱۰٬۰۰۰ یورو) سهم حاشیهای
cat-bannedدر این تکرار است. «طبقهٔ اول» در هر دو ردیف همان مقدار اهداکننده است که جایگزین «طبقهٔ دوم» شده است.
ما این محاسبه را برای همهٔ ائتلافهای ممکن تکرار میکنیم. مقدار شپلی میانگین همهٔ سهمهای حاشیهای در همهٔ ائتلافهای ممکن است. زمان محاسبه با افزایش تعداد ویژگیها بهصورت نمایی افزایش مییابد. یک راهحل برای قابلمدیریت نگهداشتن زمان محاسبه این است که سهمها را فقط برای چند نمونه از ائتلافهای ممکن محاسبه کنیم.
شکل ۱۷.۳ همهٔ ائتلافهایی از مقادیر ویژگی را نشان میدهد که برای تعیین مقدار شپلیِ دقیق cat-banned لازماند.
سطر اول ائتلافِ بدون هیچ مقدار ویژگی را نشان میدهد.
سطرهای دوم، سوم و چهارم ائتلافهای مختلف با اندازهٔ فزایندهٔ ائتلاف را نشان میدهند که با «|» از هم جدا شدهاند.
در مجموع ائتلافهای ممکن عبارتاند از:
{}(ائتلاف تهی){park-nearby}{area-50}{floor-2nd}{park-nearby,area-50}{park-nearby,floor-2nd}{area-50,floor-2nd}{park-nearby,area-50,floor-2nd}
برای هر یک از این ائتلافها، قیمت پیشبینیشدهٔ آپارتمان را با و بدون مقدار ویژگی cat-banned محاسبه میکنیم و تفاضل آنها را بهعنوان سهم حاشیهای میگیریم.
مقدار شپلی میانگینِ (وزندار) همهٔ سهمهای حاشیهای است.
برای بهدستآوردن یک پیشبینی از مدل یادگیری ماشین، مقادیر ویژگیهایی را که در ائتلاف نیستند با مقادیر ویژگیِ تصادفی از مجموعهدادهٔ آپارتمانها جایگزین میکنیم.
اگر مقادیر شپلی را برای همهٔ مقادیر ویژگی تخمین بزنیم، توزیع کامل پیشبینی (منهای میانگین) را میان مقادیر ویژگی به دست میآوریم.
توضیح مترجم (متن داخل تصویر): نماد ممنوعیت (دایره با خط مورب) در سطر اول همان ائتلاف تهی است. در سطرهای بعد، نمادِ درخت با ✓ یعنی
park-nearby، «50m²» یعنیarea-50و ساختمان با برچسب «2nd floor» (طبقهٔ دوم) یعنیfloor-2nd. خطهای عمودی «|» ائتلاف را از مقادیری که در ائتلاف نیستند جدا میکنند. نوشتههای «50m²» و «2nd floor» در تصویر بدون ترجمه ماندند.
برای درک بهتر (توضیح مترجم): برای اینکه وزندهی در «میانگین وزندار» روشن شود، حالت سادهای را با سه بازیکن A، B و C در نظر بگیرید و سهم B را حساب کنید. ائتلافهایی که B در آنها نیست عبارتاند از
{}،{A}،{C}و{A,C}. شپلی به هر ترتیب ورود بازیکنان وزن یکسانی میدهد و ۶ ترتیب ممکن است (۳! = ۶): B در ۲ ترتیب اول وارد میشود (به ائتلاف تهی میپیوندد)، در ۱ ترتیب بعد از A و در ۱ ترتیب بعد از C، و در ۲ ترتیب آخر به ائتلاف{A,C}میپیوندد. پس به ائتلافهای{}،{A}،{C}و{A,C}بهترتیب وزنهای ۲/۶، ۱/۶، ۱/۶ و ۲/۶ میرسد. اگر سهم حاشیهایِ B در این ائتلافها بهترتیب ۴، ۶، ۲ و ۸ باشد، مقدار شپلی برابر است با $\frac{2}{6}\cdot 4 + \frac{1}{6}\cdot 6 + \frac{1}{6}\cdot 2 + \frac{2}{6}\cdot 8 = \frac{8+6+2+16}{6} = \frac{32}{6} \approx 5.33$. این همان «میانگین وزندار» است که در بخش «نظریهٔ مقدار شپلی» با فرمول دقیق آمده است.
مثالها و تفسیر
تفسیر مقدار شپلی برای ویژگی $j$ چنین است: مقدار $j$-امین ویژگی، در مقایسه با میانگین پیشبینی برای مجموعهداده، بهاندازهٔ $\phi_j$ به پیشبینیِ این نمونهٔ مشخص کمک کرده است. مقدار شپلی هم برای طبقهبندی (اگر با احتمالها سروکار داشته باشیم) و هم برای رگرسیون کار میکند.
ما از مقدار شپلی برای تحلیل پیشبینیهای یک مدل جنگل تصادفی (random forest) استفاده میکنیم که جنسیت پنگوئن را پیشبینی میکند. شکل ۱۷.۴ مقادیر شپلی را برای یک پنگوئن نر نشان میدهد. مقدار پیشبینیشدهٔ P(female)=۰٫۲۱ برای این پنگوئن، -۰٫۳۱ زیر میانگین احتمالِ P(female) است که ۰٫۵۱ میباشد. طول منقار بیشترین سهم را در احتمال مادهبودن داشت، اما بیشتر عوامل (بهدرستی) به سمت نر بودن اشاره میکردند. مجموع سهمها تفاوت میان پیشبینی واقعی و میانگین پیشبینی (۰٫۵۱) را به دست میدهد.
توضیح مترجم (متن داخل تصویر): بالای نمودار چهار سطر آمده است:
Actual class: male(کلاس واقعی: نر)،Actual prediction: 0.21(پیشبینی واقعی: ۰٫۲۱)،Average prediction: 0.51(میانگین پیشبینی: ۰٫۵۱) وDifference: -0.31(تفاوت: -۰٫۳۱). برچسب محور افقیFeature value contributionیعنی «سهم مقدار ویژگی». برچسبهای محور عمودی به شکل «ویژگی=مقدار» هستند:bill_length_mm=37.2(طول منقار ۳۷٫۲ میلیمتر)،flipper_length_mm=178(طول باله ۱۷۸ میلیمتر)،bill_depth_mm=18.1(عمق منقار ۱۸٫۱ میلیمتر)،species=Adelie(گونه: آدلی) وbody_mass_g=3900(وزن بدن ۳۹۰۰ گرم). نامهای انگلیسی ویژگیها در تصویر بدون ترجمه ماندند.
توضیح مترجم: در متن منبع، جملهای که میگوید پیشبینی «-۰٫۳۱ زیر میانگین» است، چون خودِ تفاوت منفی است، عملاً «علامت منفی» را دو بار به کار برده است؛ منظور این است که پیشبینی ۰٫۳۱ واحد کمتر از میانگین است (۰٫۲۱ − ۰٫۵۱ = -۰٫۳۰ با گردکردنِ مقادیر نمایشدادهشده؛ تصویر -۰٫۳۱ را نشان میدهد). همچنین عدد داخل پرانتزِ جملهٔ آخر (۰٫۵۱) در منبع همان میانگین پیشبینی است نه خودِ تفاوت (-۰٫۳۱)؛ ترجمه عین منبع را حفظ کرده است. نکتهٔ دیگر: مقادیر شپلیِ این نمودار با نمونهگیری (۱۰۰ نمونه) تخمین زده شدهاند، بنابراین مجموع میلههایی که از روی نمودار بهصورت تقریبی میخوانید لزوماً دقیقاً با تفاوت بالای نمودار برابر نمیشود؛ برابری دقیق (خاصیت کارایی) برای مقادیر شپلیِ دقیق برقرار است.
مقادیر شپلی همیشه به یک مجموعهدادهٔ مرجع نیاز دارند که اعضای غایبِ تیم از آن نمونهگیری شوند. در این مورد من از همهٔ نقاط داده، یعنی همهٔ پنگوئنها، صرفنظر از گونه استفاده کردم. پنگوئن فعلی یک پنگوئن Adelie است و میتوانیم مقادیر شپلیای را هم محاسبه کنیم که فقط با پنگوئنهای همگونه مقایسه میکنند. این کار مشکل نمونهگیری و ترکیب مقادیر غیرواقعگرایانه را کاهش میدهد. شکل ۱۷.۵ تفسیری متفاوت را نیز نشان میدهد. وقتی پنگوئن ما را با دیگر پنگوئنهای Adelie مقایسه میکنیم، دلیل احتمال پایینِ مادهبودنِ آن وزن بدنش است.
توضیح مترجم (متن داخل تصویر): ساختار برچسبها مانند شکل ۱۷.۴ است؛ در اینجا
Average prediction: 0.48(میانگین پیشبینی: ۰٫۴۸) وDifference: -0.28(تفاوت: -۰٫۲۸) است، چون میانگین فقط روی پنگوئنهای Adelie گرفته شده است. میلهٔspecies=Adelie(گونه: آدلی) ناپیداست، زیرا مرجع فقط شامل همین گونه است و بنابراین این ویژگی تفاوتی ایجاد نمیکند (سهم آن صفر است). بیشترین سهم منفی از آنِbody_mass_g=3900(وزن بدن ۳۹۰۰ گرم) است که با متن همخوانی دارد.
💡 دادههای مرجع را انتخاب کنید
تفسیر مقدار شپلی همیشه نسبت به مجموعهدادهای است که برای جایگزینی مقادیر بازیکنان غایب استفاده شده است. مطمئن شوید یک مجموعهدادهٔ مرجع معنادار انتخاب میکنید.
برای درک بهتر (توضیح مترجم): فرض کنید میخواهید بگویید یک پنگوئن «سنگین» است. اگر مرجع شما همهٔ پنگوئنها باشد، وزن ۳۹۰۰ گرم نسبتاً کم است، چون گونهٔ Gentoo سنگینتر است؛ اما اگر مرجع فقط پنگوئنهای Adelie باشد، همین وزن میتواند حدوداً معمولی یا حتی بالاتر از میانگین باشد. به همین ترتیب، در شکل ۱۷.۴ سهم
species=Adelieمنفی و قابلتوجه است و در شکل ۱۷.۵ صفر است. مقدار شپلی پاسخ میدهد «نسبت به چه مرجعی؟»، نه یک اثر مطلق.
برای مجموعهدادهٔ اجارهٔ دوچرخه نیز یک جنگل تصادفی آموزش میدهیم تا تعداد دوچرخههای اجارهشده در یک روز را با توجه به اطلاعات آبوهوا و تقویم پیشبینی کند. توضیحات ساختهشده برای پیشبینی جنگل تصادفی در یک روز مشخص در شکل ۱۷.۶ نشان داده شده است.
توضیح مترجم (متن داخل تصویر): بالای نمودار سه سطر آمده است:
Actual prediction: 4945(پیشبینی واقعی: ۴۹۴۵)،Average prediction: 4524(میانگین پیشبینی: ۴۵۲۴) وDifference: 422(تفاوت: ۴۲۲). برچسب محور افقیFeature value contributionیعنی «سهم مقدار ویژگی». برچسبهای محور عمودی از بالا به پایین:temp=15.813349(دما)،season=FALL(فصل: پاییز)،hum=48.3333(رطوبت)،weather=GOOD(وضعیت هوا: خوب)،holiday=N(تعطیلی: خیر)،workday=N(روز کاری: خیر)،windspeed=17.291561(سرعت باد) وcnt_2d_bfr=2913(تعداد دوچرخههای اجارهشده در دو روز قبل). نامهای انگلیسی ویژگیها در تصویر بدون ترجمه ماندند.
با پیشبینی ۴۹۴۵ دوچرخهٔ اجارهای، این روز ۴۲۲ زیر میانگین پیشبینی یعنی ۴۵۲۴ است. دما و رطوبت بزرگترین سهمهای مثبت را داشتند. تعداد کم در دو روز قبل بزرگترین سهم منفی را داشت. مجموع مقادیر شپلی تفاوت پیشبینی واقعی و میانگین پیشبینی (۴۲۲) را به دست میدهد.
توضیح مترجم: در منبع جملهٔ «۴۲۲ زیر میانگین» با خودِ شکل ناهمخوان است: تصویر
Difference: 422را نشان میدهد، یعنی پیشبینی (۴۹۴۵) از میانگین (۴۵۲۴) بیشتر است و نه کمتر (۴۹۴۵ − ۴۵۲۴ = ۴۲۱ با گردکردن ۴۲۲ نمایش داده شده است). متن عیناً مطابق منبع ترجمه شد. همچنین در شکل، پس ازtempبلافاصلهseason=FALL(فصل پاییز) بزرگترین سهم مثبت را دارد و بزرگتر از رطوبت است؛ متنِ منبع فقط دما و رطوبت را نام برده است. ویژگیِ منفیِ اصلیcnt_2d_bfr=2913است که «تعداد کم دو روز قبل» را نشان میدهد.
⚠️ مقادیر شپلی خلافواقع (counterfactual) نیستند
در تفسیر مقدار شپلی دقت کنید: مقدار شپلی میانگین سهم یک مقدار ویژگی در پیشبینی، در ائتلافهای مختلف است. مقدار شپلی تفاوتِ پیشبینی هنگامی که ویژگی را از مدل حذف کنیم نیست.
توضیح مترجم: «خلافواقع» یعنی پاسخ به پرسش «اگر مقدار این ویژگی را تغییر میدادیم یا ویژگی را حذف میکردیم، پیشبینی چه میشد؟». مقدار شپلی به چنین پرسشی پاسخ نمیدهد؛ برای آن به روشهایی مانند توضیحات خلافواقع نیاز است.
نظریهٔ مقدار شپلی
این بخش برای خوانندهٔ کنجکاو عمیقتر به تعریف و محاسبهٔ مقدار شپلی میپردازد. اگر به جزئیات فنی علاقهای ندارید، از این بخش بگذرید و مستقیم به «نقاط قوت و محدودیتها» بروید.
ما میخواهیم بدانیم هر ویژگی چگونه بر پیشبینی یک نقطهٔ داده اثر میگذارد. در یک مدل خطی، محاسبهٔ اثرهای منفرد آسان است. پیشبینی یک مدل خطی برای یک نمونهٔ داده به این صورت است:
$$\hat{f}(\mathbf{x})=\beta_0+\beta_{1}x_{1}+\ldots+\beta_{p}x_{p}$$
که در آن $\mathbf{x}$ نمونهای است که میخواهیم سهمها را برای آن محاسبه کنیم. هر $x_j$ یک مقدار ویژگی است، با $j = 1,\ldots,p$. $\beta_j$ وزنِ متناظر با ویژگی $j$ است.
سهم $\phi_j$ از $j$-امین ویژگی در پیشبینی $\hat{f}(\mathbf{x})$ چنین است:
$$\phi_j(\hat{f})=\beta_{j}x_j-\beta_{j}\mathbb{E}[X_{j}]$$
که در آن $\beta_j \mathbb{E}[X_{j}]$ تخمین اثر میانگین برای ویژگی $j$ است. سهم، تفاوت میان اثر ویژگی و اثر میانگین است. عالی! حالا میدانیم هر ویژگی چقدر به پیشبینی کمک کرده است. اگر همهٔ سهمهای ویژگی را برای یک نمونه جمع کنیم، نتیجه چنین است:
$$ \begin{aligned} \sum_{j=1}^{p}\phi_j(\hat{f})=&\sum_{j=1}^p(\beta_{j}x_j- \beta_{j} \mathbb{E}[X_{j}]) \\ =&(\beta_0+\sum_{j=1}^p\beta_{j}x_j)-(\beta_0+\sum_{j=1}^p \beta_{j} \mathbb{E}[X_{j}]) \\ =&\hat{f}(\mathbf{x})-\mathbb{E}[\hat{f}(\mathbf{X})] \end{aligned} $$
این همان مقدار پیشبینیشده برای نقطهٔ داده $\mathbf{x}$ منهای میانگین مقدار پیشبینیشده است. سهمهای ویژگی میتوانند منفی باشند.
برای درک بهتر (توضیح مترجم): فرض کنید مدل خطی قیمت آپارتمان (به هزار یورو) چنین باشد: $\hat{f}(\mathbf{x}) = 100 + 4\cdot\text{area} + 20\cdot\text{park}$، که در آن $\text{area}$ مساحت به مترمربع و $\text{park}$ برابر ۱ است اگر پارک در نزدیکی باشد و ۰ در غیر این صورت. فرض کنید میانگین مساحت در دادهها ۶۰ و میانگین $\text{park}$ برابر ۰٫۵ باشد. برای آپارتمانی با مساحت ۵۰ و پارک نزدیک، $\phi_{\text{area}} = 4\cdot 50 - 4\cdot 60 = -40$ و $\phi_{\text{park}} = 20\cdot 1 - 20\cdot 0.5 = 10$. مجموع سهمها -۳۰ است. از طرف دیگر پیشبینی برای این آپارتمان $100 + 200 + 20 = 320$ و میانگین پیشبینی $100 + 240 + 10 = 350$ است و تفاوت آنها هم -۳۰ میشود؛ یعنی سهمها دقیقاً تفاوت پیشبینی و میانگین پیشبینی را توضیح میدهند.
آیا میتوانیم همین کار را برای هر نوع مدلی انجام دهیم؟ خوب است این را بهعنوان یک ابزار مستقل از مدل (model-agnostic) داشته باشیم. چون معمولاً در انواع دیگر مدلها وزنهایی مشابه نداریم، به راهحل دیگری نیاز داریم.
کمک از جایی غیرمنتظره میرسد: نظریهٔ بازیهای تعاونی. مقدار شپلی راهحلی برای محاسبهٔ سهم ویژگیها در پیشبینیهای منفرد برای هر مدل یادگیری ماشین است.
تعریف
مقدار شپلی از طریق یک تابع مقدار (value function) $val$ از بازیکنان در $S$ تعریف میشود.
مقدار شپلی یک مقدار ویژگی، سهم آن در پرداخت است که روی همهٔ ترکیبهای ممکن مقادیر ویژگی وزندهی و جمع میشود:
$$\phi_j(val)=\sum_{S\subseteq{1,\ldots,p} \setminus {j}}\frac{|S|!\left(p-|S|-1\right)!}{p!}\left(val\left(S\cup{j}\right)-val(S)\right)$$
که در آن $S$ زیرمجموعهای از ویژگیهای بهکاررفته در مدل است، $\mathbf{x}$ بردار مقادیر ویژگیِ نمونهای است که باید توضیح داده شود و $p$ تعداد ویژگیهاست. $val_{\mathbf{x}}(S)$ پیشبینی برای مقادیر ویژگی در مجموعهٔ $S$ است که روی ویژگیهای $X_C$ حاشیهایسازی (marginalize) شدهاند؛ $X_C$ همهٔ ویژگیهایی هستند که در $S$ نیستند ($S \cap C = \emptyset$ و $S \cup C = {1, \ldots, p}$):
$$val_{\mathbf{x}}(S)=\int\hat{f}(x_{1},\ldots,x_{p})d\mathbb{P}_{X_C}-\mathbb{E}[\hat{f}(\mathbf{X})]$$
در واقع برای هر ویژگی که در $S$ نیست یک انتگرالگیری انجام میدهید و در نتیجه چندین انتگرال دارید. یک مثال مشخص: مدل یادگیری ماشین با ۴ ویژگی $X_1$، $X_2$، $X_3$ و $X_4$ کار میکند و ما پیشبینی را برای ائتلاف $S$ که از مقادیر ویژگی $x_1$ و $x_3$ تشکیل شده است ارزیابی میکنیم:
$$val_{\mathbf{x}}(S)=val_{\mathbf{x}}({1,3})=\int_{\mathbb{R}}\int_{\mathbb{R}}\hat{f}(x_{1},X_{2},x_{3},X_{4})d\mathbb{P}_{X_2X_4}-\mathbb{E}[\hat{f}(\mathbf{X})]$$
این شبیه سهمهای ویژگی در مدل خطی است!
توضیح مترجم: فرمول مقدار شپلی را میتوان چنین خواند: برای هر ائتلاف $S$ که شامل ویژگی $j$ نیست، میپرسیم افزودن ویژگی $j$ پیشبینی را چقدر تغییر میدهد ($val(S\cup{j})-val(S)$)، سپس این تغییرها را با وزنِ $\frac{|S|!,(p-|S|-1)!}{p!}$ میانگین میگیریم. این وزن همان نسبتِ ترتیبهای ورودی (جایگشتهای) بازیکنان است که در آنها دقیقاً اعضای $S$ پیش از $j$ آمدهاند. در $val_{\mathbf{x}}(S)$، ویژگیهای غایب ($X_C$) با انتگرال روی توزیعشان «حاشیهایسازی» میشوند، یعنی پیشبینی روی همهٔ مقادیر ممکن آنها میانگین گرفته میشود؛ و منهای $\mathbb{E}[\hat{f}(\mathbf{X})]$ باعث میشود پرداخت ائتلاف تهی صفر باشد.
📝 با کاربردهای متعدد واژهٔ «مقدار» گیج نشوید
مقدار ویژگی (feature value) مقدار عددی یا دستهای یک ویژگی و یک نمونه است؛ مقدار شپلی (Shapley value) سهم ویژگی در پیشبینی است؛ تابع مقدار (value function) تابع پرداخت برای ائتلافهای بازیکنان (مقادیر ویژگی) است.
مقدار شپلی تنها روش انتسابی است که ویژگیهای کارایی (Efficiency)، تقارن (Symmetry)، بازیکن ساکت (Dummy) و جمعپذیری (Additivity) را برآورده میکند؛ این ویژگیها در کنار هم میتوانند تعریفی از یک پرداخت منصفانه بهشمار آیند.
کارایی (Efficiency) سهمهای ویژگی باید با تفاوت پیشبینی برای $\mathbf{x}$ و میانگین برابر باشند.
$$\sum\nolimits_{j=1}^p\phi_j=\hat{f}(\mathbf{x})-\mathbb{E}[\hat{f}(\mathbf{X})]$$
تقارن (Symmetry) اگر دو مقدار ویژگی $j$ و $k$ در همهٔ ائتلافهای ممکن به یک اندازه سهم داشته باشند، سهمهای آنها باید یکسان باشد. اگر
$$val(S \cup {j})=val(S\cup{k})$$
برای همهٔ
$$S\subseteq{1,\ldots, p} \setminus {j,k}$$
آنگاه
$$\phi_j=\phi_{k}$$
بازیکن ساکت (Dummy) ویژگی $j$ که مقدار پیشبینیشده را تغییر نمیدهد – مهم نیست به کدام ائتلاف از مقادیر ویژگی افزوده شود – باید مقدار شپلی ۰ داشته باشد. اگر
$$val(S\cup{j})=val(S)$$
برای همهٔ
$$S\subseteq{1,\ldots,p}$$
آنگاه
$$\phi_j=0$$
جمعپذیری (Additivity) برای یک بازی با پرداختهای ترکیبی $val + val^+$، مقادیر شپلی متناظر به این صورت است:
$$\phi_j+\phi_j^{+}$$
فرض کنید یک جنگل تصادفی آموزش دادهاید، یعنی پیشبینی میانگینِ بسیاری از درختهای تصمیم است. خاصیت جمعپذیری تضمین میکند که برای یک مقدار ویژگی میتوانید مقدار شپلی را برای هر درخت جداگانه محاسبه کنید، آنها را میانگین بگیرید و مقدار شپلی آن مقدار ویژگی را برای جنگل تصادفی به دست آورید.
توضیح مترجم: اصطلاح Additivity در اینجا «جمعپذیری» ترجمه شده است، چون موضوع آن جمعشدنِ پرداختهای دو بازی (و مقادیر شپلیشان) است. توجه کنید در رابطهٔ $\phi_j+\phi_j^{+}$ نمادِ $^{+}$ نشاندهندهٔ بازی دوم است (و نه توان). مثلاً اگر پیشبینی جنگل میانگین $T$ درخت باشد، یعنی $val = \frac{1}{T}\sum_{t=1}^T val_t$، مقدار شپلی جنگل برابر میانگین مقادیر شپلی درختهاست.
📝 درک شهودی از مقادیر شپلی
مقادیر ویژگی به ترتیبی تصادفی وارد یک اتاق میشوند. همهٔ مقادیر ویژگیِ حاضر در اتاق در بازی مشارکت میکنند (= در پیشبینی سهم دارند). مقدار شپلی یک مقدار ویژگی، میانگینِ تغییری است که پیشبینیِ ائتلافِ حاضر در اتاق هنگام پیوستن آن مقدار ویژگی به آنها دریافت میکند.
تخمین مقادیر شپلی
برای محاسبهٔ مقدار شپلیِ دقیق، همهٔ ائتلافهای (مجموعههای) ممکن از مقادیر ویژگی باید با و بدون $j$-امین ویژگی ارزیابی شوند. وقتی تعداد ویژگیها بیش از چندتاست، راهحل دقیق این مسئله دشوار میشود، چون با افزودن ویژگیهای بیشتر، تعداد ائتلافهای ممکن بهصورت نمایی افزایش مییابد. Štrumbelj و Kononenko (۲۰۱۴) یک تقریب را با نمونهگیری مونتکارلو پیشنهاد کردند:
$$\hat{\phi}_{j} = \frac{1}{M}\sum_{m=1}^M\left(\hat{f}(\mathbf{x}^{(m)}_{+j}) - \hat{f}(\mathbf{x}^{(m)}_{-j})\right)$$
که در آن $\hat{f}(\mathbf{x}^{(m)}_{+j})$ پیشبینی برای $\mathbf{x}$ است، اما با تعداد تصادفی از مقادیر ویژگی که با مقادیر ویژگیِ یک نقطهٔ داده تصادفی $\mathbf{z}$ جایگزین شدهاند، بهجز مقدار مربوط به ویژگی $j$. بردار ویژگی $\mathbf{x}^{(m)}_{-j}$ تقریباً با $\mathbf{x}^{(m)}_{+j}$ یکسان است، اما مقدار $x^{(m)}_j$ نیز از $\mathbf{z}$ نمونهبرداریشده گرفته میشود. هر یک از این $M$ نمونهٔ جدید نوعی «هیولای فرانکنشتاین» است که از دو نمونه سرهم شده است. توجه کنید که در الگوریتم زیر، ترتیب ویژگیها در واقع تغییر نمیکند – هر ویژگی هنگامی که به تابع پیشبینی داده میشود در همان موقعیت بردار باقی میماند. ترتیب در اینجا فقط بهعنوان یک «ترفند» به کار میرود: با دادن یک ترتیب جدید به ویژگیها، سازوکاری تصادفی به دست میآوریم که به ما کمک میکند «هیولای فرانکنشتاین» را سرهم کنیم. برای ویژگیهایی که در سمت چپ ویژگی $X_j$ قرار میگیرند، مقادیر را از مشاهدات اصلی برمیداریم و برای ویژگیهای سمت راست، مقادیر را از یک نمونهٔ تصادفی میگیریم.
تخمین تقریبی شپلی برای یک مقدار ویژگی:
- خروجی: مقدار شپلی برای مقدار $j$-امین ویژگی
- ورودیهای لازم: تعداد تکرارها $M$، نمونهٔ مورد نظر $\mathbf{x}$، اندیس ویژگی $j$، ماتریس داده $\mathbf{X}$ و مدل یادگیری ماشین $f$
- برای همهٔ $m = 1,\ldots,M$:
- یک نمونهٔ تصادفی $\mathbf{z}$ را از ماتریس داده $\mathbf{X}$ بیرون بکش
- یک جایگشت تصادفی $\mathbf{o}$ از مقادیر ویژگیها انتخاب کن
- نمونهٔ $\mathbf{x}$ را مرتب کن: $\mathbf{x}_{\mathbf{o}}=(x_{(1)},\ldots,x_{(j)},\ldots,x_{(p)})$
- نمونهٔ $\mathbf{z}$ را مرتب کن: $\mathbf{z}_{\mathbf{o}}=(z_{(1)},\ldots,z_{(j)},\ldots,z_{(p)})$
- دو نمونهٔ جدید بساز
- با $j$: $\mathbf{x}_{+j}=(x_{(1)},\ldots,x_{(j-1)},x_{(j)},z_{(j+1)},\ldots,z_{(p)})$
- بدون $j$: $\mathbf{x}_{-j}=(x_{(1)},\ldots,x_{(j-1)},z_{(j)},z_{(j+1)},\ldots,z_{(p)})$
- سهم حاشیهای را محاسبه کن: $\phi_j^{(m)}=\hat{f}(\mathbf{x}_{+j})-\hat{f}(\mathbf{x}_{-j})$
- مقدار شپلی را بهصورت میانگین محاسبه کن: $\phi_j(\mathbf{x}) = \frac{1}{M}\sum_{m=1}^M\phi_j^{(m)}$
برای درک بهتر (توضیح مترجم): یک تکرار از الگوریتم را روی مثال آپارتمان اجرا میکنیم. ویژگیها: $x = (\text{park-nearby}, \text{area-50}, \text{cat-banned}, \text{floor-2nd})$ و $j$ همان ویژگی
cat-bannedاست. فرض کنید نمونهٔ تصادفیِ بیرونکشیدهشده $\mathbf{z} = (\text{park-nearby}, \text{area-50}, \text{cat-allowed}, \text{floor-1st})$ و جایگشت تصادفی چنین باشد: park، area، cat، floor. ویژگیهای پیش از cat (یعنی park و area) از $\mathbf{x}$ و ویژگیهای پس از آن (floor) از $\mathbf{z}$ گرفته میشوند. «با $j$» میشود $\mathbf{x}_{+j} = (\text{park-nearby}, \text{area-50}, \text{cat-banned}, \text{floor-1st})$ که فرض میکنیم مدل برای آن ۳۱۰٬۰۰۰ یورو پیشبینی کند؛ و «بدون $j$» میشود $\mathbf{x}_{-j} = (\text{park-nearby}, \text{area-50}, \text{cat-allowed}, \text{floor-1st})$ با پیشبینی ۳۲۰٬۰۰۰ یورو. پس $\phi_j^{(1)} = 310{,}000 - 320{,}000 = -10{,}000$؛ این دقیقاً همان تکرار شکل ۱۷.۲ است. اگر این کار را مثلاً $M = 1000$ بار با نمونهها و جایگشتهای تصادفیِ مختلف تکرار و میانگینگیری کنیم، تخمین مقدار شپلیcat-bannedبه دست میآید. توجه کنید که برای ارزیابی مدل، ویژگیها همچنان در ترتیب اصلیشان به آن داده میشوند.
💡 برای سرعت، اندازهٔ نمونه را کاهش دهید
هنگام تخمین مقادیر شپلی استفاده از اندازهٔ نمونهٔ کوچکتر $M$ را برای کاهش زمان محاسبه در نظر بگیرید، اما مراقب افزایش واریانس تخمین باشید.
این روش باید برای هر یک از ویژگیها تکرار شود تا همهٔ مقادیر شپلی به دست آیند. در فصل SHAP راههای کارآمد دیگری برای تخمین مقادیر شپلی خواهیم دید.
نقاط قوت
تفاوت میان پیشبینی و میانگین پیشبینی بهطور منصفانه میان مقادیر ویژگیِ نمونه توزیع میشود – این همان خاصیت کارایی (Efficiency) مقادیر شپلی است. این خاصیت مقدار شپلی را از روشهای دیگری مانند LIME متمایز میکند. LIME تضمین نمیکند که پیشبینی بهطور منصفانه میان ویژگیها توزیع شود. مقادیر شپلی یک توضیح کامل ارائه میدهند.
مقدار شپلی توضیحات مقایسهای (contrastive) را ممکن میکند. بهجای مقایسهٔ یک پیشبینی با میانگین پیشبینی کل مجموعهداده، میتوانید آن را با یک زیرمجموعه یا حتی با یک نقطهٔ داده مقایسه کنید. این ویژگیِ مقایسهایبودن نیز چیزی است که مدلهای محلی مانند LIME ندارند.
مقدار شپلی تنها روش توضیحی است که نظریهٔ استوار دارد. بدیهیات (axioms) – کارایی، تقارن، بازیکن ساکت، جمعپذیری – به توضیح پایهای معقول میدهند. روشهایی مانند LIME فرض میکنند مدل یادگیری ماشین بهطور محلی رفتار خطی دارد، اما هیچ نظریهای وجود ندارد که توضیح دهد چرا این فرض باید کار کند.
توضیح مترجم: «بدیهیات» (axioms) در اینجا همان چهار خاصیتی است که در بخش تعریف آمد. ادعای «تنها روش با نظریهٔ استوار» ادعای نویسنده است؛ منظور این است که مقدار شپلی تنها روش انتساب است که این چهار خاصیت را با هم برآورده میکند، نه اینکه روشهای دیگر هیچ پشتوانهٔ نظری ندارند.
برای درک بهتر (توضیح مترجم): «توضیح مقایسهای» را با مثال آپارتمان ببینید: بهجای پرسیدن «چرا قیمت ۳۰۰٬۰۰۰ یورو است، نسبت به میانگین کل ۳۱۰٬۰۰۰ یورو؟»، میتوانیم بپرسیم «چرا قیمت این آپارتمان از قیمت آپارتمانهای هممحلهاش (مثلاً با میانگین ۲۸۰٬۰۰۰ یورو) بیشتر است؟». کافی است مجموعهٔ مرجعی که برای جایگزینی مقادیر بازیکنان غایب به کار میرود را به همان آپارتمانهای هممحله محدود کنیم؛ مقادیر شپلی آنگاه تفاوت با همین گروه را توضیح میدهند، مانند آنچه در شکل ۱۷.۵ برای پنگوئنهای همگونه دیدیم.
محدودیتها
مقدار شپلی به زمان محاسبهٔ زیادی نیاز دارد. در ۹۹٫۹٪ از مسائل دنیای واقعی فقط راهحل تقریبی عملی است. محاسبهٔ دقیق مقدار شپلی از نظر محاسباتی پرهزینه است، چون $2^k$ ائتلاف ممکن از مقادیر ویژگی وجود دارد و «غیاب» یک ویژگی باید با بیرونکشیدن نمونههای تصادفی شبیهسازی شود، که واریانس تخمین مقادیر شپلی را افزایش میدهد. با نمونهگیری از ائتلافها و محدودکردن تعداد تکرارهای $M$ با تعداد نمایی ائتلافها مقابله میشود. کاهش $M$ زمان محاسبه را کم میکند، اما واریانس مقدار شپلی را افزایش میدهد. قاعدهٔ سرانگشتیِ خوبی برای تعداد تکرارهای $M$ وجود ندارد. $M$ باید آنقدر بزرگ باشد که مقادیر شپلی بهدقت تخمین زده شوند، اما آنقدر کوچک که محاسبه در زمان معقولی کامل شود. باید بتوان $M$ را بر اساس کرانهای چرنوف (Chernoff bounds) انتخاب کرد، اما من مقالهای ندیدهام که این کار را برای مقادیر شپلی در پیشبینیهای یادگیری ماشین انجام داده باشد.
توضیح مترجم: در منبع تعداد ائتلافها $2^k$ نوشته شده است؛ از متن روشن است که $k$ همان تعداد ویژگیهاست (در بخشهای پیشین این تعداد با $p$ نشان داده شد). کرانهای چرنوف نامساویهایی احتمالاتی هستند که نشان میدهند میانگین نمونهای با چه احتمالی از میانگین واقعی دور میشود، و میتوانند برای تعیین تعداد نمونهٔ لازم به کار روند.
مقدار شپلی میتواند اشتباه تفسیر شود. مقدار شپلی یک مقدار ویژگی، تفاوتِ مقدار پیشبینیشده پس از حذف آن ویژگی از آموزش مدل نیست. تفسیر مقدار شپلی این است: با توجه به مجموعهٔ فعلی مقادیر ویژگی، سهم یک مقدار ویژگی در تفاوت میان پیشبینی واقعی و میانگین پیشبینی همان مقدار شپلیِ تخمینزدهشده است.
توضیحات مقدار شپلی را نباید بهمعنای محلی بودن از نوع گرادیانها یا همسایگی تفسیر کرد. (Bilodeau و همکاران، ۲۰۲۴) برای مثال، مقدار شپلیِ مثبت به این معنا نیست که افزایش ویژگی پیشبینی را افزایش میدهد. در عوض، مقدار شپلی باید نسبت به مجموعهدادهٔ مرجعی که برای تخمین به کار رفته تفسیر شود. به همین دلیل توصیه میکنم مقادیر شپلی را، برای مثال، با نمودارهای ceteris paribus یا نمودارهای ICE همراه کنید تا تصویر کامل را ببینید.
💡 با ceteris paribus و ICE ترکیب کنید
مقادیر شپلی را با نمودارهای ceteris paribus یا ICE همراه کنید تا درکی از حساسیت محلی نسبت به تغییر ویژگیها به دست آورید.
مقدار شپلی اگر به دنبال توضیحات تُنُک (sparse) هستید (توضیحاتی که ویژگیهای کمی دارند) روش توضیح نادرستی است. توضیحات ساختهشده با روش مقدار شپلی از همهٔ ویژگیها استفاده میکنند. انسانها توضیحات گزینشی را ترجیح میدهند، مانند آنچه LIME تولید میکند. LIME ممکن است برای توضیحاتی که افراد غیرمتخصص باید با آنها سروکار داشته باشند انتخاب بهتری باشد. راهحل دیگر SHAP است که Lundberg و Lee (۲۰۱۷) آن را معرفی کردند؛ این روش بر مقدار شپلی مبتنی است اما میتواند توضیحاتی با ویژگیهای کم نیز ارائه دهد.
مقدار شپلی برای هر ویژگی یک مقدار ساده برمیگرداند، اما هیچ مدل پیشبینیای مانند LIME نمیدهد. این یعنی نمیتوان از آن برای بیانکردن تغییر پیشبینی در برابر تغییر ورودی استفاده کرد، مانند: «اگر سالانه ۳۰۰ یورو بیشتر درآمد داشتم، امتیاز اعتباریام ۵ واحد افزایش مییافت.»
مانند بسیاری از روشهای تفسیر مبتنی بر جایگشت دیگر، روش مقدار شپلی وقتی ویژگیها همبستهاند از گنجاندن نمونههای داده غیرواقعگرایانه رنج میبرد. برای شبیهسازی اینکه یک مقدار ویژگی از ائتلاف غایب است، ویژگی را حاشیهایسازی میکنیم. این کار با نمونهگیری مقادیر از توزیع حاشیهای ویژگی انجام میشود. تا وقتی ویژگیها مستقلاند این مشکلی ندارد. وقتی ویژگیها وابستهاند، ممکن است مقادیر ویژگیای را نمونهگیری کنیم که برای این نمونه معنا ندارند. اما از همانها برای محاسبهٔ مقدار شپلی ویژگی استفاده میکنیم. یک راهحل ممکن این است که ویژگیهای همبسته را با هم جایگشت دهیم و یک مقدار شپلی مشترک برای آنها به دست آوریم. یک سازگاری دیگر نمونهگیری شرطی است: ویژگیها مشروط به ویژگیهایی نمونهگیری میشوند که از قبل در تیم هستند. نمونهگیری شرطی مشکل نقاط داده غیرواقعگرایانه را برطرف میکند، اما مشکل تازهای پدید میآورد: مقادیر حاصل دیگر مقادیر شپلیِ بازی ما نیستند، زیرا اصل تقارن را نقض میکنند، چنانکه Sundararajan و Najmi (۲۰۲۰) دریافتند و Janzing و همکاران (۲۰۲۰) بیشتر دربارهٔ آن بحث کردند.
توضیح مترجم: «حاشیهایسازی» ویژگیِ غایب یعنی مقدار آن را از توزیع کلی (حاشیهایِ) خودش نمونه میگیریم، بدون توجه به مقدار ویژگیهای دیگر. اگر مثلاً «مساحت» و «تعداد اتاق» همبسته باشند، ممکن است آپارتمانی ۲۰ مترمربعی با ۸ اتاق ساخته شود که در عمل وجود ندارد؛ پیشبینی مدل برای چنین نمونهای قابلاعتماد نیست. «نمونهگیری شرطی» این مشکل را با نمونهگیری مساحت بهشرط تعداد اتاقِ موجود کم میکند، اما همانطور که منبع میگوید، حاصل دیگر با تعریف اصلی مقدار شپلی (با اصل تقارن) سازگار نیست.
نرمافزار و جایگزینها
مقادیر شپلی هم در بستهٔ iml و هم در بستهٔ fastshap برای R پیادهسازی شدهاند.
در Julia میتوانید از Shapley.jl استفاده کنید.
SHAP، یک روش تخمین جایگزین و اکوسیستمی برای مقادیر شپلی، در فصل بعد ارائه میشود.
رویکرد دیگری breakDown نام دارد که در بستهٔ R با نام breakDown پیادهسازی شده است (Staniak و Biecek، ۲۰۱۸).
BreakDown نیز سهم هر ویژگی را در پیشبینی نشان میدهد، اما آنها را گامبهگام محاسبه میکند.
بیایید قیاس بازی را دوباره به کار ببریم:
با یک تیم تهی شروع میکنیم، مقدار ویژگیای را که بیشترین سهم را در پیشبینی دارد اضافه میکنیم و تا زمانی که همهٔ مقادیر ویژگی اضافه شوند تکرار میکنیم.
میزان سهم هر مقدار ویژگی به مقادیر ویژگیای بستگی دارد که از قبل در «تیم» هستند، و این بزرگترین عیب روش breakDown است.
این روش از روش مقدار شپلی سریعتر است و برای مدلهای بدون برهمکنش، نتایج یکسان است.
توضیح مترجم: «برهمکنش» (interaction) یعنی اثر یک ویژگی به مقدار ویژگی دیگر وابسته باشد. در مدل بدون برهمکنش (مانند مدل خطی) ترتیب افزودن ویژگیها اهمیتی ندارد، پس breakDown و مقدار شپلی نتیجهٔ یکسانی میدهند؛ در مدلهای دارای برهمکنش ممکن است ترتیب افزودنِ ویژگیها نتیجهٔ breakDown را تغییر دهد، در حالی که مقدار شپلی با میانگینگیری روی همهٔ ترتیبها این وابستگی به ترتیب را از بین میبرد.