فصل ۲۲: تجزیه تابعی
عنوان اصلی: Functional Decomposition
منبع: https://christophm.github.io/interpretable-ml-book/decomposition.html
نویسنده: Christoph Molnar
مترجم: مریم محمودی
یک مدل یادگیری ماشین نظارتشده را میتوان تابعی دید که یک بردار ویژگی با ابعاد بالا را بهعنوان ورودی میگیرد و یک پیشبینی یا امتیاز طبقهبندی را بهعنوان خروجی تولید میکند. تجزیه تابعی (functional decomposition) یک روش تفسیر است که تابع با ابعاد بالا را ساختارشکنی میکند و آن را بهصورت مجموعی از اثرهای تکتک ویژگیها و اثرهای تعامل بیان میکند که قابل مصورسازی هستند. افزون بر این، تجزیه تابعی اصل بنیادینی است که زیربنای بسیاری از روشهای تفسیر قرار دارد — به شما کمک میکند روشهای تفسیر دیگر را بهتر بفهمید.
بیایید مستقیم وارد بحث شویم و یک تابع خاص را ببینیم. این تابع دو ویژگی را بهعنوان ورودی میگیرد و یک خروجی یکبعدی تولید میکند:
$$\hat{f}(x_1, x_2) = 2 + e^{x_1} - x_2 + x_1 \cdot x_2$$
تابع را مانند یک مدل یادگیری ماشین در نظر بگیرید. میتوانیم تابع را با یک نمودار سهبعدی یا یک نقشهٔ گرمایی (heatmap) با خطوط تراز مصور کنیم، مانند شکل ۲۲.۱.
توضیح مترجم: در این فصل «تجزیه» (decomposition) یعنی نوشتن یک تابع بهصورت مجموع چند تابع سادهتر (مؤلفه). «اثر اصلی» (main effect) اثر یک ویژگی بهتنهایی، و «تعامل» (interaction) اثر مشترک دو یا چند ویژگی است که با جمع اثرهای اصلی توضیح داده نمیشود. «مؤلفه» (component) هر جملهٔ این مجموع است. «خط تراز» (contour line) خطی است که روی آن مقدار تابع ثابت است.
توضیح مترجم (متن داخل تصویر): محور x با برچسب $x_1$ و محور y با برچسب $x_2$ هر دو از ۱- تا ۱ هستند. رنگ هر نقطه مقدار تابع است و راهنمای رنگ سمت راست با عنوان
Prediction(پیشبینی) از حدود ۱ (آبی تیره) تا حدود ۴٫۵ (آبی روشن) را نشان میدهد. منحنیهای آبی روی نقشه خطوط تراز (contour lines) هستند، یعنی نقاطی با مقدار پیشبینی یکسان. نوشتههای انگلیسی تصویر بدون تغییر ماندند.
تابع وقتی $x_1$ بزرگ و $x_2$ کوچک است مقادیر بزرگ میگیرد، و برای $x_2$ بزرگ و $x_1$ کوچک مقادیر کوچک میگیرد. تابع پیشبینی صرفاً یک اثر جمعی میان دو ویژگی نیست، بلکه تعاملی میان آنهاست. وجود تعامل را میتوان در شکل دید — اثر تغییر مقادیر ویژگی $x_1$ به مقداری که ویژگی $x_2$ دارد بستگی دارد.
برای درک بهتر (توضیح مترجم): با خود فرمول هم میتوان همین را دید. $\hat{f}(x_1, 0) = 2 + e^{x_1}$ و $\hat{f}(x_1, 1) = 2 + e^{x_1} - 1 + x_1 = 1 + e^{x_1} + x_1$. با رفتن از $x_1 = 0$ به $x_1 = 1$ در حالت $x_2 = 0$ پیشبینی از ۳ به $2 + e \approx 4.72$ میرود، یعنی حدود ۱٫۷۲+ ؛ و در حالت $x_2 = 1$ از $1 + 1 + 0 = 2$ به $1 + e + 1 \approx 4.72$ میرود، یعنی حدود ۲٫۷۲+. چون اثر تغییر $x_1$ بسته به $x_2$ فرق میکند، تعامل داریم.
کار ما اکنون تجزیهٔ این تابع به اثرهای اصلی ویژگیهای $X_1$ و $X_2$ و یک جملهٔ تعامل است. برای یک تابع دوبعدی $\hat{f}$ که فقط به دو ویژگی ورودی وابسته است، $\hat{f}(x_1, x_2)$، میخواهیم هر مؤلفه یک اثر اصلی ($\hat{f}_1$ و $\hat{f}_2$)، تعامل ($\hat{f}_{1,2}$) یا عرض از مبدأ ($\hat{f}_0$) را نمایش دهد:
$$\hat{f}(x_1, x_2) = \hat{f}_0 + \hat{f}_1(x_1) + \hat{f}_2(x_2) + \hat{f}_{1,2}(x_{1},x_{2})$$
اثرهای اصلی نشان میدهند هر ویژگی مستقل از مقادیر ویژگی دیگر چگونه بر پیشبینی اثر میگذارد. اثر تعامل اثر مشترک ویژگیها را نشان میدهد. عرض از مبدأ (intercept) یک مقدار ثابت است که بخشی از همهٔ پیشبینیهاست. اگر همهٔ مقادیر ویژگیها صفر باشند، پیشبینی فقط از عرض از مبدأ تشکیل میشود. توجه کنید که خود مؤلفهها (بهجز عرض از مبدأ) توابعی با ابعاد ورودی متفاوتاند.
فعلاً فقط مؤلفهها را به شما میدهم و بعداً توضیح میدهم از کجا میآیند. عرض از مبدأ برابر $\hat{f}_0 \approx 3.18$ است. چون مؤلفههای دیگر توابعاند، میتوانیم آنها را در شکل ۲۲.۲ مصور کنیم.
توضیح مترجم (متن داخل تصویر): سه نمودار در یک شبکهٔ ۲×۲ قرار دارند. نمودار بالا-چپ: محور x با برچسب $x_1$ و محور y با برچسب
ALE of y(ALE ی $y$)، یک منحنی نمایی صعودی از حدود ۰٫۸- تا حدود ۱٫۵۵ ($\hat{f}_1$). نمودار پایین-چپ: محور x با برچسب $x_2$ و همان محور y، یک خط راست نزولی از حدود ۱+ تا ۱- ($\hat{f}_2$). نمودار بالا-راست: نقشهٔ گرمایی تعامل ($\hat{f}_{12}$) با محور x برابر $x_1$ و محور y برابر $x_2$ و راهنمای رنگvalue(مقدار) از ۰٫۵- (آبی) تا ۱٫۰ (زرد) همراه با خطوط تراز سیاه. نوشتههای انگلیسی تصویر بدون تغییر ماندند. نکته: چیدمان واقعی تصویر (اثر اصلی $x_1$ بالا-چپ، تعامل بالا-راست، اثر اصلی $x_2$ پایین-چپ) با زیرنویس منبع («ردیف بالا: اثرهای اصلی؛ پایین: تعامل») یکی نیست؛ زیرنویس عیناً ترجمه شد و این تفاوت اینجا ثبت میشود.
برای درک بهتر (توضیح مترجم): عدد ۳٫۱۸ را میتوان خودمان درآوریم. اگر $x_1$ و $x_2$ یکنواخت روی $[-1, 1]$ باشند، میانگین $2$ برابر $2$، میانگین $e^{x_1}$ برابر $\sinh(1) \approx 1.175$، و میانگین $-x_2$ و $x_1 x_2$ هر دو صفر است. پس $\hat{f}_0 = 2 + 1.175 \approx 3.18$، یعنی میانگین تابع. اثر اصلی $x_1$ در شکل (از حدود ۰٫۸- تا ۱٫۵۵) تقریباً همان $e^{x_1} - 1.175$ است: در $x_1 = -1$ مقدار $0.368 - 1.175 \approx -0.81$ و در $x_1 = 1$ مقدار $2.718 - 1.175 \approx 1.54$. اثر اصلی $x_2$ همان $-x_2$ است. این مؤلفهها حول صفر مرکزیاند و جملهٔ ثابت $2$ در عرض از مبدأ جذب شده است. (محاسبه برای توضیح است و از منبع نیست.)
به نظر شما مؤلفهها با توجه به فرمول درست بالا معنا دارند، اگر نادیده بگیریم که مقدار عرض از مبدأ کمی تصادفی به نظر میرسد؟ ویژگی $X_1$ یک اثر اصلی نمایی نشان میدهد، و $X_2$ یک اثر خطی منفی. جملهٔ تعامل کمی شبیه چیپس پرینگلز است. با عبارتهای کمتر ترد و بیشتر ریاضی، این یک سهمیوار هذلولوی (hyperbolic paraboloid) است، همانطور که برای $x_1 \cdot x_2$ انتظار داریم. هشدار لو دادن داستان (spoiler alert): این تجزیه بر پایهٔ نمودارهای اثرات محلی انباشته است، که بعداً در همین فصل دربارهٔ آنها بحث میکنیم.
اما این همه هیجان برای چیست؟ یک نگاه به فرمول همین حالا پاسخ تجزیه را به ما میدهد، پس نیازی به روشهای پرزرقوبرق نیست، درست است؟ برای ویژگی $X_1$، میتوانیم همهٔ جملههایی را که فقط $x_1$ دارند بهعنوان مؤلفهٔ آن ویژگی بگیریم. این میشود $\hat{f}_1(x_1) = e^{x_1}$ و برای ویژگی $X_2$ میشود $\hat{f}_2(x_2) = -x_2$. آنگاه تعامل $\hat{f}_{12}(x_{1},x_{2}) = x_1 \cdot x_2$ است. اگرچه این پاسخ برای این مثال درست است (تا ثابتها)، این رویکرد دو مشکل دارد: مشکل ۱): گرچه مثال با فرمول شروع شد، واقعیت این است که فقط مدلهای یادگیری ماشین با ساختار ساده را میتوان با چنین فرمول مرتبی توصیف کرد. مشکل ۲) بسیار ظریفتر است و به این مربوط است که تعامل چیست. تابع سادهای مثل $\hat{f}(x_1,x_2) = x_1 \cdot x_2$ را تصور کنید که در آن هر دو ویژگی مقادیر بزرگتر از صفر میگیرند و مستقل از هماند. با تاکتیک «نگاهکردن به فرمول» نتیجه میگیریم که میان ویژگیهای $X_1$ و $X_2$ تعامل هست، اما اثر تکتک ویژگیها نیست. اما آیا واقعاً میتوانیم بگوییم ویژگی $x_1$ اثر منفرد بر تابع پیشبینی ندارد؟ صرفنظر از اینکه $x_2$ چه مقداری بگیرد، با افزایش $x_1$ پیشبینی افزایش مییابد. برای مثال، به ازای $x_2 = 1$ اثر $x_1$ برابر $\hat{f}(x_1, 1) = x_1$ است، و وقتی $x_2 = 10$ اثر برابر $\hat{f}(x_1, 10) = 10 \cdot x_1$ است. بنابراین روشن است که ویژگی $X_1$ اثر مثبتی بر پیشبینی دارد، مستقل از $X_2$، و صفر نیست.
برای حل مشکل ۱) نبود دسترسی به فرمولی مرتب، به روشی نیاز داریم که فقط از تابع پیشبینی یا امتیاز طبقهبندی استفاده کند. برای حل مشکل ۲) نبود تعریف، به چند بدیهه (axiom) نیاز داریم که به ما بگویند مؤلفهها چه شکلی باید داشته باشند و چگونه به هم مربوطاند. اما ابتدا باید دقیقتر تعریف کنیم تجزیه تابعی چیست.
توضیح مترجم: «Pringles» نام تجاری یک چیپس است که شکل زین اسبی دارد؛ جملهٔ نویسنده تشبیهی برای شکل زیناسبی (سهمیوار هذلولوی) سطح $x_1 \cdot x_2$ است. «بدیهه/اصل موضوعه» (axiom) در این فصل شرطی است که مؤلفهها باید داشته باشند تا تجزیه یکتا و معنادار شود.
تجزیه یک تابع
یک تابع پیشبینی $p$ ویژگی را بهعنوان ورودی میگیرد، $\hat{f}: \mathbb{R}^p \mapsto \mathbb{R}$، و یک خروجی تولید میکند. این میتواند یک تابع رگرسیون باشد، اما میتواند احتمال طبقهبندی یک کلاس معین یا امتیاز یک خوشهٔ معین (یادگیری ماشین بدون نظارت) نیز باشد. در تجزیهٔ کامل، میتوانیم تابع پیشبینی را بهصورت مجموع مؤلفههای تابعی نمایش دهیم:
$$\hat{f}(\mathbf{x}) = \hat{f}_0 + \hat{f}_1(x_1) + \ldots + \hat{f}_p(x_p)$$
$$+ \hat{f}_{1,2}(x_1, x_2) + \ldots + \hat{f}_{1,p}(x_1, x_p) + \ldots + \hat{f}_{p-1,p}(x_{p-1}, x_p)$$
$$+ \ldots + \hat{f}_{1,\ldots,p}(x_1, \ldots, x_p)$$
توضیح مترجم: منبع این فرمول را در قالب چندخطی (
align) مینویسد و برای EPUB بهصورت سه معادلهٔ پشتسرهم؛ در اینجا از همان شکل سهخطی استفاده شد. خط اول عرض از مبدأ و اثرهای اصلی، خط دوم همهٔ تعاملهای دوطرفه و خط سوم تعاملهای مرتبهٔ بالاتر تا تعامل همهٔ $p$ ویژگی است؛ مجموع این سه خط برابر $\hat{f}(\mathbf{x})$ است.
میتوانیم فرمول تجزیه را با نمایهگذاری همهٔ زیرمجموعههای ممکن ترکیب ویژگیها کمی زیباتر کنیم: $S\subseteq{1,\ldots,p}$. این مجموعه شامل عرض از مبدأ ($S=\emptyset$)، اثرهای اصلی ($|S|=1$) و همهٔ تعاملهاست ($|S|\geq{}1$). با تعریف این زیرمجموعه، میتوانیم تجزیه را به این صورت بنویسیم:
$$\hat{f}(\mathbf{x}) = \sum_{S\subseteq{1,\ldots,p}} \hat{f}_S(\mathbf{x}_S)$$
در این فرمول، $\mathbf{x}_S$ بردار ویژگیهای موجود در مجموعهٔ اندیس $S$ است. و هر زیرمجموعهٔ $S$ یک مؤلفهٔ تابعی را نمایش میدهد، مثلاً یک اثر اصلی اگر $S$ فقط یک ویژگی داشته باشد، یا یک تعامل اگر $|S| > 1$.
توضیح مترجم: در متن منبع، «تعاملها» با شرط $|S|\geq{}1$ نوشته شده است، در حالی که تعامل در واقع به $|S| \geq 2$ برمیگردد (برای $|S| = 1$ اثر اصلی است). جملهٔ بعدی منبع («تعامل اگر $|S| > 1$») همین را درست بیان میکند. فرمولنویسی منبع عیناً حفظ شد.
چند مؤلفه در فرمول بالا هست؟ پاسخ به این برمیگردد که از ویژگیهای $1,\ldots, p$ چند زیرمجموعهٔ ممکن $S$ میتوانیم بسازیم. و اینها $\sum_{i=0}^p\binom{p}{i}=2^p$ زیرمجموعهٔ ممکن هستند! برای مثال، اگر یک تابع از ۱۰ ویژگی استفاده کند، میتوانیم تابع را به ۱,۰۲۴ مؤلفه تجزیه کنیم: ۱ عرض از مبدأ، ۱۰ اثر اصلی، ۹۰ جملهٔ تعامل دوطرفه، ۷۲۰ جملهٔ تعامل سهطرفه، … و با هر ویژگی اضافی، تعداد مؤلفهها دو برابر میشود. روشن است که برای بیشتر توابع محاسبهٔ همهٔ مؤلفهها شدنی نیست. دلیل دیگر برای اینکه همهٔ مؤلفهها را محاسبه نکنیم این است که مؤلفههای با $|S|>2$ مصورسازی و تفسیرشان دشوار است.
توضیح مترجم: شمارهٔ منبع برای زیرمجموعهها با شمارش ترکیبها سازگار است برای تعاملهای دوطرفه ($\binom{10}{2} = 45$) و سهطرفه ($\binom{10}{3} = 120$) اما اعداد ۹۰ و ۷۲۰ که در منبع آمدهاند معادل ترتیبدار (جایگشت) آنها هستند ($10 \cdot 9 = 90$ و $10 \cdot 9 \cdot 8 = 720$). مجموع درست مؤلفهها با ترکیبها $1 + 10 + 45 + 120 + \ldots = 1024$ است. این ناهمخوانی در متن منبع عیناً حفظ شد.
برای درک بهتر (توضیح مترجم): برای $p = 3$ ویژگی، $2^3 = 8$ مؤلفه داریم: $\hat{f}_0$، سه اثر اصلی $\hat{f}_1, \hat{f}_2, \hat{f}_3$، سه تعامل دوطرفه $\hat{f}_{1,2}, \hat{f}_{1,3}, \hat{f}_{2,3}$ و یک تعامل سهطرفه $\hat{f}_{1,2,3}$. با اضافهکردن ویژگی چهارم تعداد به $16$ میرسد.
تا اینجا از اینکه مؤلفهها چگونه تعریف و محاسبه میشوند دوری کردهام. تنها قیدهایی که ضمناً دربارهٔ آنها صحبت کردیم تعداد و ابعاد مؤلفهها بود، و اینکه مجموع مؤلفهها باید تابع اصلی را بدهد. اما بدون قیدهای بیشتر دربارهٔ اینکه مؤلفهها چه باید باشند، یکتا نیستند. این یعنی میتوانیم اثرها را میان اثرهای اصلی و تعاملها، یا میان تعاملهای مرتبهٔ پایینتر (ویژگیهای کم) و مرتبهٔ بالاتر (ویژگیهای بیشتر) جابهجا کنیم. در مثال ابتدای فصل، میتوانستیم هر دو اثر اصلی را صفر بگیریم و اثرشان را به اثر تعامل اضافه کنیم.
مثال افراطیتری هم هست که نیاز به قید روی مؤلفهها را نشان میدهد. فرض کنید یک تابع سهبعدی دارید. مهم نیست این تابع چه شکلی دارد، اما تجزیهٔ زیر همیشه کار میکند: $\hat{f}_0$ برابر ۰٫۱۲ است. $\hat{f}_1(\mathbf{x})=2\cdot{}x_1 + \text{تعداد کفشهایی که دارید}$. $\hat{f}_2$، $\hat{f}_3$، $\hat{f}_{1,2}$، $\hat{f}_{2,3}$ و $\hat{f}_{1,3}$ همه صفرند. و برای اینکه این ترفند کار کند، $\hat{f}_{1,2,3}(x_1,x_2,x_3)=\hat{f}(\mathbf{x})-\sum\limits_{S\subset{1,\ldots,p}}\hat{f}_S(\mathbf{x}_S)$ را تعریف میکنم. پس جملهٔ تعامل شامل همهٔ ویژگیها همهٔ اثرهای باقیمانده را میمکد، که بنا به تعریف همیشه کار میکند، به این معنا که مجموع همهٔ مؤلفهها تابع پیشبینی اصلی را به ما میدهد. این تجزیه چندان معنادار نخواهد بود و اگر آن را بهعنوان تفسیر مدل خود ارائه دهید کاملاً گمراهکننده است.
برای درک بهتر (توضیح مترجم): مثال دوویژگی را ببینید: $\hat{f} = 2 + e^{x_1} - x_2 + x_1 x_2$. یک تجزیهٔ معتبر دیگر این است که $\hat{f}_0 = 2$، هر دو اثر اصلی صفر، و $\hat{f}_{1,2} = e^{x_1} - x_2 + x_1 x_2$. مجموع باز هم $\hat{f}$ میشود، اما همهٔ اثر در «تعامل» انباشته شده و میگوید هیچ ویژگی اثر تکی ندارد، که گمراهکننده است. به همین دلیل به قیدهایی (مثل میانگین صفر و تعامد در بخش بعد) نیاز داریم.
ابهام را میتوان با مشخصکردن قیدهای بیشتر یا روشهای خاص برای محاسبهٔ مؤلفهها برطرف کرد. در این فصل رویکردهای مختلف تجزیه تابعی را بررسی میکنیم:
- آنالیز واریانس تابعی (Functional ANOVA) (و حالت تعمیمیافتهٔ آن)
- اثرات محلی انباشته (Accumulated Local Effects)
- مدلهای رگرسیون آماری
- تجزیهٔ مجموعهدرختان (tree ensembles)
آنالیز واریانس تابعی
آنالیز واریانس تابعی (Functional ANOVA) را Hooker (۲۰۰۴) پیشنهاد کرد. یک الزام این رویکرد آن است که تابع پیشبینی مدل $\hat{f}$ مربعانتگرالپذیر (square integrable) باشد. مانند هر تجزیه تابعی، آنالیز واریانس تابعی تابع را به مؤلفهها تجزیه میکند:
$$\hat{f}(\mathbf{x}) = \sum_{S \subseteq {1, \ldots, p}} \hat{f}_S(\mathbf{x}_S)$$
Hooker (۲۰۰۴) هر مؤلفه را با فرمول زیر تعریف میکند:
$$\hat{f}_S(\mathbf{x}) = \int_{X_{-S}} \left( \hat{f}(\mathbf{x}) - \sum_{V \subset S} \hat{f}_V(\mathbf{x})\right) d \mathbb{P}(X_{-S})$$
خب، بیایید این را تکهتکه کنیم. میتوانیم مؤلفه را به این صورت بازنویسی کنیم:
$$\hat{f}_S(\mathbf{x}) = \int_{X_{-S}} \left( \hat{f}(\mathbf{x})\right) d \mathbb{P}(X_{-S}) - \int_{X_{-S}} \left(\sum_{V \subset S} \hat{f}_V(\mathbf{x}) \right) d \mathbb{P}(X_{-S})$$
در سمت چپ انتگرال تابع پیشبینی نسبت به ویژگیهایی است که از مجموعهٔ $S$ کنار گذاشته شدهاند و با $-S$ نشان داده میشوند. برای مثال، اگر مؤلفهٔ تعامل دوطرفه را برای ویژگیهای ۲ و ۳ محاسبه کنیم، روی ویژگیهای ۱، ۴، ۵، … انتگرال میگیریم. انتگرال را میتوان امید ریاضی تابع پیشبینی نسبت به $X_{-S}$ نیز دید، با فرض اینکه همهٔ ویژگیها از کمینه تا بیشینهشان توزیع یکنواخت (uniform) دارند. از این بازه، همهٔ مؤلفههای با زیرمجموعههای $S$ را کم میکنیم. این تفریق اثر همهٔ اثرهای مرتبهٔ پایینتر را حذف میکند و اثر را مرکزی میکند. برای $S={1,2}$، اثرهای اصلی هر دو ویژگی $\hat{f}_1$ و $\hat{f}_2$ و همچنین عرض از مبدأ $\hat{f}_0$ را کم میکنیم. حضور این اثرهای مرتبهٔ پایینتر فرمول را بازگشتی (recursive) میکند: باید در سلسلهمراتب زیرمجموعهها تا عرض از مبدأ پایین برویم و همهٔ این مؤلفهها را محاسبه کنیم. برای مؤلفهٔ عرض از مبدأ $\hat{f}_0$، زیرمجموعه مجموعهٔ تهی $S={\emptyset}$ است و بنابراین $-S$ شامل همهٔ ویژگیهاست:
$$\hat{f}_0(\mathbf{x}) = \int_{X} \hat{f}(\mathbf{x}) d \mathbb{P}(X)$$
این صرفاً تابع پیشبینی است که روی همهٔ ویژگیها انتگرال گرفته شده است. عرض از مبدأ را میتوان امید ریاضی تابع پیشبینی نیز تفسیر کرد، وقتی فرض میکنیم همهٔ ویژگیها توزیع یکنواخت دارند. حالا که $\hat{f}_0$ را میدانیم، میتوانیم $\hat{f}_1$ (و بهطور معادل $\hat{f}_2$) را محاسبه کنیم:
$$\hat{f}_1(\mathbf{x}) = \int_{X_{-1}} \left( \hat{f}(\mathbf{x}) - \hat{f}_0\right) d \mathbb{P}(X_{-1})$$
برای تکمیل محاسبهٔ مؤلفهٔ $\hat{f}_{1,2}$، میتوانیم همهچیز را کنار هم بگذاریم:
$$\hat{f}_{1,2}(\mathbf{x}) = \int_{X_{3,4}} \left( \hat{f}(\mathbf{x}) - (\hat{f}_0 + \hat{f}_1(\mathbf{x}) - \hat{f}_0 + \hat{f}_2(\mathbf{x}) - \hat{f}_0)\right) d \mathbb{P}(X_{3},X_4)$$
$$= \int_{X_{3,4}} \left(\hat{f}(\mathbf{x}) - \hat{f}_1(\mathbf{x}) - \hat{f}_2(\mathbf{x}) + \hat{f}_0\right) d \mathbb{P}(X_{3},X_4)$$
این مثال نشان میدهد هر اثر مرتبهٔ بالاتر چگونه با انتگرالگیری روی همهٔ ویژگیهای دیگر، و همچنین با حذف همهٔ اثرهای مرتبهٔ پایینتری که زیرمجموعهٔ مجموعهٔ ویژگی مورد علاقهاند، تعریف میشود.
توضیح مترجم: در فرمول اول $S={\emptyset}$ (مجموعهای که عضوش تهی است) در منبع آمده؛ منظور مجموعهٔ تهی $S = \emptyset$ است. در مثال آخر فرض شده است که کل مدل چهار ویژگی دارد ($X_1, \ldots, X_4$) و به همین دلیل $-S = {3, 4}$ میشود. $\hat{f}_1$ و $\hat{f}_2$ در فرمول با ورودی $\mathbf{x}$ نوشته شدهاند، اما در واقع فقط به $x_1$ و $x_2$ بستگی دارند. نمادگذاری منبع عیناً حفظ شد.
برای درک بهتر (توضیح مترجم): برای مثال ابتدای فصل روی $[-1,1]^2$ (توزیع یکنواخت): $\hat{f}_0 = 2 + \sinh 1 \approx 3.18$. سپس $\hat{f}_1(x_1) = \int (\hat{f} - \hat{f}_0), dx_2 = 2 + e^{x_1} - 3.18$ برابر $e^{x_1} - 1.18$ است (جملهٔ $-x_2$ و $x_1 x_2$ با انتگرال روی $x_2$ حذف میشوند). همینطور $\hat{f}_2(x_2) = -x_2$. و $\hat{f}_{1,2}(x_1, x_2) = \hat{f} - \hat{f}_1 - \hat{f}_2 - \hat{f}_0 = x_1 x_2$. این همان پاسخ «نگاه به فرمول» است، با این تفاوت که اینجا با محاسبه به دست آمد و ثابتها درست جابهجا شدند.
Hooker (۲۰۰۴) نشان داده است که این تعریف از مؤلفههای تابعی این بدیهههای مطلوب را برآورده میکند:
- میانگینهای صفر (Zero Means): $\int \hat{f}_S(\mathbf{x}_S)d \mathbb{P}(X_S)=0$ برای هر $S\neq\emptyset$.
- تعامد (Orthogonality): $\int \hat{f}_S(\mathbf{x}_S)\hat{f}_V(\mathbf{x}_V)d \mathbb{P}(X)=0$ برای $S\neq V$.
- تجزیهٔ واریانس (Variance Decomposition): فرض کنید $\sigma^2_{\hat{f}}=\int \hat{f}(\mathbf{x})^2d \mathbb{P}(X)$، آنگاه $\sigma^2(\hat{f}) = \sum_{S \subseteq P} \sigma^2_S(\hat{f}_S)$، که در آن $P={1,\ldots,p}$.
بدیههٔ میانگینهای صفر نتیجه میدهد که همهٔ اثرها یا تعاملها حول صفر مرکزیاند. در نتیجه، تفسیر در یک موقعیت $\mathbf{x}$ نسبت به پیشبینی مرکزیشده است و نه پیشبینی مطلق.
بدیههٔ تعامد نتیجه میدهد که مؤلفهها اطلاعات مشترکی ندارند. برای مثال، اثر مرتبهٔ اول ویژگی $X_1$ و جملهٔ تعامل $X_{1}$ و $X_2$ ناهمبستهاند. بهدلیل تعامد، همهٔ مؤلفهها به این معنا «خالص» هستند که اثرها را نمیآمیزند. کاملاً معنادار است که مؤلفهٔ مثلاً ویژگی $X_4$ باید مستقل از جملهٔ تعامل میان ویژگیهای $X_1$ و $X_2$ باشد. نتیجهٔ جالبتر برای تعامد مؤلفههای سلسلهمراتبی پدید میآید، که در آنها یک مؤلفه ویژگیهای مؤلفهٔ دیگر را در بر دارد، مثلاً تعامل $X_1$ و $X_2$ و اثر اصلی ویژگی $X_1$. در مقابل، یک نمودار وابستگی جزئی دوبعدی برای $X_1$ و $X_2$ چهار اثر را شامل میشد: عرض از مبدأ، دو اثر اصلی $X_1$ و $X_2$، و تعامل میان آنها. مؤلفهٔ آنالیز واریانس تابعی برای $\hat{f}_{1,2}(x_1,x_2)$ فقط تعامل خالص را شامل میشود.
تجزیهٔ واریانس به ما اجازه میدهد واریانس تابع $\hat{f}$ را میان مؤلفهها تقسیم کنیم و تضمین میکند که در پایان به واریانس کل تابع جمع میشود. ویژگی تجزیهٔ واریانس همچنین میتواند توضیح دهد چرا این روش آنالیز واریانس تابعی نامیده میشود. در آمار، ANOVA مخفف ANalysis Of VAriance (آنالیز واریانس) است. ANOVA به مجموعهای از روشها گفته میشود که تفاوتها در میانگین یک متغیر هدف را تحلیل میکنند. ANOVA با تقسیم واریانس و نسبتدادن آن به متغیرها کار میکند. بنابراین آنالیز واریانس تابعی را میتوان گسترش این مفهوم به هر تابعی دید.
با آنالیز واریانس تابعی وقتی ویژگیها همبسته باشند مشکل پیش میآید. Hooker (۲۰۰۷) بهعنوان راهحل، آنالیز واریانس تابعی تعمیمیافته را پیشنهاد کرد.
توضیح مترجم: «میانگین صفر» یعنی انتگرال هر مؤلفه (بهجز عرض از مبدأ) روی توزیع ویژگیهایش صفر است، و «تعامد» یعنی انتگرال حاصلضرب هر دو مؤلفهٔ متفاوت صفر است (در نظریهٔ توابع، همان «عمود بودن» دو تابع). مرجع Hooker (۲۰۰۷) در پیوست د این کتاب موجود نیست (فقط Hooker ۲۰۰۴ هست)؛ برای جلوگیری از ساختن مرجع حدسی، بهصورت پیوند به پیوست د آمده ولی ورودی جدیدی به آن اضافه نشد و در گزارش پوشش ثبت میشود.
برای درک بهتر (توضیح مترجم): برای $\hat{f} = 2 + e^{x_1} - x_2 + x_1 x_2$ روی $[-1,1]^2$ سه بدیهه را میتوان بررسی کرد. میانگین صفر: انتگرال $x_1 x_2$ روی هر دو متغیر صفر است ($\hat{f}_{1,2}$)، و $-x_2$ هم میانگین صفر دارد. تعامد: $\int x_1 x_2 \cdot (-x_2), dx = -\int x_1, \int x_2^2 \ldots = 0$ چون $\int x_1,dx_1 = 0$. تجزیهٔ واریانس: واریانس کل $\hat{f}$ برابر مجموع واریانسهای $e^{x_1} - 1.18$ ، $-x_2$ و $x_1 x_2$ است (چون این مؤلفهها دوبهدو متعامدند و میانگین صفر دارند، واریانس کل با جمع واریانسها برابر است). (بررسی برای توضیح است و از منبع نیست.)
آنالیز واریانس تابعی تعمیمیافته برای ویژگیهای وابسته
مشابه بیشتر روشهای تفسیر مبتنی بر نمونهگیری از دادهها (مانند PDP)، آنالیز واریانس تابعی وقتی ویژگیها همبستهاند میتواند نتایج گمراهکننده بدهد. اگر روی توزیع یکنواخت انتگرال بگیریم، در حالی که در واقعیت ویژگیها وابستهاند، مجموعهدادهٔ جدیدی میسازیم که از توزیع توأم انحراف دارد و به ترکیبهای بعید مقادیر ویژگی برونیابی میکند.
Hooker (۲۰۰۷) آنالیز واریانس تابعی تعمیمیافته (generalized functional ANOVA) را پیشنهاد کرد، تجزیهای که برای ویژگیهای وابسته کار میکند. این تعمیمی از آنالیز واریانس تابعی است که پیشتر دیدیم، یعنی آنالیز واریانس تابعی حالت خاصی از آنالیز واریانس تابعی تعمیمیافته است. مؤلفهها بهصورت تصویرهای (projections) $\hat{f}$ روی فضای توابع جمعی تعریف میشوند:
$$\hat{f}_S(\mathbf{x}_S) = \arg\min_{g_S \in L^2(\mathbb{R}^S)_{S \in P}} \int \left(\hat{f}(\mathbf{x}) - \sum_{S \subset P} g_S(\mathbf{x}_S)\right)^2 w(\mathbf{x}),d\mathbf{x}.$$
بهجای تعامد، مؤلفهها یک شرط تعامد سلسلهمراتبی (hierarchical orthogonality) را برآورده میکنند:
$$\forall \hat{f}_S(\mathbf{x}_S)| S \subset U: \int \hat{f}_S(\mathbf{x}_S) \hat{f}_U(\mathbf{x}_U) w(\mathbf{x}),d\mathbf{x} = 0$$
تعامد سلسلهمراتبی با تعامد متفاوت است. برای دو مجموعهٔ ویژگی $S$ و $U$، که هیچکدام زیرمجموعهٔ دیگری نیست (مثلاً $S={1,2}$ و $U={2,3}$)، لازم نیست مؤلفههای $\hat{f}_S$ و $\hat{f}_U$ متعامد باشند تا تجزیه از نظر سلسلهمراتبی متعامد باشد. اما همهٔ مؤلفهها برای همهٔ زیرمجموعههای $S$ باید بر $\hat{f}_S$ متعامد باشند. در نتیجه، تفسیر از جنبههای مهمی فرق میکند: مشابه M-Plot در فصل ALE، مؤلفههای آنالیز واریانس تابعی تعمیمیافته میتوانند اثرهای (حاشیهای) ویژگیهای همبسته را درهمتنیده (entangle) کنند. اینکه مؤلفهها اثرهای حاشیهای را درهمتنیده کنند یا نه، به انتخاب تابع وزن $w(\mathbf{x})$ هم بستگی دارد. اگر $w$ را اندازهٔ یکنواخت روی مکعب واحد انتخاب کنیم، آنالیز واریانس تابعی بخش قبل به دست میآید. یک انتخاب طبیعی برای $w$ تابع توزیع احتمال توأم است. با این حال، توزیع توأم معمولاً ناشناخته و تخمینش دشوار است. یک ترفند میتواند این باشد که از اندازهٔ یکنواخت روی مکعب واحد شروع کنیم و نواحی بدون داده را ببریم.
تخمین روی شبکهای از نقاط در فضای ویژگی انجام میشود و بهصورت یک مسئلهٔ کمینهسازی بیان میشود که با تکنیکهای رگرسیون قابل حل است. با این حال، مؤلفهها را نمیتوان مستقل از یکدیگر و نه بهصورت سلسلهمراتبی محاسبه کرد، بلکه باید دستگاه پیچیدهای از معادلات شامل مؤلفههای دیگر حل شود. بنابراین محاسبه کاملاً پیچیده و از نظر محاسباتی سنگین است.
توضیح مترجم: «تصویر» (projection) در اینجا یعنی نزدیکترین تابع از یک خانوادهٔ مشخص (توابع جمعی) به $\hat{f}$ از نظر مجموع مربعات خطا با وزن $w$؛ همان ایدهٔ «کمترین مربعات» در رگرسیون. «درهمتنیدهشدن» (entanglement) یعنی اثر یک ویژگی با اثر ویژگیهای همبستهاش مخلوط شود، مانند آنچه در M-Plot دیدیم. در منبع، در فرمول $\arg\min$ مجموعهٔ اندیس زیر مجموع $S \subset P$ ولی در بالای آن «$\forall S \in P$» بهصورت زیرنویس $g_S$ آمده است؛ نمادگذاری عیناً حفظ شد.
برای درک بهتر (توضیح مترجم): فرض کنید $S = {1}$ و $U = {1, 2}$ و $S \subset U$. تعامد سلسلهمراتبی میگوید اثر اصلی $\hat{f}_1$ باید بر مؤلفهٔ تعامل $\hat{f}_{1,2}$ عمود باشد. اما مثلاً $\hat{f}_{1,2}$ و $\hat{f}_{2,3}$ (که هیچکدام زیرمجموعهٔ دیگری نیست) نیازی به تعامد ندارند. تفاوت با تعامد کامل در آنالیز واریانس تابعی این است که شرط فقط میان مؤلفههای «تودرتو» اعمال میشود؛ بنابراین قید ضعیفتر است و به همین دلیل با ویژگیهای همبسته سازگار میشود.
اثرات محلی انباشته
نمودارهای ALE (Apley و Zhu (۲۰۲۰)) نیز یک تجزیه تابعی ارائه میدهند، یعنی جمعکردن همهٔ نمودارهای ALE شامل عرض از مبدأ، نمودارهای ALE یکبعدی، نمودارهای ALE دوبعدی و غیره، تابع پیشبینی را به دست میدهد. ALE با آنالیز واریانس تابعی (تعمیمیافته) فرق دارد، چون مؤلفهها متعامد نیستند بلکه، به تعبیر نویسندگان، شبهمتعامد (pseudo-orthogonal) هستند. برای فهمیدن شبهتعامد، باید عملگر $H_S$ را تعریف کنیم، که تابع $\hat{f}$ را میگیرد و آن را به نمودار ALE آن برای زیرمجموعهٔ ویژگی $S$ نگاشت میکند. برای مثال، عملگر $H_{1,2}$ یک مدل یادگیری ماشین را بهعنوان ورودی میگیرد و نمودار ALE دوبعدی ویژگیهای ۱ و ۲ را تولید میکند: $H_{1,2}(\hat{f}) = \hat{f}_{ALE,12}$. اگر همان عملگر را دو بار اعمال کنیم، همان نمودار ALE را به دست میآوریم. پس از یک بار اعمال عملگر $H_{1,2}$ بر $\hat{f}$، نمودار ALE دوبعدی $\hat{f}_{ALE,12}$ را داریم. سپس عملگر را دوباره اعمال میکنیم، نه بر $\hat{f}$ بلکه بر $\hat{f}_{ALE,12}$. این شدنی است چون مؤلفهٔ ALE دوبعدی خود یک تابع است. نتیجه دوباره $\hat{f}_{ALE,12}$ است، یعنی میتوانیم همان عملگر را چند بار اعمال کنیم و همیشه همان نمودار ALE را به دست آوریم. این بخش اول شبهتعامد است. اما اگر دو عملگر متفاوت برای مجموعههای ویژگی متفاوت اعمال کنیم نتیجه چیست؟ برای مثال، $H_{1,2}$ و $H_{1}$، یا $H_{1,2}$ و $H_{3,4,5}$؟ پاسخ صفر است. اگر ابتدا عملگر ALE یعنی $H_S$ را به تابعی اعمال کنیم و سپس $H_U$ را بر نتیجه (با $S \neq U$)، نتیجه صفر است. به عبارت دیگر، نمودار ALE یک نمودار ALE صفر است، مگر اینکه همان نمودار ALE را دو بار اعمال کنید. یا به عبارت دیگر، نمودار ALE برای مجموعهٔ ویژگی $S$ هیچ نمودار ALE دیگری در خود ندارد. یا به زبان ریاضی، عملگر ALE توابع را به زیرفضاهای متعامد یک فضای ضرب داخلی نگاشت میکند.
برای درک بهتر (توضیح مترجم): عملگر $H_S$ مانند یک «صافی» است. برای مثال ابتدای فصل، $H_1(\hat{f})$ همان اثر اصلی مرکزیشدهٔ $x_1$ است، یعنی $\hat{f}_1(x_1)$. اگر $H_1$ را دوباره بر $\hat{f}_1$ اعمال کنیم، همان $\hat{f}_1$ برمیگردد (بخش اول). اما اگر $H_2$ را بر $\hat{f}_1(x_1)$ اعمال کنیم، چون $\hat{f}_1$ اصلاً به $x_2$ وابسته نیست، اثر ALE آن بر حسب $x_2$ صفر میشود (بخش دوم). همینطور $H_{1,2}$ بر $\hat{f}_1$ صفر میدهد، چون $\hat{f}_1$ هیچ اثر تعاملی ندارد.
همانطور که Apley و Zhu (۲۰۲۰) اشاره میکنند، شبهتعامد ممکن است از تعامد سلسلهمراتبی مطلوبتر باشد، چون اثرهای حاشیهای ویژگیها را درهمتنیده نمیکند. افزون بر این، ALE نیازی به تخمین توزیع توأم ندارد؛ مؤلفهها را میتوان بهصورت سلسلهمراتبی تخمین زد، یعنی محاسبهٔ ALE دوبعدی برای ویژگیهای ۱ و ۲ فقط به محاسبهٔ مؤلفههای ALE تکتک ۱ و ۲ و علاوه بر آن جملهٔ عرض از مبدأ نیاز دارد.
آیا نمودار وابستگی جزئی نیز تجزیه تابعی ارائه میدهد؟ پاسخ کوتاه: خیر. پاسخ بلندتر: نمودار وابستگی جزئی برای یک مجموعهٔ ویژگی $S$ همیشه همهٔ اثرهای سلسلهمراتب را در بر دارد — PDP برای ${1,2}$ نهتنها تعامل، بلکه اثرهای تکتک ویژگیها را هم شامل میشود. در نتیجه، جمعکردن همهٔ PDPها برای همهٔ زیرمجموعهها تابع اصلی را به دست نمیدهد و بنابراین یک تجزیهٔ معتبر نیست. اما آیا میتوانیم PDP را تنظیم کنیم، شاید با حذف همهٔ اثرهای پایینتر؟ بله، میتوانیم، اما چیزی شبیه آنالیز واریانس تابعی به دست میآوریم. با این حال، بهجای انتگرالگیری روی توزیع یکنواخت، PDP روی توزیع حاشیهای $X_{-S}$ انتگرال میگیرد، که با نمونهگیری مونتکارلو تخمین زده میشود.
توضیح مترجم: متن منبع «Apley and Zhu (2020)» را در این جمله بدون پیوند کتابشناسی آورده و در جملهٔ پیشتر با ارجاع آورده است؛ ارجاع همان مقالهٔ پیوست د است.
تجزیه مجموعهدرختان
Yang و همکاران (۲۰۲۴) یک تجزیه تابعی برای مجموعهدرختان (tree ensembles)، مثلاً آموزشدیده با XGBoost، پیشنهاد کردند. پیشنهاد آنها دو بخش دارد: یک رویهٔ تجزیه، و مجموعهای از قیدهای آموزش برای اینکه تجزیه قابلتفسیرتر شود.
راهبرد رسیدن از یک مجموعهدرخت به تجزیه تابعی شامل تجمیع (aggregation)، خالصسازی (purification) و انتساب (attribution) است. اول، هر درخت به قوانین تصمیم تجزیه میشود، که در آن هر گره برگ یک قانون تصمیم میشود. سپس این قوانین بر اساس ویژگیهایی که به کار میبرند مرتب میشوند. برای مثال، همهٔ قوانینی که فقط از ویژگی $X_1$ استفاده میکنند جمعآوری میشوند و برای تخمین اثر اصلی $\hat{f}_1$ به کار میروند. همین کار برای همهٔ اثرهای اصلی و تعاملهای دیگر انجام میشود. با این حال، این تجزیه یکتا نخواهد بود، چون مثلاً میتوانید اثر اصلی $X_1$ را در جملهٔ تعامل $X_1$ و $X_2$ جذب کنید. آنها مؤلفهها را «خالصسازی» میکنند تا قیدهای میانگین صفر و تعامد را اعمال کنند (باید تا اینجا آشنا به نظر برسد). در گام انتساب، مشارکتهای ویژگی برای هر نقطهٔ داده محاسبه میشود و روی دادهها تجمیع میشود تا مقادیر اهمیت سراسری برای هر ویژگی به دست آید. مشارکتهای فردی همان مقادیر شپلی هستند.
پیشنهاد دیگر در مقاله افزودن قیدهایی به آموزش است تا تجزیه تابعی بهتر قابل تفسیر شود. این شامل کارهای سادهای مانند تنظیم حداکثر عمق درخت روی مقدار پایین است تا بتوانید حداکثر تعداد ویژگیهایی را که میتوانند تعامل کنند کنترل کنید. برای مثال، تنظیم حداکثر عمق روی دو باعث میشود مدل فقط اثرهای اصلی و تعاملهای دوطرفه داشته باشد، اما تعامل مرتبهٔ بالاتر نداشته باشد. پیشنهادهای دیگر شامل قیدهای یکنوایی (monotonicity)، کاهش تعداد دستهها (bins) و قیدهای تعامل است. آنها همچنین یک گام پسپردازش برای هرسکردن اثرها از تجزیه تابعی معرفی میکنند.
برای درک بهتر (توضیح مترجم): یک درخت با عمق ۲ و دو ویژگی را تصور کنید: اگر $x_1 > 5$ برو به برگ A، وگرنه اگر $x_2 > 3$ برو به برگ B وگرنه به برگ C. قانون برای برگ A فقط $x_1$ را به کار میبرد (سهم اثر اصلی $x_1$)، اما قانون برگ B و C هم $x_1$ و هم $x_2$ را به کار میبرند (سهم تعامل). با عمق ۱ فقط یک ویژگی در هر قانون است، پس فقط اثر اصلی داریم؛ با عمق ۲ حداکثر دو ویژگی در یک قانون (تعامل دوطرفه) و با عمق ۳ حداکثر سه ویژگی، و همین ارتباط عمق و بیشینهٔ مرتبهٔ تعامل را متن میگوید.
مدلهای رگرسیون آماری
این رویکرد با مدلهای تفسیرپذیر، بهویژه مدلهای جمعی تعمیمیافته، پیوند میخورد. بهجای تجزیهٔ یک تابع پیچیده، میتوانیم قیدهایی را در فرایند مدلسازی بگنجانیم تا بهسادگی بتوانیم مؤلفههای فردی را بخوانیم. در حالی که تجزیه را میتوان بهصورت بالابهپایین (top-down) انجام داد، که در آن با یک تابع با ابعاد بالا شروع و آن را تجزیه میکنیم، مدلهای جمعی تعمیمیافته رویکردی پایینبهبالا (bottom-up) ارائه میدهند، که در آن مدل را از مؤلفههای ساده میسازیم. هر دو رویکرد در این مشترکند که هدفشان ارائهٔ مؤلفههای فردی و قابلتفسیر است. در مدلهای آماری، تعداد مؤلفهها را محدود میکنیم تا لازم نباشد همهٔ $2^p$ مؤلفه برازش شوند. سادهترین نسخه رگرسیون خطی است:
$$\hat{f}(\mathbf{x}) = \beta_0 + \beta_1 x_1 + \ldots + \beta_p x_p$$
فرمول بسیار شبیه تجزیه تابعی به نظر میرسد، اما با دو تغییر عمده. تغییر ۱: همهٔ اثرهای تعامل حذف شدهاند و فقط عرض از مبدأ و اثرهای اصلی را نگه میداریم. تغییر ۲: اثرهای اصلی فقط میتوانند نسبت به ویژگیها خطی باشند: $\hat{f}_j(x_j) = \beta_j x_j$. با نگاه به مدل رگرسیون خطی از دریچهٔ تجزیه تابعی، میبینیم که خود مدل یک تجزیه تابعی از تابع واقعی نگاشت از ویژگیها به هدف را نمایش میدهد، اما تحت این فرضهای قوی که اثرها خطیاند و تعاملی وجود ندارد.
مدل جمعی تعمیمیافته فرض دوم را با اجازهٔ توابع $\hat{f}_j$ انعطافپذیرتر از طریق اسپلاینها (splines) سست میکند. تعاملها را نیز میتوان اضافه کرد، اما این فرایند نسبتاً دستی است. رویکردهایی مانند GA2M تلاش میکنند تعاملهای دوطرفه را بهطور خودکار به یک GAM اضافه کنند (Caruana و همکاران (۲۰۱۵)).
فکر کردن به یک مدل رگرسیون خطی یا یک GAM بهعنوان تجزیه تابعی نیز میتواند به سردرگمی منجر شود. اگر رویکردهای تجزیهٔ پیشین فصل (آنالیز واریانس تابعی تعمیمیافته و اثرات محلی انباشته) را اعمال کنید، ممکن است مؤلفههایی به دست آورید که با مؤلفههایی که مستقیماً از GAM خوانده میشوند فرق دارند. این میتواند وقتی رخ دهد که اثرهای تعامل ویژگیهای همبسته در GAM مدل شده باشند. این ناهمخوانی رخ میدهد چون رویکردهای تجزیهٔ تابعی دیگر اثرها را به شکل متفاوتی میان تعاملها و اثرهای اصلی تقسیم میکنند.
پس چه زمانی باید بهجای یک مدل پیچیده + تجزیه از GAMها استفاده کنید؟ وقتی بیشتر تعاملها صفرند، بهویژه وقتی تعاملی با سه ویژگی یا بیشتر وجود ندارد، باید به GAMها بچسبید. اگر بدانیم حداکثر تعداد ویژگیهای درگیر در تعاملها دو است ($|S| \leq 2$)، میتوانیم از رویکردهایی مانند MARS یا GA2M استفاده کنیم. در نهایت، عملکرد مدل روی دادههای آزمون ممکن است نشان دهد آیا یک GAM کافی است یا یک مدل پیچیدهتر بهمراتب بهتر عمل میکند.
توضیح مترجم: GA2M مخفف «GAM با تعاملهای دوطرفه» (Generalized Additive Model plus 2-way interactions) و MARS مخفف Multivariate Adaptive Regression Splines است؛ منبع هیچکدام را باز نمیکند. «اسپلاین» تابعی چندجملهای تکهای و هموار است که برای ساختن اثرهای غیرخطی انعطافپذیر در GAM به کار میرود. «پایینبهبالا» یعنی مدل را از اجزای ساده میسازیم و «بالابهپایین» یعنی از تابع پیچیده شروع و آن را تجزیه میکنیم.
برای درک بهتر (توضیح مترجم): مدل خطی $\hat{f} = 1 + 2x_1 - 3x_2$ را بهعنوان تجزیه بخوانید: $\hat{f}_0 = 1$، $\hat{f}_1(x_1) = 2x_1$، $\hat{f}_2(x_2) = -3x_2$ و همهٔ تعاملها صفر. اگر مدل واقعی در دنیا یک تعامل داشته باشد، مثلاً $x_1 x_2$، مدل خطی نمیتواند آن را نمایش دهد و بخشی از آن را به اثرهای اصلی (بهخصوص با همبستگی) نسبت میدهد. GAM میتواند بهجای $2x_1$ تابع غیرخطی مثل $e^{x_1}$ بگذارد، اما بدون افزودن صریح جملهٔ $x_1 x_2$ باز هم تعاملی نشان نمیدهد.
نقاط قوت
من تجزیه تابعی را مفهومی کلیدی در تفسیرپذیری یادگیری ماشین میدانم که به فهم بهتر بسیاری از روشهای دیگر کمک میکند.
تجزیه تابعی توجیه نظری برای تجزیهٔ مدلهای یادگیری ماشین پیچیده با ابعاد بالا به اثرهای فردی و تعاملها به ما میدهد — گامی ضروری که اجازه میدهد اثرهای فردی را تفسیر کنیم. تجزیه تابعی ایدهٔ هستهای برای تکنیکهایی مانند مدلهای رگرسیون آماری، ALE، آنالیز واریانس تابعی (تعمیمیافته)، PDP، آمارهٔ H و منحنیهای ICE است.
تجزیه تابعی همچنین فهم بهتری از روشهای دیگر فراهم میکند. برای مثال، اهمیت ویژگی جایگشتی ارتباط میان یک ویژگی و هدف را میشکند. از دریچهٔ تجزیه تابعی میبینیم که جایگشت اثر همهٔ مؤلفههایی را که ویژگی در آنها دخیل بود «نابود میکند». این بر اثر اصلی ویژگی اثر میگذارد، اما بر همهٔ تعاملها با ویژگیهای دیگر نیز. بهعنوان مثال دیگر، مقادیر شپلی یک پیشبینی را به اثرهای جمعی ویژگیهای فردی تجزیه میکنند. اما تجزیه تابعی به ما میگوید که باید اثرهای تعامل هم در تجزیه باشند، پس کجا هستند؟ مقادیر شپلی یک انتساب منصفانه از اثرها به ویژگیهای فردی ارائه میدهند، یعنی همهٔ تعاملها نیز منصفانه به ویژگیها نسبت داده میشوند و بنابراین میان مقادیر شپلی تقسیم میشوند.
وقتی تجزیه تابعی را ابزار میدانیم، استفاده از نمودارهای ALE مزایای زیادی دارد. نمودارهای ALE تجزیه تابعیای ارائه میدهند که محاسبهاش سریع است، پیادهسازی نرمافزاری دارد (فصل ALE را ببینید) و ویژگیهای مطلوب شبهتعامد دارد.
برای درک بهتر (توضیح مترجم): فرض کنید در مثال ابتدای فصل، مقدار شپلی ویژگی $x_1$ را برای یک نمونه میخواهیم. تجزیه میگوید پیشبینی $= \hat{f}_0 + \hat{f}_1 + \hat{f}_2 + \hat{f}_{1,2}$. مقدار شپلی $x_1$ برابر $\hat{f}_1$ بهاضافهٔ نصف $\hat{f}_{1,2}$ است و مقدار شپلی $x_2$ برابر $\hat{f}_2$ بهاضافهٔ نصف $\hat{f}_{1,2}$ (برای تعامل دوطرفه، بهشرط جابهجاییپذیری و تقارن ویژگیها در تعریف انتساب منصفانه). به این معنا تعامل میان دو ویژگی «تقسیم» شده و دیگر جداگانه دیده نمیشود.
محدودیتها
مفهوم تجزیه تابعی برای مؤلفههای با ابعاد بالا، فراتر از تعامل میان دو ویژگی، بهسرعت به حد خود میرسد. نهتنها این انفجار نمایی در تعداد ویژگیها عملیبودن را محدود میکند، چون نمیتوانیم بهسادگی تعاملهای مرتبهٔ بالاتر را مصور کنیم، بلکه اگر بخواهیم همهٔ تعاملها را محاسبه کنیم زمان محاسبه دیوانهوار است.
هر روش تجزیهٔ تابعی ایرادهای خاص خودش را دارد. رویکرد پایینبهبالا — ساختن مدلهای رگرسیون — فرایندی کاملاً دستی است و قیدهای زیادی بر مدل تحمیل میکند که میتواند بر عملکرد پیشبینی اثر بگذارد. آنالیز واریانس تابعی نیاز به ویژگیهای مستقل دارد. آنالیز واریانس تابعی تعمیمیافته تخمینش بسیار دشوار است. نمودارهای اثرات محلی انباشته تجزیهٔ واریانس ارائه نمیدهند.
رویکرد تجزیه تابعی برای تحلیل دادههای جدولی مناسبتر از متن یا تصویر است.
توضیح مترجم: «انفجار نمایی» یعنی تعداد مؤلفهها $2^p$ با افزایش $p$ بسیار سریع زیاد میشود؛ برای $p = 20$ بیش از یک میلیون مؤلفه ($2^{20} = 1{,}048{,}576$) داریم. به همین دلیل در عمل فقط اثرهای اصلی و تعاملهای دوطرفه محاسبه و مصور میشوند. دلیل «مناسبتربودن برای داده جدولی» در منبع بیان نشده؛ برداشت متداول این است که در متن و تصویر ویژگیها پیکسلها یا کلمههای بسیار زیادند و هر ویژگی بهتنهایی معنای قابلتفسیری ندارد.