Keyboard shortcuts

Press ← or → to navigate between chapters

Press S or / to search in the book

Press ? to show this help

Press Esc to hide this help

فصل ۲۴: اهمیت حذف یک ویژگی (LOFO)

عنوان اصلی: Leave One Feature Out (LOFO) Importance
منبع: https://christophm.github.io/interpretable-ml-book/lofo.html
نویسنده: Christoph Molnar
مترجم: مریم محمودی


اهمیت حذف یک ویژگی (Leave One Feature Out Importance؛ LOFO) اهمیت یک ویژگی را با بازآموزی مدل بدون آن ویژگی و مقایسهٔ عملکردهای پیش‌بینی اندازه می‌گیرد.1

شهود پشت اهمیت LOFO این است: اگر حذف یک ویژگی عملکرد پیش‌بینی را بدتر کند، آن ویژگی مهم بوده است. اگر حذف ویژگی عملکرد را بدون تغییر نگه دارد، مهم نبوده است. اهمیت LOFO حتی می‌تواند منفی باشد، وقتی حذف ویژگی عملکرد مدل را بهبود می‌دهد. چون الگوریتم یک مدل تازه آموزش می‌دهد، افت عملکرد مشروط به ویژگی‌های دیگری است که در مدل باقی می‌مانند، همان‌طور که در مثال‌ها خواهیم دید.

برای به دست آوردن اهمیت LOCO برای هر $p$ ویژگی، باید مدل را $p$ بار بازآموزی کنیم، هر بار با یک ویژگی متفاوت که از داده‌های آموزش حذف شده است، و عملکرد مدل حاصل را روی داده‌های آزمون اندازه بگیریم. این LOFO را الگوریتمی کاملاً ساده می‌کند. بیایید الگوریتم را صورت‌بندی کنیم:

ورودی: مدل آموزش‌دیدهٔ $\hat{f}$، داده‌های آموزش $(\mathbf{X}_{\text{train}}, \mathbf{y}_{\text{train}})$، داده‌های آزمون $(\mathbf{X}_{\text{test}}, \mathbf{y}_{\text{test}})$ و معیار خطای $L$.
رویه:

  1. خطای مدل اصلی را اندازه بگیرید:
    $$e_{\text{orig}} = \frac{1}{n_{\text{test}}} \sum_{i=1}^{n_{\text{test}}} L\big(y_{\text{test}}^{(i)}, \hat{f}(\mathbf{x}_{\text{test}}^{(i)})\big)$$

  2. برای هر ویژگی $j \in \lbrace 1, \ldots, p \rbrace$:

    • ویژگی $j$ را از مجموعه‌داده حذف کنید و مجموعه‌دادهٔ تازهٔ $\mathbf{X}_{\text{train},-j}$ و $\mathbf{X}_{\text{test},-j}$ را بسازید.
    • مدل تازهٔ $\hat{f}_{-j}$ را روی $\left(\mathbf{X}_{\text{train},-j}, \mathbf{y}_{\text{train}}\right)$ آموزش دهید.
    • خطای تازه را روی مجموعهٔ آزمون تغییریافته اندازه بگیرید:
      $$e_{-j} = \frac{1}{n_{\text{test}}} \sum_{i=1}^{n_{\text{test}}} L\big(y_{\text{test}}^{(i)}, \hat{f}_{-j}(\mathbf{x}_{\text{test},-j}^{(i)})\big)$$
  3. اهمیت LOFO را برای هر ویژگی محاسبه کنید.

    • به‌صورت خارج‌قسمت:
      $$LOFO_j = \frac{e_{-j}}{e_{\text{orig}}}$$
    • یا به‌صورت تفاضل:
      $$LOFO_j = e_{-j} - e_{\text{orig}}$$
  4. ویژگی‌ها را بر پایهٔ اهمیت $LOFO_j$ نزولی مرتب و مصور کنید.

وقتی به‌جای معیارهای خطا از معیارهای عملکرد استفاده می‌کنید که بزرگ‌تر بهتر است، مانند دقت (accuracy)، مطمئن شوید تفاضل را در ۱- ضرب کنید، یا ترتیب خارج‌قسمت را عوض کنید. برای آموزش و بازآموزی مدل از داده‌های آموزش و برای اندازه‌گیری عملکرد از داده‌های آزمون استفاده کنید.

توضیح مترجم: در متن منبع در جملهٔ دوم بند بالای الگوریتم عبارت «اهمیت LOCO» آمده، در حالی که در همهٔ جاهای دیگر نام LOFO به کار می‌رود؛ هر دو یک روش‌اند (LOCO نام اصلی مقاله و LOFO نام رایج‌تر است) و متن عیناً حفظ شد. $\hat{f}_{-j}$ مدلی است که بدون ویژگی $j$ آموزش دیده و $e_{-j}$ خطای آن روی داده‌های آزمونِ بدون ستون $j$ است.

برای درک بهتر (توضیح مترجم): فرض کنید با همهٔ ویژگی‌ها خطای میانگین قدر مطلق (MAE) روی داده‌های آزمون $e_{\text{orig}} = 400$ باشد. مدل را بدون «دما» دوباره آموزش می‌دهیم و MAE آن ۵۱۰ می‌شود: $LOFO = 510 - 400 = 110$ (یا خارج‌قسمت $510/400 = 1.275$). بدون «روز تعطیل» مدل جدید ۳۸۰ می‌شود: $LOFO = 380 - 400 = -20$، یعنی حذف این ویژگی عملکرد را بهتر کرد، و اهمیت منفی است. این دو عدد همان چیزی است که شکل ۲۴.۱ نشان می‌دهد. (اعداد برای توضیح فرض شده‌اند.)

مثال‌ها

تعداد اجارهٔ دوچرخه را بر پایهٔ اطلاعات آب‌وهوا و تقویم با یک جنگل تصادفی که روی ۲/۳ داده‌ها آموزش دیده پیش‌بینی می‌کنیم. شکل ۲۴.۱ نشان می‌دهد دما و تعداد اجارهٔ دوچرخهٔ قبلی بر اساس LOFO مهم‌ترین ویژگی‌ها هستند. ویژگی تعطیلی (holiday) اهمیت منفی دارد، که برای انتخاب ویژگی پیامد دارد: به‌دلیل نحوهٔ کار الگوریتمی LOFO، اکنون می‌دانیم حذف ویژگی تعطیلی عملکرد مدل را افزایش می‌دهد.

توضیح مترجم (متن داخل تصویر): نمودار میله‌ای افقی با برچسب محور افقی LOFO Importance (MAE difference) (اهمیت LOFO، تفاضل MAE) و برچسب محور عمودی Feature (ویژگی) است. ویژگی‌ها از بالا به پایین: cnt_2d_bfr (تعداد دوچرخهٔ دو روز قبل، حدود ۳۸۰)، temp (دما، حدود ۱۰۸)، weather (وضعیت هوا، کمی مثبت)، hum (رطوبت)، windspeed (سرعت باد)، season (فصل)، workday (روز کاری، اندکی منفی) و holiday (تعطیلی، حدود ۲۰- ، منفی). نوشته‌های انگلیسی تصویر بدون تغییر ماندند. ناهمخوانی منبع: زیرنویس این شکل در منبع از temp_copy سخن می‌گوید، اما تصویر ویژگی temp_copy ندارد؛ زیرنویس‌های شکل‌های ۲۴.۱ و ۲۴.۲ در منبع جابه‌جا شده‌اند (این تصویر مدل اصلی و شکل ۲۴.۲ مدل با دمای تکراری است). زیرنویس‌ها عیناً ترجمه شدند.

برای درک بهتر (توضیح مترجم): «اهمیت منفی» یعنی مدل بدون آن ویژگی روی داده‌های آزمون بهتر بود. دلیل ممکن این است که ویژگی تقریباً نویز است و جنگل تصادفی گاهی با آن بیش‌برازش می‌کند؛ حذفش واریانس را کم می‌کند. چون LOFO بر اثر یک آموزش مجدد با تصادفی‌بودن الگوریتم هم سنجیده می‌شود، مقدارهای خیلی نزدیک صفر (مثل windspeed و season) را نباید دقیق تفسیر کرد.

بیایید چیزی را امتحان کنیم. برای شبیه‌سازی یک نسخهٔ افراطی از ویژگی‌های همبسته، یک مجموعه‌دادهٔ دوچرخهٔ تازه ساختم که دو ستون دما دارد: temp و temp_copy. و، حدس زدید، temp_copy دقیقاً همان مقادیر temp را دارد، یعنی همبستگی ۱۰۰٪. دوباره یک جنگل تصادفی روی این مجموعه‌دادهٔ تازه آموزش دادم. ببینیم بر سر اهمیت‌های LOFO چه می‌آید.

توضیح مترجم (متن داخل تصویر): همان محورها و ترتیب شکل ۲۴.۱ با یک ویژگی اضافه: cnt_2d_bfr (حدود ۳۷۰)، hum، weather، season، workday، temp_copy، temp، windspeed و holiday. نکتهٔ شکل: هر دو temp_copy و temp تقریباً هم‌اندازه‌اند (حدود ۲۶ تا ۲۷) و به‌جای دومین ویژگی مهم در شکل ۲۴.۱ اکنون در میانهٔ فهرست‌اند؛ همین است که متن می‌گوید اهمیت LOFO هر دو تقریباً صفر (در مقایسه با cnt_2d_bfr) است. نوشته‌های انگلیسی تصویر بدون تغییر ماندند.

شکل ۲۴.۲ پدیدهٔ جالبی را نشان می‌دهد: اهمیت‌های LOFO هر دو ویژگی دما اکنون تقریباً صفر است.2 اما اگر مثلاً temp_copy را حذف کنیم، به مدل اصلی می‌رسیم، که می‌دانستیم temp مهم‌ترین ویژگی آن بود. روشن است که نتیجه‌گیری اینکه این مدل تازه اصلاً به دما تکیه نمی‌کند اشتباه است. هر دو temp و temp_copy اهمیت پایینی می‌گیرند، چون بنا به تعریف اهمیت LOFO، مهم نیستند. وقتی ویژگی temp را حذف می‌کنیم، هیچ اطلاعاتی را از دست نمی‌دهیم. دلیلش این است که LOFO تفسیری شرطی دارد: با داشتن ویژگی‌های دیگر، حذف یک ویژگی عملکرد پیش‌بینی مدل را چقدر بدتر می‌کند؟ نتیجه‌گیری‌ها:

  • اهمیت LOFO ویژگی‌های به‌شدت همبسته همیشه پایین است، حتی احتمالاً منفی3، چون اهمیت LOFO باید به‌صورت شرطی بر اطلاعات ارائه‌شده با ویژگی‌های دیگر تفسیر شود. و اگر از قبل یک ویژگی دما در داده‌ها دارید، نسخهٔ کاملاً یکسان همان ویژگی اطلاعات اضافی مهمی نیست.
  • وقتی از اهمیت LOFO به‌عنوان اطلاعات برای انتخاب ویژگی استفاده می‌کنید، مراقب تفسیر باشید: LOFO فقط نشان می‌دهد عملکرد مدل با حذف تک‌تک ویژگی‌ها چگونه واکنش نشان می‌دهد. همان‌طور که شکل ۲۴.۲ نشان داد، LOFO دربارهٔ اینکه با حذف هم‌زمان ۲ ویژگی یا بیشتر عملکرد چگونه تغییر می‌کند اطلاعاتی نمی‌دهد.

برای درک بهتر (توضیح مترجم): دلیل پایین‌بودن اهمیت را با عدد ببینید. مدل اصلی با temp خطای ۴۰۰ دارد. اگر temp را در مدل با دو ستون دما حذف کنیم، temp_copy هنوز همان اطلاعات را دارد و خطا تقریباً ۴۰۰ می‌ماند؛ پس $LOFO \approx 0$. اگر هر دو ستون دما را با هم حذف کنیم (که LOFO تک‌ویژگی نمی‌سنجد)، خطا مثلاً ۵۱۰ می‌شود. LOFO این افت واقعی را نمی‌بیند، همان نکتهٔ دوم فهرست بالا: برای حذف هم‌زمان دو ویژگی باید جداگانه آزمایش کرد (مثلاً با نسخهٔ LTFO در بخش نقاط قوت). (اعداد برای توضیح‌اند.)

با این دانش، بیایید LOFO را برای یک جنگل تصادفی که جنسیت پنگوئن را از روی اندازه‌گیری‌های بدن پیش‌بینی می‌کند امتحان کنیم. برای این کار یک جنگل تصادفی را روی ۲/۳ داده‌ها آموزش دادم و ۱/۳ داده‌ها را برای تخمین خطا کنار گذاشتم. شکل ۲۴.۳ نشان می‌دهد عمق منقار (bill depth) بر اساس LOFO مهم‌ترین ویژگی بود.

توضیح مترجم (متن داخل تصویر): برچسب محور افقی LOFO Importance (accuracy difference) یعنی «اهمیت LOFO (تفاضل دقت)» و محور عمودی برچسب ندارد. ویژگی‌ها از بالا: bill_depth_mm (عمق منقار، حدود ۰٫۰۳۶)، body_mass_g (توده بدنی، حدود ۰٫۰۱۸)، flipper_length_mm (طول بال، حدود ۰٫۰۰۹)، bill_length_mm (طول منقار، حدود ۰٫۰۰۹) و species (گونه، حدود ۰٫۰۰۹- ، منفی). مقادیر از روی شکل تقریبی‌اند. نوشته‌های انگلیسی تصویر بدون تغییر ماندند.

توجه کنید که چون اینجا از دقت استفاده شده که بزرگ‌تر بهتر است، اهمیت را در منفی یک ضرب کردم. LOFO همچنین به ما می‌گوید می‌توانیم ویژگی‌های species و flipper_length را با اطمینان حذف کنیم. با این حال، می‌خواهیم species را نگه داریم، چون مدل باید بتواند میان گونه‌ها تمایز قائل شود.

توضیح مترجم: در شکل ۲۴.۳ ویژگی species اهمیت منفی دارد (حذفش دقت را اندکی بالا می‌برد) اما flipper_length_mm اهمیت کوچک مثبت (حدود ۰٫۰۰۹، هم‌اندازهٔ bill_length_mm) دارد؛ بنابراین جملهٔ منبع دربارهٔ حذف‌پذیری flipper_length با شکل چندان هم‌خوان نیست و عیناً ترجمه شد. همچنین نام ویژگی در متن flipper_length و در شکل flipper_length_mm است. داده‌های آزمون (یک‌سوم پنگوئن‌ها) کوچک‌اند و تفاوت‌های دقتِ حدود ۰٫۰۰۹ می‌تواند معادل تغییر طبقه‌بندی یک یا دو نمونه باشد، پس نباید زیاد تفسیر شود.

LOFO در برابر PFI

LOFO با روش‌های دیگری که در این کتاب ارائه شده فرق دارد، چون بیشتر روش‌های دیگر به بازآموزی مدل نیاز ندارند. می‌توان گفت LOFO یک روش پسینی (post-hoc) و مستقل از مدل است، چون می‌توان آن را روی هر مدلی اعمال کرد و بازآموزی مدل بر مدل اصلی که می‌خواهیم تفسیرش کنیم اثری ندارد. با این حال، به‌دلیل بازآموزی مدل، تفسیر از تفسیر فقط آن یک مدل به تفسیر یادگیرنده (learner) و اینکه آموزش مدل به تغییرها در ویژگی‌ها چگونه واکنش نشان می‌دهد جابه‌جا می‌شود.

از نظر من بزرگ‌ترین پرسش این است: LOFO در مقایسه با PFI چگونه است، و چه زمانی باید از کدام اهمیت استفاده کرد؟ با شباهت‌ها شروع کنیم: هم PFI و هم LOFO معیارهای اهمیت مبتنی بر عملکردند؛ هر دو اهمیت را با «حذف» اطلاعات یک ویژگی محاسبه می‌کنند، حتی وقتی این کار را متفاوت انجام می‌دهند؛ هر دو، دست‌کم در ساده‌ترین نسخه‌شان، به‌صورت یکی‌یکی کار می‌کنند. اما LOFO و PFI در جنبه‌های دیگر فرق دارند. همان‌طور که در مثال شکل ۲۴.۲ دیدیم، LOFO تفسیر شرطی از اهمیت دارد. این فقط دربارهٔ ارزش پیش‌بینی اضافی یک ویژگی است. این LOFO را از اهمیت ویژگی با جایگشت حاشیه‌ای متمایز می‌کند. LOFO بیشتر شبیه PFI شرطی است و هر دو تفسیرهایی مشروط به ویژگی‌های دیگر دارند.

اما چون PFI شرطی و LOFO متفاوت کار می‌کنند، در تفسیرهایشان فرق دارند. PFI شرطی تفسیری است که فقط مدل در دست را درگیر می‌کند. اهمیت LOFO بیشتر بر الگوریتم یادگیری ماشین تمرکز دارد، چون بازآموزی مدل را شامل می‌شود و تفسیر اکنون چند مدل با آموزش متفاوت را درگیر می‌کند. این همچنین یعنی اهمیت LOFO متأثر از این است که الگوریتم یادگیری ماشین با مجموعه‌داده‌ای با یک ستون کمتر چگونه رفتار می‌کند. یک الگوریتم درخت تصمیم ممکن است درختی کاملاً متفاوت تولید کند. بنابراین تفسیر LOFO هم دربارهٔ مدل در دست است، و هم دربارهٔ الگوریتم یادگیری ماشین و اینکه چگونه به حذف یک ویژگی واکنش نشان می‌دهد.

توضیح مترجم: «یادگیرنده» (learner) در این بخش یعنی خود الگوریتم آموزش (مثلاً «الگوریتم جنگل تصادفی») و نه یک مدل آموزش‌دیدهٔ مشخص. «روش پسینی» یعنی پس از آموزش مدل اعمال می‌شود. «مستقل از مدل» یعنی روی هر نوع مدل قابل اعمال است.

برای درک بهتر (توضیح مترجم): فرض کنید مدل اصلی یک درخت تصمیم عمیق است. PFI شرطی همان درخت را می‌گیرد و فقط مقادیر یک ویژگی را (به‌شرط ویژگی‌های دیگر) جایگشت می‌دهد؛ پرسش دربارهٔ همین درخت است. LOFO یک درخت تازه بدون آن ستون می‌سازد که ممکن است ساختار کاملاً دیگری داشته باشد (مثلاً شاخه‌ها را روی ویژگی همبسته دیگری بسازد)؛ پس عدد LOFO دربارهٔ «الگوریتم درخت روی این داده‌ها» هم هست و نه فقط دربارهٔ درخت اولیه.

نقاط قوت

پیاده‌سازی LOFO ساده است. برای مثال‌های اینجا همین کار را کردم. می‌توانید خودتان انجامش دهید، واقعاً برایش به هیچ بسته‌ای نیاز ندارید.

LOFO برای انتخاب ویژگی مفید است: ویژگی‌ای با اهمیت LOFO کمتر از صفر را می‌توان حذف کرد تا عملکرد مدل بهبود یابد؛ ویژگی‌ای با اهمیت صفر را هم می‌توان با اطمینان و بدون اثر بر عملکرد حذف کرد. با این حال، آگاه باشید که LOFO تابع تصادفی‌بودن فرایند آموزش است و به نمونهٔ داده هم بستگی دارد. فقط مطمئن شوید که در هر بار بر پایهٔ نتایج اهمیت LOFO فقط یک ویژگی را حذف می‌کنید. اگر می‌خواهید دو ویژگی را حذف کنید، باید این کار را به‌صورت متوالی انجام دهید، یعنی اهمیت LOFO را محاسبه کنید، ویژگی بی‌اهمیت را حذف کنید، دوباره LOFO را محاسبه کنید و باز کم‌اهمیت‌ترین را حذف کنید. همچنین می‌توانید LOFO را با LTFO (حذف دو ویژگی؛ leave two features out) تطبیق دهید تا اهمیت مشترک را محاسبه کنید. روش‌های اهمیت دیگر، مانند PFI یا اهمیت SHAP، مستقیماً اطلاعات عملی (actionable) برای انتخاب ویژگی نمی‌دهند.

LOFO برخلاف روش‌های دیگر مانند PFI حاشیه‌ای، داده‌های غیرواقع‌گرایانه نمی‌سازد، چون LOFO ویژگی‌ها را حذف می‌کند و مدل را با داده‌های تازه نمونه‌گیری‌شده نمی‌آزماید.

LOFO به‌دلیل بینش‌های عملی برای انتخاب ویژگی برای فاز مدل‌سازی مفید است. وقتی تمرکز بیشتر بر فهم پدیدهٔ زیربنایی و کمتر بر خود مدل است نیز مفید است. با این حال، توجه کنید که اینکه یادگیرندهٔ خاص به حذف ویژگی‌ها چگونه واکنش نشان می‌دهد نیز بر مقادیر اهمیت LOFO اثر می‌گذارد.

LOFO زمانی معنا دارد که هدف تفسیر شما دربارهٔ پدیده (و کمتر دربارهٔ خود مدل) یا دربارهٔ یادگیرنده باشد.

برای درک بهتر (توضیح مترجم): انتخاب ویژگی متوالی را با مثال ببینید. فرض کنید پنج ویژگی داریم و اهمیت‌های LOFO به‌ترتیب $+30$، $+12$، $+1$، $-2$ و $-3$ است. اگر هر دو ویژگی منفی را هم‌زمان حذف کنیم، ممکن است ویژگی‌های دیگر که به آن‌ها وابسته بودند اهمیتشان عوض شود. پس ابتدا فقط ویژگی با $-3$ را حذف و مدل‌ها را دوباره آموزش می‌دهیم؛ اهمیت‌های جدید ممکن است $+30$، $+12$، $+1$ و $+0.5$ شوند (ویژگی $-2$ دیگر منفی نیست). و همین‌طور ادامه می‌دهیم. این همان «حذف متوالی» (backward sequential feature selection) است که در بخش جایگزین‌ها آمده. (اعداد فرضی‌اند.)

محدودیت‌ها

LOFO پرهزینه است: اگر اهمیت LOFO را برای همهٔ ویژگی‌ها محاسبه کنید، باید مدل را $p$ بار بازآموزی کنید. این می‌تواند پرهزینه باشد، به‌ویژه در مقایسه با اهمیت ویژگی با جایگشت.

LOFO بهترین روش برای فهمیدن یک مدل خاص نیست. برای مثال، در موقعیت بیشتر شبیه ممیزی (audit) مدل، LOFO مناسب نیست، چون تفسیر بر آموزش مدل‌های تازه مبتنی است، یعنی تفسیر نه‌تنها بر مدل تحت بررسی بلکه بر مدل‌های دیگری که الگوریتم یادگیری ماشین تولید می‌کند مبتنی است، به‌طوری که نتایج باید بر حسب الگوریتم یادگیری ماشین تفسیر شوند.

همچنین کمی روشن نیست با تنظیم ابرپارامتر (hyperparameter tuning) چگونه برخورد کنیم. آیا باید با همان ابرپارامترهای دقیقاً یکسان آموزش دهید، یا بهینه‌سازی ابرپارامتر را دوباره اجرا کنید؟ ثابت نگه‌داشتن ابرپارامترها از نظر محاسباتی ارزان‌تر است و تمرکز LOFO را بیشتر بر آن مدل می‌گذارد، چون مدل‌های تازه آموزش‌دیده احتمالاً شبیه‌تر به آن هستند. اجرای بهینه‌سازی ابرپارامتر برای هر یک از $p$ مدل پرهزینه است، اما نتایج LOFO را برای انتخاب ویژگی و بینش دربارهٔ رابطهٔ میان ویژگی‌ها و هدف آموزنده‌تر می‌کند، چون عدم قطعیت ناشی از خطاهای مدل را کم می‌کنید.

ویژگی‌های به‌شدت همبسته اهمیت LOFO پایینی می‌گیرند. این صرفاً به‌خاطر نحوهٔ کار LOFO انتظار می‌رود، اما دامی است و هنگام نگاه به نمودارهای اهمیت به‌آسانی فراموش می‌شود. این همچنین یعنی بررسی همبستگی‌های داده‌ها پیش از اینکه بتوانید اهمیت‌های LOFO را تفسیر کنید ضروری است. همچنین می‌توانید ویژگی‌های به‌شدت همبسته را گروه‌بندی کنید و فقط با هم حذفشان کنید تا تفسیر شما به‌جای شرطی، حاشیه‌ای‌تر شود.

برای درک بهتر (توضیح مترجم): هزینهٔ LOFO را با عدد ببینید. اگر هر آموزش مدل ۱۰ دقیقه طول بکشد و ۲۰ ویژگی داشته باشیم، LOFO به ۲۰ بازآموزی، یعنی ۲۰۰ دقیقه (حدود ۳ ساعت و ۲۰ دقیقه) نیاز دارد، در حالی که PFI فقط یک مدل را چندین بار روی داده‌های جایگشت‌یافته ارزیابی می‌کند که پیش‌بینی است و از آموزش بسیار ارزان‌تر است. اگر بخواهید برای هر ۲۰ مدل ابرپارامترها را دوباره بهینه کنید، هزینه چندین برابر می‌شود. (اعداد فرضی‌اند.)

نرم‌افزار و جایگزین‌ها

LOFO یک پیاده‌سازی Python دارد. اما الگوریتمی هم هست که می‌توانید به‌آسانی خودتان پیاده‌سازی کنید.

یک جایگزین LOFO PFI شرطی است. همچنین می‌توان به‌جای حذف متغیر، نسخهٔ جایگشت‌یافتهٔ آن را اضافه کرد و سپس مدل را دوباره یاد گرفت. این مزیت مقایسهٔ دو مدل با تعداد ویژگی یکسان را دارد، اما منبع دیگری از عدم قطعیت (خودِ جایگشت تصادفی است) را معرفی می‌کند.

روش انتخاب ویژگی «انتخاب ویژگی متوالی عقب‌رو» (backward sequential feature selection) در اصل LOFO + حذف ویژگی است که به‌صورت متوالی اعمال می‌شود.

برای درک بهتر (توضیح مترجم): پیاده‌سازی ساده‌ای که منبع می‌گوید به هیچ بسته‌ای نیاز ندارد، در مرحله‌های خود کتاب چنین است: برای هر ویژگی، آن را از داده‌های آموزش و آزمون حذف کن، مدل را دوباره آموزش بده، خطا را روی آزمون بگیر و از خطای مدل اصلی کم کن. در R این یک حلقهٔ for ساده روی نام ویژگی‌هاست (کد کتاب همین‌طور نوشته شده)؛ نیازی به کتابخانهٔ اختصاصی نیست.


  1. نخستین توصیف رسمی LOFO که من می‌شناسم از Lei و همکاران (۲۰۱۸) است. آن‌ها آن را حذف یک هم‌متغیر (Leave One Covariate Out؛ LOCO) می‌نامند و مقاله بیشتر دربارهٔ آزمون بدون فرض توزیع (distribution-free) است. ↩

  2. ویژگی‌های temp و temp_copy اهمیت‌های LOFO مشابه اما نه یکسان دارند، که به تصادفی‌بودن آموزش مدل برمی‌گردد. ↩

  3. در اینجا باید فرض کنیم یادگیرنده می‌تواند حذف یک ویژگی را با تکیهٔ بیشتر بر ویژگی‌های دیگر جبران کند. اما من هیچ الگوریتم یادگیری ماشینی را نمی‌شناسم که چنین توانایی‌ای نداشته باشد. ↩