Keyboard shortcuts

Press ← or → to navigate between chapters

Press S or / to search in the book

Press ? to show this help

Press Esc to hide this help

فصل ۲۹: تشخیص مفاهیم

عنوان اصلی: Detecting Concepts
منبع: https://christophm.github.io/interpretable-ml-book/detecting-concepts.html
نویسنده: Fangzhou Li @ دانشگاه کالیفرنیا، دیویس
مترجم: مریم محمودی


نویسنده: Fangzhou Li @ دانشگاه کالیفرنیا، دیویس

تاکنون با روش‌های بسیاری برای توضیح مدل‌های جعبه‌سیاه از طریق اسناد ویژگی (feature attribution) آشنا شده‌ایم. با این حال، رویکرد مبتنی بر ویژگی چند محدودیت دارد. نخست، ویژگی‌ها از نظر تفسیرپذیری لزوماً کاربرپسند نیستند. برای مثال، اهمیت یک پیکسل منفرد در یک تصویر معمولاً تفسیر معناداری منتقل نمی‌کند. دوم، گویایی (expressiveness) توضیح مبتنی بر ویژگی با تعداد ویژگی‌ها محدود می‌شود.

رویکرد مبتنی بر مفهوم (concept-based approach) هر دو محدودیت یادشده را برطرف می‌کند. مفهوم می‌تواند هر انتزاعی باشد، مانند یک رنگ، یک شیء یا حتی یک ایده. با فرض هر مفهوم تعریف‌شده توسط کاربر، هرچند ممکن است شبکهٔ عصبی صراحتاً با آن مفهوم آموزش ندیده باشد، رویکرد مبتنی بر مفهوم آن مفهوم را که در فضای نهفتهٔ (latent space) آموخته‌شده توسط شبکه جاسازی شده است تشخیص می‌دهد. به بیان دیگر، رویکرد مبتنی بر مفهوم می‌تواند توضیح‌هایی تولید کند که به فضای ویژگی‌های یک شبکهٔ عصبی محدود نیستند.

در این فصل عمدتاً بر مقالهٔ آزمون با بردارهای فعال‌سازی مفهوم (Testing with Concept Activation Vectors یا TCAV) از Kim و همکاران (۲۰۱۸) تمرکز می‌کنیم.

توضیح مترجم: «فضای نهفته» یا فضای فعال‌سازی، فضایی است که در آن خروجی یک لایهٔ میانی شبکه (بردار فعال‌سازی‌ها) به‌صورت یک نقطه نمایش داده می‌شود. «مفهوم» در این فصل با مجموعه‌ای از نمونه‌های تصویری (مثلاً تصاویر راه‌راه) تعریف می‌شود، نه با یک ویژگی ورودی خاص. «جعبه‌سیاه» مدلی است که سازوکار درونی‌اش مستقیم خوانا نیست.

TCAV: آزمون با بردارهای فعال‌سازی مفهوم

TCAV برای تولید توضیح‌های سراسری برای شبکه‌های عصبی پیشنهاد شده است، اما در نظریه باید برای هر مدلی که گرفتن مشتق جهتی (directional derivative) در آن ممکن باشد هم کار کند. برای هر مفهوم مفروض، TCAV میزان تأثیر آن مفهوم را بر پیش‌بینی مدل برای یک کلاس مشخص اندازه می‌گیرد. برای مثال، TCAV می‌تواند به پرسش‌هایی پاسخ دهد، مانند اینکه مفهوم «راه‌راه» چگونه بر مدلی که تصویری را «گورخر» دسته‌بندی می‌کند اثر می‌گذارد. چون TCAV رابطهٔ بین یک مفهوم و یک کلاس را توصیف می‌کند، به‌جای توضیح یک پیش‌بینی منفرد، تفسیری سراسری و مفید از رفتار کلی مدل ارائه می‌دهد.

💡 نکته — مفهوم را با دقت تعریف کنید

هنگام استفاده از TCAV مطمئن شوید مفهومی که بررسی می‌کنید متمایز و خوب‌تعریف‌شده است. این به اندازه‌گیری دقیق اثر آن بر پیش‌بینی‌های مدل کمک می‌کند.

بردار فعال‌سازی مفهوم (CAV)

CAV صرفاً نمایش عددی‌ای است که یک مفهوم را در فضای فعال‌سازی یک لایهٔ شبکهٔ عصبی تعمیم می‌دهد. یک CAV، که با $\mathbf{v}_l^C$ نشان داده می‌شود، به یک مفهوم $C$ و یک لایهٔ شبکهٔ عصبی $l$ بستگی دارد، که $l$ را گلوگاه (bottleneck) مدل هم می‌نامند. برای محاسبهٔ CAV مفهوم $C$، نخست باید دو مجموعه‌داده آماده کنیم: یک مجموعه‌دادهٔ مفهوم که $C$ را نمایندگی می‌کند، و یک مجموعه‌دادهٔ تصادفی که از داده‌های دلخواه تشکیل شده است. برای نمونه، برای تعریف مفهوم «راه‌راه» می‌توانیم تصاویر اشیای راه‌راه را به‌عنوان مجموعه‌دادهٔ مفهوم جمع کنیم، در حالی که مجموعه‌دادهٔ تصادفی گروهی از تصاویر تصادفی بدون راه‌راه است. سپس یک لایهٔ پنهان $l$ را هدف می‌گیریم و یک دسته‌بند دودویی آموزش می‌دهیم که فعال‌سازی‌های تولیدشده توسط مجموعهٔ مفهوم را از فعال‌سازی‌های تولیدشده توسط مجموعهٔ تصادفی جدا می‌کند. بردار ضرایب این دسته‌بند دودویی آموزش‌دیده در این صورت همان CAV یعنی $\mathbf{v}_l^C$ است. در عمل می‌توانیم از SVM یا مدل رگرسیون لجستیک به‌عنوان دسته‌بند دودویی استفاده کنیم. در نهایت، با فرض یک ورودی تصویری $\mathbf{x}$، می‌توانیم «حساسیت مفهومی» (conceptual sensitivity) آن را با محاسبهٔ مشتق جهتی پیش‌بینی در جهت CAV واحد (unit CAV) اندازه بگیریم:

$$S_{C,k,l}(\mathbf{x})=\nabla h_{l,k}(\hat{f}_l(\mathbf{x}))\cdot \mathbf{v}_l^C$$

که در آن $\hat{f}_l$ ورودی $\mathbf{x}$ را به بردار فعال‌سازی لایهٔ $l$ نگاشت می‌کند و $h_{l,k}$ بردار فعال‌سازی را به خروجی لوجیت (logit) کلاس $k$ نگاشت می‌کند.

از نظر ریاضی، علامت $S_{C,k,l}(\mathbf{x})$ فقط به زاویهٔ بین گرادیان $h_{l,k}(\hat{f}_l(\mathbf{x}))$ و $\mathbf{v}_l^C$ بستگی دارد. اگر زاویه کمتر از ۹۰ درجه باشد، $S_{C,k,l}(\mathbf{x})$ مثبت خواهد بود و اگر زاویه بیشتر از ۹۰ درجه باشد، $S_{C,k,l}(\mathbf{x})$ منفی خواهد بود. چون گرادیان $\nabla h_{l,k}$ به جهتی اشاره می‌کند که خروجی را با سریع‌ترین شیب بیشینه می‌کند، حساسیت مفهومی $S_{C,k,l}$، به‌طور شهودی، نشان می‌دهد آیا $\mathbf{v}_l^C$ به جهتی مشابه جهتی اشاره می‌کند که $h_{l,k}$ را بیشینه می‌کند یا نه. بنابراین، $S_{C,k,l}(\mathbf{x})>0$ را می‌توان چنین تفسیر کرد که مفهوم $C$ مدل را به دسته‌بندی $\mathbf{x}$ در کلاس $k$ ترغیب می‌کند.

توضیح مترجم: متن منبع CAV را ابتدا «بردار ضرایب دسته‌بند» می‌نامد و بعد از «CAV واحد» (طول یک) صحبت می‌کند؛ در عمل یعنی این بردار قبل از ضرب نرمال می‌شود تا فقط جهتش مهم باشد. ضرب نقطه‌ای در فرمول همان مشتق جهتی است: اندازهٔ تغییر امتیاز کلاس $k$ وقتی در فضای فعال‌سازی در جهت مفهوم $C$ حرکت کنیم. همچنین $k$ در متن منبع هم شمارندهٔ کلاس و هم (در بخش بعد) کلاس موردنظر است.

برای درک بهتر (توضیح مترجم): فرض کنید فضای فعال‌سازی فقط دو بعد دارد. اگر جهت مفهوم «راه‌راه» به سمت راست و بالا باشد و گرادیان امتیاز «گورخر» برای یک تصویر هم تقریباً به سمت راست و بالا باشد، زاویه کوچک و ضرب نقطه‌ای مثبت است؛ یعنی حرکت به سمت «راه‌راه‌تر» امتیاز «گورخر» را بالا می‌برد. اگر گرادیان به سمت چپ و پایین بود، زاویه از ۹۰ درجه بیشتر و حساسیت منفی می‌شد. این مثال دوبعدی ساختهٔ مترجم است.

آزمون با CAVها (TCAV)

در بند قبل یاد گرفتیم چگونه حساسیت مفهومی یک نقطهٔ داده را محاسبه کنیم. اما هدف ما تولید توضیحی سراسری است که حساسیت مفهومی کلی یک کلاس کامل را نشان دهد. یک رویکرد بسیار سرراست که TCAV اتخاذ می‌کند محاسبهٔ نسبت ورودی‌هایی با حساسیت مفهومی مثبت به تعداد ورودی‌های یک کلاس است:

$$TCAV_{Q,C,k,l}=\frac{|\lbrace \mathbf{x} \in \mathbf{X}_k : S_{C,k,l}(\mathbf{x}) > 0 \rbrace|}{|\mathbf{X}_k|}$$

توضیح مترجم: در فرمول، $\mathbf{X}_k$ مجموعهٔ ورودی‌های برچسب‌خوردهٔ کلاس $k$ است و $|\cdot|$ تعداد اعضای مجموعه. اندیس $Q$ در $TCAV_{Q,C,k,l}$ در متن منبع تعریف نشده است.

با بازگشت به مثال خودمان، می‌خواهیم بدانیم مفهوم «راه‌راه» هنگام دسته‌بندی تصاویر به‌عنوان «گورخر» چگونه بر مدل اثر می‌گذارد. داده‌هایی را که با «گورخر» برچسب خورده‌اند جمع می‌کنیم و حساسیت مفهومی را برای هر تصویر ورودی حساب می‌کنیم. سپس امتیاز TCAV مفهوم «راه‌راه» با پیش‌بینی کلاس «گورخر» برابر است با تعداد تصاویر «گورخر» که حساسیت مفهومی مثبت دارند تقسیم بر تعداد کل تصاویر «گورخر». به بیان دیگر، $TCAV$ با $C=\text{striped}$ و $k=\text{zebra}$ برابر با ۰٫۸ نشان می‌دهد که ۸۰٪ از پیش‌بینی‌ها برای کلاس «گورخر» به‌طور مثبت تحت تأثیر مفهوم «راه‌راه» هستند.

برای درک بهتر (توضیح مترجم): اگر ۵۰ تصویر گورخر داشته باشیم و برای ۴۰ تای آن‌ها حساسیت مفهومی «راه‌راه» مثبت باشد، امتیاز TCAV برابر $40/50=0{,}8$ است. اگر ۲۵ تصویر مثبت بودند، امتیاز ۰٫۵ می‌شد، یعنی مفهوم «راه‌راه» تقریباً بی‌اثر است (در حد شانس). اعداد این مثال برای فهم‌اند.

این عالی به نظر می‌رسد، اما از کجا بدانیم امتیاز TCAV ما معنادار است؟ به هر حال یک CAV با مفاهیم انتخاب‌شده توسط کاربر و مجموعه‌داده‌های تصادفی آموزش داده می‌شود. اگر مجموعه‌داده‌هایی که برای آموزش CAV به کار رفته‌اند بد باشند، توضیح می‌تواند گمراه‌کننده و بی‌فایده باشد. بنابراین یک آزمون ساده معناداری آماری انجام می‌دهیم تا TCAV قابل‌اعتمادتر شود. یعنی به‌جای آموزش تنها یک CAV، چند CAV را با مجموعه‌داده‌های تصادفی مختلف آموزش می‌دهیم و مجموعه‌دادهٔ مفهوم را ثابت نگه می‌داریم. یک مفهوم معنادار باید CAVهایی با امتیازهای TCAV سازگار تولید کند. رویهٔ دقیق‌تر آزمون به این صورت است:

  1. $N$ مجموعه‌دادهٔ تصادفی جمع کنید، که توصیه می‌شود $N$ دست‌کم ۱۰ باشد.
  2. مجموعه‌دادهٔ مفهوم را ثابت کنید و امتیاز TCAV را با هر یک از $N$ مجموعه‌دادهٔ تصادفی حساب کنید.
  3. یک آزمون $t$ دودنباله (two-sided t-test) را روی $N$ امتیاز TCAV در برابر $N$ امتیاز TCAV دیگر که با یک CAV تصادفی تولید شده‌اند اعمال کنید. یک CAV تصادفی را می‌توان با انتخاب یک مجموعه‌دادهٔ تصادفی به‌عنوان مجموعه‌دادهٔ مفهوم به دست آورد.

⚠️ هشدار — مفروضات آزمون t را بررسی کنید

هنگام انجام آزمون $t$ دودنباله برای امتیازهای TCAV مطمئن شوید داده‌هایتان مفروضات آزمون، مانند نرمال‌بودن و همگنی واریانس‌ها، را برآورده می‌کند. در غیر این صورت استفاده از آزمون‌های ناپارامتری را در نظر بگیرید.

همچنین پیشنهاد می‌شود اگر چند فرضیه دارید یک روش تصحیح آزمون چندگانه (multiple testing correction) اعمال کنید. مقالهٔ اصلی از تصحیح بونفرونی (Bonferroni) استفاده می‌کند و در اینجا تعداد فرضیه‌ها برابر تعداد مفاهیمی است که آزمایش می‌کنید.

برای درک بهتر (توضیح مترجم): تصحیح بونفرونی ساده است: اگر $m$ فرضیه را همزمان آزمون کنید، آستانهٔ معناداری $0{,}05$ را بر $m$ تقسیم می‌کنید. برای سه مفهوم، آستانه $0{,}05/3\approx 0{,}017$ می‌شود. دلیلش این است که با آزمون‌های بیشتر، احتمال یافتن یک «نتیجهٔ معنادار» صرفاً از روی شانس بالا می‌رود. این توضیح از مترجم است.

مثال

مثالی را ببینیم که در GitHub مربوط به TCAV موجود است. با ادامهٔ مثال کلاس «گورخر» که پیش‌تر به کار می‌بردیم، شکل ۲۹.۱ نتیجهٔ امتیازهای TCAV برای مفاهیم «راه‌راه» (striped)، «زیگزاگی» (zigzagged) و «نقطه‌نقطه» (dotted) را نشان می‌دهد. دسته‌بند تصویری که به کار می‌بریم InceptionV3 (Szegedy و همکاران ۲۰۱۶) است، یک شبکهٔ عصبی کانولوشنی که با داده‌های ImageNet آموزش دیده است. هر مجموعه‌دادهٔ مفهوم یا تصادفی ۵۰ تصویر دارد و برای آزمون معناداری آماری از ۱۰ مجموعه‌دادهٔ تصادفی با سطح معناداری ۰٫۰۵ استفاده می‌کنیم. تصحیح بونفرونی را به کار نمی‌بریم چون فقط چند مجموعه‌دادهٔ تصادفی داریم، اما در عمل توصیه می‌شود برای پرهیز از کشف کاذب (false discovery) این تصحیح اضافه شود.

توضیح مترجم (متن داخل تصویر): عنوان نمودار TCAV Scores for each concept and bottleneck (امتیازهای TCAV برای هر مفهوم و گلوگاه) است. محور عمودی TCAV Score (امتیاز TCAV) از ۰ تا ۱ است و محور افقی سه مفهوم dotted، striped و zigzagged را دارد. راهنمای mixed4c نام لایهٔ گلوگاه است. میلهٔ striped حدود ۰٫۸۹ و zigzagged حدود ۰٫۸۴ است (با خط‌های خطا)، و میلهٔ dotted نزدیک صفر است و ستاره دارد. مقادیر عددی را از روی نمودار تخمین زده‌ام و در متن منبع نیامده‌اند.

💡 نکته — از بیش از ۵۰ تصویر استفاده کنید

در عمل شاید بخواهید در هر مجموعه‌داده از بیش از ۵۰ تصویر استفاده کنید تا CAVهای بهتری آموزش دهید. همچنین شاید بخواهید از بیش از ۱۰ مجموعه‌دادهٔ تصادفی برای آزمون‌های معناداری آماری بهتر استفاده کنید. می‌توانید TCAV را برای چند گلوگاه هم اعمال کنید تا مشاهدهٔ دقیق‌تری داشته باشید.

نقاط قوت

چون از کاربران فقط خواسته می‌شود داده‌هایی برای آموزش مفاهیمی که به آن‌ها علاقه‌مندند جمع کنند، TCAV از کاربران انتظار تخصص یادگیری ماشین ندارد. این باعث می‌شود TCAV برای متخصصان حوزه جهت ارزیابی مدل‌های پیچیدهٔ شبکهٔ عصبی‌شان بسیار مفید باشد.

ویژگی منحصربه‌فرد دیگر TCAV سفارشی‌پذیری (customizability) آن است که با توضیح‌های فراتر از اسناد ویژگی در TCAV ممکن می‌شود. کاربران می‌توانند هر مفهومی را بررسی کنند، به شرط آنکه مفهوم را بتوان با مجموعه‌دادهٔ مفهوم آن تعریف کرد. به بیان دیگر، کاربر می‌تواند توازن بین پیچیدگی و تفسیرپذیری توضیح‌ها را بر اساس نیازش کنترل کند: اگر یک متخصص حوزه مسئله و مفهوم را بسیار خوب بفهمد، می‌تواند مجموعه‌دادهٔ مفهوم را با داده‌های پیچیده‌تر شکل دهد تا توضیح دقیق‌تری تولید کند.

سرانجام، TCAV توضیح‌های سراسری تولید می‌کند که مفاهیم را به هر کلاسی مرتبط می‌کنند. یک توضیح سراسری به شما ایده می‌دهد که آیا مدل کلی‌تان درست رفتار می‌کند یا نه، که معمولاً با توضیح‌های محلی ممکن نیست. و بنابراین TCAV را می‌توان برای شناسایی «نقص‌ها» یا «نقاط کور» احتمالی که هنگام آموزش مدل رخ می‌دهند به کار برد: شاید مدل شما یاد گرفته مفهومی را نامناسب وزن‌دهی کند. اگر کاربری بتواند این مفاهیم بد‌آموخته‌شده را شناسایی کند، می‌تواند از این دانش برای بهبود مدل استفاده کند. فرض کنید دسته‌بندی داریم که «گورخر» را با دقت بالا پیش‌بینی می‌کند. با این حال TCAV نشان می‌دهد دسته‌بند نسبت به مفهوم «نقطه‌نقطه» حساس‌تر است تا «راه‌راه». این ممکن است نشان دهد دسته‌بند به‌طور تصادفی با مجموعه‌دادهٔ نامتوازن آموزش دیده است، که به شما اجازه می‌دهد مدل را یا با افزودن تصاویر بیشتر «گورخر راه‌راه» یا با کاستن از تصاویر «گورخر نقطه‌نقطه» در مجموعه‌دادهٔ آموزشی بهبود دهید.

محدودیت‌ها

TCAV ممکن است روی شبکه‌های عصبی کم‌عمق‌تر عملکرد بدی داشته باشد. همان‌طور که مقاله‌های بسیاری پیشنهاد کرده‌اند (مثلاً Alain و Bengio ۲۰۱۸)، مفاهیم در لایه‌های عمیق‌تر قابل‌جداسازی‌ترند. اگر شبکه‌ای بیش از حد کم‌عمق باشد، لایه‌هایش ممکن است قادر به جداکردن روشن مفاهیم نباشند، به‌طوری که TCAV قابل‌اعمال نیست.

چون TCAV به حاشیه‌نویسی‌های اضافی برای مجموعه‌داده‌های مفهوم نیاز دارد، برای وظایفی که داده‌های برچسب‌خوردهٔ آماده ندارند می‌تواند بسیار پرهزینه باشد. یک جایگزین ممکن برای TCAV وقتی حاشیه‌نویسی گران است استفاده از ACE است که در بخش بعد به‌اختصار دربارهٔ آن صحبت می‌کنیم.

هرچند TCAV به خاطر سفارشی‌پذیری‌اش ستایش می‌شود، اعمال آن به مفاهیمی که بیش از حد انتزاعی یا کلی‌اند دشوار است. این عمدتاً به این دلیل است که TCAV یک مفهوم را با مجموعه‌دادهٔ مفهوم متناظرش توصیف می‌کند. هرچه مفهومی انتزاعی‌تر یا کلی‌تر باشد، مانند «شادی»، داده‌های بیشتری برای آموزش CAV آن مفهوم لازم است.

هرچند TCAV در اعمال بر داده‌های تصویری محبوبیت یافته است، کاربردهای نسبتاً محدودی در داده‌های متنی و جدولی دارد.

رویکردهای دیگر مبتنی بر مفهوم

رویکرد مبتنی بر مفهوم اخیراً محبوبیت روزافزونی یافته و روش‌های جدید بسیاری از به‌کارگیری مفاهیم الهام گرفته‌اند. در اینجا می‌خواهیم این روش‌ها را به‌اختصار نام ببریم و اگر علاقه‌مندید توصیه می‌کنیم کارهای اصلی را بخوانید.

توضیح خودکار مبتنی بر مفهوم (Automated Concept-based Explanation یا ACE) (Ghorbani و همکاران ۲۰۱۹) را می‌توان نسخهٔ خودکار TCAV دید. ACE مجموعه‌ای از تصاویر یک کلاس را مرور می‌کند و مفاهیم را بر پایهٔ خوشه‌بندی قطعه‌های تصویر به‌طور خودکار تولید می‌کند.

مدل‌های گلوگاه مفهومی (Concept Bottleneck Models یا CBM) (Koh و همکاران ۲۰۲۰) شبکه‌های عصبی ذاتاً تفسیرپذیرند. CBM شبیه یک مدل رمزگذار-رمزگشا (encoder-decoder) است، که در آن نیمهٔ اول CBM ورودی‌ها را به مفاهیم نگاشت می‌کند و نیمهٔ دوم از مفاهیم نگاشت‌شده برای پیش‌بینی خروجی مدل استفاده می‌کند. هر فعال‌سازی نورون لایهٔ گلوگاه آن‌گاه نمایندهٔ اهمیت یک مفهوم است. افزون بر این، کاربران می‌توانند فعال‌سازی نورون‌های گلوگاه را دستکاری کنند تا توضیح‌های خلاف‌واقع (counterfactual) از مدل تولید کنند.

سفیدسازی مفهوم (Concept Whitening یا CW) (Chen و همکاران ۲۰۲۰) رویکرد دیگری برای تولید دسته‌بندهای تصویری ذاتاً تفسیرپذیر است. برای استفاده از CW، یک لایهٔ نرمال‌سازی، مانند لایهٔ نرمال‌سازی دسته‌ای (batch normalization)، با یک لایهٔ CW جایگزین می‌شود. و بنابراین CW زمانی بسیار مفید است که کاربران بخواهند دسته‌بندهای تصویری از پیش آموزش‌دیدهٔ خود را به دسته‌بندهای ذاتاً تفسیرپذیر تبدیل کنند و عملکرد مدل را هم حفظ کنند. CW عمیقاً از تبدیل سفیدسازی (whitening transformation) الهام گرفته است و اگر علاقه‌مند به یادگیری بیشتر دربارهٔ CW هستید، به‌شدت توصیه می‌کنیم ریاضیات پشت تبدیل سفیدسازی را مطالعه کنید.

توضیح مترجم: «ذاتاً تفسیرپذیر» (intrinsically interpretable) یعنی مدل از ابتدا طوری طراحی شده که ساختارش خوانا باشد، برخلاف روش‌هایی مانند TCAV که پس از آموزش (post hoc) مدل را توضیح می‌دهند. «سفیدسازی» تبدیلی است که داده‌ها را طوری تغییر می‌دهد که ویژگی‌ها ناهمبسته و با واریانس واحد شوند. نویسندهٔ کتاب جزئیات ریاضی آن را ارائه نکرده است.

نرم‌افزار

کتابخانهٔ رسمی پایتون TCAV به TensorFlow نیاز دارد، اما نسخه‌های دیگری هم به‌صورت آنلاین پیاده‌سازی شده‌اند. نوت‌بوک‌های Jupyter آسان‌استفاده هم در tensorflow/tcav در دسترس‌اند.