عنوان

خوشه‌بندی عمیق کارآمد با استفاده از وزن‌دهی بازنمایی‌ها و همسایگی داده‌ها

شماره

پ۲۷۵۷۵

زبان متن نوشتاري يا گفتاري و مانند آن

per

عنوان اصلي

خوشه‌بندی عمیق کارآمد با استفاده از وزن‌دهی بازنمایی‌ها و همسایگی داده‌ها

نام نخستين پديدآور

امین گلزاری اسکوئی

نام ناشر، پخش کننده و غيره

برق و کامپیوتر

تاریخ نشرو بخش و غیره

۱۴۰۱

نام خاص و کميت اثر

۹۶ص.

مواد همراه اثر

سی دی

جزئيات پايان نامه و نوع درجه آن

دکتری

نظم درجات

مهندسی کامپیوتر گرایش هوش مصنوعی

زمان اعطا مدرک

۱۴۰۱/۰۶/۱۹

متن يادداشت

اخیراً استفاده از یادگیری عمیق برای خوشه‌بندی داده‌ها مورد توجه پژوهشگران قرار گرفته است. اکثر روش‌های خوشه‌بندی عمیق از دو فاز تشکیل شده‌اند: 1) تولید بازنمایی‌های جدید از داده‌ها با استفاده از مدل‌های یادگیری عمیق، و 2) خوشه‌بندی این داده‌ها در فضای جدید از ویژگی‌ها. این روش‌ها چند مشکل اساسی دارند. اولین مشکل رانش ویژگی است: اغلب این روش‌ها با دو تابع خطا آموزش می‌بینند و هر یک جدا از هم در شبکه‌های مختلف استفاده می‌شوند و این موضوع باعث می‌شود ویژگی‌هایی که مناسب خوشه‌بندی است استخراج نشوند. مشکل دوم این است که در فاز دوم این روش‌ها فرض بر این است که بازنمایی‌های تولید شده از اهمیت یکسانی برخوردار هستند و در محاسبه خوشه‌ها به این بازنمایی‌ها اهمیت (وزن) یکسان داده می‌شود. این در حالی است که در خوشه‌بندی معمولاً، یک سری از ویژگی‌ها اهمیت بیش‌تری نسبت به دیگر ویژگی‌ها دارند. در نتیجه ویژگی‌های مهم تأثیر بیش‌تری در شناسایی خوشه‌های بهینه نسبت به سایر ویژگی‌ها خواهند داشت. سومین مشکل، مشکل ویژگی تصادفی است: در ابتدای آموزش فاز دوم شبکه، اختلاف بین کلاس درست و کلاس‌های تخمین زده شده بسیار زیاد است، از این رو وزن‌های شبکه به‌خوبی به‌روز نمی‌شوند و در نتیجه دقت شبکه پایین می‌آید. مشکل چهارم این است که در اغلب این روش‌ها برای آموزش شبکه در فاز دوم از تابع خطای Kullback–Leibler Divergence (KLD) و برای محاسبه میزان تعلق هر نمونه به هر خوشه از توزیع تی- استیودنت استفاده می‌کنند. تابع خطا KLD فاصله درون خوشه‌ای را به‌خوبی مدل می‌کند ولی نمی‌تواند فاصله بین خوشه‌ای را مدل کند. همچنین استفاده از توزیع تی- استیودنت باعث می‌شود زمان آموزش شبکه افزایش یابد.برای حل مشکلات فوق، در این رساله، یک رویکردی را پیشنهاد می‌کنیم که در آن یادگیری بازنمایی جدید از داده‌ها و خوشه‌ها به‌صورت مشترک انجام می‌شود. همچنین از همسایه‌های داده در رویکرد پیشنهادی استفاده می‌شود. استفاده کردن از معماری مشترک در کنار همسایه‌های داده، باعث می‌شود بازنمایی‌های جدید برای خوشه‌بندی داده‌ها مناسب باشند و مشکل رانش ویژگی و ویژگی تصادفی تا حدودی برطرف شود. همچنین از وزن‌دهی محلی ویژگی‌ها استفاده می‌کنیم؛ به‌طوری که وزن بازنمایی‌های جدید از داده‌ها (ویژگی‌ها جدید) در یک خوشه نسبت به خوشه دیگر متفاوت باشد که باعث افزایش کیفیت خوشه‌بندی می‌شود. بر خلاف روش‌های موجود، فرموله کردن الگوریتم پیشنهادی کاملاً جدید و متفاوت از روش‌های موجود است که به طور قابل توجهی نتایج را بهبود داده است. در واقع، رویکرد پیشنهادی می‌تواند تابع خطا را به‌صورت درست و روان برای تمامی متغیرهای قابل یادگیری انتشار دهد.

متن يادداشت

Recently, the use of deep learning for data clustering has attracted the attention of researchers. Most deep clustering methods consist of two phases: 1) generating new representations of the data using deep learning models, and 2) clustering these data in the new feature space. These methods have several fundamental problems. The first problem is feature drift: most of these methods are trained with two loss functions and each one is used separately in different networks, and this makes the features that are not suitable for clustering be extracted. The second problem is that in the second phase of these methods, it is assumed that the generated representations have the same importance. So, the same weight is given to these representations in the forming of clusters. However, in clustering, usually, a series of features are more important than other features. As a result, important features will have more influence in identifying optimal clusters than other features. The third problem is that in most of these methods, the Kullback-Leibler Divergence (KLD) loss function is used to train the network in the second phase. Also, to calculate cluster predictions (the degree of belonging of each sample to each cluster) the t-Student distribution is used. The KLD loss function preserves the distance within clusters well, but cannot preserve the distance between clusters. Also, the use of T-Student distribution increases the training time.To overcome the mentioned problems, in this thesis, an automatic local representation weighting strategy is applied to weight the representations of each cluster properly. Moreover, the samples and their neighbors are involved in the learning representations procedure to generate better representation. Also, a new efficient formulation for cluster assignments is proposed. Using this formulation, global and local data structure is preserved simultaneously. Experiments show that the proposed model is more efficient than other state-of-the-art methods.

عنوان گونه گون

Efficient Deep Clustering with the Weight of Representations and the help of Neighbors

عنصر شناسه اي

گلزاری اسکوئی،

ساير عناصر نام

امین

کد نقش

تهیه کننده

عنصر شناسه اي

بالافر،

عنصر شناسه اي

معتمد،

ساير عناصر نام

محمدعلی

ساير عناصر نام

سینا

تاريخ

استاد راهنما

تاريخ

استاد مشاور

عنصر شناسه اي

‏تبریز