عنوان

توسعه و بهبود زیر ماژول‌ فراتوجه در مدل فرایادگیرنده خودتوجه (SAM) برای یادگیری مستمر

Number

پ۲۷۴۳۴

.Language of Text, Soundtrack etc

per

Title Proper

توسعه و بهبود زیر ماژول‌ فراتوجه در مدل فرایادگیرنده خودتوجه (SAM) برای یادگیری مستمر

First Statement of Responsibility

سوران خضری

Name of Publisher, Distributor, etc.

برق و کامپیوتر

Date of Publication, Distribution, etc.

۱۴۰۱

Specific Material Designation and Extent of Item

۷۴ص.

Accompanying Material

سی دی

Dissertation or thesis details and type of degree

کارشناسی ارشد

Discipline of degree

مهندسی کامپیوتر

Date of degree

۱۴۰۱/۰۶/۱۵

Text of Note

یادگیری مستمر با ارائه سطحی از هوشمندی می‌تواند دنباله‌ای از کارها را به طور متوالی با استفاده از شبکه‌های عصبی و با پرهیز از فراموشی فاجعه‌بار یاد بگیرد. در اکثر موارد موجود در این زمینه عامل، بدون اهمیت دادن به مؤثر بودن دانش آموخته شده برای کار‌های آینده، با مقداردهی تصادفی برای پارامتر‌های مدل، شروع می‌کند. بدلیل استفاده از تمام دانش قبلی برای انجام کار‌های آینده، و همچنین به دلیل مفید نبودن بخشی از این دانش، به ویژه زمانی که داده‌های کار‌های قبلی در دسترس نباشد، تداخل در کار‌ها ایجاد می‌شود.در این پژوهش هدف ما این است تا با استفاده از روش‌های مؤثر و بهبود یافته، ماژول‌های اصلی مدل SAM (فرایادگیری یا فراتوجه) عملکرد مناسبی در یادگیری مستمر داشته باشیم. همچنین با ارتقا و بهبود مفاهیم پایه در پیاده‌سازی مدل SAM نظیر تکنیک‌ها و معماری‌های مورد استفاده در فراتوجه، سعی در دستیابی به عملکرد و دقت بهتر داشته و به مدلی مؤثرتر از حالت پایه‌ی این شبکه در مواجهه با کار‌های جدید دست یابیم.ما در ابتدا از بلوک‌های SE ساده و ترکیبات مختلف آن‌ در زیر ماژول توجه استفاده کردیم. سپس اتوانکدر را به کار گرفتیم و هفت حالت مختلف آن را با لایه‌هایی با اندازه‌های مختلف امتحان کردیم تا به بهینه‌ترین حالت اتوانکدر دست یافتیم. در ادامه کار، دو بلوک SE ساده را به لایه‌های اتوانکدر حالت بهینه‌ به دست آمده اضافه نمودیم که بلوک پیشنهادی AEsSE به دست آمد. در نهایت با ترکیب پنج لایه این بلوک AEsSE پیشنهادی با SAM SE به روش پیشنهادی نهایی خودمان در این پایان‌نامه دست پیدا کردیم که ترکیب آن به صورت «+ AEsSE + AEsSE + SAM SE (RReLU) AEsSE AEsSE +» است. این روش، دقت مدل پایه SAM را در هر سه

Text of Note

Continual learning by providing a level of intelligence can learn a sequence of tasks sequentially using neural networks and avoiding catastrophic forgetting. In most cases, the agent starts with random values for model’s parameters without caring about the effectiveness of the learned knowledge for future tasks. Due to the use of all previous knowledge to perform future tasks, and also due to the fact that some part of this knowledge is not useful, it causes interference in tasks, especially when the data of previous tasks is not available.In this research, our goal is to use the effective and improved methods of the main modules of SAM model to have a good performance in continual learning . Also, by improving the basic concepts in the implementation of the SAM model, such as meta-attention or meta-learning, we will try to achieve good performance and accuracy and also more effective model than the basic state of this network in facing new tasks.We initially used simple SE blocks and their various combinations in attention sub-module. Then, we used AutoEncoder and tried seven different modes with layers of different sizes to find the most optimal AutoEncoder mode. In the next steps, we added two simple SE blocks to the autoencoder layers obtained in the optimal mode, proposed AEsSE block was obtained. Finally, by combining the five layers of this proposed AEsSE block with SAM SE, we achieved our final proposed method in this thesis, which is "AEsSE + AEsSE + SAM SE (RReLU) + AEsSE + AEsSE". This method increased the accuracy of the SAM base model in all three evaluation criteria used. In this research, we used Split MNIST dataset as input data

Variant Title

Development and improvement of meta-attention sub-module in the Self-Attention Meta Learner (SAM) for Continual Learning

Entry Element

‏ خضری،

Part of Name Other than Entry Element

سوران

Relator Code

تهيه کننده

Entry Element

محمد خانلی‏،

Entry Element

صالح پور،

Part of Name Other than Entry Element

لیلی ‏

Part of Name Other than Entry Element

پدرام‏

Dates

استاد راهنما

Dates

استاد مشاور

Entry Element

‏تبریز