عنوان

تقویت برت با تعبیه‌سازی گراف برای دسته بندی متن

شماره

پ۲۸۸۳۳

زبان متن نوشتاري يا گفتاري و مانند آن

per

عنوان اصلي

تقویت برت با تعبیه‌سازی گراف برای دسته بندی متن

نام نخستين پديدآور

الهه آسمانی شاهگلی

نام ناشر، پخش کننده و غيره

برق و کامپیوتر

تاریخ نشرو بخش و غیره

۱۴۰۲

نام خاص و کميت اثر

۷۰ص.

مواد همراه اثر

سی دی

جزئيات پايان نامه و نوع درجه آن

کارشناسی ارشد

نظم درجات

کامپیوتر گرایش هوش مصنوعی و رباتیکز

زمان اعطا مدرک

۱۴۰۲/۰۳/۰۳

متن يادداشت

با پیشرفت سریع اینترنت و شبکه های اجتماعی، در هر ثانیه، حجم عظیمی از داده های متنی تولید می شود که به دلیل حجم بالای داده ها، پردازش دستی آن ها عملا غیر ممکن است که در نتیجه استخراج بینش های ارزشمند از این داده های متنی را به یک چالش تبدیل می کند.پردازش زبان طبیعی برای حل این مشکل رشد و نمو پیدا کرده استمدل‌های مبتنی بر BERT، در اغلب موارد در مقایسه با مدل‌های شبکه عصبی بازگشتی، مدل‌های شبکه پیچشی و مدل‌های سنتی عملکرد عالی را بدست آوردند و توانستند به طور موثر، اطلاعات متوالی را از متون برای بهینه‌سازی انجام وظایف مختلف پردازش زبان طبیعی استخراج کنند و در طیف گسترده‌ای مورد استفاده قرار بگیرند. با این حال عملکرد آن‌ها در رمزگذاری اطلاعات وابستگی دوربرد متن محدود است.در سال‌های اخیر، شبکه‌های عصبی گرافی مورد توجه محققان قرار گرفته است. با توجه به ماهیت متن، امکان بازنمایی آن در ساختارهای گرافی و بهره‌مندی از مزیت‌های آن وجود دارد. شبکه‌های عصبی گرافی با توجه به ویژگی ثبت اطلاعات کلی یک متن نتایج بسیار خوبی را در وظایف دسته‌بندی متن بدست اوردند ولی ممکن است در ثبت اطلاعات محلی یک زبان نتوانند به خوبی عمل کنند. برای پوشش کاستی های این مدل ها و استفاده از نقاط قوت هر دو مدل، بر روی ترکیب این دو روش مطالعه شده است که چالش هایی را در نحوه ترکیب این دو دارد. یکی از روش ها برای حل این چالش، استفاده از گراف واژگان در شبکه های پیچش گرافی است. اما در یک گراف ساده فقط بر اساس کلمات سند، این احتمال وجود دارد که پیوندهای ساده بین کلمات، به اندازه کافی و فراوان نباشد و دریافت اطلاعات رابطه‌ای کلمه محدود شود. در این پژوهش با ترکیب پایگاه بزرگ واژگان انگلیسی Wordnet با گراف کلمات سند، سعی در دریافت بهتر وایستگی‌های بین کلمات سند خواهیم کرد و اثر آن را بر روی شبکه پیچش کلمات در ترکیب با BERT در دو حالت ترکیبی ادغام اولیه و ادغام ثانویه با BERT بررسی خواهیم کرد و نتایج را بر روی مجموعه داده نقد فیلم SST-2 و مجموعه داده مقبولیت زبانی CoLA بررسی خواهیم کرد.

متن يادداشت

Abstract: Since the Internet and social networks are growing so quickly, a ton of text data is produced every second and it is practically impossible to process manually due to the sheer volume of data, making it difficult to extract insightful information from this text data. Natural language processing has evolved to solve this problem.In most cases, BERT-based models outperformed traditional models, convolutional network models, and recurrent neural network models in terms of performance. They were also able to efficiently extract sequential information from texts to improve the performance of various natural language processing tasks. However, their performance in encoding long-range text dependency information is limited.In recent years, neural networks have attracted the attention of researchers. According to the nature of the text, it is possible to represent it in graph structures and benefit from its advantages. due to ability of capture general information of text, graph neural networks have achieved very good results in text classification tasks. To cover the shortcomings of these models and use the strengths of both models, a study has been conducted on the combination of these two methods, which has challenges in how to combine the two.One of the ways to solve this challenge is to use word graph in graph convolutional networks. But in a simple graph based only on the words of the document, there is a possibility that the simple links between the words are not enough and abundant, and getting the relational information of the words is limited.In this research, by combining the large database of English words Wordnet with the word graph of the document, we will try to get a better understanding of the dependencies between the words of the document and investigate its effect on the vocabulary graph convolution network in the two combined modes of primary integration and secondary integration with BERT and we will examine the results on the SST-2 movie review dataset and the CoLA linguistic acceptability dataset.

عنوان گونه گون

Augmenting BERT with Graph Embedding for Text Classification

عنصر شناسه اي

آسمانی شاهگلی،

ساير عناصر نام

‏‏الهه

کد نقش

تهیه کننده

عنصر شناسه اي

صالح پور،‏

عنصر شناسه اي

‏ فیضی درخشی،

ساير عناصر نام

‏پدرام

ساير عناصر نام

‏محمد رضا

تاريخ

استاد راهنما

تاريخ

استاد مشاور

عنصر شناسه اي

‏تبریز