عنوان

محاسبه شباهت معنایی متون مبتنی بر یادگیری ژرف با قابلیت به کارگیری اطلاعات ساختاری متن

پ۲۷۲۱۲

per

محاسبه شباهت معنایی متون مبتنی بر یادگیری ژرف با قابلیت به کارگیری اطلاعات ساختاری متن

مجید محبی

برق و کامپیوتر

۱۴۰۱

۱۰۱ص.

سی دی

دکتری

کامپیوتر گرایش هوش مصنوعی

۱۴۰۱/۰۶/۲۷

یکی از موضوعات مهم در پردازش زبان طبیعی محاسبه شباهت معنایی متون است. شباهت معنایی متون میزان شباهت بین معنای دو متن را اندازه¬گیری می¬کند تا تعیین کند دو متن تا چه اندازه از نظر معنا معادل هم هستند. برای محاسبه شباهت معنایی متون پژوهش¬های گسترده¬ای جهت دست¬یابی به دقت بالاتر انجام شده است. هدف ما در این رساله، به کارگیری اطلاعات ساختاری متن به همراه به کارگیری روش¬های مبتنی بر یادگیری ژرف در محاسبه شباهت معنایی متون است تا بدین وسیله بتوانیم تشخیص سامانه را به قضاوت انسانی نزدیکتر کنیم. گراف به دست آمده از گرامر وابستگی متن یکی از انواع اطلاعات ساختاری متن است که روابط دستوری بین کلمات را توصیف می¬کند. در این رساله یک شبکه گراف-کانولوشنال برای پردازش گراف وابستگی به منظور محاسبه شباهت معنایی متون پیشنهاد می¬دهیم. شبکه‌های گراف-کانولوشنال قادر به استخراج اطلاعات از داده¬هایی با ساختار گراف هستند و توانایی بالایی در پردازش داده‌های متنی دارند. هدف از ارائه این رویکرد، محاسبه شباهت معنایی متن با تخصیص کلمات یک جمله به چندین سطح است که این سطوح اهمیت کلمات را در جمله نشان می¬دهند. به هر سطح یک امتیاز اختصاص می¬یابد که نشان دهنده میزان اهمیت آن سطح است. وجود کلمه در یک سطح با اهمیت بالاتر نشان دهنده این است که آن کلمه سهم بیشتری در شکل¬گیری نمایش مربوط به بازنمایی جمله دارد و بالعکس. یکی دیگر از اطلاعات ساختاری متن، نقش¬های معنایی هستند که توسط فرایند برچسب‌گذاری نقش معنایی مشخص می¬شوند. فرآیند برچسب‌گذاری نقش معنایی، برچسب-های مربوط به نقش¬های معنایی را برای کلمات یا عبارات متن تولید می¬کند. در این رساله یک رویکرد جدید برای محاسبه شباهت معنایی متون با استفاده از برچسب¬های نقش¬های معنایی ارائه می¬دهیم. خروجی فرآیند برچسب‌گذاری نقش معنایی به علت نداشتن ساختار گرافی قابلیت استفاده در شبکه‌های گراف-کانولوشنال را ندارد. همچنین یک گراف جدید به نام گراف اس¬آرال با استفاده از برچسب‌های نقش معنایی و گراف وابستگی تولید می‌کنیم و یک شبکه گراف-کانولوشنال خاص برای پردازش این گراف پیشنهاد می¬دهیم. از آنجا که برترین نتایج توسط ترنسفورمرها ارائه شده است، شبکه هر دو رویکرد پیشنهادی را بعد از آخرین لایه ترنسفورمرها قرار می¬دهیم تا قادر به استفاده از نمایش¬های به دست آمده از ترنسفورمرها باشیم. برای ارزیابی رویکرد پیشنهادی اول، از مجموعه داده¬های اس-تی¬اس2017 و ام¬آر¬پی¬سی استفاده می¬کنیم. ارزیابی‌ها نشان می‌دهند که استفاده از گراف وابستگی همراه با اعمال رویکرد پیشنهادی در کنار ترنسفورمرها، عملکرد آن ترنسفورمرها را افزایش می‌دهد. با استفاده از امتیازات اختصاص داده شده به سطوح کلمات، یک وزن دیگر برای هر کلمه تولید می¬کنیم. در بررسی¬های خود دریافتیم که این وزن¬های تولید شده تأثیر عمده¬ای بر افزایش کارایی سامانه¬های محاسبه کننده شباهت معنایی دارند. ارزیابی‌ها نشان می‌دهند که با استفاده از این وزن¬ها به عنوان وزن ورودی در سامانه‌های مختلف، بهبود قابل ‌توجهی در عملکرد آن سامانه‌ها حاصل می‌شود. همچنین تأثیر استفاده از گراف اس¬آرال پیشنهادی را بر عملکرد تعدادی از ترنسفورمرها در شباهت معنایی متون بررسی می‌کنیم. برای ارزیابی رویکرد پیشنهادی دوم، از مجموعه داده¬های اس¬تی¬اس2017 و اس¬آی¬سی¬کا استفاده می¬کنیم. ارزیابی‌ها نشان می‌دهند که استفاده از گراف اس¬آرال همراه با شبکه گراف-کانولوشنال پیشنهادی در کنار ترنسفورمرها، عملکرد آن ترنسفورمرها را افزایش می‌دهد. این دو رویکرد پیشنهادی، با استفاده از اطلاعات ساختاری متن موجب بهبود نتایج ترنسفورمرها و در نتیجه آن بهبود تشخیص سامانه¬های محاسبه کننده شباهت معنایی متون می¬شوند.

One of the noteworthy fields in natural language processing is the computing Semantic Textual Similarity (STS). STS process measures the degree of similarity between the semantic of two texts to determine the degree of semantic equivalence between them. Numerous research studies have been carried out on computing semantic similarity of the texts to achieve a system that is able to obtain higher accuracy. Our goal in this dissertation is to use text structural information accompanied by the methods based on deep learning for computing the semantic similarity of the texts in order to predict the results having maximum adequateness with those assigned by human annotators. The graph obtained from the dependency grammar (DG) of text is one of structural information from the text that describes grammatical relations between words. We devise a Graph-convolutional network (GCN) to process dependency graphs to compute the semantic similarity of texts. GCNs are able to extract information from graph-structured data and have a high ability to process textual data. Our goal of presenting this approach is to calculate the semantic similarity of the text by assigning the words of a sentence to several levels, which show the importance of words in the sentence. A score as a degree of importance is computed for each level. The presence of a word in the level having high importance shows the word has more participation in the formation of the representation of the sentence, and vice versa. Another structural information of the text is the semantic roles that are identified by the Semantic Role Labeling (SRL) process. SRL process assigns semantic roles to words or phrases in a sentence. We propose a new approach to calculating the semantic similarity of texts using semantic role labels. SRL system output does not have a graph structure therefore, it cannot be used by GCNs. We propose a SRL graph by using the semantic roles generated by SRL system and graph structure obtained from DG and propose a GCN to process this graph. Since transformers have provided state-of-the-art results, we put the layers of our proposed GCNs on top of the transformer layers to be able to use the representations obtained from transformers. For the evaluation of the first proposed approach, we use STS2017 and MRPC datasets. Experimental evaluations show that using the dependency graph accompanied by applying our approach on top of the transformers increases the performance of those transformers. By computing a score for each level that indicates the importance of the words assigned to it, we will be able to generate another weight for each word. We find that these generated weights have a major effect on increasing the performance of systems computing semantic similarity. The results of the experimental evaluations show that by using these weights as input weights in different systems, a significant improvement in the performance of those systems is achieved. We also investigate the effect of using the proposed SRL graph on the performance of some transformers in computing STS. For the evaluation of the second approach, we use STS2017 and SICK datasets. Experimental evaluations show that using the SRL graph accompanied by applying the proposed GCN on top of the transformers increases the performance of those transformers. These two proposed approaches, using the text structural information, improve the results of the transformers and, as a result, improve the detection of systems that compute the semantic similarity of texts.

Computing Semantic Textual Similarity Based on Deep Learning with Ability to Use Text Structural Information

محبی،

مجید

تهيه کننده

رضوی،

بالافر،

سید ناصر

محمد علی

استاد راهنما

استاد مشاور

‏تبریز