رمزگشایی سیگنالهای EEG ثبت شده از محرک بینایی با استفاده از تئوری گراف و یادگیری عمیق برای دستیابی به نقاط مهم دیداری
نسترن خالقی
مهندسی برق و کامپیوتر
۱۴۰۱
۱۲۹ص.
سی دی
دکتری
مهندسي پزشکی گرايش بیوالکتریک
۱۴۰۱/۱۱/۱۹
رمزگشایی سیگنال¬های مغزی در علوم اعصاب محاسباتی برای تفسیر خودکار فعالیت¬های ذهنی از اهمیت زیادی برخوردار است تا به حل مسأله¬ی چالش¬برانگیز خوانش ذهن تحقق بخشد. تجزیه و تحلیل ثبت¬های EEG مرتبط با بینایی، تشخیص فعالیت ذهنی حاصل از درک و دریافت بینایی را ممکن ساخته است. با توجه به قابلیت نمایش سیگنال¬های EEG به¬صورت گراف، با ترکیب شبکه¬های عصبی عمیق و تئوری گراف، می¬توان شبکه¬های عمیق مبتنی بر گراف برای ارزیابی سیگنال¬های مذکور طراحی کرد. در این رساله، شبکه¬ی عمیق هندسی بر اساس گراف حاصل از اتصال عملکردی بین کانال¬های ثبت سیگنال (FC-GDN)، طراحی شده است تا از اطلاعات زمانی¬- مکانی در ثبت¬های EEG حاصل از تحریک بینایی استفاده شود و طبقه¬بندی داده¬های ثبت¬شده هم¬زمان با استخراج ویژگی¬های پنهان انجام پذیرد. در این شبکه، سیگنال¬های مغزی برانگیخته از محرک بینایی به عنوان داده¬ی آموزشی استفاده می¬شود و طبقه¬بندی الگوهای استخراج شده¬ی مرتبط با دسته¬های مختلف از تصاویر محرک انجام می¬پذیرد. عملکرد شبکه¬ی پیشنهادی بر اساس مجموعه دادگان EEG-ImageNet ارزیابی شده که متشکل از ثبت¬های مغزی حاصل از مشاهده محرک تصویر شامل 40 دسته¬ی متفاوت بوده است. میانگین صحت طبقه¬بندی برای شبکه پیشنهادی به منظور تفکیک 40 دسته¬ی متفاوت برابر با 4/98 درصد حاصل شده که در مقایسه با روش¬های پیشنهادی اخیر، 1/1 درصد بهبود در طبقهبندی داده مذکور حاصل آمده است. ضریب کاپای کوهن برابر با 46/98 درصد، نمره F1 و حساسیت برابر با 56/98 درصد می¬باشد. همچنین مساحت زیر نمودار منحنی مشخصه عملکردی سیستم برای FC-GDN برابر 57/99 درصد به دست آمده است. رمزگشایی سیگنال¬های مغزی حاصل از محرک بینایی به مدل¬سازی ارتباط بین فعالیت ذهنی و محرک بینایی کمک می¬کند. بازسازی تصاویر از فعالیت¬های ذهنی از طریق این مدل¬سازی امکان¬پذیر خواهد بود. با توجه به اینکه فعالیت ذهنی از نقاط مهم محرک تصویر تأثیر می¬پذیرد، در ادامه¬ی این رساله، یک مدل عمیق برای بازسازی نقاط مهم دیداری محرک تصویر از سیگنال EEG پیشنهاد شده است. برای این منظور، آموزش شبکه پیشنهادی مولد تخاصمی که بر اساس شبکه عمیق هندسی (GDN-GAN) عمل می¬کند، انجام شده و نگاشت سیگنالها به نقاط مهم دیداری تصویر مطابق با هر یک از دسته¬های محرک بینایی، محقق شده است. شبکه مذکور شامل دو قسمت اساسی می¬شود که قسمت اول، یک شبکه عمیق هندسی متشکل از لایههای کانولوشن گراف چبیشف می¬باشد و نمایش گراف کانالهای EEG بر اساس اتصال عملکردی به عنوان ورودی به این قسمت از شبکه اعمال شده است. عملکرد قسمت دوم بر اساس شبکه مولد تخاصمی می¬باشد. کارایی شبکه با استفاده از معیارهای ارزیابی مرتبط با استخراج نقاط مهم دیداری تصاویر مورد بررسی قرار گرفته و در مقایسه با روش¬های استخراج نقاط مهم دیداری موجود، عملکرد مطلوبی داشته است. معیار ضریب همبستگی (CC) برای عملکرد روش پیشنهادی GDN-GAN برای استخراج نقاط مهم دیداری برابر با 39/99 درصد و معیار شاخص شباهت ساختاری (SSIM) برابر با 46/89 درصد به دست آمده¬اند. در بخش پایانی این رساله، برای بازسازی تصاویر محرک بینایی مورد استفاده در ثبت سیگنال EEG، روشی جدید بر اساس استخراج نقاط مهم دیداری تصاویر ارائه شده است و بازسازی تصاویر از سیگنال¬های مغزی به تحقق پیوسته است. ضرایب وزنی شبکه¬ی پیشنهادی برای استخراج نقاط مهم دیداری، به عنوان ضرایب اولیه برای شبکه مذکور در نظر گرفته شده¬اند و آموزش شبکه جدید پیشنهادی به منظور بازسازی تصاویر سیاه و سفید مرتبط با محرک تصویر انجام گرفته و بازسازی تصویر از سیگنال¬های مغزی به تحقق پیوسته است
Neural decoding is of great importance in computational neuroscience to automatically interpret brain activities in order to address the challenging problem of mind-reading. Analysing the vision-related EEG records is of great importance to discern the relation between visual perception and brain activity. Considering the recent advances and achievements in the field of deep neural networks, several architectures have been implemented to decode brain activities. In this project, functional connectivity-based geometric deep network (FC-GDN) is proposed to leverage the spatio-temporal distributed information in EEG recordings evoked by images to directly extract hidden states of high-resolution time samples considering the functional connectivity between EEG channels. To this end, a topological connectivity graph is constructed based on the functional connectivity between EEG channels and time samples of each EEG channel are considered as a graph signal on top of corresponding graph node. Furthermore, a novel graph neural network architecture based on this efficient graph representation of EEG signals is proposed, in which visually provoked EEG recordings are used as training data in order to decode visual perception state of the participants in terms of extracted EEG patterns related to different image categories. The performance of the proposed FC-GDN is evaluated on the EEG-ImageNet dataset, consisting of 40 image categories and each category includes 50 sample images, shown to 6 participants while their EEG signals were recorded. The average accuracy of 98.4% is obtained for FC-GDN, showing an average improvement of 1.1% compared to the best state-of-the-art method. The Cohen’s Kappa coefficient is 98.49%, the F1-score and recall is 98.56%. Furthermore, the area under the ROC curve is obtained equal to 99.57% for the proposed FC-GDN. Neural decoding helps us to model the connection between brian activities and the visual stimulation. Reconstruction of the image from the brain activity can be done through this model. Recent studies have shown that brain activity is impressed by visual saliecny, the important parts of an image stimuli. In the continuation of this project, a deep model is proposed to reconstruct the image stimuli from EEG recordings via visual saliency. To this end, the proposed geometric deep network-based GAN (GDN-GAN) is trained to map the EEG signals to the visual slaiency maps corresponding to each image. First part of the proposed GDN-GAN consists of Chebyshev graph convolutional layers. The input of the GDN part of the proposed network is the functional connectivity-based graph representation of the EEG channels. The output of the GDN is imposed to the GAN part of the proposed network to reconstruct the image saliency. The proposed GDN-GAN is trained using the Google Colaboratory Pro platform. The saliency metrics validate the viability and efficiency of the proposed saliency reconstruction network. The correlation coefficient (CC) for the proposed GDN-GAN is 99.39% and the structural similarity index (SSIM) is 89.46% for extracting visual saliency maps from EEG recordings. In the final part of this project, a new method is used to reconstruct visual stimuli from EEG signal recording. The weights of the trained GDN-GAN for visual saliency reconstruction are used as initial weights to reconstruct the grayscale image stimuli. Fine-tuning the trained network realizes the image reconstruction from EEG signals
Decoding visually provoked EEG signals using graph theory and deep learning to obtain visual saliency