عنوان

روش غیر‌تماسی مبتنی بر یادگیری برای تشخیص سیگنال‌های مغزی مرتبط با لوب پیشانی از روی ویژگی‌های صورت

پ۲۵۵۰۴

per

روش غیر‌تماسی مبتنی بر یادگیری برای تشخیص سیگنال‌های مغزی مرتبط با لوب پیشانی از روی ویژگی‌های صورت

محمد علائی

مهندسی برق و کامپیوتر

۱۴۰۰

۹۳ص.

سی دی

کارشناسی ارشد

مهندسی کامپیوتر گرایش معماری سیستم های کامپیوتری

۱۳۹۹/۰۶/۳۱

پیشرفت‌های اخیر در فناوری دوربین‌های دیجیتال، افزایش قدرت پردازشی رایانه‌ها و توسعه یادگیری عمیق با معماری‌های نوین، موجب ظهور روش‌های جدید پایش علائم حیاتی انسان به‌صورت غیرتماسی گردیده‌است. این روش‌ها امکان اندازه‌گیری فعالیت‌های قلبی-عروقی، نرخ تنفس و سایر فعالیت‌های فیزیولوژیکی بدن انسان را از روی ویدئوهای چهره فراهم می‌کنند. در کنار علائم حیاتی انسان، تجزیه و تحلیل سیگنال‌های مغزی، نقش مهمی در زمینه تشخیص یا درمان اختلالات شناختي ایفا مي‌كند. بنابراین، امكان بررسي سیگنال‌های مغزی از روی ویدئوهای صورت، می‌تواند اهميت زيادي در اندازه‌گيری‌هاي غير‌تماسي سيگنال‌هاي زيستي داشته ‌باشد. ثبت فعالیت‌های مغزی با روش‌هایی مثل MEG و fMRI به‌دلایلی همچون حجیم و گران ‌بودن تجهیزات آن‌ها، هنوز به‌طور گسترده در خارج از محیط آزمایشگاهی استفاده نمی‌شود. EEG نیز به‌‌علت نیاز به اتصال سنسور به پوست سر انسان، ممکن است باعث ایجاد فشار، ناراحتی و حساسیت شود. از طرفی تحقیقات اخیر، وجود همبستگی مثبت و رابطه علّی بین ویژگی‌های فرکانسی سیگنال‌های EEG و حالات چهره انسان را نشان می‌دهد. از این رو، در این پایان‌نامه، ما یک روش غیرتماسی مبتنی بر الگوریتم‌های یادگیری عمیق، برای تشخیص و اندازه‌گیری سیگنال‌های مغزی مرتبط با لوب پیشانی، از روی ویژگی‌های صورت ارائه کردیم. لوب پیشانی مغز در بسیاری از کارکردهای شناختی مانند توجه، تمرکز، گفتار، حافظه و احساسات نقش دارد. ما از معماری PhysNet-3DCNN-ED که یک شبکه عصبی کانولوشن سه‌بُعدی عمیق است استفاده کردیم. شبکه فوق با معماری رمزگذار-رمزگشای فضایی-زمانی، اخیراً برای بازیابی تغییرپذیری ضربان قلب از روی ویدئوهای چهره ارائه شده‌است. برای هدف تشخیص سیگنال‌های مغزی از روی ویدئوهای چهره، ما از مجموعه‌داده DEAP برای آموزش و ارزیابی مدل فوق استفاده کردیم. ما 6 سوژه را به‌صورت تصادفی انتخاب کرده و با رویکرد درون‌سوژه‌ای، مدل‌هایی را برای هرکدام از آنها با استفاده ویدئوهای چهره و سیگنال‌های EEG کانال Fz آنها آموزش دادیم. نتایج ارزیابی این مدل‌ها نشان می‌دهد که همبستگی (R) بین سیگنال‌های EEG مرجع و سیگنال‌های تشخیص داده‌شده از 177/0 تا 689/0 متغیر است. خطای جذر میانگین مربعات (RMSE) نیز از 7/0 تا 947/0 متغیر است. در همه سوژه‌ها، بیشترین مقدار کوهرنس بین دو سیگنال مرجع و بازیابی‌شده در بازه فرکانسی تتا (4-8 هرتز) مشاهده ‌شد. علاوه براین، شاهد وجود کوهرنس معنی‌دار بین دو سیگنال مرجع و تشخیص داده‌شده برای بازه فرکانسی آلفا (8-13 هرتز) و بخشی از بازه بتا (13-30 هرتز) در برخی از سوژه‌ها نیز بودیم. نتایج به‌دست آمده از ارزیابی مدل پیشنهادی با معیارهای همبستگی و خطای RMSE با در نظر گرفتن رویکرد درون‌سوژه‌ای، حاکی از موفقیت این روش در تشخیص سیگنال‌های مغزی مرتبط با لوب پیشانی از روی ویژگی‌های صورت است.

Recent developments in digital cameras technology, increasing the processing power of computers, and the development of deep learning with new architectures have led to new non-contact methods for monitoring human vital signs. These methods make it possible to measure cardiovascular activity, respiration rate, and other physiological activities of the human body from face videos. Besides vital signs, analysis of brain signals plays an important role in the diagnosis or treatment of cognitive disorders. Therefore, analyzing brain signals through facial videos can prove of great value in non-contact measurements of biological signals.Brain activity recording techniques e.g. MEG and fMRI are not yet widely used outside the laboratory due to their bulky and expensive equipment. EEG may also cause pressure, discomfort, and allergy due to the need to attach the sensor to the human scalp. Recent research, on the other hand, shows a positive correlation and causal relationship between the frequency characteristics of EEG signals and human facial expressions. Therefore, in this thesis, we proposed a non-contact method based on deep learning algorithms for detecting and measuring brain signals related to the frontal lobe, based on facial features. The frontal lobe has a role in many cognitive functions, such as attention, concentration, speech, memory, and emotions.We used the PhysNet-3DCNN-ED architecture, which is a deep 3D convolutional neural network. This network, with the spatio-temporal encoder-decoder architecture, has recently been introduced to recover heart rate variability from face videos. We used the DEAP dataset for training and evaluation of this model for detecting brain signals from the facial videos. We selected 6 subjects randomly and with the Intra-Subject approach, we trained models for each of them using their facial videos and EEG signals of Fz Channel. The evaluation results of these models show that the correlation (R) between the reference EEG signals and the detected signals varies from 0.177 to 0.689. The root-mean-square error (RMSE) also varies from 0.7 to 0.947. In all subjects, the highest coherence was observed between the reference and detected signals in the theta frequency range (4-8 Hz). Furthermore, we saw significant coherence between the reference and detected signals for the alpha frequency range (13-18 Hz) and part of the beta range (13-30 Hz) in some subjects. The results obtained from the evaluation of the proposed model with correlation and RMSE criteria considering the intra-subject approach indicate the success of this method in detecting brain signals related to the frontal lobe from facial features.

Learning-Based Non-Contact Method for Detecting Brain Signals Related to the Frontal Lobe from Facial Features

علائی

‏ محمد

تهيه کننده

‏اقدسی علمداری

‏حیثیت طلب

‏ سیدهادی

‏ سمیه

استاد راهنما

استاد مشاور

‏ تبریز