عنوان

مدلسازی رفتاری شبکه‌های پیچیده پویا با استفاده از فرآیندهای تصادفی و یادگیری ماشین

پ۲۷۶۰۷

per

مدلسازی رفتاری شبکه‌های پیچیده پویا با استفاده از فرآیندهای تصادفی و یادگیری ماشین

سیده هاله سیددیزجی

مهندسی برق و کامپیوتر

۱۴۰۱

۱۳۹ص.

سی دی

دکتری

مهندسی کامپیوتر گرایش هوش مصنوعی و رباتیکز

۱۴۰۱/۰۶/۱۹

مدلسازی رویدادهای زمان‌پیوسته شبکه‌های پویا، با توجه به کاربرد آنها در بسیاری از فرآیندهای طبیعی و ساخته انسان و در دسترس بودن هرچه بیشتر این داده‌ها، از اهمیت قابل توجهی برخوردار است. مدلسازی این رویدادها در زمان پیوسته باعث دقت در پیش‌بینی‌ها و استفاده بیشتر از اطلاعات موجود می‌شود. از سوی دیگر، منجر به افزایش پیچیدگی مدل و محاسبات لازم برای تخمین آن نیز خواهد شد. تاکنون، مدل‌های تابعی و غیرتابعی بسیاری جهت مدلسازی این رویدادها ارائه شده‌اند. ولی به دلیل ابعاد زیاد رویدادهای شبکه‌ها و پیچیدگی این فرآیندها، مدل‌های جاری، کارایی لازم برای آنها را ندارند. به طوری‌که در روش‌های تابعی به دلیل فرض تابعی مشخص برای این فرآیندها، مقیاس‌پذیری این مدل‌ها برای مجموعه داده‌های وسیع‌تر کاهش می‌یابد. از طرف دیگر، مدل‌های غیرتابعی نیز دارای مشکل پیچیدگی مدل و دشواری آموزش آنها می‌باشند. گذشته از این، مدلسازی فرآیندهای نقطه‌ای نشان‌دار که شامل نوع و زمان رویدادها می‌باشند، دارای مشکلات کارایی و استفاده از فرضیه‌های ساده‌کننده مانند فرض استقلال (یا استقلال شرطی) نوع و زمان رویدادها می‌باشد، که این فرضیه‌ها همواره برقرار نیستند. در این رساله، ابتدا مدلی برای تعاملات شبکه‌های زمان‌پیوسته مبتنی بر فرآیندهای نقطه‌ای و شبکه عصبی ارائه می‌شود، که از ویژگی‌های هر دو نوع مدل‌های تابعی و شبکه‌های عصبی بهره می‌برد. در این مدل، برای کاهش مقیاس شبکه، از روش خوشه‌بندی گره‌های شبکه و تعیین نوع رویدادها با استفاده از این خوشه‌ها استفاده می‌شود. علاوه بر این، جهت در نظر گرفتن مقدار محدودی از تاریخچه، پنجره‌ای متحرک شامل تعداد مشخصی از رویدادهای گذشته به‌کار برده می‌شود. سپس در مرحله دوم، مدلی برای رویدادهای نشان‌دار زمان پیوسته (فرآیندهای نقطه‌ای نشان‌دار) ارائه می‌شود، که این مدل مبتنی بر شبکه‌های مولّد تخاصمی (GAN) و شامل دو ماژول GAN وسراستاین برای مدلسازی زمان و نوع رویدادها می‌باشد. این مدل به دلیل استفاده از شبکه‌های GAN کارایی بهتری در کاربردهای پیش‌بینی رویدادها (هم از دیدگاه کیفیت و هم زمان شبیه‌سازی) نسبت به روش‌های مبتنی بر تابع شدّت که معمولاً از روش بیشینه‌سازی درست‌نمایی برای تخمین استفاده می‌کنند، دارد. در این مدل، جهت فرض وابستگی بین زمان و نوع رویدادها، از یک مدل GAN شرطی مشروط به زمان رویدادها، برای تولید نوع رویدادها استفاده شده است. این ماژول‌ها به طور همزمان با استفاده از روش گرادیان کاهشی آموزش داده می‌شوند.جهت ارزیابی مدل ارائه شده برای تعاملات شبکه‌ها، از دو مجموعه داده شبیه‌سازی شده مبتنی بر فرآیند هاکس و شش مجموعه داده واقعی شامل تعاملات انسانی (به صورت رودررو و برون‌خطی) استفاده شده است. مدل پیشنهادی با سه مدل دیگر مبتنی بر فرآیند نقطه‌ای هاکس مقایسه شده است، که نتایج نشان‌دهنده کارایی متفاوت روش‌ها برای مجموعه داده‌های متفاوت می‌باشد، که روش فرآیند نقطه‌ای هاکس بلوکی با فرض استقلال رویدادهای درون خوشه‌ای، کارایی بهتری هم از نظر سرعت آموزش و هم دقت مدل در بیشتر مجموعه داده‌ها دارد. علاوه بر این، مدل پیشنهادی، به دلیل پیچیدگی مدل در ابعاد بیشتر مسأله و نیاز به آموزش بیشتر، از کارایی مناسب برخوردار نیست و نیاز به ساده‌سازی مدل می‌باشد. همینطور، به منظور آزمایش مدل مولّد WGAN شرطی برای فرآیندهای نقطه‌ای نشان‌دار، از یک مجموعه داده شبیه‌سازی شده با مدل هاکس چندمتغیّره و سه مجموعه داده رویدادهای ریتوئیت، استک اورفلو و میمیک استفاده شده است و با روش‌های تابعی و روش فرآیند نقطه‌ای عصبی و روش GAN های مستقل برای زمان و نوع رویدادها، مقایسه شده است. نتایج به‌دست آمده نشان‌دهنده کارایی بیشتر مدل پیشنهادی در پیش‌بینی نوع رویدادها به خصوص در داده‌ها با تعداد نوع بیشتر می‌باشد، که نشان‌دهنده مقیاس‌پذیری این مدل است. از طرفی برتری این مدل نسبت به مدل GAN مستقل می‌تواند مؤید فرض وابستگی بین نوع و زمان رویدادها باشد. علاوه بر این، به دلیل عدم استفاده از تابع شدّت در مدل پیشنهادی، دارای سرعت شبیه‌سازی بسیار بیشتری در مقایسه با روش‌های مبتنی بر تابع شدّت می‌باشد. این ویژگی‌ها این مدل را مناسب برای استفاده در کاربردهای واقعی پیش‌بینی رویدادها می‌سازد.

AbstractDue to the application of dynamic networks in many natural and artificial processes and increasing availability of these data, modeling continuous-time events of these networks, is important. Modeling these events in continuous-time, results in more accurate predictions and benefits from more available information. On the other hand, the complexity of the model and the required computations are increased. In previous studies, many functional and non-functional models were introduced for modeling these events. But, they are not very efficient, due to the high dimensions of events over (and of) networks and their complexity. In functional methods, the assumption of certain functions for these processes decreases their scalability for many datasets. On the other side, non-functional methods suffer from the complexity of the model and the difficulty of the training process. Besides, modeling marked point processes including times and types of events, has efficiency problems and includes assumptions such as independence (or conditional independence) of typed and times of events, which might not be true in all applications.In this research, a model is introduced for continuous-time network interactions which is based on point processes and neural networks and benefits from both functional and neural network models. In this model, the network scale is reduced using clustering nodes of the network and the types of events are specified using these clusters. In addition, for considering a limited number of history events, a moving window is utilized for capturing a specific number of history events. Thereafter, we have designed a model for marked point processes based on generative adversarial networks (GAN) which contains two Wasserstein GANs for modeling times and types of events. Benefiting from GANs, our proposed method has better performance in predicting events (in terms of quality of samples and simulation time) compared to intensity based methods, which usually utilize a likelihood maximization approach. In this model, to consider dependency between times and types of events, a conditional GAN conditioned on times of events is applied for generating types of events. These modules are trained simultaneously using the stochastic gradient descent method.In order to evaluate our first model for network interactions, two synthetic datasets (by the Hawkes model) and six real-world datasets of human interactions (containing face-to-face and offline interactions) were utilized. Our model is compared with three point process models, that obtained results represent different efficiencies of these models for different datasets, where the Community Hawkes Independent Pairs (CHIP) model has better performance for most datasets (in terms of training speed and accuracy). Furthermore, the proposed model does not have good performance due to its complexity in high dimensional data and requires more training iterations and simplifications. To evaluate our conditional WGAN method, a synthesized dataset (by multivariate Hawkes model) and three real-world datasets, i.e., Retweet, Stackoverflow, and Mimic were applied and it was compared with a functional, a neural hawkes model and a WGAN method containing two independent WGANs. The obtained results represent the better performance of the proposed model in predicting types of events, especially in datasets with a higher number of event types, which represents its scalability. In addition, its better performance compared with the model containing two independent WGANs can confirm the assumption of dependency between times and types of events. Furthermore, it has faster simulation times than intensity based methods, because of not using the intensity function. These properties, make our model suitable for real-world applications.

Behavioral Modeling of Dynamic Complex Networks using Stochastic Processes and Machine Learning

‏سیددیزجی،

‏‏سیده هاله

تهیه کننده

‏پاشازاده،

‏موسوی‌نیا،

‏‏سعید

‏میرجواد

استاد راهنما

استاد مشاور

تبریز