Revisiting Practical Concerns in Study Quality of L2 Research: Authors' Perceptions and Methodological Meta-Analysis of Papers from 2011 to 2018
General Material Designation
Dissertation
First Statement of Responsibility
Akbar Ahmad Jahanbakhsh
.PUBLICATION, DISTRIBUTION, ETC
Name of Publisher, Distributor, etc.
Faculty of Persian Literature and Foreign Languages English
Date of Publication, Distribution, etc.
1400
PHYSICAL DESCRIPTION
Specific Material Designation and Extent of Item
217p.
Other Physical Details
cd
DISSERTATION (THESIS) NOTE
Dissertation or thesis details and type of degree
Ph.D.
Discipline of degree
Languages English
Date of degree
1400/6/24
SUMMARY OR ABSTRACT
Text of Note
This descriptive study aimed to investigate how study quality is perceived and practiced by Iranian and foreign L2 authors. Using the existing protocols, recommendations, and guidelines proposed by scholars and APA (2010, 2018), a questionnaire of perceived importance of study quality features and a checklist of study quality were developed. Based on the regularity of publishing L2 papers, 10 JCR-indexed journals and 10 top Iranian journals (according to latest MSRT ranking) were selected as the target of investigation. The developed questionnaire was sent to all authors with published quantitative paper(s) in target journals from 2016 to 2019. Moreover, all the quantitative papers published in these journals from 2011 to 2019 were examined againt the developed quality checklist. The results showed that authors consider the classical requirements of conducting research, i.e., reporting on the reliability and validity of an instrument, competent operationalization of data collection, and reporting the basic results as essentials to study quality while other important issues such as power analysis, use of delayed posttests and robust statistics, reporting non-statistical results, and visual presentation of data received lower rates. Major consistency was also found between the authors’ preception and their practice of adherence to the quality standards in the papers. Besides, the comparison of the two corpora showed significant differences in the majority of issues except for a few namely, ensuring validity, use of robust statistics, reporting descriptive and inferential statistics as well p-values, and data sharing. The results were discussed in lights of theory and practice and the implications were provided.
Text of Note
پژوهش توصیفی حاضر به بررسی دیدگاه نویسندگان ایرانی و خارجی و عملکرد آنها در زمینه رعایت موارد عملی مربوط به کیفیت مطالعات می پردازد. با استفاده از پروتکل ها، توصیات و خطوط راهنمای ارایه شده در این زمینه توسط محققان و سازمان روانشنانی آمریکا (APA، 2010، 2018) پرسشنامه اهمیت درک شده ویژگی های کیفیت مطالعه تولید و روایی آن تایید گردید. پرسشنامه تایید شده به تمامی نویسندگانی که از سالهای 2016 تا 2019 مقالات کمی در 10 مجله علمی ایرانی و 10 مجله عملی خارجی زبان دوم چاپ کرده بودند ارسال شده و نتایج حاصل 296 پرسشنامه تکمیل شده ارایه و مقایسه گردید. نتایج نشان داد که به طور کلی نویسندگان ملزومات کلاسیک انجام تحقیق همچون روایی و پایایی، انجام دقیق و صحیح مداخله و پروسه جمع آوری اطلاعات، و گزارش نتایج پایه را دارای اهمیت بالایی در کیقیت مطالعه می دانند. این درحالیست که موارد مهمی همچون آنالیز قدرت تعمیم پذیری نمونه، استفاده از آزمونهای متأخر، استفاده از آمار استوار (robust)، گزارش نتایج غیر¬معنی¬دار، و ارایه تصویری نتایج کمترین میزان اهمیت را به خود اختصاص دادند. همچنین تفاوت های زیادی در زمینه های نمونه گیری و قدرت تعمیم پذیری و گزارش دهی نتایج بین دیدگاه نویسندگان ایرانی و خارجی به دست امد. در فاز دوم تحقیق تمام مقالات کمی ازمایشی (تعداد = 809) که در 10 مجله ایرانی و 10 مجله خارجی از سال 2011 تا 2019 چاپ شده بودند از نظر اقدام عملی آنها به رعایت استانداردهای کیفیت مطالعه مورد بررسی و مقایسه قرار گرفت. نتایج هم پوشانی زیادی با نتایج به دست آمده از پرسشنامه در بخش اول تحقیق داشت. تمام مواردی که در پرسشنامه نشان داده بود اهمیت کمتری برای نویسندگان دارند در عمل نیز کمتر رعایت می¬شدند. همچنین مقایسه مقالات ایرانی و خارجی نشانگر تفاوتهای زیادی در موارد متعدد بود و تنها مواردی همچون روایی، استفاده از آمار استوار، گزارش آمار توصیفی و استنباطی، گزارش مقدار p، و به اشتراک گذاری داده ها در دوگروه به صورت معنی داری متفاوت نبودند. این نتایج با در نظر گرفتن مفاهیم تئوری و عملی مورد بحث قرار گرفت و کاربردهای منتج از نتایج این تحقیق ارایه گردید.
OTHER VARIANT TITLES
Variant Title
نگاهی دوباره به ملاحظات عملی در کیفیت مطالعه در تحقیقات زبان دوم: دیدگاه نویسندگان و متاآنالیز متدی مقالات از سال 2011 تا 2018