T27992
انگلیسی
An Investigation of Test Fairness in a Large-Scale High-Stakes Undergraduate University Entrance English Exam in Iran
Dissertation
Hamid Reza Babaee Bormanaki
English Language and Literature
1401
250p.
cd
Ph.D.
Teaching English as a Foreign Language (TEFL)
1401/09/29
This research reports on an investigation of DIF the fairness of the Iranian Undergraduate University Entrance Special English Exam (IUUESEE). Motivated by Willingham’s conceptual framework (Willingham & Cole, 1997; Willingham, 1999) and Kunnan’s Test Fairness Framework (TFF) (Kunnan, 2004), the author investigated the fairness of the IUUESEE through a mix method design using. In the quantitative part of the study, the author examined the differential item functioning (DIF) across four native language groups, two gender groups, three socioeconomic status groups, and four fields of study groups. After estimating the descriptive statistics, reliability and separation values, point-measure correlation, fit, unidimensionality, and local independence, a t-test uniform DIF analysis showed that the Luri, female, low socioeconomic status, and humanity/literature test-takers were more advantaged favored on test items than their counterparts. Nonuniform DIF analysis revealed that majority of nonuniform DIF instances occurred functioned in favor of the low-ability test-takers. The author referred to test-wiseness, guessing, overconfidence, thoughtless errors, stem length, time, L1, and unappealing distractors as possible sources of DIF in IUUESEE. The DIF analysis was followed by a content analysis of IUUESEE items by test reviewers. In the qualitative part of the study, almost all stakeholders expressed serious concerns about some aspects of the test (e.g., test design, washback, and etc.). Despite some mixed perceptions, overall, the IUUESEE was not perceived as a fair test. Such overall perception was consistent with the results of DIF analyses and content review. In conclusion, research provides empirical evidence regarding the unfairness of the IUUESEE from both psychometric and stakeholder perspectives
این تحقیق به بررسی عدالت آزمون در یک آزمون حساس و گسترده به نام آزمون کنکور سراسری زبان انگلیسی تخصصی در ایران پرداخته است. در این رساله نویسنده بر اساس دو چارچوب مهم ارایه شده در زمینه عدالت آزمون به نام های چارچوب مفهومی ویلینگهام و کول (Willingham & Cole, 1997 ; Willingham 1999) و چارچوب عدالت آزمون کونان (Kunnan, 2004) به بررسی عدالت این آزمون از طریق یک روش تلفیقی پرداخته است. در بخش کمی مطالعه ، نویسنده به بررسی کنش افتراقی سوالهای آزمون بر اساس متغیرهای جنسیت، زبان بومی، وضعیت اجتماعی- اقتصادی و رشته تحصیلی پرداخته است. بعد از بررسی استقلال مکانی و تک بعدی بودن سوالات، نتایج حاصل از بررسی کنش افتراقی یکنواخت نشان داد که سوال های بیشتری در بخش های مختلف آزمون به نفع داوطلبان با وضعیت اجتماعی-اقتصادی ضعیف، لر، مونث، و علوم انسانی در مقایسه با سایر داوطلبان عمل نموده اند. آنالیز کنش افتراقی غیریکنواخت نشان داد که بر خلاف انتظار، تقریباً همه بخش های آزمون به نفع داوطلبان با توانایی کم عمل کرده اند. از دلایل محتمل کنش افتراقی در این آزمون می توان به حدس زدن، اشتباهات سهوی و به کاربردن استراتژی های پاسخ به سوالات چهارگزینه ای توسط داوطلبان ، اعتماد به نفس کاذب، طول سوالات، گزینه های غیرجذاب، زبان مادری و زمان را نام برد. در ادامه بخش کمی این تحقیق، به منظور بررسی میزان تطابق نتایج آنالیز کنش افتراقی با محتوای سوالات، یک گروه متخصص آزمون سازی محتوای سوالات آزمون را بررسی کردند. در بخش کیفی مطالعه، تقریبا اکثر مصاحبه شوندگان نگرانی جدی خود را درباره مواردی از قبیل طراحی و محتوای آزمون، تاثیر آزمون بر آموزش، و غیره ابراز کردند. علی رغم اظهار نظر های مختلف، مصاحبه شوندگان به طور کلی اعلام کردند که آزمون زبان تخصصی کنکور سراسری، آزمون عادلانه ای نیست. در نتیجه، این مطالعه شواهد کافی مبنی بر ناعادلانه بودن این آزمون از منظر مبانی روانسنجی و گروه های ذینفع ارائه کرده است که می تواند برای بهبود ساختار کلی آزمون مورد استفاده قرار بگیرد.
بررسی عادلانه بودن آزمون زبان انگلیسی کنکور سراسری در ایران
Differential item functioning, Iranian Undergraduate University Entrance Special English Exam (IUUESEE), Language testing, Rasch analysis, Test fairness
آزمون زبان، آزمون کنکور سراسری زبان انگلیسی تخصصی، آنالیز راش،عدالت آزمون، کنش افتراقی سوال.
Babaee Bormanaki,
Hamid Reza
Producer
Ajideh,
Yaghoubi-Notash,
Parviz
Massoud
Thesis advisor
Consulting advisor
Tabriz
ایران
Central Library of Tabriz University
20230207
دکتری پایاننامه PE1127.B3 1401
Hamid Reza Babaee Bormanaki
عبادی
e
TL
276903
a
Y
