NATIONAL BIBLIOGRAPHY NUMBER
Number
T27992
LANGUAGE OF THE ITEM
.Language of Text, Soundtrack etc
انگلیسی
TITLE AND STATEMENT OF RESPONSIBILITY
Title Proper
An Investigation of Test Fairness in a Large-Scale High-Stakes Undergraduate University Entrance English Exam in Iran
General Material Designation
Dissertation
First Statement of Responsibility
Hamid Reza Babaee Bormanaki
.PUBLICATION, DISTRIBUTION, ETC
Name of Publisher, Distributor, etc.
English Language and Literature
Date of Publication, Distribution, etc.
1401
PHYSICAL DESCRIPTION
Specific Material Designation and Extent of Item
250p.
Other Physical Details
cd
DISSERTATION (THESIS) NOTE
Dissertation or thesis details and type of degree
Ph.D.
Discipline of degree
Teaching English as a Foreign Language (TEFL)
Date of degree
1401/09/29
SUMMARY OR ABSTRACT
Text of Note
This research reports on an investigation of DIF the fairness of the Iranian Undergraduate University Entrance Special English Exam (IUUESEE). Motivated by Willingham’s conceptual framework (Willingham & Cole, 1997; Willingham, 1999) and Kunnan’s Test Fairness Framework (TFF) (Kunnan, 2004), the author investigated the fairness of the IUUESEE through a mix method design using. In the quantitative part of the study, the author examined the differential item functioning (DIF) across four native language groups, two gender groups, three socioeconomic status groups, and four fields of study groups. After estimating the descriptive statistics, reliability and separation values, point-measure correlation, fit, unidimensionality, and local independence, a t-test uniform DIF analysis showed that the Luri, female, low socioeconomic status, and humanity/literature test-takers were more advantaged favored on test items than their counterparts. Nonuniform DIF analysis revealed that majority of nonuniform DIF instances occurred functioned in favor of the low-ability test-takers. The author referred to test-wiseness, guessing, overconfidence, thoughtless errors, stem length, time, L1, and unappealing distractors as possible sources of DIF in IUUESEE. The DIF analysis was followed by a content analysis of IUUESEE items by test reviewers. In the qualitative part of the study, almost all stakeholders expressed serious concerns about some aspects of the test (e.g., test design, washback, and etc.). Despite some mixed perceptions, overall, the IUUESEE was not perceived as a fair test. Such overall perception was consistent with the results of DIF analyses and content review. In conclusion, research provides empirical evidence regarding the unfairness of the IUUESEE from both psychometric and stakeholder perspectives
Text of Note
این تحقیق به بررسی عدالت آزمون در یک آزمون حساس و گسترده به نام آزمون کنکور سراسری زبان انگلیسی تخصصی در ایران پرداخته است. در این رساله نویسنده بر اساس دو چارچوب مهم ارایه شده در زمینه عدالت آزمون به نام های چارچوب مفهومی ویلینگهام و کول (Willingham & Cole, 1997 ; Willingham 1999) و چارچوب عدالت آزمون کونان (Kunnan, 2004) به بررسی عدالت این آزمون از طریق یک روش تلفیقی پرداخته است. در بخش کمی مطالعه ، نویسنده به بررسی کنش افتراقی سوالهای آزمون بر اساس متغیرهای جنسیت، زبان بومی، وضعیت اجتماعی- اقتصادی و رشته تحصیلی پرداخته است. بعد از بررسی استقلال مکانی و تک بعدی بودن سوالات، نتایج حاصل از بررسی کنش افتراقی یکنواخت نشان داد که سوال های بیشتری در بخش های مختلف آزمون به نفع داوطلبان با وضعیت اجتماعی-اقتصادی ضعیف، لر، مونث، و علوم انسانی در مقایسه با سایر داوطلبان عمل نموده اند. آنالیز کنش افتراقی غیریکنواخت نشان داد که بر خلاف انتظار، تقریباً همه بخش های آزمون به نفع داوطلبان با توانایی کم عمل کرده اند. از دلایل محتمل کنش افتراقی در این آزمون می توان به حدس زدن، اشتباهات سهوی و به کاربردن استراتژی های پاسخ به سوالات چهارگزینه ای توسط داوطلبان ، اعتماد به نفس کاذب، طول سوالات، گزینه های غیرجذاب، زبان مادری و زمان را نام برد. در ادامه بخش کمی این تحقیق، به منظور بررسی میزان تطابق نتایج آنالیز کنش افتراقی با محتوای سوالات، یک گروه متخصص آزمون سازی محتوای سوالات آزمون را بررسی کردند. در بخش کیفی مطالعه، تقریبا اکثر مصاحبه شوندگان نگرانی جدی خود را درباره مواردی از قبیل طراحی و محتوای آزمون، تاثیر آزمون بر آموزش، و غیره ابراز کردند. علی رغم اظهار نظر های مختلف، مصاحبه شوندگان به طور کلی اعلام کردند که آزمون زبان تخصصی کنکور سراسری، آزمون عادلانه ای نیست. در نتیجه، این مطالعه شواهد کافی مبنی بر ناعادلانه بودن این آزمون از منظر مبانی روانسنجی و گروه های ذینفع ارائه کرده است که می تواند برای بهبود ساختار کلی آزمون مورد استفاده قرار بگیرد.
OTHER VARIANT TITLES
Variant Title
بررسی عادلانه بودن آزمون زبان انگلیسی کنکور سراسری در ایران
UNCONTROLLED SUBJECT TERMS
Subject Term
Differential item functioning, Iranian Undergraduate University Entrance Special English Exam (IUUESEE), Language testing, Rasch analysis, Test fairness
Subject Term
آزمون زبان، آزمون کنکور سراسری زبان انگلیسی تخصصی، آنالیز راش،عدالت آزمون، کنش افتراقی سوال.
PERSONAL NAME - PRIMARY RESPONSIBILITY
Entry Element
Babaee Bormanaki,
Part of Name Other than Entry Element
Hamid Reza
Relator Code
Producer
PERSONAL NAME - SECONDARY RESPONSIBILITY
Entry Element
Ajideh,
Entry Element
Yaghoubi-Notash,
Part of Name Other than Entry Element
Parviz
Part of Name Other than Entry Element
Massoud
Relator Code
Thesis advisor
Relator Code
Consulting advisor
CORPORATE BODY NAME - SECONDARY RESPONSIBILITY
Entry Element
Tabriz
ORIGINATING SOURCE
Country
ایران
Agency
Central Library of Tabriz University
Date of Transaction
20230207
LOCATION AND CALL NUMBER
Call Number
دکتری پایاننامه PE1127.B3 1401
ELECTRONIC LOCATION AND ACCESS
Electronic name
Hamid Reza Babaee Bormanaki
Contact for access assistance
عبادی
e
TL
276903
a
Y
