روش MTI بر این فرض است که زمانی‌که آزمون‌های CAT مجزایی که از خزانه‌ی سؤال سرهم می‌شود، عیناً بتواند میزان آگاهی کافی مورد نظر را برای اندازه‌گیری توانایی آزمودنی فراهم کند، خزانه‌ی سؤال بهینه‌ محسوب می‌شود. اگر آزمون میزان آگاهی بیشتری بتواند ایجاد کند، آزمون با دقت بیشتری می‌تواند سطح توانایی آزمودنی را برآورد کند. با این‌وجود، برای ساخت آزمونی که میزان آگاهی بیشتری بتواند ایجاد کند، به سؤالاتی با ضرایب تشخیص بالا نیاز داریم، در صورتی که معمولاً ساخت این نوع سؤالات گران و دشوار می‌باشد، مخصوصاً اگر سؤالات آسان باشد، این دشواری دو چندان می‌شود. روش MTI این اطمینان را به ما می‌دهد که آزمون‌ها دارای دقت کافی برای برآورد توانایی هستند، ولی شامل سؤالاتی با ضرایب تشخیص بسیار بالا نیستند. در روش MTI، یک مقدار آگاهی هدف برروی دامنه‌ای از مقیاس  قرار می‌دهد. هر سؤالی که برای آزمودنی اجرا می‌شود در مقدار آگاهی هدف آزمون، سهیم است. برای اجرای رویکرد حداقل آگاهی تست، گام اول، تعیین آگاهی هدف تست می‌باشد. براساس اطلاعات پیشین در مورد تست از روی خزانه‌ی عملیاتی و توزیع برآوردهای توانایی، حداقل آگاهی هدف تست می‌تواند از طریق دو معادله‌ی (۳-۱۰) و (۳-۱۱) تعیین شود:
پایان نامه
(۳-۱۰)
(۳-۱۱)
؛ انحراف استاندارد برآوردهای توانایی را نشان می‌دهد.  ؛ خطای استاندارد برآورد را نشان می‌دهد  ؛ آگاهی تست را نشان می‌دهد. زمانی‌که  ، معلوم شد، پس از آن آگاهی مورد انتظاری که هر سؤال باید فراهم کند، می‌تواند از طریق تقسیم  بر طول تست بدست آید. با توجه به این واقعیت که آگاهی واقعی‌ای که یک سؤال می‌تواند ایجاد کند، مشروط به برآورد جدید توانایی، ممکن است کاملاً مطابق با آگاهی مورد انتظار نباشد، بنابراین، آگاهی هدف سؤال باید هر بار پس از این‌که یک سؤال اجرا می‌شود، به روز شود. معادله‌ی (۳-۱۲) برای به‌روز کردن آگاهی هدف سؤال به‌کار می‌رود.  ، آگاهی تست را نشان می‌دهد و  ، طول تست را نشان می‌دهد.
(۳-۱۲)
در این پژوهش، با بهره گرفتن از تحلیل داده‌های مربوط به CAT عملیاتی، حداقل آگاهی هدف آزمون تقریباً برابر با ۴/۲۱ بدست آمد، در این پژوهش، آگاهی هدف آزمون با توجه به سطوح متفاوت توانایی محاسبه شد. برای آزمودنی‌هایی با توانایی بین ۶۲۴۵/۱- و ۰۸۸۲۳۵/۱، آگاهی هدف آزمون برابر با ۴/۲۱ بدست آمد،  و  بنابراین،  . همچنین، برای آزمودنی‌هایی با توانایی‌های واقعی بین ۰۸۸۲۳۵/۱ تا ۵/۲ یا بین ۶۲۴۵/۱- و ۵/۲-، آگاهی هدف آزمون برابر با ۴/۱۸ بدست آمد،  و  . بنابراین،  و برای بقیه‌ی آزمودنی‌ها، آگاهی هدف آزمون برابر با ۴/۱۵ است، (  و  بنابراین،  . زمانی‌که آگاهی آزمون معلوم شد، سپس، آگاهی مورد انتظاری که هر سؤال باید ایجاد می‌کرد، از طریق معادله‌ی (۳-۱۲) به‌دست آمد. لازم به ذکر است که دو نمره‌ی برش ۶۲۴۵/۱- و ۰۸۸۲۳۵/۱ به همراه نمره‌ی ۵۳۹۷/.-، سه نمره‌ی برشی بودند که در این پژوهش برای تعیین جایگاه آزمودنی‌ها در سطوح متفاوت توانایی ریاضی به کار رفتند. این نمرات برش از طریق مطالعات گوناگون در مورد توانایی حساب، مانند مطالعه‌ی هی و ریکیسی، ۲۰۱۰؛ گرفته شدند.
در روش MTI سؤالات را در سه مرحله ایجاد شدند (ریکیسی، ۲۰۰۴، گو و ریکیسی، ۲۰۰۷؛ هی و ریکیسی، ۲۰۱۰):
پارامتر  از طریق توزیع هدف، یعنی توزیع بتا  ایجاد شد.
پارامتر  از طریق معادله‌ی (۳-۱۳) ایجاد شد.
(۳-۱۳)
که در واقع، از سازماندهی دوباره‌ی معادله‌ی (۳-۱۴) به‌دست آمده است. البته  می‌تواند به جای  در معادله‌ی (۳-۱۳) قرار گیرد:
(۳-۱۴)
با توجه به اینکه هم پارامتر  و هم پارامتر  معلوم بودند، پارامتر  نیز می‌توانست با بهره گرفتن از معادلات ۶ و ۷ محاسبه شود.
اطلاعات مربوط به CAT سه محتوایی
در مورد آزمون CAT با تعادل محتوایی نیز تحلیلی مشابه با آزمون یک محتوایی صورت گرفت و از تمام مراحل قبل استفاده شد، در اینجا به منظور جلوگیری از طولانی شدن مطالب، نتایج این قسمت در جدول ۳-۲ ،۳-۳، ۳-۴ و ۳-۵ آورده شده است. لازم به ذکر است که در مورد این آزمون، سه نمره برش ۶۲۴۵/۱-، ۰ و ۶۲۴۵/۱ تعیین گردید. بنابراین، برنامه‌ی CAT آزمون سه محتوایی، نسبت به CAT یک محتوایی، دارای نقطه‌ی برش بالایی است، به همین خاطر به سؤالات دشوارتری نیاز دارد. این نقاط برش از تحقیقات مختلف گرفته شده است (هی، ریکیسی، ۲۰۱۰؛ ۲۰۱۱).
در مورد محاسبه‌ی همبستگی بین پارامترهای a و b نیز تحلیلی مشابه با آزمون یک محتوایی انجام گرفت، معادله‌ی رگرسیون بین پارامتر a و b نیز برابر با مقدار روبرو شد؛  . در این آزمون نیز، در سطوح بالای دشواری، سؤالات دارای ضریب تشخیص بالاتری بودند و از این نظر بین دو نوع آزمون تفاوت معناداری مشاهده نشد.
ویژگی‌های این مطالعه‌ که به شیوه‌ی شبیه‌سازی مونت کارلو ریکیسی(۲۰۰۳؛ ۲۰۰۴؛ ۲۰۰۹) اضافه شده است:
در شبیه‌سازی اولیه ریکیسی (۲۰۰۳)، این روش مرسوم بود که تابع بهینه CAT برای مدل راش، به شکلی در برنامه‌نویسی نوشته می‌شد که برنامه‌نویس با توجه به توزیعی جمعیتی که خزانه‌ی سؤال‌ می‌خواهد برای آن ساخته شود، و با در نظر گرفتن بازه مجاز، یک مقدار توانایی واقعی (  ) را به شکل تصادفی انتخاب کند و با آن مقدار (  ) شبیه‌سازی را آغاز کند. در این پژوهش پس از بررسی‌های انجام شده روی مدل پیشنهادی ریکیسی (۲۰۰۳)، به دستورنویسی این روش دستوری اضافه شد، مبنی بر این‌که، خود برنامه از بین توزیع جمعیت مورد نظر در بازه معین یک مقدار را انتخاب کند و کاربر هیچ اختیاری در انتخاب این مقدار توانایی واقعی (  ) نداشته باشد. این دستور، کار شبیه‌سازی را آسان‌تر و با سرعت بیشتری انجام می‌دهد، تنها تفاوتی که ایجاد می‌کند این است که این دستور در برنامه به شکلی تعبیه شده است که نفر اولی که به طور تصادفی (از توزیع نرمال با میانگین ۰ و انحراف معیار ۱، در بازه ۴- تا ۴ در فواصل ۱۲۵/۰) انتخاب می‌شود، از مرکز توزیع می‌باشد. ولی بقیه آزمودنی‌هایی که انتخاب می‌شوند در کل دامنه‌ی توانایی پراکنده هستند. همان‌طور که در نمودار ۳-۴ نمایش داده می‌شود، زمانی‌که برای ۵۰۰ آزمودنی این برنامه اجرا شد، توزیع نمونه‌گیری از نرمال فاصله‌ای ندارد. این نرمال بودن برای ۶۰۰۰ نفر نمونه‌ی مورد نظر در مطالعه‌ی حاضر نیز قابل مشاهده است که از توزیع نرمال پیروی می‌کند و کاملاً زنگوله‌ای شکل است (نمودار ۳-۵). بنابراین این اطمینان را ایجاد می‌کند که برنامه‌ی شبیه‌ساز در طول کل دامنه‌ی توانایی نمونه‌گیری می‌کند. حتی در این دستور این امکان فراهم شده است که تعداد آزمودنی‌های شبیه‌سازی شده در کل بازه نشان داده‌شود (نمودار ۳-۴ و ۳-۵). این دستور برنامه‌نویسی، اجرای برنامه‌ی شبیه‌سازی خزانه‌ی سؤال را با سرعت و دقت بهتری از برنامه‌ی اولیه، انجام می‌دهد.
مفهوم p-optimality و r-optimality، (“bin-and-union”)به مدل سه پارامتری تعمیم داده شد، این تعمیم با سه روش R، PM و MTI در شبیه‌سازی روش ریکیسی وارد شد.
مفهوم کنترل مواجهه‌ سیمپسون-هتر برای اولین بار در رویکرد اکتشافی ریکیسی، از طریق ایجاد یک خزانه‌ی مجازی در پایگاه اطلاعاتی MATLAB و اجراهای چرخشی CAT برای تعیین پارامترهای کنترل مواجهه و کنترل مواجهه‌ بیش از حد سؤالات وارد شد.
تعادل محتوایی با ایجاد وزن‌هایی از طریق رویکرد برنامه‌نویسی (WDM) ایجاد و در شبیه‌سازی روش ریکیسی وارد شد.
از آنجا که هدف پژوهش حاضر طراحی الگوی خزانه سؤال بهینه بر اساس شبیه‌سازی کامپیوتری می‌باشد، از این‌رو در جدول ۳-۱ مشخصات کامل شبیه سازی آورده شده است.
نرم افزار شبیه سازی
در پژوهش حاضر به منظور تعیین مشخصات خزانه‌های سؤال ایده‌آل موردنظر و ارزیابی خزانه‌ی سؤال بهینه از بسته‌ی نرم افزار “MATLAB (2014)” استفاده شد.
همچنین، برای ایجاد وزن‌های محتوایی به روش WDM از بسته نرم افزار “GAMS” استفاده‌ شد.
همچنین، به منظور مطالعه‌ی آماره‌های سؤالات و مدرج‌سازی پارامترهای آنها از نرم افزار SPSS-16 و BILOG-MG استفاده شد.
جدول ۳-۱: طراحی شبیه­سازی

 

۲۰ Fix Test length Test length
۶۰
    Simulation & to identify the features of possible candidate ideal item pools Examinee distribution
  Evaluate general performance models &
Compute statistics conditional on
  No Exposure control
موضوعات: بدون موضوع  لینک ثابت


فرم در حال بارگذاری ...