ساخت خزانه‌های سؤال بدون کنترل مواجهه‌ بیش از حد سؤال
ساخت خزانه‌های سؤال با b-bin=0.2
در این مرحله خزانه‌های بهینه‌ای که با عامل کنترل تعادل محتوایی و بدون عامل کنترل مواجهه‌ S-H ساخته شدند، گزارش می‌شود. با وجود این‌که، شبیه‌سازی CAT برای کل سه محتوا، به صورت همزمان انجام گردید، به منظور اینکه، توزیع پارامترهای سؤال در هر یک از محتواها معین شود، در جداول جداگانه‌ای توزیع پارامترهای مربوط به هریک از خزانه‌های مربوط به محتواهای سه گانه، در قسمت ضمیمه گزارش می‌شود.

نمودار ۱۴ تا ۱۶ در قسمت ضمیمه (ب) و همچنین، جداول ۱ و ۱۴ تا ۲۴ در قسمت ضمیمه‌ی (الف)، توزیع‌های خزانه‌‌های سؤال عملیاتی در سه محتوا و خزانه‌های سؤال بهینه‌‌ای که از طریق سه روش R، MRP، MTI با پهنای b-bin = 0.2، میزان a-bin: Δa2=2ΔIMaximum = ۰.۴ و بدون هیچ روش کنترل مواجهه‌ای، شبیه‌سازی شدند را نشان می‌دهد. به دلیل اینکه، توزیع خزانه‌های سؤال در هر یک از محتواها از یکدیگر تفکیک شود، پس از ایجاد خزانه‌های سؤالی که با تعادل محتوایی ساخته شدند، توزیع‌های هر کدام از سه محتوا در جداول جداگانه گزارش می‌شود. جدول ۴-۱۷، اندازه‌ها و خلاصه‌ی آماره‌های مربوط به پارامترهای سؤال در خزانه‌های سؤال بهینه و عملیاتی را در سه محتوای ارائه می‌کند. نتایج نشان می‌دهد که در این مرحله با این‌که در ساخت خزانه‌های سؤال بهینه، وزن‌های محتوایی نیز وارد می‌شود، باز هم شامل حداقل تعداد سؤال می‌باشند. البته یکی از دلایل آن می‌تواند این قضیه باشد که در ساخت آنها هیچ نوع کنترل مواجهه‌ای صورت نگرفته است. همچنین، برعکس نتایج مربوط به خزانه‌هایی که بدون تعادل محتوایی ساخته شده است، همه‌ی خزانه‌های بهینه با تعادل محتوایی دارای سؤالاتی با دامنه‌ی محدودی از سطوح دشواری هستند. دلیل این امر این است که زمانی که قیود محتوایی در تعامل با ویژگی‌های روان‌سنجی قرار می‌گیرند، خزانه‌های سؤال بهینه‌ی شبیه‌سازی دارای ویژگی‌های روان‌سنجی دقیق‌تری می‌شوند، به طوری‌که، دامنه‌ی دشواری سؤلات معین‌تر می‌شود. خزانه‌های سؤال بهینه دارای میانگین دشواری بالاتری نسبت به خزانه‌های عملیاتی هستند و مانند خزانه‌های بدون تعادل محتوایی تا ۹۹/۳- پراکنده نشدند. در این مرحله نیز خزانه‌ی بهینه‌ی MTI در هر سه محتوا دارای حداقل تعداد سؤل است، ولی تفاوت زیادی با خزانه‌های MRP ندارد. در این مرحله خزانه‌های MTI دارای حداقل میانگین پارامتر a نمی‌باشند، دلیل این امر تعامل ویژگی‌های محتوایی و پارامترهای روان‌سنجی است. با این وجود، خزانه‌های بهینه‌‌ی MRP دارای بیشترین مقدار پارامتر a هستند. ولی، خزانه‌های بهینه‌ی R و MTI دارای میانگین پارامتر a مشابهی هستند. خزانه‌های MTI به دلیل ماهیت ایحاد سؤالاتشان بیشترین مقدار پارامتر a آن نسبت به خزانه‌های دیگر حداقل است و کمترین مقدار پارامتر a آن نیز نسبت به خزانه‌های دیگر بیشتر است. به عبارت دیگر، دارای حداقل میزان پراکندگی در پارامتر a است. توزیع خزانه‌های سؤال R نسبت به دو خزانه‌ی دیگر دارای یک توزیع یکنواخت‌تری در سراسر ماتریس پارامترها می‌باشد، این نتیجه به دلیل ماهیت روشی است که پارامترهای سؤال را ایجاد می‌کند. در این روش، پارامترها در سراسر ماتریس پراکنده می‌شوند. توزیع پارامتر دشواری و تشخیص سؤالات در این روش بسیار مشابه خزانه‌ی عملیاتی است و در تمام محتواها دارای مقادیر پارامتر متنوع‌تری می‌باشد. امّا سؤالات دشوار در خزانه‌های بهینه MRP دارای پارامتر ضریب تشخیص بالاتری هستند، و برعکس سؤالات آسان دارای پارامترهای ضریب تشخیص متوسط یا پایین‌تری هستند. این نتایج باعث می‌شود که تعداد آزمون‌هایی که در خزانه‌های R از قیود محتوایی تخطی می‌کنند، در سرتاسر پارامتر توانایی یکنواخت باشد. خزانه‌های MRP در پارامترهای توانایی بالاتر از متوسط، دارای تخطی از قیود کمتری هستند.
بررسی نتایج عملکرد این خزانه‌ها در جدول ۴-۱۸ آورده شده است. نتایج عملکرد این خزانه‌ها با خزانه‌های چهار مرحله‌ی قبل، قابل مقایسه نمی‌باشد، زیرا تعدا سؤالات در این مرحله ۳ برابر مراحل قبل است، از این‌رو، یکی از عواملی که میزان دقت خزانه‌هایی که با تعادل محتوایی ساخته می‌شوند را بیشتر می‌کند، تعداد بیشتر سؤالات آن می‌تواند باشد. با این وجود، برآورد توانایی در هر سه خزانه‌ی بهینه و عملیاتی، دارای سطح معینی از اریب مثبت می‌باشد، ولی مقدار این اریب‌ها بسیار ناچیز است. میانگین مجذور خطا (MSE) در خزانه‌های سؤال بهینه کوچکتر از خزانه‌ی سؤال عملیاتی است، ولی تفاوت آنها به چشمگیری مراحل قبل نیست. و در میان خزانه‌های سؤال بهینه‌یMTI عملکرد بهتری در این شاخص نشان می‌دهد، زیرا با برنامه‌ریزی دقیق‌تری با توجه به تعامل میزان حداقل آگاهی با ویژگی‌های محتوایی ایجاد شده است. بنابراین، برآورد توانایی را با دقت بیشتری برآورد می‌کند. خزانه‌های سؤال بهینه دارای نرخ همپوشی پایین‌تری هستند، با وجود اینکه دارای سؤالات کمتری می‌باشند.
جدول ۴-۱۷: اندازه‌ی خزانه‌ی سؤال و آماره‌های پارامتر سؤال، بدون S-H (b-bin=0.2)، با تعادل محتوا

خزانه سؤال

اندازه
خزانه

میانگین

انحراف استاندارد

حداکثر

حداقل

میانگین

انحراف استاندارد

حداکثر

حداقل

میانگین

انحراف استاندارد

حداکثر

حداقل

Content 1(arithmetic)

OP

۴۵۵

۰۸۹/۱

۲۸۴۴/۰

۰۴۵/۳

۱۶۶/۰