توسکانیوز/نوراله اکبری
گزارش ۱۸ صفحه‌ای «عملکرد امتحانات نهایی» که از سوی معاونت آموزش متوسطه ی اداره کل آموزش و پرورش گیلان تهیه شده، در نگاه نخست مجموعه‌ای نسبتاً پرحجم از عدد، جدول و نمودار است؛ از «عملکرد ده‌ساله» ی پایه ی دوازدهم گرفته تا وضعیت رشته‌ها، انواع مدارس و مناطق آموزشی استان.
داده‌های موجود در این گزارش بی‌ارزش نیستند؛ برعکس، بخشی از آنها برای شناخت وضعیت آموزش گیلان بسیار مهم‌اند. مسئله از جایی آغاز می‌شود که «داشتن عدد» را با «داشتن تحلیل معتبر» یکی بگیریم. برای آنکه یک مجموعه عدد به گزارش تحلیلی تبدیل شود، باید داده‌های مورد مقایسه هم‌ارز باشند، متغیرها تعریف شوند، نقاط گسست در نظام آموزشی توضیح داده شوند، جامعه ی آماری و شیوه ی تجمیع روشن باشد، محدودیت‌ها اعلام شود و نتیجه‌گیری دقیقاً به اندازه‌ای پیش برود که داده اجازه می‌دهد.
گزارش حاضر در چند مورد از همین اصول ابتدایی فاصله گرفته است. در نتیجه، بیش از آنکه یک تحلیل منسجم طولی از کیفیت آموزش باشد، مجموعه‌ای از نمودارهای توصیفی با مبدأهای زمانی، شیوه‌های سنجش و حتی تعاریف متفاوت است.
مشکل اصلی بنابراین الزاماً «غلط بودن همه ی اعداد» نیست؛ مشکل، هم‌ارز نبودن بسیاری از اعدادی است که کنار یکدیگر قرار گرفته‌اند.
نخستین اشکال؛ چیزی به نام «ده سال عملکرد پایه ی دوازدهم» وجود ندارد
گزارش در همان صفحات نخست از «گزارش ده‌ساله ی عملکرد امتحانات نهایی پایه ی دوازدهم» سخن می‌گوید و اعداد خرداد ۱۳۹۶ تا خرداد ۱۴۰۵ را در یک خط زمانی قرار می‌دهد. این عنوان از نظر تاریخی و روش‌شناختی نادرست است. پایه ی دوازدهم در ساختار ۳ـ۳ـ۶ در سال تحصیلی ۱۳۹۷ـ۱۳۹۸ مستقر شد. اسناد همان دوره نیز تصریح می‌کنند که برنامه ی درسی جدید در سال تحصیلی ۹۸ـ۱۳۹۷ به پایه ی دوازدهم رسیده است.
بنابراین داده‌های خرداد ۱۳۹۶ و ۱۳۹۷ نمی‌توانند «امتحان پایه ی دوازدهم» به معنای پایه ی دوازدهم نظام فعلی باشند. اگر این اعداد متعلق به پایه ی سوم متوسطه یا پیش‌دانشگاهی در ساختار پیشین‌اند، باید با نام واقعی خود معرفی شوند و نمی‌توان آنها را بدون هیچ توضیحی در امتداد معدل پایه ی دوازدهم نظام جدید قرار داد.
این مسئله یک ایراد لفظی نیست. برنامه ی درسی، ساختار دوره، جمعیت دانش‌آموزی، کتاب‌ها، تعداد و نوع دروس و نظام ارزشیابی تغییر کرده‌اند. وقتی دو طرف مقایسه متعلق به دو ساختار آموزشی متفاوت‌اند، محاسبه ی ساده ی تفاوت آنها ممکن است از نظر ریاضی درست باشد، اما از نظر علمی معنای روشنی نداشته باشد.
از همین رو، نتیجه‌ای مانند «افت میانگین استان از ۱۱٫۹۷ در ۱۳۹۶ به ۱۰٫۵۸ در ۱۴۰۵ برابر ۱٫۳۹ نمره» که گزارش آن را برجسته کرده است، فقط تفاضل دو عدد است؛ هنوز اثبات «افت ده‌ساله ی عملکرد پایه ی دوازدهم» نیست. پیش از محاسبه باید پرسید: آیا دو چیزی که از هم کم می‌کنیم واقعاً یک پدیده را اندازه گرفته‌اند؟ در اینجا پاسخ دست‌کم برای سال‌های نخست منفی است.
[۱۰/۲۳, ۱۰:۱۹] Norola Akbari: یک گسست مهم دیگر؛ تغییر معنای نمره ی نهایی از ۱۴۰۲
در بحث تأثیر معدل نیز باید دقت تاریخی را حفظ کرد. سوابق تحصیلی پیش از ۱۴۰۲ نیز به اشکال مختلف در پذیرش دانشگاه اثر داشته‌اند؛ اما آنچه از کنکور ۱۴۰۲ آغاز شد، یک رژیم جدید و بسیار پرقدرت‌تر بود.
مصوبه ی «سیاست‌ها و ضوابط ساماندهی سنجش و پذیرش متقاضیان ورود به آموزش عالی» در جلسات ۸۴۳، ۸۵۵ و ۸۶۳ شورای عالی انقلاب فرهنگی تصویب شد؛ جلسه ی ۸۴۳ مربوط به ۱۵ تیر ۱۴۰۰ است. براساس این سیاست، در کنکور ۱۴۰۲ سابقه ی تحصیلی پایه ی دوازدهم با ۴۰ درصد تأثیر قطعی وارد نمره ی کل شد و این سهم در سال‌های بعد افزایش یافت. این تغییر را نمی‌توان در تحلیل تاریخی نادیده گرفت.
وقتی یک آزمون از ارزیابی پایان دوره به عاملی با سهم بسیار بزرگ در سرنوشت ورود به دانشگاه تبدیل می‌شود، فقط «وزن یک نمره» تغییر نمی‌کند؛ رفتار کل نظام پیرامون آن ممکن است تغییر کند: میزان تلاش دانش‌آموز، حساسیت خانواده، برنامه ی مدرسه، مسئله ی ترمیم نمره، نحوه ی طراحی سؤال، مراقبت از آزمون و سازوکار تصحیح. بنابراین معدل خرداد ۱۴۰۰ و معدل خرداد ۱۴۰۳، هر دو عددی از صفر تا بیست‌اند، اما الزاماً متعلق به یک شرایط سنجش یکسان نیستند. در تحلیل علمی باید سال ۱۴۰۲ را یک «نقطه ی شکست» در سری زمانی محسوب کرد، نه اینکه خط نمودار را بی‌وقفه از سال‌های قبل عبور داد و تفاوت اعداد را مستقیماً به افت یا رشد یادگیری تعبیر کرد.
تصحیح الکترونیکی؛ گسست روش‌شناختی سوم
شیوه ی تصحیح نیز تغییر کرده است.از خرداد ۱۴۰۲ تصحیح برگه‌های امتحانات نهایی در مقیاس کشوری به صورت الکترونیکی انجام شد؛ برگه‌ها اسکن و در اختیار مصححان قرار گرفتند و هر پاسخ‌نامه توسط دو مصحح بررسی می‌شد.این تفاوت به تنهایی برای ایجاد یک مسئله ی مقایسه‌ای کافی است. پیش از آن، تصحیح برگه‌ها در ساختاری متفاوت انجام می‌شد. جالب آنکه خود تهیه‌کنندگان گزارش نیز ظاهراً متوجه این مسئله بوده‌اند. در صفحات مربوط به ریاضی، تجربی و انسانی، جداگانه نمودارهایی با عنوان «مقایسه ی چهارساله ـ تصحیح الکترونیک» برای سال‌های ۱۴۰۲ تا ۱۴۰۵ تهیه کرده‌اند. همین انتخاب در واقع اعتراف ضمنی به وجود یک گسست روش‌شناختی است.
اگر ۱۴۰۲ تا ۱۴۰۵ به دلیل تصحیح الکترونیکی یک دوره ی قابل تفکیک است، چرا در صفحات دیگر همان سال‌ها بدون هیچ مرزبندی در امتداد نمودار هفت‌ساله یا ده‌ساله قرار گرفته‌اند؟ گزارش در اینجا میان دو منطق معلق مانده است: یک جا تغییر روش تصحیح را آن‌قدر مهم می‌داند که نمودار جداگانه می‌سازد، و جای دیگر همان تغییر را نادیده می‌گیرد و از یک روند ممتد تاریخی سخن می‌گوید.
ده سال، هفت سال، پنج سال، چهار سال، سه سال؛ چرا؟
از اینجا به یکی از آشکارترین آشفتگی‌های ساختاری گزارش می‌رسیم. برای مجموع رشته‌ها یک دوره ی ده‌ساله انتخاب شده است. برای ریاضی، تجربی و انسانی دوره ی هفت‌ساله ی ۱۳۹۹ تا ۱۴۰۵ ارائه می‌شود. سپس همان رشته‌ها در نموداری چهارساله، از ۱۴۰۲ تا ۱۴۰۵، دوباره بررسی می‌شوند.
برای علوم و معارف اسلامی عنوان «میانگین پنج‌ساله» آمده، در حالی که برای ۱۴۰۳ داده‌ای ثبت نشده و نمودار همان صفحه عملاً از چهار مشاهده استفاده می‌کند. در بخش انواع مدارس نیز ناگهان دوره ی سه‌ساله ی ۱۴۰۳ تا ۱۴۰۵ مبنا قرار می‌گیرد.
اصل استفاده از پنجره‌های زمانی متفاوت الزاماً خطا نیست. ممکن است داده ی یک شاخص فقط برای سه سال در دسترس باشد و داده ی شاخص دیگری برای هفت سال. اما گزارش علمی موظف است توضیح دهد چرا. در این سند چنین بخش روش‌شناختی‌ای وجود ندارد. چرا رشته‌ها از ۱۳۹۹ آغاز شده‌اند، نه ۱۳۹۸، در حالی که پایه ی دوازدهم نظام جدید در خرداد ۱۳۹۸ وجود داشته است؟
چرا مدارس فقط سه سال بررسی شده‌اند؟
چرا یک جدول «پنج‌ساله» نامیده شده ولی چهار داده دارد؟
چرا یک بار رژیم تصحیح الکترونیکی مبنای دوره‌بندی است و یک بار نیست؟
وقتی مبدأ و طول دوره بدون توضیح تغییر می‌کند، خواننده نمی‌تواند تشخیص دهد انتخاب بازه‌ها تابع دسترسی به داده بوده یا تابع نتیجه‌ای که قرار بوده از نمودار دیده شود. حتی اگر هیچ انتخاب هدفمندی در کار نبوده باشد، نبود توضیح روش خود یک نقص جدی است.
[۱۰/۲۳, ۱۰:۲۲] Norola Akbari: میانگین ساده ی میانگین مناطق است.
در چنین محاسبه‌ای، منطقه‌ای کوچک مانند حویق همان وزنی را دارد که یکی از نواحی پرجمعیت رشت. اگر تعداد دانش‌آموزان دو منطقه متفاوت باشد ــ که بدیهی است متفاوت است ــ میانگین ساده ی این دو میانگین، معدل واقعی کل دانش‌آموزان را تولید نمی‌کند. برای محاسبه ی میانگین استان باید هر منطقه متناسب با تعداد آزمون‌دهندگانش وزن بگیرد. اتفاقاً گزارش رسمی ملی وزارت آموزش و پرورش، میانگین واقعی گیلان در ۱۴۰۵ را ۱۰٫۵۸ و میانگین کشور را ۱۱٫۳۰ اعلام کرده است. پس عدد ۹٫۸۸ اگر هم محاسبه ی درستی باشد، نامش «میانگین ساده ی میانگین مناطق» است، نه «میانگین استان». این تفاوت کوچک نیست؛ تفاوت میان دو شاخص آماری متفاوت است.
خطای آشکار در همان صفحه ی جمع‌بندی
صفحه ی ۱۸ مشکل دیگری نیز دارد که از اشکال پیشین جدی‌تر است. در آنجا عدد ۱۰٫۵۸ با عنوان «میانگین کشور در سال ۱۴۰۵» آمده است، در حالی که گزارش رسمی وزارتخانه می‌گوید ۱۰٫۵۸ میانگین گیلان و ۱۱٫۳۰ میانگین کشور است. یعنی در صفحه‌ای که باید از مهم‌ترین صفحات جمع‌بندی گزارش باشد، سه مفهوم متفاوت با یکدیگر خلط شده‌اند:
۱۰٫۵۸ = میانگین رسمی گیلان؛
۱۱٫۳۰ = میانگین رسمی کشور؛
۹٫۸۸ = میانگین ساده ی میانگین ۳۴ منطقه.
این دیگر صرفاً ضعف تحلیل نیست؛ خطای برچسب‌گذاری و تعریف شاخص است و باید پیش از استفاده ی مدیریتی از گزارش اصلاح شود.
همین مسئله در انواع مدارس نیز دیده می‌شود
در بخش مدارس استعدادهای درخشان، میانگین پنج منطقه ی دارای این مدارس گرفته شده و ۱۷٫۲۱ به عنوان میانگین استان درج شده است. در شاهد، نمونه دولتی و دیگر انواع مدارس نیز روش مشابهی دیده می‌شود. اگر این اعداد بدون وزن تعداد دانش‌آموزان محاسبه شده باشند، باز همان اشکال وجود دارد. برای مثال، میانگین یک مدرسه یا منطقه با ۳۰ آزمون‌دهنده نمی‌تواند همان وزن مدرسه یا منطقه‌ای با ۳۰۰ آزمون‌دهنده را در معدل استانی داشته باشد. بدون ارائه ی ستون تعداد شرکت‌کنندگان، خواننده اساساً قادر نیست این میانگین‌ها را بازسازی و اعتبار آنها را ارزیابی کند. گزارش آماری‌ای که N یا حجم جامعه ی هر زیرگروه را ارائه نمی‌کند، بخش مهمی از امکان کنترل علمی خود را از بین می‌برد.
اختلاف داده‌های استانی با گزارش رسمی وزارتخانه
مقایسه ی این گزارش با گزارش رسمی معاونت آموزش متوسطه ی وزارتخانه یک مسئله ی دیگر را نیز آشکار می‌کند. برای نمونه، گزارش گیلان میانگین کشوری مدارس استعدادهای درخشان را ۱۷٫۵۳، شاهد را ۱۲٫۶۵، نمونه دولتی را ۱۵٫۸۰، عادی دولتی را ۱۰٫۳۰ و غیردولتی را ۱۰٫۹۳ گزارش کرده است.
اما گزارش ملی وزارتخانه برای همان سال اعداد ۱۷٫۴۱، ۱۲٫۷۲، ۱۵٫۸۶، ۹٫۹۴ و ۱۱٫۲۲ را ثبت کرده است. ممکن است برای این اختلاف توضیح موجهی وجود داشته باشد: تاریخ متفاوت استخراج داده، نسخه ی اصلاح‌شده، جامعه ی آماری متفاوت یا تعریف متفاوت زیرگروه‌ها. اما مشکل دقیقاً همین است که گزارش هیچ توضیحی نمی‌دهد. در یک سند علمی باید منبع هر مجموعه داده، تاریخ استخراج، نسخه، تعریف جامعه ی آماری و روش محاسبه مشخص باشد. اختلاف عدد، اگر توضیح داده شود، مسئله نیست؛ اختلاف عدد بی‌توضیح مسئله است.
رتبه ی گیلان؛ غایب مهم گزارش
با همه ی این اشکالات، یک غیبت در گزارش از منظر شفافیت مدیریتی بسیار قابل توجه است: در هیچ بخش اصلی گزارش، جایگاه گیلان در مقایسه با سایر استان‌ها به روشنی اعلام نشده است. گزارش بارها معدل گیلان و کشور را کنار هم قرار می‌دهد، اما به مخاطب نمی‌گوید گیلان در جدول ملی چندم است. در گزارش رسمی وزارتخانه برای ۱۴۰۵، میانگین گیلان ۱۰٫۵۸ است و ۲۱ واحد از ۳۲ واحد گزارش‌شده میانگینی بالاتر از گیلان دارند؛ بنابراین گیلان در این چینش در جایگاه ۲۲ از ۳۲ قرار می‌گیرد.
مهم‌تر اینکه خود وزارتخانه گیلان را براساس دو شاخص «سطح میانگین» و «سرعت رشد» در گروه «نیازمند توجه ویژه» قرار داده است؛ یعنی استان‌هایی که هم معدلشان پایین‌تر از متوسط کشور است و هم رشدشان کمتر از رشد متوسط ملی. چرا گزارشی که عنوان «عملکرد» دارد این اطلاعات را در متن اصلی خود برجسته نمی‌کند؟ رتبه البته شاخص کاملی نیست و نباید جای معدل و فاصله از میانگین کشور را بگیرد؛ اما حذف کامل آن نیز تصویر ناقصی می‌سازد. یک گزارش عملکرد معتبر باید حداقل هم‌زمان نشان دهد:
میانگین گیلان چقدر است، میانگین کشور چقدر است، فاصله چقدر است، جایگاه نسبی استان کجاست و نسبت به سال قبل چگونه تغییر کرده است.
تنها در این صورت است که خواننده می‌فهمد استان نه فقط نسبت به گذشته ی خود، بلکه در مقایسه با دیگران چه وضعی دارد.
[۱۰/۲۳, ۱۰:۲۳] Norola Akbari: داده فراوان، تحلیل اندک
گزارش چند بار داده‌های مشابه را با نمودارهای متفاوت تکرار می‌کند. صفحه ی ۳ و ۴ تقریباً یک روند واحد را بازنمایی می‌کنند؛ برای رشته‌ها نیز نخست نمودار چندساله و سپس نمودار چهارساله ی همان داده‌ها ارائه شده است. در مقابل، پرسش‌های مهم تقریباً بی‌پاسخ مانده‌اند:
چرا گیلان پایین‌تر از متوسط کشور است؟ کدام رشته یا نوع مدرسه بیشترین سهم را در این فاصله دارد؟ وزن هر نوع مدرسه در معدل کل استان چقدر است؟ چرا لشت‌نشا یا برخی مناطق در ۱۴۰۵ رشد کرده‌اند و برخی دیگر نه؟ چه سیاستی در سال اخیر اجرا شده است؟ هدف سال بعد چیست؟ کدام مداخله موفق بوده و بر چه اساسی؟ در واقع، گزارش بیش از آنکه تحلیل داده باشد، نمایش داده است.
عنوان «گزارش تحلیلی» زمانی موجه است که سند از توصیف عبور کند و به تبیین برسد؛ نه تبیین قطعی و شتاب‌زده، بلکه طرح فرضیه، آزمون شواهد و تعیین نقاطی که نیازمند پژوهش بیشترند.
غیبت یک بخش ضروری: محدودیت‌های گزارش
شاید بسیاری از ایرادات بالا اگر در گزارش بخشی با عنوان «ملاحظات روش‌شناختی و محدودیت‌ها» وجود داشت، قابل مدیریت بودند. در آن بخش می‌شد صریحاً نوشت که پایه ی دوازدهم از چه سالی مستقر شده، چه سالی رژیم پذیرش دانشگاه تغییر کرده، از چه زمانی تصحیح الکترونیکی شده، کدام داده‌ها ناقص‌اند، چرا دوره های زمانی متفاوت انتخاب شده‌اند و میانگین مناطق با چه وزنی محاسبه شده است. اما چنین بخشی وجود ندارد. و همین نبود باعث می‌شود نمودارهایی که باید با احتیاط دیده شوند، ظاهری قطعی پیدا کنند.
شکل علمی‌تر گزارش چه بود؟
اگر هدف واقعاً سنجش کیفیت آموزش گیلان باشد، به نظر می‌رسد باید دست‌کم سه دوره از یکدیگر تفکیک شوند. از ۱۳۹۸ تا ۱۴۰۱ می‌توان درباره ی پایه ی دوازدهم نظام جدید سخن گفت، اما با این تصریح که رژیم سنجش و پذیرش دانشگاه با سال‌های بعد یکسان نیست. از ۱۴۰۲ به بعد وارد دوره‌ای می‌شویم که هم تأثیر قطعی گسترده ی سابقه ی تحصیلی و هم تصحیح الکترونیکی وارد نظام شده‌اند. این دوره از منظر روش، یک رژیم سنجش تازه است. برای سیاست‌گذاری جاری، حتی مقایسه ی ۱۴۰۳ تا ۱۴۰۵ اهمیت بیشتری دارد؛ چون برای این سه سال داده‌های تفصیلی مناطق و انواع مدارس بیشتر و با ساختار نسبتاً نزدیک‌تری در دسترس است.
در همه ی این دوره‌ها نیز میانگین‌ها باید با تعداد دانش‌آموزان وزن‌دهی شوند؛ تعداد آزمون‌دهندگان ذکر شود؛ رشته، نوع مدرسه و منطقه جداگانه تحلیل شوند؛ و همراه با معدل خام، فاصله ی گیلان با کشور و جایگاه نسبی استان گزارش شود. در این صورت، اعداد نه برای ساختن یک روایت از پیش تعیین‌شده، بلکه برای فهم مسئله به کار خواهند رفت.
سخن آخر؛ گزارش عملکرد، خود نیز باید پاسخ‌گو باشد
این سند حاوی اطلاعاتی است که می‌توان از آنها برای شناخت وضعیت آموزش گیلان بهره گرفت؛ اما در شکل فعلی، فاصله ی زیادی میان «انباشت داده» و «تحلیل علمی» وجود دارد.
استفاده از داده‌های پیش از استقرار پایه ی دوازدهم در یک سری واحد، عبور بدون توضیح از تغییر رژیم سنجش دانشگاهی، اختلاط تصحیح دستی و الکترونیکی، پنجره‌های زمانی نامنسجم، میانگین‌گیری بدون وزن، فقدان تعداد دانش‌آموزان، ابهام در تعریف شاخص اصلی، اختلاف با داده‌های رسمی وزارتخانه، خطای برچسب‌گذاری میانگین کشور و استان، نبود شاخص‌های پراکندگی و حذف جایگاه گیلان در میان استان‌ها، مجموعه‌ای از ایرادات مستقل نیستند؛ همه به یک مسئله ی واحد بازمی‌گردند:
گزارش فاقد یک چارچوب روش‌شناختی صریح و منسجم است.
در موضوعی به اهمیت کیفیت آموزش، این نقص کوچک نیست. اعداد امتحانات نهایی امروز با آینده ی دانشگاهی دانش‌آموزان، عدالت آموزشی و سرمایه ی انسانی استان پیوند خورده‌اند. به همین دلیل، گزارش درباره ی آنها باید بیش از هر سند دیگری در برابر پرسش‌های روش‌شناختی، شفافیت داده و امکان بازبینی مقاومت کند.
و در نهایت :
اگر این گزارش بنا به درخواست مقامات عالی اجرایی استان و برای تصمیم‌گیری درباره ی کیفیت آموزش تهیه شده باشد، انتظار روش‌شناختی از آن به مراتب بیشتر است؛ زیرا تصمیم عمومی نباید بر مقایسه های ناهم‌ارز، میانگین های بدون وزن و سری های زمانی دارای شکست ساختاری بنا شود.
