CC BY
110
Педагогічні аспекти навчального процесу
ПЕДАГОГІЧНІ АСПЕКТИ НАВЧАЛЬНОГО ПРОЦЕСУ
УДК 37.011
ОСОБЛИВОСТІ ПЕДАГОГІЧНИХ ТЕСТІВ Зіньковський Ю. Ф., Мірських Г. О.
До сучасної вищої освіти з боку суспільства пред’являються певні вимоги, які можна умовно розділити на дві групи.
Вимоги першої групи, пов’язані з необхідністю ідентифікації суспільством (а, точніше, відповідними інститутами, підприємствами, організаціями) фахових рис, що притаманні особам з визначеним спрямуванням професійних знань, вмінь, навичок, компетенцій (далі узагальнено - знань), отриманих протягом навчання у відповідному вищому навчальному закладі. Тобто, знання, вміння, компетенції з отриманої спеціальності випускників вищих навчальних закладів мають відповідати визначеним критеріям, встановленим суспільством для цієї спеціальності. Ці критерії відображаються у відповідних законодавчих та нормативних документах (серед яких чи не найголовнішими є відповідні освітні стандарти) відомі всім членам суспільства, надають вказаним випускникам певної преференції при виборі місця працевлаштування та посади.
Вимоги другої групи, пов’язані з визнанням вищої освіти відповідною послугою суспільства, що надається відповідним навчальним закладом. Споживачами цієї послуги, з одного боку, є громадяни - члени суспільства, що отримують у навчальному закладі відповідну спеціальність, а, з другого, - організації та підприємства, в рамках яких формується матеріальне та духовне середовище суспільства та які виступають в якості роботодавців. Ця послуга коштує дорого, і, звичайно, до її якості пред’являються відповідні вимоги. Якість такої освітньої послуги має бути підтверджена відповідними документами вищого навчального закладу, якими визначається загальнокультурний, загальноосвітній та фаховий рівень випускника. Ці документи, при відповідних умовах, можуть суттєво впливати на соціальний статус випускника вищого навчального закладу та на рейтинг самого навчального закладу у освітянському просторі суспільства.
З наведеного випливає необхідність здійснення систематичного та всебічного моніторингу діяльності вищого навчального закладу на відповідність прийнятим у суспільстві стандартам та нормам. Серед методів та засобів такого моніторингу в просторі сучасної вищої освіти чи не найголовнішим вважається здійснення систематичного контролю знань студентів. Цей контроль має бути надійним, адекватним освітній парадигмі, ритму та задачам сучасного навчального процесу. Він має сприяти розв’язанню задач забезпечення відповідною інформацією як студента (щодо знань та
Вісник Національного технічного університету України "КПІ" Серія — Радіотехніка. Радіоапаратобудування.-2010.-№42
157
Педагогічні аспекти навчального процесу
можливостей у галузі відповідної дисципліни), так і викладача (щодо необхідності внесення змін та доповнень у методику викладання), містити якомога менше суб’єктивності.
Серед методів та засобів, що можуть бути використані та на сьогодні широко використовуються для контролю знань студентів, виділяються педагогічні тести. Слід зауважити, що тестування, за будь-яких умов, є лише одним із сукупності способів контролю якості підготовки студентів, якості та ефективності навчального процесу в навчальному закладі. Тестування - це система, яка не замінює, а доповнює інші форми моніторингу якості освіти.
Педагогічний тест можна визначити як спеціальним чином побудовану систему завдань, що формулюються та подаються у специфічній формі, обумовлюючи, тим самим, можливість використання методів математичної статистики для визначення рівня знань тих, хто тестується, та отримання відповідної інформації щодо точності результатів.
Системність педагогічного тесту обумовлюється спеціальним підбором завдань (тестових завдань), що поєднані поставленими цілями та призначенням, характеризуються визначеним порядком подання відповідно до їх складності (звичайно, від найпростішого та складного), включають елементи емерджентності.
Специфічність форми тестових завдань визначається тим, що ці завдання представляють собою не питання і не задачі в класичному розумінні цих категорій, а завдання, сформульовані у формі висловлювань, що в залежності від відповідей є істинними або помилковими. Саме така форма тестових завдань забезпечує отримання відповідей, що можуть бути груповані та/або диференційовані з використанням методів математичної статистики в залежності від цілей та завдань тестування.
Тестові технології дозволяють здійснити оперативний контроль знань з достатньою об’єктивністю і достовірністю, та, крім того, отримати відповідну інформацію щодо
- точності результатів;
- співвідношення індивідуального рівня знань кожного студента з визначеним еталоном та з рівнем знань інших студентів тої ж групи (останнє дозволяє визначити рейтинг кожного студента групи);
- співвідношення рівнів знань студентів різних груп, що стає у нагоді при визначенні ефективності використання відповідних навчальних методик;
- структури знань, тобто встановити наявність послідовності та відсутність пробілів в знаннях, що засвоєні студентами.
Існує два підходи до розроблення тестів: критеріально-орієнтований (англ. criterion-referenced) та нормативно-орієнтований (norm-referenced).
В рамках критеріально-орієнтованого підходу розробляються тести,
158 Вісник Національного технічного університету України "КПІ"
Серія — Радіотехніка. Радіоапаратобудування.-2010.-№42
Педагогічні аспекти навчального процесу
призначені для зіставлення навчальних досягнень кожного студента з обсягом знань та компетенцій, що заплановані до засвоєння відповідними нормативними документами. Тоді як в рамках нормативно-орієнтованого підходу розробляються тести, призначені для порівняння студентів згідно рівню персональних навчальних досягнень. Відмітимо, що за умови використання спеціальної технології складання та інтерпретації результатів педагогічний тест може надавати користувачу як нормативно-орієнтовану, так и критеріально-орієнтовану інформацію.
Два вказані підходи до розроблення тестів розрізняються на всіх етапах, починаючи з моменту вибору змісту тестових завдань і закінчуючи інтерпретацією та використанням результатів тестування.
Критеріально-орієнтовані тести
Згідно критеріально-орієнтованого підходу характер тестових завдань спрямовується на визначення підготовленості студента (особи, що тестується) у визначеній змістовній області.
Під змістовною областю, за звичай, розуміють повний обсяг знань, що мають бути засвоєні студентом протягом відповідного терміну навчання). Змістовна область зветься цілком визначеною, за умови, що однозначно визначена категорія тестових завдань, потенційно належних до цієї області.
Головне використання критеріально-орієнтованого тестування - це надання інформації, на підставі якої можна було б зробити однозначний висновок щодо навчальних досягнень студента. При цьому не ставиться за мету і не здійснюється порівняння навчальних досягнень, здібностей окремих осіб в даній групі або окремих груп [1,2]. Підкреслимо, що за будь-яких умов кожний вид критеріально-орієнтованого тесту складається для того, щоб інтерпретувати результати тестування по відношенню до визначеної змістовної області. Ця інтерпретація здійснюється різними способами, котрі залежать від цілі тестування.
Критеріально-орієнтований тест здійснює педагогічні вимірювання та інтерпретацію результатів безпосередньо в термінах відповідного стандарту. Вказані педагогічні вимірювання здійснюються шляхом вибору репрезентативного набору тестових завдань на відповідній змістовній області. Тести цього типу складені таким чином, щоб узагальнити індивідуальні результати по відношенню до точно визначеного навчального модулю або іншій змістовній області.
На сьогодні розрізняють два основних види критеріально-орієнтованих тестів, що відрізняються один від одного окремими характеристиками - це тести орієнтовані на визначення рівня індивідуальних досягнень студентів та кваліфікаційні тести.
Для складання критеріально-орієнтованих тестів, призначення яких атестувати рівень індивідуальних досягнень студентів по відношенню до заздалегідь визначеної області знань, необхідно розробити жорстку та точну
Вісник Національного технічного університету України "КПІ" 159
Серія — Радіотехніка. Радіоапаратобудування.-2010.-№42
Педагогічні аспекти навчального процесу
специфікацію області змісту тесту, з метою підвищення до максимального рівня обґрунтованості інтерпретації індивідуальних балів студентів. Цей вид критеріально-орієнтованих тестів, призначений для оцінки засвоєної студентом частки повного об'єму навчального матеріалу, часто називають предметно-орієнтованими, або тестами, орієнтованими на визначену область змісту (англ. domain-referenced tests). Передбачається, що по закінченні визначеного етапу навчання студенти мають володіти відповідним об’ємом знань, який утворює область змісту тесту і приймається за 100 %. Рівень навчальних досягнень кожного студента можна відобразити у відсотках повного об’єму змістовної області тесту. Звичайно, для підсумкового контролю найбільш природним є використання саме таких тестів.
Другий вид крітеріально-орієнтованих тестів - кваліфікаційні тести (англ. mastery tests - тести на майстерність) - використовується для визначення в групі осіб, що проходять тестування, кваліфікованих або неквалі-фікованих у відповідній області. Цей вид тестування базується на заздалегідь вибраній нормі оцінювання - критеріальному балі. Найчастіше такі тести використовуються для розділення групи студентів на підгрупи (дві або більше) в залежності від рівня засвоєння необхідного об’єму знань у відповідній змістовній області. Наприклад, розділення на підгрупи: тих, хто повністю оволодів відповідними знаннями, тих, яким належить засвоєнні знання додатково поглибити або розширити, тих, кому необхідно повторити вивчення даної змістовної області.
Таким чином, для проходження кваліфікаційного тесту студент має досягти необхідного мінімального критерію (стандарту) оцінювання. На підставі цього, встановленого розробниками тесту критерію, приймається рішення відносно кожного з тих, хто тестується. В тесті даний критерій, за звичай, відображується визначеною кількістю правильно виконаних завдань. Методика встановлення критерію оцінювання кваліфікації за результатами тестування, методика оцінки рівня помилки цього критерію та порядок прийняття рішення щодо кваліфікації або недостатній підготовленості студента є найважливішими елементами, що мають прийматися до уваги під час розроблення кваліфікаційних тестів.
Слід підкреслити, що критеріально-орієнтований тип тестування за своєю суттю не пов'язаний з існуванням якогось критерію, з яким зіставляються результати тестування, або з обов’язковим використанням заздалегідь встановленого "критеріального (прохідного) балу". Критеріально-орієнтоване тестування не завжди потребує наявності прохідного балу, хоча для визначених практичних задач цей бал встановлюється. Розробник або користувач тесту може встановити прохідний бал для будь-якого тесту - критеріально-орієнтованого або не критеріально-орієнтованого, але це ще не означатиме, що під час розроблення тесту використана визначена змістовна область, відносно якої трактуються і результати тестування.
160 Вісник Національного технічного університету України "КПІ"
Серія — Радіотехніка. Радіоапаратобудування.-2010.-№42
Педагогічні аспекти навчального процесу
Призначення (здатність) тесту надавати тим, хто тестується, статус по відношенню до визначеної змістовної області і робить тест критеріально-орієнтованим, а не факт використання прохідного балу або іншого критерію оцінювання.
Окремим видом критеріально-орієнтованого тесту можна вважати тест залишкових знань, що знайшов поширення останнім часом як додатковий засіб контролю відповідності визначеним програмам та стандартам навчальних надбань студентів. Особливість цього виду тестування полягає в тому, що за мету прийнято перевірку знань студентів з дисциплін, які вивчалися ними у попередні роки навчання у вищому навчальному закладі, причому ці знання вже перевірялися раніше у відповідності з навчальними планами. За умовчуванням вважається, що проходження цього тесту відбувається без попередньої підготовки студентів, тобто контролюються саме залишкові знання. Під час формування тестових завдань для цього виду тестування та розроблення методики його проведення слід враховувати, що згідно відомої кривої забування (кривої Ебінгаузу), в пам'яті людини через 48 годин після ініціації зберігається лише 28 % об’єму засвоєних знань. Отже тестовими завданнями для контролю залишкових знань має охоплюватися приблизно третина матеріалу, що передбачені відповідною навчальною програмою, адже збільшення цього показника визначатиме необхідність або у додатковій (не запланованій) підготовці студентів, або у фальсифікації результатів.
Відмітимо, що контроль залишкових знань слід вважати доцільним та цілком виправданим щодо його застосування до фундаментальних дисциплін.. Це обумовлюється принаймні двома причинами. Перша - фундаментальні дисципліни складають базис, який виділяє в суспільстві особу з вищої освітою; друге - знання з фундаментальних дисциплін мають бути найбільш стійкими, зважаючи на їх статус (та завдяки йому) слугувати основою для вивчення дисциплін спеціальних
Нормативно-орієнтовані тести
В практиці масового педагогічного тестування існує визначений стандартний набір балів, що відповідає певній шкалі. Для оброблення результатів тестів (шкалірування балів) найчастіше використовуються шкали у вигляді відсоткових еквівалентів; стандартні лінійні шкали; стандартні нормативні шкали та інші види педагогічних шкал [1,3]. Бали, виставлені відповідно до визначеної шкали допомагають користувачам тестів отримати інформацію щодо позиції студента по відношенню до визначеної групи студентів, визначеної специфічної вибірки студентів. Ця специфічна вибірка часто зветься нормативною групою, а оброблені відповідно визначеної шкали тестові бали, за звичай, орієнтовані на бали в нормативній групі, звуться нормативно-орієнтованими балами.
В основі нормативно-орієнтованої інтерпретації результатів тестування
Вісник Національного технічного університету України "КПІ" 161
Серія — Радіотехніка. Радіоапаратобудування.-2010.-№42
Педагогічні аспекти навчального процесу
лежить зіставлення індивідуального тестового балу, отриманого даним студентом, з балами, отриманими іншими студентами.
Найпростіший спосіб здійснити нормативно-орієнтовану інтерпретацію тестового балу полягає в тому, щоб встановити, скільки відсотків студентів даної навчальної групи, в котрій проводилось тестування, виконали тест гірше (отримали більш низький бал) і скільки відсотків виконали тест краще (отримали більш високий бал). Однак при такій інтерпретації виникають труднощі, пов’язані із залежністю індивідуальних навчальних досягнень студента від рівня підготовленості всієї групи.
З метою подолання вказаних труднощів в процесі розроблення тесту формується так звана вибірка стандартизації - спеціально підібрана група студентів (контрольна, нормативна група), котра адекватно репрезентує популяцію, для якої розробляється тест. Результати проведення тесту в контрольній групі звуться тестовими нормами. Звідси походить термін "но-рмативно-орієнтоване тестування". За умови, що контрольна група (вибірка стандартизації) сформована правильно, тобто адекватно репрезентує популяцію, можна, зіставляючи індивідуальний бал (результат тестування) студента з нормами, отримати оцінку його рівня навчальних досягнень по відношенню до навчальних досягнень інших студентів групи, в якій відбулося тестування.
Нормативно-орієнтировані тести мають свою специфіку, пов’язану з їх основною функцією - диференціювати тих, хто тестується. Під час розроблення даного типу тестів намагаються добитися високої варіативності тестових балів. Якщо більшість студентів групи отримує виключно низькі, виключно середні або виключно високі бали, важко провести необхідну диференціацію. Навпаки, якщо варіативність балів висока (за результатами тестування у групі набрані низькі, середні та високі бали), то диференціація не викликає утруднень. Нормативно-орієнтировані тести розробляються так, щоб розподіл балів, які отримує контрольна група, наближався до нормального закону (закону Гауса). Математичні методи, що використовуються під час конструювання та оцінювання нормативно-орієнтованих тестів, розраховані саме на модель нормального розподілення результатів тестування [1,3]. Підкреслимо, що потенційна цінність інтерпретації тестування відповідно до нормативно-орієнтованого підходу в значній мірі залежить від відповідності контрольної групи цілям тестування та від критеріїв, за якими ця група формувалася.
Відмітимо, що, з метою інтерпретації нормативно-орієнтованого тестування, на стадії розроблення тестів можна скористатися не формуванням контрольної групи та результатами її тестування, а іншими методами контролю, серед яких найпопулярніші - це традиційні форми оцінювання знань.
162 Вісник Національного технічного університету України "КПІ"
Серія — Радіотехніка. Радіоапаратобудування.-2010.-№42
Педагогічні аспекти навчального процесу
Відмінності нормативно-орієнтованих та критеріально-орієнтованих тестів
Нормативно-орієнтовані та критеріально-орієнтовані тести суттєво відрізняються один від одного, хоча форми тестових завдань та інструкції щодо їх використання багато в чому співпадають.
Перша відмінність - мета створення тесту.
Нормативно-орієнтовані тести складаються спеціально для того, щоб отримати можливість порівняння студентів в області змісту, відповідно до призначення тесту. Для цього використовуються нормативні або стандартні шкали.
Критеріально-орієнтовані тести складаються з метою атестації студентів відповідно до визначеної області знань, визначеного змісту відповідної частини навчальної програми. Результати критеріально-орієнтованого тестування використовуються для
- оцінки підсумкового рівня знань студентів та відповідності цього рівня державним стандартам або навчальній програмі;
- виявлення студентів, що досягли необхідного рівня знань, в тому числі і професійної компетенції;
- оцінки ефективності навчальної програм та відповідних методик у визначеному навчальному закладі.
Результати критеріально-орієнтованого тестування також можуть бути використані для порівняння студентів за рівнем їх підготовки, однак в при цьому можна отримати порівняно низьку надійність, якщо розподілення балів (отриманих студентами визначеної групи за результатами тестування) однорідне та має малу варіацію.
Друга відмінність - рівень деталізації змістовної області.
В процесі розроблення будь-якого тесту, за звичай, формується специфікація його змісту. В загальному випадку критеріально-орієнтовані тести супроводжуються значно детальнішою специфікацією змісту, ніж тести нормативно-орієнтовані. Це робиться для того, щоб користувачі були впевнені в адекватній інтерпретації тестових балів.
Третя відмінність - методи проведення статистичної обробки результатів тестування.
Бали, що виставлені студентам за результатами нормативно-орієнтованого тестування, базуються на статистичних даних нормативної групи, тобто специфічної достатньо великої вибірці тих, хто тестується за даними тестами. По більшості для цього типу тестів використовуються спеціальні нормативні шкали. Кожний індивідуальний бал даного типу тесту має однозначну відповідність відсотковому еквіваленту, що визначений на нормативній групі. Якщо для певного студента індивідуальний бал у відсотковому еквіваленті дорівнює 75, то це означає, що у 75 % студентів нормативної групи результати тестування були такими ж або гіршими.
Вісник Національного технічного університету України "КПІ" 163
Серія — Радіотехніка. Радіоапаратобудування.-2010.-№42
Педагогічні аспекти навчального процесу
Індивідуальні бали, що виставлені студентам за результатами критеріа-льно-орієнтованого тестування не відносяться до якої б то ні було нормативної групі або вибірці студентів. Індивідуальний бал студента інтерпретується по відношенню до частки успішно засвоєного навчального матеріалу. Найчастіше цей бал відображає відсоток правильно виконаних завдань та подається за шкалою відсотків.
Четверта відмінність - технологія аналізу та підбору тестових завдань.
В нормативно-орієнтованих тестах статистичні показники (рівень складності та роздільна здатність) відіграють важливу, а підчас і визначальну роль при формуванні тестових завдань. В загальному випадку перевага віддається завданням з середнім рівнем складності і високою роздільною здатністю, бо саме вони вносять суттєвий вклад у варіацію індивідуальних балів студентів. Надійність тесту цього типу буде вища, за умови збільшення варіативності тестових балів.
В критеріально-орієнтованих тестах, навпаки, статистичні характеристики (рівень складності та роздільна здатність) завдань не є основним чинником для їх включення до складу тесту або, навпаки, виключення із нього. Головна вимога відбору завдань у критеріально-орієнтований тест - це їх відповідність (конгруентність) визначеній змістовній області. Статистичні характеристики тестових завдань використовуються для складання паралельних форм критеріально-орієнтованих тестів і для вибору оптимального стандарту оцінювання.
В цілому, складність тестових завдань у тестах нормативно-орієнтованих вища ніж у тестах критеріально-орієнтованих. Це особливо проявляється за умови використання методики тестування за супремумом складності [4] розв’язаних завдань, яка спрямована на виявлення у даній групі найбільш здібних студентів та надає кожному студенту інформацію щодо його особистих можливостей з відповідної дисципліни (у даній змістовній області). Відмітимо, що вказана особливість тестування за супремумом складності містить суттєву гуманістичну складову - надає студенту інформацію відносно ефективності своєї реалізації у відповідній галузі знань (промисловості, народного господарства).
Педагогічні тести - ефективний, сучасний засіб контролю (вимірювання рівня) освітніх досягнень. Цілями тестування визначається тип тестів, що використовується. Раціоналізація технології проведення тестування, відповідні структура та складність тестових завдань дозволяють суттєво розширити інформативність отриманих результатів як в напрямку необхідності корегування методик викладання відповідних дисциплін (розділів), так і в гуманістичному напрямку, дозволяючи студентам визначитися щодо ефективності своєї реалізації у відповідній галузі знань (в тому числі і у порів-
164 Вісник Національного технічного університету України "КПІ"
Серія — Радіотехніка. Радіоапаратобудування.-2010.-№42
Педагогічні аспекти навчального процесу
нянні з іншими студентами групи).
Література
1. Аванесов В.С. Научные основы тестового контроля знаний. - М.: Исследов. центр. - 1994. - 135 с.
2. Educational measurement (Ed. by Linn R.) N.Y. Macmillan, 1989 - 610 с.
3. Educational Testing Service. Standards for quality and fairness. Prinston, NJ. 1987.
4. Зіньковський Ю.Ф., Мірських Г.О. Методика оцінювання рівнів складності навчальних тестів. // "Вісник НТУУ "КПІ". Серія - Радіотехніка. Радіоапаратобудування". Вип. 41. - 2009. - С. 157 - 163.
Зіньковський Ю.Ф., Мірських Г.О. Особливості педагогічних тестів. Розглянуто два типи педагогічних тестів - критеріально-орієнтовані та нормативно-орієнтовані. Проаналізовано області та особливості використання кожного з них. Показана роль тестів у процесі визначення якості як навчальних надбань студентів, так і діяльності вищого навчального закладу.
Ключові слова: педагогічні тести, якість вищої освіти, контроль якості освіти, контроль знань
Зиньковский Ю.Ф., Мирских Г.А. Особенности педагогических тестов. Рассмотрены два типа педагогических тестов - критериально-ориентированные и нормативноориентированные. Проанализированы области и особенности использования каждого из них. Показана роль тестов в процессе определения качества как учебных достижений студентов, так и деятельности высшего учебного заведения.
Ключевые слова: педагогические тесты, качество высшего образования, контроль качества образования, контроль знаний
Zinkovskiy YF, Mirskikh, GA Features of pedagogical tests. Two types of educational tests -criterion-referenced and norm-referenced are regarded. The area and especially the use of each of them are analyzed. The role of tests in the process of determining the quality of both educational achievements of students and the activities of higher education are showed. Keywords: pedagogical tests, the quality of higher education, monitoring the quality of education, knowledge control
Вісник Національного технічного університету України "КПІ" Серія — Радіотехніка. Радіоапаратобудування.-2010.-№42
165
