CC BY
54
Обмін досвідом
УДК37.011
ДЕФІНІЦІЇ ПЕДАГОГІЧНОГО ТЕСТУВАННЯ
РеутськаЮ.Ю., асистент, МірськихГ.О., к.т.н., доцент
Національний технічний університет України ”Київський політехнічний інститут ”
Вступ
Широке впровадження педагогічного тестування в практику вищої школи актуалізує визначення самого поняття тесту. Адже на сьогодні серед визначеної (і чималої) частки викладачів, на жаль, відсутнє чітке розуміння цього поняття. Останнє нерідко призводить до суттєвих викривлень та спрощень процесів створення й використання тестів. Як результат, не тільки втрачається можливість реалізувати переваги цього виду вимірювань навчальних надбань студентів, але й іноді спонукає до висновків про неефективність педагогічного тестування як такого.
Проведений авторами аналіз показує, що на сьогодні розуміння та сприйняття педагогічного тестування викладачами вищих навчальних закладів неоднозначне і, по-більшості, може бути зведене до трьох рівнів.
Перший рівень характеризує розуміння тесту як визначеної сукупності питань, до яких у визначених випадках додаються варіанти відповідей. На цьому рівні тест нерідко сприймається як ребус, головоломка, кросворд, т.п.
Другий рівень відображає розуміння основних складових поняття педагогічного тестування, але не враховує особливості процедури створення тестів та їх реалізації (тобто організації процесу тестування). На цьому рівні зазвичай не приділяється належної уваги методам оброблення та аналізу отриманих під час тестування результатів, що веде до зниження ефективності цього методу педагогічних вимірювань, може привести (і нерідко приводить) до їх помилковості.
Третій рівень відображає правильне розуміння змісту педагогічного тестування, враховує особливості побудови тестів, їх можливостей та границь використання.
Для правильного розуміння (а отже й використання в практичній діяльності) педагогічного тестування авторами в рамках даної статті пропонується детальний аналіз цього поняття. При цьому педагогічному тесту надане розгорнуте інтеграційне визначення, в якому відображаються його основні особливості. Надане визначення піддається декомпозиції на окремі складові, що детально аналізуються.
Визначення педагогічного тесту
Педагогічний тест — інтеграційна категорія, якою визначаються і різні
Вісник Національного технічного університету України "КПІ" Серія — Радіотехніка. Радіоапаратобудування.-2012.-№50
139
Обмін досвідом
види контролю навчальних надбань, що доречні за тих чи інших умов, і питання, які сприятимуть виявленню ступеня засвоєння відповідного навчального матеріалу, і процес безпосередньої реалізації контролю тощо. Це обумовлює варіативність існуючих на сьогодні визначень педагогічного тесту. Для цілей даної роботи авторами пропонується широка (інтеграційна) форма визначення педагогічного тестування, якою відображаються найсуттєвіші особливості, що відрізняють цей метод контролю навчальних надбань від інших.
Відповідно до вказаної мети педагогічний тест визначимо як систему паралельних завдань рівномірно зростаючої складності та специфічної форми, яка дозволяє на підставі аналізу відповідей з високим ступенем надійності та валідності об’єктивно вимірювати рівень та оцінювати структуру знань студентів з визначених дисциплін.
З метою найкращого та однозначного розуміння педагогічного тесту виділимо та розглянемо окремі складові наведеного визначення, надавши їм чітких, однозначних та взаємопов’язаних тлумачень.
Системний характер тесту
Системний характер педагогічного тесту, визначення його як системи означає, що в тесті зібрані такі завдання, котрим притаманні системоутво-рювальні властивості. Тут в першу чергу слід виділити загальну приналежність завдань до одної системи знань, тобто до одної навчальної дисципліни (або до групи взаємопов’язаних дисциплін, тобто до одної визначеної змістовної області). Цим завданням притаманні відповідний зв'язок та впорядкованість. В педагогічному тесті завдання розміщуються за ступенем зростання складності - від самого легкого до самого складного. При цьому всі завдання логічно пов’язані один з одним, забезпечуючи реалізацію єдиного процесу (тестування), спрямованого на досягнення визначеної мети.
Отже, складові тесту «взаємодіють» з його внутрішнім (впливають одна на одну) і з зовнішнім (впливають на кінцевий результат як безпосередньо, так і за рахунок взаємних впливів) середовищами, тобто у сукупності проявляють всі специфічні особливості системи.
Специфічність форми тестових завдань
Специфічність форми тестових завдань полягає в тому, що ці завдання сформульовані не в традиційній формі питань або задач, а у формі висловлювань, котрі в залежності від відповіді можуть бути істинними або хибними. Питання, поставлені у традиційній формі, напроти, істинними або хибними не бувають (за таких умов категорії істинності та хибності поширюються виключно на відповіді). Відповіді на питання, сформульовані у традиційній формі нерідко настільки невизначені та багатослівні, що виявлення їх правильності може потребувати помітних витрат часу та інтелектуальної енергії викладача, унеможливлює використання сучасних інформаційних технологій. В цьому контексті питання, що формулюються в
140
Вісник Національного технічного університету України "КПІ" Серія — Радіотехніка. Радіоапаратобудування.-2012.-№50
Обмін досвідом
традиційній формі, а отже, і відповіді на такі питання нетехнологічні, малопридатні (а то і взагалі непридатні) для включення до тесту.
Кожне завдання тесту містить опис деякої «ситуації», взаємодії деяких об’єктів природи, виробництва тощо. Воно може бути представлене у різних видах (на різних «мовах»): вербальному, символьному, графічному, мультимедійному тощо. Будь-який опис завжди наближений, неповний, а отже до студента, що піддається тестуванню, висувається «вимога» зробити ситуацію, подану у завданнях, більш точною, повною, використовуючи з цією метою «інформацію до розв’язання», яка міститься в описі ситуації (тексті завдання) та відповідні знання й вміння, отримані студентом в процесі навчання. Студенту під час виконання завдань тесту нерідко доводиться переходити від однієї моделі поданої ситуації до іншої шляхом введення відповідних спрощень, припущень, абстракцій тощо.
За своїм змістом та формою тестові завдання мають характеризуватися визначеним ступенем інформативності (дискримінативності), тобто передбачати можливість надання різними (за рівнем знань) студентами різних відповідей. Якщо ця вимога не виконується то тестове завдання вважається малоінформативним (не достатньо дискрімінативним), мало придатним для діагностування навчальних надбань, адже не сприяє розрізненню рівня знань студентів з різним ступенем підготовки.
Визначеність змісту тесту
Визначеність змісту тесту означає включення до його складу лише такого контрольного матеріалу, котрий відповідає змісту навчальної дисципліни (точніше, змістовній області тесту). Крім того, за умови коли в змістовній області паралельно існують декілька парадигм (це трапляється при наявності динаміки розвитку відповідної області знань), має бути обов’язково вказане яка з них прийнята в процесі підготовки тестових завдань.
З поняттям визначеності змісту пов’язане поняття тематичної репрезентативності, якою характеризується ступень представленості в наборі тестових завдань заявленої змістовної області.
Зміст тесту існує, зберігається та передається в формі тестових завдань (тестових форм). Поза тестових форм ні тест, ні його зміст не існують.
Зростаюча складність тестових завдань
В педагогічному тесті завдання впорядковуються за принципом зростаючої складності. Це упорядкування здійснюється таким чином, щоб лише найбільш підготовлені студенти були здатні надати правильні відповіді на завдання самого високого рівня складності, які розміщені в кінці тесту (подаються до розв’язання в числі останніх).
Складність завдання може визначатися двояко:
Вісник Національного технічного університету України "КПІ" Серія — Радіотехніка. Радіоапаратобудування.-2012.-№50
141
Обмін досвідом
- на підставі аналізу, заснованому, на визначенні передбачуваної кількості операцій того чи іншого характеру, необхідних для успішного виконання завдань;
- після емпіричної апробації завдань, та відповідного оброблення результатів на підставі підрахунку частки неправильних відповідей.
В класичній теорії педагогічних вимірювань довгі роки розглядалися виключно емпіричні показники складності. На сьогодні складність тестових завдань все частіше визначається іншими методами, звичайно, паралельно з методами статистичного оброблення результатів «пробного» тестування.
Слід відмітити, що в процесі розроблення новітніх варіантів педагогічних тестів все більше уваги приділяється моделюванню характеру розумової діяльності студентів під час виконання тестових завдань [1].
Показник складності завдання розглядається як один з найважливіших факторів тесту, яким визначається його структурний та системний характер. При цьому слід враховувати, що складність тестового завдання не може порушувати його логічну визначеність, за умови, що логічна основа тесту передбачає можливість позитивної чи негативної відповіді [2].
Відповіді на завдання педагогічного тесту
Відповідь на завдання педагогічного тесту являє собою коротке судження, яке за змістом і формою пов’язане зі змістом завдання. Кожному завданню ставляться у відповідність правильні та неправильні відповіді. Критерії правильності заздалегідь визначаються авторами тесту. Імовірність правильної відповіді на будь-яке завдання залежить від співвідношення рівня знань студента та рівня складності завдань. При наявності відповідних шкал, ця імовірність приймається за критерій правильності відповіді, виражається числом від нуля до одиниці і під час підсумкового аналізу відповідним чином перераховується до звичних критеріїв оцінювання знань. Оцінювання відповідей за ступенем їх правильності проводиться достатньо рідко, але за необхідністю створюються завдання з такими відповідями, котрі «правильні в різній мірі» (див., наприклад, [2]). Інструкція для студентів за таких умов може бути, наприклад, такою: «Відмітьте номер (натисніть клавішу з номером) відповіді, яка на Вашу думку найбільш правильна».
Надійність та валідність результатів педагогічного тестування
Оцінка, що виставляється студенту за результатами тестування, звичайно, має бути об’єктивною, має відповідати істинному рівню його знань у відповідній змістовній області. Об’єктивність цієї оцінки пов’язана з категоріями валідності та надійності тесту.
Валідність тесту — комплексна характеристика тесту, яка відображає його здатність вимірювати саме те, для чого цей тест призначений.
142
Вісник Національного технічного університету України "КПІ" Серія — Радіотехніка. Радіоапаратобудування.-2012.-№50
Обмін досвідом
Введення такої характеристики є принципово важливим для отримання за результатами тестування інформації про рівень знань студента без застережень, пов’язаних з його фізичним та/або психологічним станом під час реалізації процесу тестування. Дійсно, несприятливі кліматичні або психологічні умови, в яких проводиться тестування, суттєво впливатимуть на результати, надаючи перевагу студентам, що менш сприятливі до впливу вказаних умов. При низькому рівні валідності тесту вказані умови суттєво викривлюють результати тестування, знижуючи рівень об’єктивності підсумкової оцінки.
Надійність тесту — характеризує міру стабільності результатів тестування, отриманих при використанні відповідного тесту. Висока надійність педагогічного тесту гарантує отримання однакових (близьких в рамках прийнятих імовірнісних показників) результатів повторних тестувань даної групи студентів, за умови, що додаткова підготовка студентів цієї групи не проводилась.
Рівень та структура знань
З точки зору педагогічних вимірювань виділяють два основних показника якості знань: рівень та структуру. Введені показники оцінюються реєстрацією оцінок, як за знання, так и за незнання всіх компонентів змістовної області (складових навчального матеріалу, за яким відбувається тестування). Для об’єктивізації цього процесу всі компоненти мають бути однаковими з точки зору їх впливу на кінцевий результат тестування. Однаковими, звичайно, мають бути й правила оброблення результатів та підсумкового оцінювання.
Рівень знань виявляється за результатами аналізу відповідей кожного студента на всі завдання тесту. Чим більше правильних відповідей, тим вище індивідуальний тестовий бал студента. Зазвичай цей тестовий бал асоціюється з поняттям «рівень знань» і піддається уточненню на підставі вибраної моделі педагогічного вимірювання. Вищий тестовий бал вказує на вищий рівень знань студента. При цьому однакові оцінки (якими визначається однаковий рівень) знань можна отримати за рахунок відповідей на різні завдання.
Наприклад, за результатами тесту з тридцяти завдань студент отримав десять балів. Ці бали, скоріш за все, отримані за рахунок правильних відповідей на перші десять, відносно простих завдань. Притаманну такій ситуації послідовність одиниць (розв’язані завдання) та нулів (які розміщуються за одиницями і відповідають не розв’язаним завданням) називають правильним профілем знань студента.
Структура знань оцінюється на підставі аналізу послідовності правильних і неправильних відповідей на завдання зростаючої складності. Формою визначення індивідуальної структури знань і незнань є розглянутий вище профіль знань. Якщо студент надає правильні відповіді на перші, по-
Вісник Національного технічного університету України "КПІ" 143
Серія — Радіотехніка. Радіоапаратобудування.-2012.-№50
Обмін досвідом
рівняно легкі завдання, можна говорити про правильну структуру його знань. Як і під час оцінювання рівня знань профіль знань вважається правильним, якщо у відповідній послідовності відповідей всі нулі розміщуються за всіма одиницями.
За умови, що ситуація протилежна наведеній (тобто студент правильно відповідає на складні завдання й неправильно - на прості), то це суперечить логіці тесту і тому така структура знань визнається інвертованою. Описана ситуація зустрічаються достатньо рідко, і найчастіше обумовлена порушенням вимоги щодо розміщення завдань згідно зростаючої складності, нечіткого формулювання парадигми, прийнятої в процесі розроблення тесту, недостатнього засвоєння студентом окремих розділів дисципліни, або засвоєння ним окремих фактів та прийомів тощо.
Відмітимо, що рівень знань суттєво залежить від особистих зусиль та здібностей студентів, тоді як структура знань - від організаційних засад навчального процесу, рівня індивідуалізації навчання, майстерності викладача та об’єктивності контролю, т.п.
Педагогічне тестування не слід сприймати як панацею. Впровадження цієї методології має спиратися на відповідну інформацію, якою враховуються переваги та недоліки відібраних для розгляду методів контролю навчальних надбань студентів. З огляду на це, наведений аналіз базових понять педагогічного тесту доречно доповнити переліком основних переваг та недоліків такого виду контролю знань.
Переваги педагогічного тестування обумовлені
- можливістю досягти найбільшої якості та об’єктивності оцінювання навчальних надбань (звичайно за умови рівноцінності інших факторів), що в значній мірі обумовлене стандартизацією процедури проведення, перевірки показників якості окремих завдань і тестів в цілому;
- справедливістю методики, згідно якої всі студенти поставлені в рівні умови, як в процесі контролю, так і в процесі оцінювання результатів; можливий суб’єктивізм викладача практично виключений;
- можливістю виявити знання студента з усієї дисципліни (змістовної області), виключивши елемент випадковості при використанні традиційних білетів;
- економічною ефективністю, адже основні витрати при тестуванні пов’язані переважно з розробкою самого тесту, тобто мають разовий характер; витрати ж на реалізацію процесу тестування значно нижчі у порівнянні з письмовим або усним контролем.
Недоліки педагогічного тестування обумовлені
- тривалістю та трудомісткістю (а отже суттєвими витратами) розроблення тестових завдань та ефективних процедур реалізації процесу тестування;
144
Вісник Національного технічного університету України "КПІ" Серія — Радіотехніка. Радіоапаратобудування.-2012.-№50
Обмін досвідом
- неможливістю отримати інформацію щодо причин виявлених пробілів у знаннях студентів;
- неможливістю перевіряти та оцінювати високі, продуктивні рівні знань, що пов’язані з творчістю, тобто імовірнісні, абстрактні та методологічні знання;
- необхідністю з метою забезпечення об’єктивності та справедливості результатів тестування приймати спеціальні заходи щодо підтримання конфіденційності тестових завдань та зниження імовірності вгадування правильної відповіді на тестові питання.
Висновки
Проведений аналіз складових, якими визначається сутність педагогічних тестів та організаційних засад процесу тестування, показують, що за умови правильної побудови та ефективного використання результати тестування дозволяють не тільки отримати об’єктивну оцінку навчальних надбань студентів, але й надають можливість використання отриманої інформації для поліпшення навчального процесу, для надання студенту інформацію щодо його успішності на теренах вибраної професії.
Вибір методу контролю навчальних надбань студентів не може бути «механічним», а має спиратися на результати аналізу конкретної ситуації з урахуванням переваг та недоліків методів, що розглядаються.
Література
1. Tatsuoka K.K. Item construction and psychometric models appropriate for constructed response. Prinston, N-J, 1993. — 56 p.
2. Челышкова М. Б. Теория и практика конструирования педагогических тестов. — М. : Логос, 2002. — 568 с.
Реутська Ю.Ю., Мірських Г.О. Дефініції педагогічного тестування. В роботі авторами наведене розгорнуте інтеграційне визначення поняття педагогічного тестування. Це визначення піддається декомпозиції на окремі складові, що характеризують тестування як метод педагогічних вимірювань навчальних надбань студентів. Детально розглянуті кожна зі складових педагогічного тестування, починаючи з формулювання тестових завдань і закінчуючи організацією процесу тестування. Звертається увага на необхідність дотримання методології системного підходу на всіх етапах підготовки та реалізації тестів. Особлива увага приділяється визначенню характеристик, що впливають на результати тестування, надають можливість найбільш ефективно використати інформацію, отриману за результатами його реалізації.
Ключові слова: дефініція педагогічного тестування, методологія, надійність тесту, валідність тесту, репрезентативність, інформативність.
Реутская Ю.Ю., Мирских Г.О. Дефиниции педагогического тестирования. Вра-
боте авторами приведено развернутое интеграционное определение понятия педагогического тестирования. Это определение поддается декомпозиции на отдельные составляющие, которые характеризуют тестирование как метод педагогических измерений учебных приобретений студентов. Детально рассмотрены каждая из составляющих педагогического тестирования, начиная с формулировки тестовых заданий и
Вісник Національного технічного університету України "КПІ" 145
Серія — Радіотехніка. Радіоапаратобудування.-2012.-№50
Обмін досвідом
заканчивая организацией процесса тестирования. Обращается внимание на необходимость соблюдения методологии системного подхода на всех этапах подготовки и реализации тестов. Особенное внимание уделяется определению характеристик, которые влияют на результаты тестирования, предоставляют возможность наиболее эффективно использовать информацию, полученную по результатам его реализации.
Ключевые слова: дефиниция педагогического тестирования, методология, надежность теста, валидность теста, репрезентативность, информативность.
Reutska Y.Y., Mirskikh G.O. The pedagogical testing definitions. The detailed integrative definition of pedagogical testing concept is presented by authors in this work. This definition gives into decomposition on separate components which characterize testing as the pedagogical measurements of student educational acquisitions method. Each pedagogical testing constituent is considered detail, since formulation of test tasks ending organization of testing process. Attention on the necessity of system approach methodology abidance is paid to all preparation and realization tests stages. The special attention is paid to determination of descriptions, which influence on the testing results, give possibility of the most effectively information use obtained on its realization results.
Keywords: pedagogical testing definition, methodology, test reliability, test validity, representativeness, information content.
146
Вісник Національного технічного університету України "КПІ" Серія — Радіотехніка. Радіоапаратобудування.-2012.-№50
