CC BY
11
кож гластсть результата ощнювання, оскшьки кожен студент за бажання може отримати апеля-щйну вщотсть, яка мютить iнформацiю про те, на яю питання було дано помилковi вiдповiдi i який варiанг слвд було вибрати, i точний облж, скiльки балiв за яке питання зняли.
Така технологiя проведення тестових iспитiв використовуеться в ТНПУ упродовж трьох останнiх роюв. II застосовують для проведення поточних контрольних робгт, тематично! атестаци, сесiйних та державних екзаменiв, а протягом двох остантх рокiв i вступних екзаменiв у ТНПУ.
Висновок. У статп схарактеризовано досввд розробки автоматизовано! системи «Екзаме-натор», за допомогою яко! в ТНПУ проводяться тестовi випробування. Продемонстровано тех-нологiю пiдготовки та проведення екзамену з використанням АС «Екзаменатор», роз'яснено призначення структурних елементiв системи.
Л1ТЕРАТУРА
1. Беспалько В. П. Слагаемые педагогической технологии. — М., 1989. — 160 с.
2. Булах I. С. Комп'ютерна дiагностика навчально! успiшносгi. — К.: ЦМК МОЗ Укра'ши, 1995. — 221 с.
3. Ламанов И. А. Методика измерения качества обучения в вузе: проблемы разработки и внедрения в учебный процесс // Инновации в образовании. — 2002. — №2. — С. 98-107.
4. Майоров А. Н. Теория и практика создания тестов для системы образования. (Как выбирать, создавать и использовать тесты для целей образования). — М., 2000. — 352 с.
5. Мальцев А. В. Педагогическое тестирование. Методическая разработка. — Екатеринбург. — 1998. — 50 с.
6. Ухань П. С. Контроль знань, вмшь г навичок учшв на уроках шформатики: Дис ... канд. пед. наук: 13.00.02 / Нацюнальний педагопчний ун-т ¡м. М. П. Драгоманова. — К., 2001. — 199 с.
ЛЫя МОРСЬКА
ЕТАПИ РОЗРОБКИ КОМП'ЮТЕРНОГО ТЕСТУ
Постановка проблемы. Сучасна людина живе та д!е в умовах, що вимагають високого професюнал!зму та значних штелектуальних зусиль для прийняття правильних ршень у р!зних життевих та профеийних ситуащях. Ускладнеш сощально-екожяшчш процеси, згущенi шфор-мацiйнi потоки та очевидна нестача часу на !х осмислення, зростаюча ¡з кожним днем конкуре-нщя на уих р1внях суспшьного життя та певна агресившсть у 6ороть61 за проввдне мiсце у нш — все це обумовлюе висок вимоги до випускниюв освгтшх закладiв. Дедалi частше пору-шуються питання якост шкшьно! освгти: наскiльки вона вiдповiдае не лише нормативним ви-могам, а й потребам особистоста, потребам сучасного суспiльства. Водночас, у зв'язку ¡з соща-льно-економiчним становищем кра!ни, поглиблюються в1дмшност1 й у якост надання освгттх послуг, i в доступ до них. У цих умовах особливо зростае роль мониторингу якост освгти в Ук-ра!т. Об'ективна порiвняльна iнформацiя про рiвень навчальних досягнень сприяла б форму-ванню обгрунтованих рекомендаций щодо освгтньо! полгтики, зокрема, могла би бути тдставою для коригування навчального процесу, оновлення змкту освгти, методик викладання. Однак та-ко! шформаци немае. Результати державно! тдсумково! атестаци, яю мають ввддзеркалювати реальний рiвень навчальних досягнень у середнш школ1, е непор!внюваними в1д школи до школи, ввд села до мiста i т. д. Причина цього е вщсутшсть едино! технологи ощнювання та його суб'ективноста, оскшьки ощнюють продукт свое! пращ т1 самi вчигелi, яю працювали з учнем протягом його навчання у школ! Достов!ртсть шформаци про рiвень навчальних досягнень кожного випускника набувае особливого значення тд час вступу до вищих навчальних закладiв на бюджет-ну форму навчання, адже це мало б гарантувати р!вшсть шанив на здобуття вищо! освгти неза-лежно в1д соцiального статусу й матер!ального становища родини абiтурiента. Ввдповвдно для забезпечення якост осв1ти необхiдно знати вихвдний !! рiвень, а також вщстежувати необхвд-ний прогрес у шдвищенш якость Ус1 зазначенi процеси вимагають належно! системи ощню-вання якост освгти. Тому сьогодш в освгтшх колах активно обговорюеться тема розробки зага-льних принцишв, методологи та багато шших проблем ощнювання.
Аналiз остантх до^джень та публтацш. Вивчення зазначених тем дос залишаеться проблемою [4; 5; 6], оскшьки складшсть ощнювання розкриваеться у змют трьох глобальних тенденцiй, властивi свгтовш педагогiчнiй практицi.
42
Науковi записки. Сер!я: Педагогiка. — 2005. — №6.
По-перше, в вдиввдуальному планi ввдбуваеться перехiд вiд так звано! «класично! куль-тури» до «мозашно!», описано! французьким соцiологом А. Молем [ 1, 67]. Класична система освпи, що склалася у ХУП-ХУШ ст., давала вiдносно прозору iерархiчну систему свiтоглядних знань, ознаками яко! були системшсть та цiлiснiсть. Студент засвоював знання за принципом «ступеневостщ вiдштовхуючись вiд ядра фундаментальних понять, вш оволодiвав iншими за допомогою системи логiчних зв'язкiв мiж «ступенями» засвоених знань. У нашому столгт характер набуття знань суттево змiнився. Сучасна людина значну (якщо не бiльшу) частину знань отримуе поза системою рацюнально! освiти (шкшьно! чи вузiвськоl). «Оснащення» 11 розуму вiдбуваеться за допомогою засобiв масово! шформацп; саме таку культуру набуття знань А. Моль називае моза!чною.
По-друге, яскравого прояву набула тенденщя технократизму у сферi освiти. Значною мь рою це пов'язано зi стрiмким розвитком технологiй та енергетичним оснащенням людини. Ввд-булося змщення центру тяжiння у бiк функцюнальних характеристик особистостi, професюна-лiзму, дефщит якого вже неможливо компенсувати виключно наполегливою працею, що приз-водить до порушення гармони в освт мiж спецiальними знаннями та духовною культурою.
По-трете, якiсно змiнилася сама позицш педагога у системi освгга i причиною цього е ш-тенсивна комп'ютеризацiя усiх сторiн суспшьного життя, в тому числi навчального процесу. 1нформацшний бум призв1в до ситуацп, коли нi професор вузу, т, тим паче шкiльний учитель, вже не е основним джерелом знань та авторитетом. Сучасш комп'ютерт системи, iнтегрованi у глобальнi мереж^ вiдкривають iншi перспективи для творчость Виникае проблема часткового «знецшення» традицшно! книжково! освiти. Вiдповiдно якщо рашше викладач чи вчитель ви-конували функцiю накопичення та поширення науково! шформацп, то тепер !м потрiбно зайня-ти позищю управлiння тзнавальною активнiстю студентiв та контролю !! результата. Особливо! уваги у процес здобуття освгга заслуговують способи контролю знань, одним з яких е тести. Процес створення тестав, перевiрки !х правильностi та надшносп е складним i вимагае затрати значних зусиль [6,398]. Отже, метою нашого дослiдження е видiлення основних етапiв у процедурi розробки комп'ютерного педагопчного тесту на основi власного практичного дос-вiду в проведенш комп'ютерного тестування та вивчених лггературних джерел.
Аналiз науково-методично! лiтератури [2; 3; 4; 5] та практичний досввд у розробцi, апро-бацй й проведеннi комп'ютерного тестування дають тдстави зробити певнi узагальнення щодо процедури розробки комп'ютерного тесту, яку ми пропонуемо здшснювати у 12 етатв.
I етап — планування тесту, на якому слiд детально сформулювати мету тестування (ви-значити те, що повинен вишряти тест), охарактеризувати можливi способи досягнення мети та обмеження на процес !! досягнення, а також визначити математичш показники якостi майбут-нього тесту та допустим вiдхилення вiд цих показникiв.
II етап — визначення змiсту та структури тесту, тобто вiдбiр навчального матерiалу, що тдлягае тестовому контролю, та його специфжащя. Змiст тесту з певно! дисциплши повинен вiдповiдати робочiй навчальнiй програмi iз цiеl дисциплiни. Згiдно з новими вимогами до змiс-ту робочих навчальних програм, що розробляються ввдповщно до кредитно-модульно! органi-зацй навчального процесу у вузах (за умови протiкання евроiнтеграцiйних процесiв приеднання укра!нсько! освiти до Болонсько! конвенцп), програма дисциплiни як складна дидактична система складаеться з модулiв, що е лопчно завершеними одиницями навчального матерiалу. До модуля можуть входити роздши, що складаються з певних тем. Теми, у свою чергу, передбача-ють засвоення певних питань чи аспектiв. Кiлькiсть та змкт модулiв визначаеться авторами програми з певно! дисциплiни. На цьому етат розробки комп'ютерного тесту слвд видiлити пе-релiк тем кожного модуля, що входитиме до тесту, та приблизну кшьюсть завдань, якими той чи iнший модуль буде представлений. Крiм того, потрiбно чпж> та однозначно специфiкувати усi знання, вмшня та навички, володiння якими перевiрятиметься тестом.
Наведемо приклад розробки тдсумкового тесту iз курсу методики навчання англiйськоl мови у ходi виконання перших двох етапiв розробки. Метою такого тесту е перевiрити рiвень засвоення навчального матерiалу всього курсу iз виставленням пiдсумкових ощнок за весь нав-чальний курс. Досягти мети тестування можливо за допомогою використання тестово! оболон-ки (комп'ютерно! програми для створення тестав), яка найоптимальшше здiйснюе процедуру тдсумкового атестацшного контролю. Таких програм на сучасному освiтньому ринку е значна кшьюсть, що викликае проблему вибору найефектившшо! з них. Над розв'язанням проблеми аналiзу тестових оболонок з метою визначення !х ефективностi та сфер призначення ми займа-
Науков1 записки. Сер1я: Педагог1ка. — 2005. — №6.
43
емося на даний момент. Математичш показники якост майбутнього тесту забезпечуються тех-нологiчними можливостями тестово! оболонки (1-й етап у структурi розробки тесту).
Ввдповвдно до державного освгшього стандарту основною метою курсу «Методика нав-чання англшсько! мови» е ознайомлення студента з основними теоретичними поняттями методики навчання iноземних мов та формування базових методичних умiнь у навчаннi учнiв чоти-рьох видiв мовленнево! дiяльностi: говоршня, аудiювання, читання та письма. Змют дано! дис-циплiни охоплений 10-ма тематичними модулями, з яких завдання у пiдсумковому тестi мо-жуть бути розподшеш таким чином:
1) основш поняття методики навчання iноземних (5%);
2) iсторiя розвитку методики навчання iноземних (10%);
3) методика навчання мовних навичок (граматичних, лексичних, навичок вимови) (20%);
4) методика навчання говоршня (15%);
5) методика навчання аудговання (10%);
6) методика навчання читання (10%);
7) методика навчання письма (5%);
8) планування навчального процесу з шоземних мов (10%);
9) контроль та ощнювання у навчанш iноземних мов (5%);
10) шформацшш технологи у навчанш iноземних мов (10%).
Бажаний розподш приблизно! кiлькостi завдань вiдповiдно до ступеня базовостi та сутте-вост виразимо так:
а) основнi методичш поняття, !х суть та функцюнальш ознаки;
б) iсторичнi закономiрностi методичних пiдходiв, прийомiв та вид1в дiяльностi;
в) оперування вiдповiдними та необхвдними методами i прийомами у розв'язант проблем навчання рiзних видiв мовленнево! дiяльностi;
г) творче застосування теоретичних знань у розробцi методичних прийомв, видiв нав-чально! дiяльностi учшв на уроц1, планiв-конспектiв уроку та виршенш нестандартних педаго-гiчних ситуацш.
Таким чином, розподiл приблизно! кшькоста завдань для перевiрки чотирьох (у запропо-нованому прикладi) категорiй знань (а-г) з 10-ти тематичних модулiв курсу методики навчання iноземних мов у ввдсотках !х загально! кшькосп у тестi представимо у табл. 1.
Таблиця 1. Розпод^л кiлькостi завдань (у в^дсотках) для комп'ютерного тесту з курсу методики навчання англшсько!' мови
Модуль а Категор, б (я знань в г Загальний вгдсоток
1 4% 0,5% 0,5% — 5%
2 2% 6% 1% 1% 10%
3 2% 4% 8% 6% 20%
4 1,5% 3% 6% 4,5% 15%
5 2% 1% 4% 3% 10%
6 2% 1% 4% 3% 10%
7 0,5% 1% 2% 1,5% 5%
8 3% 1% 3% 3% 10%
9 1,5% 0,5% 1,5% 1,5% 5%
10 2% 1% 4% 3% 10%
44
Науков1 записки. Сер1я: Педагог1ка. — 2005. — №6.
Остаточна загальна та по кожному модулю юльюсть тестових завдань визначаеться у хо-дi подальших етатв розробки комп'ютерного тестування.
III етап — генеращя тестових завдань, тобто створення завдання у тестовiй форм^ що передбачае наявнiсть стимулу (власне запитання) та вiдповiдей (варiантiв ввдповвдей, серед яких одне обов'язково правильне, iншi — вiдволiкальнi, тобто неправильш). На цьому етапi можливе об'еднання завдань у тематичнi або модульт групи вiдповiдно до мети тестування. Тип завдання та конкретний споиб його представлення визначаеться вiдповiдно до вимог, що диктуються математичними ознаками якост тесту (валiдностi та надшносп). Кожне завдання, незалежно вiд типу, починаеться шструкщею до його виконання, наприклад: «Виберпъ прави-льну ввдповвдь», «Вставте одне (два) слова у пропуску» тощо. Якщо завдання всього тесту представлен в однiй форм^ то iнструкцiя подаеться один раз. Стимул (текст завдання) доцшь-но видiляти курсивом або iншим помггним шрифтом для того, щоб зорово ввдразу можна було вiдрiзнити стимул вщ варiантiв вiдповiдей (за умови, якщо на монiторi подаеться два або бшь-ше завдань одночасно; вказана пропозищя е особливо актуальною у ходi проведення тестування на паперових бланках).
У процес створення комп'ютерного тесту доцiльно добирати так зваш «фасетш» завдання [2,128], тобто завдання, яю мають варiанти. Пiд час проходження тестування, коли комп'ютер автоматично у довшьнш послщовносп подае завдання для тестованого, можна уни-кнути проблеми списування або вiрогiдностi повтору одних i тих же тестових завдань у юлькох тестованих.
Наприклад:
Метод: — повно! фiзичноl реакцп;
«Намалюй картинку»; до рецептивних методiв:
сугестопедп;
а) належить;
б) не належить.
Конструювання тестових завдань передбачае використання вiдповiдей-дистракторiв (з англ. distract — ввдволжати), що впливають на якiсть тесту. Наприклад, англшське слово magazine перекладаеться укра!нською мовою: а) журнал; б) тстолет; в) магазин. Правильна вь дповiдь — журнал, варiант «магазин» е дистрактором, оскiльки транслiтерацiя укра!нського слова «магазин» збшаеться з англiйським словом, запропонованим у стимулi. Третiй варiант е ввдволжальним елементом, що пiдсилюе дистрактивтсть варiанту «магазин». Вважаемо, що тест розроблений яюсно, якщо всi ввдповвд (правильнi i дистрактори) вибираються студентами iз приблизно однаковою частотою.
IV етап — компонування двох блоюв тестових завдань: 1) для основного тестування; 2) резервний, призначений для проведення повторного тестування.
V етап — визначення послвдовност розмiщення завдань у теста (якщо така послвдовшсть е суттевою i в кiнцевому випадку впливае на рiвень складностi тесту; якщо така процедура е несуттевою, то даний етап у розробщ комп'ютерного тесту виконуеться автоматизованим способом — тестова оболонка обирае або довшьний порядок розмщення тестових завдань, або вш визначаеться математичним алгоритмом, уведеним до програми його розробниками). Доцшьно серед завдань визначити ждобт й розмiстити !х у рiзнi варiанти тесту. 1нколи, навпаки, до пев-них завдань розробляють аналопчш. Завдання у варiантi тесту потрiбно розмiстити у рiзнiй по-слвдовноста з метою визначення, чи не е певне запитання тдказкою для ввдповщ на наступне. Вiдповiдно у випадку згадано! ситуацп завдання необхвдно вiдкоректувати, можливо розмiсти-ти в шший варiант тесту тощо. По завершены дано! процедури визначають остаточну послiдо-внiсть тестових завдань. У класичнш теорil тестування завдання у темi розташовуються за принципом зростаючого рiвня складностi.
VI етап — уведення тестових завдань до тестово! оболонки (комп'ютерно! програми для проведення комп'ютерного тестування).
VII етап — проведення пробного тестування на експертах, що не брали участа у конст-руюванш тестових завдань [3, 19]. Метою цього етапу е перевiрити очевидну валвдшсть завдань, тобто зрозумЫсть формулювання завдань, варiантiв ввдповвдей на них, а також виправи-ти помилки (логiчнi, предметш, граматичнi, технiчнi). Експертiв попередньо просять ощнити
Науков1 записки. Сер1я: Педагопка. — 2005. — №6.
45
piBeHb складностi кожного завдання, виставивши йому оцiнку в певнiй шкалi (наприклад, п'ятибальнiй).
VIII етап — проведення тесту на малiй вибiрцi осiб, що проходять тестування [3, 21]. Виправлений пiсля виконання групою експертiв тест проводиться на вибiрцi (до трьох чоловiк) i3 контингенту основноï групи тестованих. У вибiрку повиннi потрапити студенти i3 рiзними рiвнями навчальноï успiшностi. Мета даного етапу — диференцiювати завдання за рiвнем скла-дностi, коректуючи завдання попередньо розставленi за рiвнями складност експертами.
IX етап — проведення первинного тестування зi студентами основжй групи.
X етап — обробка результата та статистичний аналiз первинного тестування, а також ш-терпретаця набраноï кiлькостi балiв. Як правило, за правильно виконане завдання тестований отримуе один бал, за неправильне — нуль. Проте, кнують iншi шкали оцiнок [5, 38].
XI етап — формування остаточного тесту iз набору завдань, що пройшли апробацiю.
XII етап — емтрична перевiрка якостi тесту. На цьому етат можливе уточнення педаго-пчних характеристик як окремих тестових завдань, так i тесту в цшому, перевiряеться його на-дiйнiсть, валвдшсть тощо.
Висновок. Методика розробки комп'ютерного тесту, представлена у 12 етапах, е, вщпо-вiдно до результатiв аналiзу наукових розробок з проблем комп'ютерного тестування та влас-ного педагопчного досвiду проведення комп'ютерного педагопчного тестування, найповнiшою процедурою, що забезпечуе (як сввдчать результати розроблених нами комп'ютерних тестiв) пiдготовку та проведення яюсного та ефективного комп'ютерного тестування. Тому кноруван-ня певних етатв може знизити якiсть тесту i, ввдповвдно, усього процесу тестування. Проте вважаемо, що подальшоï деталiзацiï потребуе дослвдження ефективного проходження визначе-них етапiв розробки комп'ютерного тесту iз Грунтовним аналiзом iснуючих комп'ютерних обо-лонок та принципами створення таких, що ввдповвдають метi тестування.
Л1ТЕРАТУРА
1. Врошенстейн А. И. Внешняя оценка качества образования: некоторые вопросы и ответы // Высшее образование в Европе. — Т. XVII. — №3. — 1993. — С. 66-88.
2. Демкин В., Гульбинская Е. Особенности дистанционного обучения иностранным языкам // Высшее образование в России. — 2001. — №1. — С. 127-129.
3. Демушкин А. С., Кириллов А. И., Сливина Н. А, Чубров Е. В., Кривошеев А. О., Фомин С. С. Комплексные обучающие программы // Информатика и образование. — 1995. — №3. — С. 15-21.
4. Михайлычев Е. Типология дидактических тестов при разработке и экспертизе // Alma Mater (Вестник высшей школы). — 1997. — №2. — С. 16-17.
5. Наумов В. В. Разработка программных педагогических средств // Информатика и образование. — 1999. — №3. — С. 36-40.
6. Савченко В. Н., Солдатова Л. Н. Построение тестов для дистанционного обучения // Дистанционное образование в России: проблемы и перспективы // Материалы Шестой международной конференции по дистанционному образованию (Россия, Москва, 25-27 ноября 1998 г.) / Под ред.
B. П. Тихомирова, В. И. Солдаткина, Д. Э. Колосова. — М.: МЭСИ, 1998. — 564 с. —
C. 398-399.
46
Науков1 записки. Сер1я: Педагопка. — 2005. — №6.
