CC BY
43
Виконано аналiз ^нуючих адаптивних систем навчання. Запропоновано структуру ттелектуальног (адаптивног) системи контролю знань, що метить контролюю-чий блок з аналiзом результатiв навчання (АРН)
Ключовi слова: тформацшт технологи, ттелектуальна система, адаптащя, мето-
ди, контроль знань
□-□
Выполнен анализ существующих адаптивных систем обучения. Предложена структура интеллектуальной (адаптивной) системы контроля знаний, которая имеет в структуре контролирующий блок с анализом результатов обучения (АРО)
Ключевые слова: информационные технологии, интеллектуальная система, адаптация, методы, контроль знаний
□-□
The existent adaptive systems of studies are examined in the article. A structure of the intellectual (adaptive) supervisory system which has in a structure a supervisory block with the analysis of teaching results (ARO) is offered
Key world: information technology, intellect system, adaptation, methods, knowledge control
■о о
УДК 004.85
МОДЕЛЬ 1НТЕЛЕКТУАЛЬНОТ П1ДСИСТЕМИ КОНТРОЛЮЗНАНЬ З БАГАТОР1ВНЕВИМ АДАПТИВНИМ ТЕСТУВАННЯМ
О.В. Кравчен ко
Асистент
Кафедра шформацшних технологш проектування* Контактний тел.: (0472) 32-62-26, 067-91 1-83-33 E-mail: [email protected]
Ж.М. Плакасова
Старший викладач Кафедра програмного забезпечення автоматизованих
систем*
*Черкаський державний технолопчний уыверситет бул. Шевченка, 460, м. Черкаси, УкраТна, 18000 Контактний тел.: (0472) 31-30-94, 067-914-54-14 E-mail: djanai_7 @mail.ru
1. Вступ
З часу застосування комп'ютерiв в навчальному проце« особлива увага прид^ялась контролю знань. Комп'ютери, в першу чергу, використовувались для перевiрки знань учшв. На сьогодшшнш день, зважа-ючи на бурхливий розвиток навчаючих систем, кон-тролюючi (тестуюч^ системи складають значну част-ку шнуючих в мережi 1нтернет програм навчального призначення (ушверсальш i спецiалiзованi навчальш системи, електронш енциклопедп, навчаючi кри i т. iн.). Проблеми комп'ютерного контролю знань (КЗ), зазвичай, розглядаються в двох аспектах: методичному та техшчному. До методичного аспекту вщносяться планування та органiзацiя проведення контролю; виз-начення типiв питань при розробщ завдань для пере-вiрки знань студентiв; формування набору питань i завдань для опитування; визначення критерiiв оцiнки виконання кожного завдання i контрольноi роботи в щлому. До технiчних аспектiв вщносяться: автоматич-не формування вибору контрольних завдань на основi обраного тдходу; вибiр i використання в системi контролю параметрiв КЗ; вибiр алгоритмiв для оцiнки знань учшв тощо. Тому питання комп'ютерного КЗ
щкавлять багатьох вчених, педагогiв i спецiалiстiв об-ластi iнформацiйних технологш.
Останнiм часом, в зв'язку з розвитком ресурав обчислювальних засобiв та телекомушкацшних тех-нологiй, окреслилися тенденцп до проектування на-вчальних систем, що займають промiжне мiсце мiж навчальними програмами i комплексними системами. Щ системи повиннi надати можливкть вiльного управлiння процесом навчання, з забезпеченням про-цесу контролю знань.
Основною проблемою при реалiзацii таких систем е розробка моделей роздумiв, якi забезпечують адаптив-не навчання, контроль та оцшку знань. В зв'язку з цим задача створення моделей роздумiв, що дозволяють оргашзувати вiдкритi системи навчання, е актуальною. Такого роду системи повинш аналiзувати стратеги поведшки «об'екта, що навчаеться» (далi по тесту студента) i виявляти областi незнання та допомогти подолати прогалини в знаннях.
Питання побудови та використання шформацшних експертних навчальних систем дослщжувались в роботах Адамович 1.М., Бабанша Л.М., Брусиловського П.Л., Заволович О.В., Рибиноi Г.В. Принципи побудови систем дiалогу для навчальних систем розглядались в
роботах Машбщ G.I., Андриевсько! В.В., KoMiccapoBoï 6.Ю., Голiциноï I.M., Гофен A.M., Левша М.А., Корш-ловоï Т.В., Тихомирова O.K., Петровоï Н.А., Сухинiноï М.А., Федорова Б.1., Джалiашвiлi З.О.
Метою нашого дослiдження е шдвищення ефек-тивностi засобiв обробки знань в процеа контролю та самоконтролю за рахунок використання штелектуаль-но! (адаптивноï ) контролюючоï пiдсистеми.
З мети даного дослщження випливають двi основнi задачi: розробка структури iнтелектуальноï (адаптив-ноï) контролюючоï пiдсистеми та структури контро-люючого блоку.
За класифжащею David J. Weiss вид^яеться три варiанти адаптивного тестування [1, 2].
1. Перший - шрамщальне тестування. За ввдсутно-стi попереднiх оцiнок вам, хто проходять тестування, даеться завдання середньоï складносп, а потiм, за-лежно вiд вiдповiдi, кожний студент отримуе завдання легшоï або бiльшоï складностi (на кожному крощ тестування корисно використовувати правило д^ення шкали складностi навпiл).
2. Другий варiант (flexilevel) - контроль почина-еться з вiдповiдного рiвня складност з поступовим наближенням до реального рiвня знань [2].
3. Третш варiант - (stradaptive, вiд англ. stratified adaptive) тестування проводиться за допомогою на-борiв тестових завдань, розд^ених за рiвнями склад-ностi. При правильнш вiдповiдi наступне завдання береться з верхнього рiвня, при неправильному - з нижнього. Дощльшсть адаптивного контролю вить кае з мiркувань рацiоналiзацiï традицiйного процесу тестування, в якому з прагнення до об'ективносп вш студенти отримують однаковий набiр завдань.
Серед рiзних пiдходiв до тестування найб^ьша увага придiляеться так-званому адаптивному тесту-ванню на основi питань з фiксованим набором дина-мiчно-згенерованих вiдповiдей [3].
2. Основш проблеми використання iнформацiйних технологiй в освт
Основною проблемою процесу навчання е вщсут-нiсть чiткого контролю за яюстю засвоення матерiалу.
В системi вищоï освiти студенти повинш достат-ньою мiрою займатися не лише аудиторно, але й са-моосвггою, розширюючи своï знання в тш чи iншiй галузi науки. Проте, це передбачуване самостшне отримання знань залишаеться цiлком i повшстю на совiстi студента, i викладач, протягом семестру, абсолютно не може знати, хто саме iз студенев займаеть-ся самоосвiтою.
3i стрiмким розвитком мережi Internet проблема контролю знань ускладнюеться ще й тим, що навiть здача реферапв, а деколи, i курсових роби не гарантуе роботи студента з шформащею: як правило, студенти навиь не вважають за потрiбне повшстю прочитати i обробити те, що роздруковують з «МережЬ».
Контроль е засобом керування процесом навчання не пльки з боку викладача, але й студента шляхом самошдготовки i самоконтролю. Тому контроль повинен бути повсякденним i систематичним. Контрольш питання повинш ставитись у вщповщносп з системою контролю так, щоб забезпечити всебiчну перевiрку сутноси засвоеноï шформацп, вмiння ïï використовувати для розв'язання практичних задач. Зввдси го-ловна вимога до контролюючоï системи - гнучюсть
програми контролю i достатне охоплення предмету системою питань.
3. Аналiз шнуючих контролюючих систем
В класичнiй системi навчання (рис. 1) контролю-ючi системи е засобом зворотнього зв'язку вщ особи, яка навчаеться, до викладача, осюльки викладач контролюе ïï за допомогою системи. Тому система е засобом, що забезпечуе управлшня навчальним про-цесом.
Викладач — 4- Контролююча система —> <4— Об'ект навчання
\ i Консультащя викладача к
Рис. 1. Класична система навчання
З появою комп'ютерних технологш у викладача з'явилась можлившть знизити трудомiсткiсть шдго-товки контролю i обробки результатiв. В процесi використання iнтелектуальноi (адаптивно!) контролюючо! пiдсистеми зв'язок вiд особи, яка навчаеться, до викладача ввдбуваеться за схемою рис. 2.
Рис. 2. Адаптивна шдсистема навчання
Можна сказати, що контролююча шдсистема бере на себе частину функцш викладача:
- швидке отримання результапв випробування i звiльнення викладача вiд трудомштко! роботи з обробки результапв тестування;
- об'ективнiсть в оцшщ;
- конфiденцiйнiсть при анонiмному тестуванш;
- створюе позитивну мотивацiю у студенпв осюль-ки тестування на комп'ютерi е бiльш цiкавим в порiв-няннi з традицiйними формами опитування.
Тому використання адаптивна шдсистема в на-вчальному процеи звшьнюе частину часу викладача для сшвпращ зi студентами в iнших формах навчання.
При адаптивному тестуванш одним з можливих пiдходiв отримання експертно! ощнки знань студента е використання технологш штучного штелекту, зо-крема застосування експертних систем. Саме характеристики експертно! системи гарантують швидкий i простий спосiб побудови бази знань, яка вщображае знання викладача-експерта для аналiзу знань студента. Процес тестування в цьому випадку представляе собою консультацiю, керовану машиною логiчного виводу, в якш питання експертно! системи - завдання для тестування.
Важливим моментом систематичного програмного контролю знань е його об'ектившсть, що обумовлю-
еться перенесенням акценту з карально! функцп на ш-формативну. За тако! умови студент не буде «боятися контролю» i вигадувати способи отримання тдвище-но! оцiнки, а викладач отримае змогу бачити реальну картину знань учшв.
4. Основнi види тестування i вимоги до них
Зi всього рiзноманiття типiв стандартизованих те-стiв в освiтi використовують тести досягнень. Вони створювались для перевiрки результатiв навчання на рiзних ступенях здобування освiти, вимiрювання ефективносп програм i процесу навчання.
Тести бувають двох типiв: вiдкритi i закритi.
Завдання з вибором вщповщей вiдносяться до за-критих теспв:
1) завдання з вибором одше! правильно! вiдповiдi;
2) завдання з вибором декшькох правильних вщ-повщей;
3) тести на встановлення ввдповщностг,
4) тести на встановлення правильно'! послщовно-
стi.
Вiдкритi тести - завдання з вщкритою вiдповiддю:
1) завдання заповнення пропусюв, завершення думки;
2) завдання на формування або обчислення i вве-дення вiдповiдi.
У завданнях з вибором одше! правильно'! вщповвд, особа, що навчаеться, повинна вибрати один iз запро-понованих варiантiв, серед яких найчастiше тшьки один правильний. При складаннi подiбних завдань слiд керуватися наступними принципами.
1. Принцип однорщност i стислость Пiдбираються такi вiдповiдi, якi вщносяться до одного роду, вигля-ду, вщображають основнi сторони, гранi явища. Цей принцип застосовуеться в завданнях з рiзним числом вiдповiдей.
2. Принцип фасетноси змiсту завдання, який при-пускае варiативнiсть у формулюванш завдань на осно-вi ще! видiлення учбово! одиницi, що дозволяе ство-рювати комп'ютернi тести iз значним числом варiантiв одного i того ж завдання.
Особливiстю завдань з вибором декiлькох правильних вщповвдей е те, що тому, хто складае тест треба не тшьки знайти правильш вiдповiдi, але i визначити повноту свое! вщповда [6]. Отже, цi завдання формою важч^ нiж завдання з вибором одше! правильно! вщ-повiдi.
Не рекомендуеться негативне формулювання за-вдань, тобто, коли запитуеться про те, що не викори-стовуеться, не вщноситься, не робиться i так далi.
Майже в кожному предмет iснуе широка мож-лившть використання завдань вiдповiдностi. Цi завдання вимагають пiдбору вiдповiдно! вщповщь У завданнях вiдповiдностi (вiдновлення вщповщноси) необхiдно знайти вiдповiднiсть (або прирiвняти ча-стини, елементи, поняття) - мiж елементами двох спискiв (множин).
Звичайне завдання вщповщносп складаеться з двох стовпщв: у першому - питання, твердження, факти, поняття i т. д.; у другому йде список тверджень або властивостей, об'екпв, як треба поставити у вщ-повщшсть.
Завдання на встановлення вщповщносп дозво-ляють перевiрити, так зваш, асоцiативнi знання, що iснують в кожнш учбовiй дисциплiнi. Це знання про взаемозв'язок визначень i факпв, сутi i явищ, про ств-вiдношення мiж рiзними предметами, властивостями, законами, формулами, датами, авторiв i !х творiв, форм i змшту.
При складаннi завдань на встановлення вщпо-вiдностi використовуються вже назван принципи - фасетностi, стислiсть i точнiсть формулювань, зро-зумiлiсть для в«х випробовуваних i однорiдностi еле-ментiв груп.
Вiдiляють п'ять загальних вимог до теспв [5]:
- валвдшсть;
- визначенiсть (загальнозрозумiлiсть);
- простота;
- однозначшсть;
- надшшсть.
При реалiзацi! систем комп'ютерного тестування необхщно, на наш погляд, дотримуватися саме цих п'яти вимог до створюваних тесив. Але проблема комп'ютерного тестування сто!ть набагато гострiше. Необхщно динамiчно адаптувати наданi навчальнi матерiали, пiд конкретнi завдання для надання допо-моги пiд час проходження теспв, як на рiвнi тдка-зок, так i за допомогою прикладiв або пояснень. Для моделювання i своечасного корегування знань особи, що навчаеться, дощльно використовувати технологи штелектуального контролю знань.
5. 1нтелектуальш системи контролю знань
Засоби штелектуального контролю i тестування дозволяють проаналiзувати допущенi студентом по-милки, надаючи штенсивний зворотнiй зв'язок. Моделювання i своечасне корегування знань особи, яка навчаеться, дозволяе динамiчно адаптувати навчальш матерiали, що надаються, здшснювати допомогу у вирiшеннi завдань, як на рiвнi пiдказок, так i за допомогою прикладiв або пояснень.
При виршенш питання тдвищення ефективностi тестування для перевiрки якосп знань студентiв до-цiльно використовувати адаптивне тестування.
Адаптивне тестування(АТ) — це широкий клас методик тестування, яю передбачають змшу послщов-носи завдань в самому процесi тестування з урахуван-ням вiдповiдей студента на вже отримаш завдання. В процеа проходження тесту (або набору теспв) буду-еться модель особи, яка навчаеться, для подальшого використання при виборi наступних завдань тестування залежно вщ рiвня знань студента.
Адаптивне тестування - це такий контроль, який дозволяе регулювати складшсть i число завдань, що надаються кожному студенту залежно ввд його ввдпо-вiдi на поточне завдання: у разi правильно! вщповвд наступне завдання вiн отримуе важче, у разi неправильного - меншо! складностi.
Але, це вимагае попередньо! апробацп всiх завдань, визначення !х мiри складностi i створення банку за-вдань.
Найголовнiша характеристика завдань адаптивного тесту - це рiвень !х складностi, отриманий до-слiдним шляхом; це означае, що, перш шж потрапити
уз
База знань
в банк, кожне завдання проходить емтричну апроба-щю.
Адаптивним тестом можна вважати варiант авто-матизовано! системи тестування iз заздалегщь вщо-мими параметрами складностi i диференцiйованим пiдходом до кожного завдання. Ця система може бути створена у виглядi комп'ютерного банку завдань, впо-рядкованих вiдповiдно до характеристик завдань, що цiкавлять.
Адаптивне тестування i адаптивний тестовий контроль вимагають попереднього випробування всiх завдань, визначення 1х мiри складносп, а, також, ство-рення банку завдань i спецiальноi програми.
Адаптивним тестуванням називаеться така дiало-гова тестова програма, яка змь нюе порядок надання текстових завдань залежно ввд результатiв виконання випробовуваним вже пред'явлених завдань.
Дiалогова тестова програма дозволяе швидко отримувати результата теспв та звiльняе ви-кладача вiд трудомiсткоi працi по обробщ результатiв тестування.
Дiалогова тестова програма, що вмщуе завдання для перевiр-ки знань студента, використовуе багаторiвневе адаптивне тестування (рис. 3).
Тест починаеться з блоку ре-феративних питань. В залежносп вщ вiдповiдi студента тестуван-ня продовжуеться закритим або вщкритим тестом (вiдповiдно до неправильно! чи правильно! вщ-повiдi студента). Вщкритий тест дозволяе перевiрити поверхневi знання студента, якi вщобража-ють базовi знання з предмету. При устшному проходженнi за-критого тесту студент отримуе
певну суму балiв, яка вiдповiдае позитивнiй ощнщ. Для перевiрки глибини знань на наступному етат тестування студент вщповщае на уточнюючi питання, що дае можлившть пiдвищити оцiнку. Останнiй етап тестування - аналiз результатiв навчання (АРН).
При перевiрцi знань, неформальний характер про-цесу оцiнювання знань вимагае застосування комп'ю-терних теспв, якi важко пiддаються обробцi виклада-чем. Саме неформальнiсть знань як таких, i процесу перевiрки знань зокрема, дозволили виявити безлiч проблем в обласи комп'ютерного тестування, таких як необ'ектившсть оцiнювання, складнiсть розумшня студентами пiдготовлених питань, некоректна робота комп'ютерних систем i тому подiбне.
Мехатзм формуван-ня тест1в
Банк тестових завдань
Блок адаптивного прийняття р1шень
Рис. 4. Структура штелектуальноТ (адаптивно! ) контролюючоТ пiдсистеми
Вщкритий тест
Блок
реферативних
Закритий > тест
Уточнююч1 >■ питання
Рис. 3. Схема багаторiвневого адаптивного тестування для перевiрки знань
Для створення системи контролю знань, яка дозво-ляе будувати моде-лi знань викладача i студента та об'ектив-но оцiнювати знання i вмiння останнього, застосування шже-нерп знань i методiв теорп штучного iнте-лекту е актуальними.
Тому пропонуемо структуру штелек-туально! (адаптивно!) контролюючо! системи (рис. 4).
До особливостей ще! пiдсистеми можна вщнести:
1) формування банку тестових за-
вдань за допомогою мехашзму формування теспв з представлено! бази знань;
2) репрезентатившсть банку тестових завдань;
3) верифжащя результатiв тестування;
4) використання гомогенного тесту, тобто, оцшка рiвня навчальних досягнень студента за одшею на-вчальною дисциплiною.
Переваги штелектуально! (адаптивно!) тдсисте-
ми:
1) дозволяе гнучкiше пiдходити до оцiнки роботи студента в процеа навчання;
2) дозволяе оцшювати знання особи, що навча-еться, меншою кiлькiстю завдань, шж в класичнiй моделi;
3) виявляе теми, яю студент знае погано, i дозволяе задати по них ряд додаткових питань для виявлення прогалин у знаннях та усунути !х за допомогою засобу пояснень;
4) дозволяе корегувати i поповнювати знання сту-дентiв за допомогою механiзму формування теспв по темах, що потребують детальнiшого опрацювання;
5) дозволяе формувати у студента бажання в са-моконтролi та взаемоконтролi при наявност вiльного доступу до системи.
Отже, представлена структура штелектуально! (адаптивно!) пiдсистеми передбачае виконання го-ловно! вимоги до контролюючо! системи: гнучюсть програми контролю i достатне охоплення предмету системою питань.
Висновки
В данш робой пропонуеться структура штелекту-ально! (адаптивно!) пiдсистеми, що дозволяе тдви-щити ефективнiсть навчання за рахунок вщкритосп, багатофункцiональностi та адаптивностi.
Шдвищення контролю за якiстю засвоеного мате-рiалу досягаеться шляхом використання оцшки рiвня навчальних досягнень студента за одшею навчальною дисциплiною.
1нтелектуальна (адаптивна) тдсистема частково дозволяе оцiнити самостшно отриманнi знання студента протягом семестру за рахунок реферативних та уточнюючих питань, що вщображаеться в сумарнiй кшькосп отриманих ним балiв.
До переваг тако! адаптивно! iнформацiйно! системи можна вщнести:
1) можливiсть редагування банку теспв;
2) зменшення навантаження на викладача за рахунок передачi частини функцш адаптивнiй пiдсистемi контролю знань, а саме:
а) швидке отримання результатiв випробування i звiльнення викладача вiд трудомштко! роботи з оброб-ки результаив тестування;
b) об'ективнiсть в ощнщ;
c) конфiденцiйнiсть при анонiмному тестуванш;
3) тестування на комп'ютерi бшьш цiкаве в по-
рiвняннi з традицшними формами опитування, що створюе позитивну мотивацiю у студентiв.
Структура штелектуально! адаптивно! тдсистеми контролю знань е ушверсальною i не залежить вщ !! наповнення. Пiдсистему можна використовувати в рiзних адаптивних шформацшних системах без сут-тевих змш.
В перспективi передбачаеться розробка дiалогово'! тестово! програми, яка визначатиме початковий рiвень знань студента для подальшого оволодiння знаннями, вмiннями i навичками, вивчаючи глибину та обсяг !х засвоення.
Лiтература
1. Weiss, D. J. (In press). Computerized adaptive testing for effective and efficient measurement in counseling and education. Measurement and Evaluation in Counseling and Development, Special Issue on Technology in Testing. [Электронный ресурс]/. - \www/URL: http://psychol-ogy.wikia.com/wiki/ Adaptive_testing - 2004г. - Загл. с экрана.
2. Малкина О. И., Сошников Д. В. Создание интерактивных систем адаптивного тестирования в среде Интернет с использованием технологий искусственного интеллекта [Электронный ресурс] / Московский Авиационный Институт, г. Москва, Россия.— Режим доступа: \www/ URL: http://www.soshnikov.com/publications/olga_thesis. pdf. - Загл. с экрана.
3. Гагарш О.О. Дослщження i анашз метод1в та моделей ¡н-телектуальних систем безперервного навчання [Текст] / Гагарш О.О., Титенко С.В.//Науюж вют НТУУ «КП1».
- 2007. - № 6(56). - С. 37-48.
4. Тесты 2009 [Электронный ресурс] /по материалам ине-трент ресурса rusmedserver.ru .-\www/ URL http:// tests2009.ucoz.ua/adapt.html - декабрь 2009г.- Загл. с экрана.
5. Адаптивне тестування. Лекции проф. В.С. Авансова [Электронный ресурс] / Портал «Владивостокский государственный ушверситет экономики и сервиса».- \ www/ URLhttp://athena.vvsu.ru/carina/test/lec8.htm
- 2008 г.-Загл. с экрана.
6. Адаптивное обучение (АО) и адаптивный тестовый контроль (АТК) [Электронный ресурс] / информационно-методический сервер кафедры компьютерных технологий и систем владивостокского госуниверситета экономики и сервиса .- \www/ URL http://athena.vvsu. ru/carina/test/lec8.htm - 2009 г. - Загл. с экрана.
