CC BY
45
2014 № 8 (179). Выпуск 30/1
УДК 004.4, 004.9, 378.14
КОМПЬЮТЕРНАЯ ПОДДЕРЖКА ОЦЕНКИ РЕЙТИНГА ПРОФЕССИОНАЛЬНЫХ КОМПЕТЕНЦИЙ СТУДЕНТОВ В СФЕРЕ ИКТ
В статье предложена процедура системного оценивания рейтинга профессиональных компетенций студентов в сфере ИКТ на основе получения и обработки экспертной информации с применением парных сравнений.
Были введены категории рейтинга, представляющие собой словесные градации рейтинга, а также описан способ расчета численных значений рейтинга на основе значений показателей, характеризующих профессиональные компетенции студента.
В качестве основы получения информации об уровне профессиональных компетенций испытуемых необходимого для оценки их рейтинга предлагается использовать тестирование, которое реализовано следующим образом: ответы на вопрос - это перечень характеристик объекта сферы ИКТ с точки зрения выделенных направлений профессиональных ИКТ-компетенций; все ответы обладают разной степенью полноты описания объекта с заданной точки зрения.
Уровень профессиональных компетенций студентов в сфере ИКТ определяется на основе сопоставлений получаемых от них весомостей вариантов ответов с эталонными весомостями, для чего формируются меры близостей и градации интегральных оценок.
Для автоматизации описанной процедуры оценки рейтинга профессиональных компетенций студента в сфере ИКТ был разработан программный комплекс, реализующий тестирование с использованием метода анализа иерархий.
Ключевые слова: информационно-коммуникационные технологии, экспертное оценивание, парные сравнения, профессиональные компетенции, рейтинг.
Сфера информационно-коммуникационных технологий (ИКТ) — важнейшая сфера науки и техники с точки зрения обеспечения эффективности управления общественными и производственными процессами.
Поскольку под рейтингом понимается некоторая числовая величина, выраженная в многобалльной шкале и интегрально характеризующая успеваемость студента и его компетентность, то для определения рейтинга профессиональных компетенций студента необходимо вначале оценить уровень профессиональных компетенций студента, интегрально характеризующий его компетентность в сфере его будущей профессиональной деятельности.
Понятие профессиональной компетенции является многоаспектным, и относительная важность соответствующих частных профессиональных компетенций для формирования интегрального уровня профессиональных компетенций будет неодинакова для представителей разных видов профессий. Поэтому для оценки профессиональных компетенций целесообразно использовать многокритериальное оценивание.
Процедура системного оценивания уровня профессиональных компетенций должна быть построена таким образом, чтобы в результате ее применений выявлялись способности испытуемых к адекватному отражению степени полноты всех предлагаемых вариантов ответов на задаваемый вопрос. Для этого целесообразно воспользоваться идеологией экспертных процедур парных сравнений с комплексированием результатов на основе учета иерархичности и важности с точки зрения специализаций испытуемых (многокритериальное экспертное оценивание).
Была разработана процедура системного оценивания рейтинга профессиональных компетенций студентов в сфере ИКТ на основе получения и обработки экспертной
Н.П. ПУТИВЦЕВА С.В. ИГРУНОВА Т.В. ЗАЙЦЕВА Е.В. НЕСТЕРОВА А.Е. ЛЕКОВА К.В. НАЛИВКО
Белгородский
государственный
национальный
исследовательский
университет
e-mail:
информации с применением парных сравнений, включая способ формирования эталонного уровня профессиональных ИКТ-компетенций в виде упорядочивания весомостей сравниваемых описаний характеристик анализируемых объектов сферы ИКТ с привлечением «эталонных» экспертов и способ оценивания уровня и на его основе рейтинга профессиональных ИКТ-компетенций студентов на основе разработанных мер близости с полученным ранее эталонным упорядочиванием весомостей и градаций результирующих оценок.
В работе [1] была разработана структура направлений профессиональной деятельности в сфере ИКТ.
Рис. 1. Структура направлений профессиональной деятельности в сфере ИКТ
В соответствии с выделенными направлениями профессиональной деятельности специалистов в сфере ИКТ при оценивании уровня профессиональных компетенций специалистов в данной сфере предлагается оценивать профессиональные компетенции, отражающие все аспекты ИКТ сбора, хранения, обработки, передачи и выдачи в удобном для пользователя виде информации в ИТС.
Основные положения принципа оценивания уровня профессиональных компетенций студентов в сфере ИКТ:
1. Для оценки рейтинга профессиональных компетенций, интегрально характеризующего успеваемость студента и его компетентность в сфере ИКТ, необходимо вычислить показатели, характеризующие соответствующие профессиональные компетенции того или иного студента в данной профессиональной сфере. В качестве данных показателей предлагается рассматривать интегральный уровень профессиональных ИКТ-компетенций студента, уровень профессиональных компетенций студента по каждому из направлений профессиональных компетенций в сфере ИКТ, а также уровень устойчивости профессиональных компетенций.
2. Предлагается ввести категории рейтинга, представляющие собой словесные градации рейтинга, а также рассчитывать численные значения рейтинга на основе значений показателей, характеризующих профессиональные компетенции студента.
3. В качестве основы получения информации об уровне профессиональных компетенций испытуемых используется тестирование. Вопрос теста формулируется следующим образом: «Некоторый объект сферы ИКТ - это...».
Критерии
(Направления Профессионалы ИКТ-компет
Оценивание уровня профессиональных ИКТ-компетенций
Направление 1 (Собственно КТ) Направление 2 Направление 3 Направление 4 Направление 5
(Информационные (Информационная (Передача (Деятельность на
Хранилища) Безопасность) информации) рынке ИКТ)
Альтерна (характеристики объек сферы ИКТ с точк зрения направлений профессиональных компетенций)
Уровень
ответов
Рис. 2. Иерархия оценки вариантов ответов на вопрос теста
4. Ответы на вопрос - это перечень характеристик объекта сферы ИКТ с точки зрения выделенных направлений профессиональных ИКТ-компетенций. Все ответы обладают разной степенью полноты описания объекта с заданной точки зрения.
Вопрос: Некоторый объект сферы ИКТ - это...
Ответ 1. Характеристика объекта с точки зрения Направления 1 (Собственно Компьютерные технологии)
Ответ 2. Характеристика объекта с точки зрения Направления 2 (Информационные Хранилища) ... и т.д.
5. В результате обработки ответов испытуемого должно быть получено их упорядочивание по важности с вычислением соответствующих весомостей.
6. Уровень профессиональных компетенций студентов в сфере ИКТ определяется на основе сопоставлений получаемых от них весомостей вариантов ответов с эталонными весомостями, для чего формируются меры близостей и градации интегральных оценок.
7. Эталонный для сопоставлений уровень профессиональных ИКТ-компетенций определяется на основе предварительного формирования весомостей предъявляемых испытуемому ответов с помощью специалистов, квалификация которых не вызывает сомнений (эталонные эксперты).
8. Для получения количественных оценок уровня профессиональных компетенций студентов в сфере ИКТ и их рейтинга разрабатываются соответствующие решающие процедуры, включая меры близости полученных им упорядочиваний весомостей и эталонных упорядочиваний и основанные на этом градации интегральных оценок и категорий рейтинга студентов.
Испытуемый отвечает на вопросы теста, заполняет матрицы парных сравнений, сравнивая ответы. Тестируемый заполняет К матриц парных сравнений для каждого вопроса теста, сравнивая ответы по степени их полноты и близости к правильному ответу с точки зрения каждого из критериев сравнения. После обработки каждой из МПС вычисляется вектор локальных весомостей ответов с точки зрения указанного
(у Н у Н у и У
V 1* > 2* >•••> т ) , символ «Т» означает транспонирование.
Для оценивания интегрального уровня профессиональных компетенций студентов в сфере ИКТ весомости ответов по отдельных критериям предлагается комплексировать по критериям с помощью свертки.
к к ___
=1 К -К, 12„. = 1, г = 1,N
направления профессиональных знаний ^
к=1
г=1
где zir - интегральные весомости ответов испытуемого на г-й вопрос теста, і - номер варианта ответа, к - номер направления, К - количество направлений ИКТ-компетенций;
N - количество вопросов теста, Як, к = 1, К - весомости критериев - направлений
профессиональных ИКТ-компетенций - вычисляются с привлечением эталонных экспертов, ^киг - весомости ответов испытуемого на г-й вопрос по каждому из критериев сравнения - направлений ИКТ-компетенций.
Уровень профессиональных ИКТ-компетенций испытуемого определяется на основе сопоставления интегральных весомостей его ответов с весомостями, полученными в результате проведения испытаний с привлечением эталонных экспертов.
Для определения рейтинга профессиональных ИКТ-компетенций студентов предлагается ввести следующие категории, словесно характеризующие показатели профессиональных ИКТ-компетенций студентов: интегральный уровень
профессиональных ИКТ-компетенций, уровни профессиональных ИКТ-компетенций по отдельным направлениям профессиональных компетенций и уровень устойчивости профессиональных ИКТ-компетенций.
Предлагается ввести следующие категории рейтинга:
• «лучшие»
• «выше среднего»
•«средние»
• «ниже среднего»
• «проблемные»
В зависимости от сочетаний указанных показателей студент будет «попадать» в ту или иную категорию рейтинга профессиональных ИКТ-компетенций:
Если
Синт уров проф комп о"5" и V/ X о"5" и ^ уров устойч проф комп о" высокий"
^ рейтинг е " лучшие
^инт уров проф комп о"5" и Vк Бк о"4" иX о"5",/ Ф к,/ = 1,5 ^
Если
3X <"4" и уров устойч проф комп о"высокий" ^ рейтинг е "выше среднего"
Если
С инт уров проф комп о"5" и количество(" 4"< X, <"5")> 2Л
или
^ и уров устойч проф комп о"высокий или средний" у 'инт уров проф комп о"4" и 31: X о"5"и V,, к ФI, к е [1,5] X о"4" и 3 X <"4" и уров устойч проф комп о" высокий или средний"
^ рейтинг е "средние"
(инт уров проф комп <"4" и V/ X <"4" и 3 X >"4" и 3 X о"2'Л
Если
и уров устойч проф комп о"средний" у
или (инт уров проф комп о"4" и 3 X о"2"и и уров устойч проф комп о" низкий") (инт уров проф комп о"4" и 3 X о"2"и 3X ^"4" и ^
или
уров устойч проф комп о" низкий"
^ рейтинг е "ниже среднего"
(инт уров проф комп <"3" и 3X о"2" и Л Если ^ рейтинг е " проблемные"
уров устойч проф комп о" низкий" у
Численные значения рейтинга профессиональных компетенций студентов в сфере ИКТ предлагается находить по следующей формуле:
K
Re it = Q + ^ Rk • sk + K • I
к=1
где Reit - численное значение рейтинга
Q - интегральный уровень профессиональных компетенций
Rk - весомости направлений профессиональных ИКТ-компетенций, k=i,...,K, K -количество направлений профессиональных компетенций в сфере ИКТ, K=5 Sk - уровень профессиональных компетенций по направлениям ИКТ-компетенций I - интегральный уровень устойчивости профессиональных компетенций
Таблица 1
Определение уровня профессиональных ИКТ-компетенций студентов и уровня устойчивости компетенций
№ п/п Интеграль ная оценка Оценка по направлению Уровень устойчивости компетенций
Собственн о КТ Инф хранилища Инф безопасность ч П ае s р ф да Деятельность на рынке ИКТ
Студент 1 5 5 5 4 5 5 Высокий
Студент 2 5 4 5 5 5 5 Высокий
Студент 3 4 4 5 3 4 4 Средний
Студент 4 4 4 3 5 4 4 Средний
Студент 5 3 3 3 4 3 5 Низкий
Таблица 2
Определение рейтинга профессиональных компетенций студентов в сфере ИКТ
№ п/п Интегральная оценка Оценка по направлению Уровень устойчивости компетенций Численное значение рейтинга профессиональных компетенций Категория рейтинга профессиональных компетенций студента
Собственно КТ Инф хранилища Инф безопасность Передача инф Деятельность на рынке ИКТ
Студент 1 5 5 5 4 5 5 Высокий 14,12 «выше среднего»
Студент 2 5 4 5 5 5 5 Высокий 14,18 «выше среднего»
Студент 3 4 4 5 3 4 4 Средний 11,16 «ниже среднего»
Студент 4 4 4 3 5 4 4 Средний 11,34 «ниже среднего»
Студент 5 3 3 3 4 3 5 Низкий 9,05 «средние»
Для автоматизации описанной процедуры оценки рейтинга профессиональных компетенций студента в сфере ИКТ в среде Delphi 7 был разработан программный комплекс, реализующий тестирование с использованием метода анализа иерархий.
Программа работает в трех режимах: в режиме пользователя, эксперта и администратора. Пользователь - это испытуемый - студент, уровень и рейтинг профессиональных компетенций которого определяется. В режиме пользователя доступны функции открытия теста и ответа на вопросы. В режиме эксперта доступна оценка ответов и направлений знаний. В режиме администратора доступны все функциональные возможности программы, кроме оценки ответов и вопросов. При запуске программа автоматически переходит в режим пользователя.
Оценивание вопросов
Уровень 1 уровень знз
Уровень 2 Собственно И нф хранил Инф безопа Передача иі Д-ть на рын
Уровень 3 \А/еЬ-страни иИЬ Общение ко Эл.коммерц Ком. график
< Ы
Строк: 3 Столбцов: и |12
Суждения | Вопросы |
уровень 3 Собственно Инф кранилі Инф безопа Передача № Д-ть на рын
Собственно 1 1 1 1 1
Инф кранилі 1 1 1 1 1
ИнФ безопа 1 1 1 1 1
Передача иь 1 1 1 1 1
Д-ть на рын 1 1 1 1 1
I
Инициализировать иерархию Рассчитать весомости
Рис. 3. Форма оценивания иерархии
✓ о*
Оценка ответов
ВВ 11^1
Вопросы
Ответы с весами
12 Форма на \^/еЬ-страницых -
13 Протокол
14 ПО
15 ОС
16 Вирус
17 Файл □
-
Матрица парных сравнений ответов
единица орг хранимая ин это совокуп сущность, п совокупное!
Ответ Вес □
1 единица организац 0,20
2 хранимая информа 0,20
3 это совокупность д 0,20
4 сущность, П03В0ЛЯ 0,20
5 совокупность запи 0,20
' и ►
единица орг 1 I
хранимая и^РАВНАЯ ▼ | 1
[РАВНДР РАВНАР^ |РАВНАР^
это совокуп|РАВНАР^ |РАВНАР^ 1 |РАВНАЯ^ [ВДНАРТ]
сущность, п|РАВНАЯ_^ЛРАВНА?_^ЛРАВНА?_^| 1 [РАВНАрТ]
совокїпносі| РАВ НАР ^ | РАВ НАР ^ |РАВ НАР _^| РАВНАР^ 1
А
ис = одт
Рис. 4. Вид формы оценки ответов эксперта
Рис. 5. Вид формы оценивания ответов испытуемого
После ответа испытуемого на последний вопрос теста программой автоматически создается Файл протокола тестирования. Файл создается в каталоге программы. В Файле протокола тестирования выводятся данные о каждом вопросе теста оценки уровня профессиональных компетенций: номер вопроса теста, оценка ответов, оценка эталонных ответов, весомости ответов по направлениям знаний, на других листах формируется сводная таблица рейтинга. На одном листе формируется таблица, содержащая ФИО и количественные показатели по каждому студенту: сводные данные об итоговой оценке уровня профессиональных компетенций испытуемого, об оценках по каждому из направлений профессиональных компетенций, об уровне устойчивости компетенций тестируемого, а также о его рейтинге. Второй лист представляет собой диаграмму линейчатого типа, источник данных которой настроен на таблицу с результатами расчета.
Список литературы
1. Жиляков, Е.Г. Системная модель направлений профессиональной деятельности в сфере информационно- коммуникационных технологий (ИКТ) / Е.Г. Жиляков, С.П. Белов, С.В. Игрунова, С.Н. Девицына, Н.П. Путивцева // Известия ОрелГТУ. Информационные системы и технологии. - 2009. - № 5 - С. 56-65.
2. Кильдеева, Н.Р. Использование рейтинговой оценки знаний студентов в МГТУ им. А.Н. Косыгина. / Н.Р. Кильдеева, Н.И. Максимов // Материалы межвузовской научнометодической конференции «Проблемы введения системы зачетных единиц в вузе». - М., 2005,
С.59-65.
3. Коренев Ю.М., Сипачев В.А. Опыт создания и применения системы рейтинга// Журнал ВХО им. Д.И. Менделеева. - 1998.- №3. С.323-327.
4. Олейник, Н.М. Тест как инструмент измерения уровня знаний и трудности заданий в современной технологии обучения: Учебное пособие / Н.М. Олейник. - Донецк: ДГУ. [Электронный ресурс] Режим доступа http://opentest.com.ua/test-kak-instrument-izmereniya-urovnya-znanij/.
5. Путивцева Н.П. Разработка процедуры обработки информации при оценивании уровня профессиональных знаний в сфере ИКТ на основе парных сравнений / Н.П. Путивцева // Научные ведомости БелГУ. Серия История. Политология. Экономика. Информатика. - 2011. - №7 (102), вып. 18/1. - С. 152-161.
COMPUTER SUPPORT OF THE ASSESSMENT OF RATING OF PROFESSIONAL COMPETENCE OF STUDENTS IN THE ICT SPHERE
N.P. PUTIVZEVA S.V. IGRUNOVA T.V. ZAITSEVA E.V. NESTEROVA A.E. LEKOVA K.V. NALIVKO
Belgorod State National Research University
e-mail:
The paper proposes a procedure of system estimating of the rating of professional competencies of students in the sphere ICT - on the basis of receipt and processing (handling) of expert information with use of pairwise comparisons .
Rating categories, representing verbal rating gradations, were introduced, and a method for calculating the numerical values of the ranking based on the values of indicators characterizing the professional competence of the student, was described.
As a basis of obtaining information about the level of professional competence of respondents that is required to assess their rankings are encouraged to use testing, which is implemented as follows: Answers to the question is a list of characteristics of the object of the ICT sector in terms of the preferred directions of professional ICT competencies; all answers have a different degree of completeness of the object description from a given point of view.
Level of professional competencies of students in the field of ICT is based on the basis of comparisons of the weighing answers obtained from them, with etalon weights, with the forming a measure of closeness and gradation of integral estimates.
To automate this procedure of assessment of the rating of professional competencies of students in the ICT sphere, software package that implements the testing using the analytical hierarchical procedure (AHP), was designed.
Keywords: information and communication technology, expert evaluation, paired comparisons, professional competence, rating.
