Подход к сравнению по уровню начальной подготовки учебных подгрупп слушателей по направлению переподготовки администрирование сетей Текст научной статьи по специальности «Науки об образовании»

Интернет-журнал «Науковедение» ISSN 2223-5167 http ://naukovedenie.ru/

Том 8, №6 (2016) http ://naukovedenie.ru/vol8-6 .php

URL статьи: http://naukovedenie.ru/PDF/96TVN616.pdf

DOI: 10.15862/96TVN616 (http://dx.doi.org/10.15862/96TVN616)

Статья опубликована 13.12.2016

Ссылка для цитирования этой статьи:

Белоус В.В., Спиридонов С.Б., Постников В.М. Подход к сравнению по уровню начальной подготовки учебных подгрупп слушателей по направлению переподготовки администрирование сетей // Интернет-журнал «НАУКОВЕДЕНИЕ» Том 8, №6 (2016) http://naukovedenie.ru/PDF/96TVN616.pdf (доступ свободный). Загл. с экрана. Яз. рус., англ.

УДК 519.23

Белоус Валентина Владимировна

ФГБОУ ВО «Московский государственный технический университет им. Н.Э. Баумана (национальный исследовательский университет)», Россия, Москва1 Доцент кафедры «Системы автоматизированного проектирования»

Кандидат технических наук E-mail: [email protected]

Спиридонов Сергей Борисович

ФГБОУ ВО «Московский государственный технический университет им. Н.Э. Баумана (национальный исследовательский университет)», Россия, Москва Доцент кафедры «Системы обработки информации и управления»

E-mail: [email protected]

Постников Виталий Михайлович

ФГБОУ ВО «Московский государственный технический университет им. Н.Э. Баумана (национальный исследовательский университет)», Россия, Москва Доцент кафедры «Системы обработки информации и управления»

Кандидат технических наук E-mail: [email protected]

Подход к сравнению по уровню начальной подготовки учебных подгрупп слушателей по направлению переподготовки администрирование сетей

Аннотация. Рассмотрен подход к сравнению по уровню начальной подготовки небольших по численности, от трех до пятнадцати человек, учебных подгрупп слушателей, которые поступают на переподготовку по направлению администрирование сетей. Подгруппы слушателей формируют в той организации, которая направляет их на переподготовку, и эти подгруппы являются неделимыми единицами. После парного сравнения подгрупп слушателей, подгруппы, близкие по уровню начальной подготовки, объединяют в группы. Подход направлен на формирование групп слушателей из набора подгрупп, с близким уровнем начальной подготовки, для обеспечения эффективной организации дальнейшего процесса обучения слушателей.

1 105005, Москва, 2-я Бауманская ул., д. 5, стр. 1

Уровень начальной подготовки слушателей определяют по результатам индивидуальной аттестации слушателей и оценивают числом баллов, набранных ими за выполнение набора тестовых заданий за рабочее время проведения тестирования. Проведен анализ подходов к обработке результатов тестирования небольших по численности подгрупп слушателей. Показано, что для выявления степени близости слушателей небольших подгрупп по уровню начальной подготовки, следует использовать ранговые критерии. На основе анализа ранговых критериев рекомендованы к использованию наиболее простые и удобные для практического применения критерии, позволяющие сравнивать две независимые выборки по степени их близости: критерий Манна-Уитни и двухвыборочный критерий Вилкоксона. Для качественного сравнения подгрупп слушателей, рекомендуется использовать эмпирическое корреляционное отношение и вербально-числовую шкалу Чеддока.

Рассмотрен пример, иллюстрирующий особенности использования предложенных критериев для сравнительной оценки уровня начальной подготовки слушателей учебных подгрупп, и принятия решения по формированию, из имеющегося набора подгрупп, сбалансированных групп.

Ключевые слова: переподготовка администраторов сетей; обработка результатов тестов; критерий Манна-Уитни; двухвыборочный критерий Вилкоксона эмпирическое корреляционное отношение; шкала Чэддока

Введение

Бурное развитие вычислительной техники способствует широкому внедрению автоматизированных систем обработки информации и управления (АСОИиУ) практически во все отрасли народного хозяйства. Необходимость эффективного использования АСОИиУ ставит перед высшей школой задачу подготовки и переподготовки для народного хозяйства квалифицированных специалистов по обслуживанию, сопровождению, модернизации и реорганизации АСОИиУ, т.е. инженеров по эксплуатации, администраторов сетей, инженеров - системотехников [1-3].

Это в свою очередь требует от вузов постоянного совершенствования учебного процесса, методов и методик преподавания учебных дисциплин, направленных на переподготовку кадров по обслуживанию автоматизированных систем, а также подходов к формированию учебных групп.

В современных условиях качество учебного процесса определяется в основном двумя составляющими: качеством условий и качеством результатов. [4]. Качество условий состоит в возможности использования современных образовательных методов и методик для переподготовки кадров на базе информационных и коммуникационных технологий, а качество результатов - это полученные слушателями знания, умения и навыки, которые помогут им успешно и эффективно решать производственные задачи.

При этом на качество полученных знаний влияет большое число факторов: качество учебно-методических материалов, профессиональная компетентность преподавателей, качество материально-технической оснащенности образовательного процесса переподготовки кадров, а также в значительной степени и среда переподготовки кадров, т.е. состав слушателей учебной группы [5-7]. Сбалансированный, однородный или близкий по уровню начальной подготовки, состав слушателей учебной группы способствует раскрепощению, развитию и совершенствованию творческого потенциала слушателей, а также предоставляет преподавателю возможности использования в учебном процессе инновационных педагогических приемов и подходов обучения.

Для оценки уровня начальной подготовки слушателей обычно используют различные системы тестового контроля, подробно рассмотренные в [8-11], и учитывающие при аттестации слушателей уровень их знаний, умений и навыков.

Однако, согласно [11], анализ основных положений существующих математических теорий обработки результатов тестирований, в том числе и современной теории обработки результатов тестирования IRT (Item Response Theory), показал, что их практическое применение в ряде случаев вызывает определенные затруднения. Это касается, в частности, и сравнения уровней начальной подготовки небольших по численности учебных подгрупп слушателей, поскольку не обеспечивает требуемый уровень корректности получаемых результатов.

Поэтому разработка математических методов и подходов, позволяющих корректно проводить сравнительную оценку уровней начальной подготовки небольших по численности подгрупп слушателей, от 3 до 15 человек с учетом результатов аттестационного тестирования этих слушателей, является весьма актуальной.

Постановка задачи

Необходимо разработать подход к сравнительной оценке уровня начальной подготовки небольших по численности подгрупп слушателей, направленных на переподготовку по направлению администрирование сетей, учитывающий результаты их индивидуальной аттестации, оцениваемые числом баллов, набранных за выполнение набора тестовых заданий за рабочее время тестирования.

Подход к решению задачи

Обычно для сравнения несвязных выборок результатов тестирования двух подгрупп слушателей используют критерий Стьюдента [12-13]. Однако этот критерий основан на допущении, что исследуемый признак подчиняется нормальному распределению. Это условие на малых выборках практически не выполняется и поэтому применение критерия Стьюдента в таких случаях не совсем корректно [14-15]. Корректнее применять непараметрические методы анализа данных, которые не требуют нормального закона распределения данных, не используют параметры генеральной совокупности. При использовании этих методов осуществляют ранжирование абсолютных значений данных, что позволяет нивелировать эффект скошенности распределения. Основу непараметрических методов анализа данных составляют ранговые критерии.

Простыми в использовании и наиболее распространенными непараметрическими статистическими критериями являются: критерий Манна-Уитни [13] и двухвыборочный критерий Вилкоксона [16-17].

При этом обычно считают, что критерий Манна-Уитни и двухвыборочный критерий Вилкоксона являются непараметрическими аналогами критерия Стьюдента для несвязанных выборок малого объема, от 3 до 20 испытаний [13, 16]. Согласно [17-19] оба эти критерии достаточно мощные и при практическом использовании дают очень близкие результаты.

Основные условия практического применения этих критериев следующие:

• наличие двух групп несвязанных выборок, каждая размером не менее трех;

• наличие количественного или порядкового признака, по которому осуществляют сравнение выборок, например, число баллов, набранных каждым

слушателем, в процессе выполнения тестовых заданий, за рабочее время тестирования;

• отсутствие требования на нормальность распределения, предъявляемого к выборкам, например, к распределению баллов, набранных слушателями подгруппы в процессе выполнения набора тестовых заданий.

Для сравнения результатов тестирования двух подгрупп, небольших по количеству слушателей, также можно применять комбинированный подход, основанный на расчете эмпирического коэффициента детерминации и использовании вербально-числовой шкалы Чеддока. Согласно [20] этот подход является достаточно эффективным средством качественного сравнения двух небольших по размеру выборок.

При этом следует иметь в виду, что результатами тестирования слушателей являются баллы, которые они набрали в процессе решения набора тестовых заданий, общих для двух групп. Каждое задание из этого набора оценивается степенью выполнения задания и максимально возможным числом баллов за правильное выполнение этого задания. После выполнения полного набора тестовых заданий, каждый слушатель получает баллы, оценивающие уровень его начальной подготовки. Баллы, набранные слушателем, вычисляют по формуле:

X.. = У Р.

X

Я

Я = 1

X

К - сумма баллов, которую набрал -ый слушатель К -ой группы по результатам выполнения набора тестовых заданий;

Я - максимальный балл, который дают слушателю за правильное выполнение Я -го тестового задания;

Р ! Я

- уровень правильного выполнения ^ -ым слушателем 1 -ой группы 6 -го тестового

задания

2 - количество тестовых заданий, входящих в набор для проведения аттестации слушателей.

Рассмотрим особенности практического применения предложенных подходов для сравнения результатов тестирования двух небольших по численности подгрупп слушателей, направленных на переподготовку по направлению администрирование сетей, с целью сравнения уровня их начальной подготовки.

г

Сравнение результатов тестирования двух подгрупп слушателей на основе критерия Манна-Уитни

1. Определяют численный состав слушателей каждой из двух подгрупп, которые

П Пп

проходят тестирование, соответственно значения 1 и 2 .

2. Для каждой подгруппы слушателей осуществляют ранжирование индивидуальных результатов тестовых испытаний слушателей, т.е. набранных ими баллов, в порядке их не увеличения, начиная с максимального числа набранных слушателями баллов за выполнение набора тестовых заданий.

3. Составляют единый для двух подгрупп слушателей ранжированный ряд результатов тестирования (баллов) в порядке их не увеличения, начиная с максимального числа набранных слушателями баллов.

4. Заменяют единый ранжированный ряд результатов тестирования слушателей (баллов) на единый ряд соответствующих им рангов. При этом наибольшему баллу присваивают ранг 1, следующему по величине - ранг 2 и т.д. Если имеют два и более одинаковых результата тестирования, то им присваивают средний ранг, соответствующий их месторасположению в едином ранжированном ряду результатов тестирования. Такие результаты тестирования принято называть связанными. Численное значение ранга каждого

из связанных результатов тестирования вычисляют по следующей формуле:

*

п + 1 г = п + к

к к 2

(1)

где: к - значение ранга, который присваивают результатам тестирования, входящим в состав к -ой группы связности;

п

к - количество результатов тестирования, которые имеют более важный ранг, чем

результаты тестирования, входящие в состав к -ой группы связности;

*

п

к - количество результатов тестирования, которые входят в состав к -ой группы связности.

5. Разделяют единый ряд рангов на два ряда, соответственно относящихся к первой и второй подгруппам слушателей, участвующих в тестировании.

6. Подсчитывают отдельно сумму рангов, которую набрала каждая подгруппа слушателей, по формуле

г

у

я = х

^ (2)

где: Я' - сумма рангов, которую набрала 1 -ая подгруппа слушателей;

г 1

1 - ранг, который имеет ^ - ыи слушатель входящий в состав 1 -ой подгруппы;

п .

1 - число слушателей в составе 1 -ой подгруппы.

7. Определяют большую из двух ранговых сумм (Ят ) и соответствующую ей

п

численность группы т

Ят = т ах( Я1, Я 2) (3)

8. Вычисляют эмпирическое значение и-критерия Манна-Уитни по формуле:

п

и э = п ■ й + "пт + _ я э 1 2 2 1

(4)

и,

9. Определяют табличное критическое значение и-критерия Манна-Уитни ( т )

для численных значений слушателей подгрупп 1 и 2 и уровня значимости а по таблице, приведенной в приложении 1. При этом обычно считают, что а = 0'0 5 .

с и„ < и т

Если э т, то принимают гипотезу, свидетельствующую о том, что с вероятностью

(1 _ а)

различия между результатами тестирования двух подгрупп слушателей являются значимыми. В этом случае считают, что подгруппы слушателей существенно отличаются по уровню начальной подготовки и их не следует объединять в одну учебную группу переподготовки.

Т-. и„ > иг (1 _ а)

Если э т, то с вероятностью у ' различия между результатами тестирования двух подгрупп слушателей отсутствуют. В этом случае считают, что подгруппы слушателей практически не отличаются по уровню начальной подготовки и их можно включать в одну учебную группу переподготовки.

Сравнение результатов тестирования двух подгрупп слушателей на основе двухвыборочного критерия Вилкоксона

1. Выполняют первые семь пунктов сравнения результатов тестирования двух подгрупп слушателей на основе критерия Манна-Уитни и определяют значения п 1 , п 2 и Ят ,

Г п, < и

при этом подгруппы нумеруют так, чтобы выполнялось условие 1 2 .

2. Определяют общее число слушателей двух подгрупп (п), участвующих в тестировании

п = п + п2

(5)

-3 г» М (V ) В (V )

3. Определяют математическое ожидание 4 ' и дисперсию 4 ' статистики

Вилкоксона соответственно по формулам:

М (V ) =

п (п + 1)

(6)

В (V ) =

п1 ' п2(п + 1) 12

(7)

4. Определяют нормированную и централизованную Т-статистику Вилкоксона по формуле:

т =

Я _ М (V )

2 Я _ п ( п +1) 11

4В(V) £

п (п +1)/3 2

(8)

2

5. Сравнивают уровни начальной подготовки слушателей подгрупп на основе Т-статистики Вилкоксона. Определяют по табл. 1 табличное значение Т-статистики Вилкоксона

для уровня значимостиа , обычно считают, что а = 0,05

Таблица 1

Т-статистика Вилкоксона

(1 - а ) 0,9 0,91 0,92 0,93 0,94 0,95 0,954 0,96 0,975 0,99

Т т 1,645 1,695 1,75 1,812 1,884 1,96 2 2,05 2,24 2,57

Т-. Т > Т (1 - а)

Если т , то с вероятностью у ' различия между результатами тестирования

Я,

Я

двух подгрупп слушателей, т.е. между суммарными рангами 1 и 2 баллов слушателей подгрупп, являются значимыми. В этом случае считают, что подгруппы слушателей существенно отличаются по уровню начальной подготовки и их не следует объединять в одну учебную группу переподготовки.

п Т < Т (1 - а)

Если т , то с вероятностью различия между результатами тестирования

двух подгрупп слушателей практически отсутствуют. В этом случае считают, что подгруппы слушателей практически не отличаются по уровню начальной подготовки и их можно включать в одну учебную группу переподготовки.

Сравнение результатов тестирования двух подгрупп слушателей на основе эмпирического коэффициента детерминации и вербально-числовой шкалы Чеддока

1. Вычисляют средние значения и дисперсии количества баллов, набранных слушателями каждой из двух подгруппы в процессе выполнения набора тестовых заданий, по формулам:

п . 1

X = 1

2 ХЦ 7 = 1

п . 1

для 2

1 = 1,2

2 (Хи - Х1 )

2 1 = 1 ст . = -

для

1 = 1,2

(9)

(10)

п

1 - количество слушателей в 1 -ой подгруппе; п - суммарное количество слушателей в обеих подгруппах;

1 7 = ^^г....п *

- порядковый номер слушателя в подгруппе 1 ;

1 - номер подгруппы, в которую включен слушатель 1 = 1, 2;

п

п

X..

К - количество баллов, которое набрал -ый слушатель ' -ой подгруппы в процессе выполнения набора тестовых заданий;

X.

К - среднее число баллов, набранных слушателем 1 -ой подгруппы, в процессе выполнения набора тестовых заданий;

ст .

К - дисперсия числа баллов слушателей 1 ой подгруппы при выполнении набора тестовых заданий.

2. Вычисляют среднее число баллов слушателей, общее для обеих подгрупп ( X ),

2

и среднее значение внутригрупповых дисперсий баллов слушателей ( с ) по формулам:

2

X =

У X . ' п У к К К = 1

(11)

У ст К ' пК

2 К = 1

ст с = -

(12)

3. Вычисляют межгрупповую дисперсию (ст м ) числа баллов, набранных слушателями по формуле:

У (^ _ X ) ' п1

2 К = 1

ст м =

(13)

4. Вычисляют общую дисперсию (ст ) числа баллов, набранных слушателями по формуле:

2 2 2

ст = ст с + ст м

(14)

- К

2

5. Вычисляют эмпирический коэффициент детерминации ( К ) и эмпирическое корреляционное отношение ( К ) соответственно по формулам:

2

К

2

2

(15)

К =

ст

м

ст

(16)

,К

2

Показатель ( К ) представляет собой долю межгрупповой дисперсии в общей дисперсии и характеризует степень различия уровней начальной подготовки слушателей двух

п

2

2

п

2

2

2

п

2

ст

м

ст

2

подгрупп. Так, например, при значении " ' имеем, что 80% вариации количества набранных слушателями баллов обусловлено принадлежностью слушателей к разным подгруппам. Показатель К показывает тесноту связи между уровнем начальной подготовки слушателей и принадлежностью их к определенным подгруппам.

Для качественной оценки тесноты связи на основе показателя эмпирического корреляционного отношения следует использовать соотношения Чэддока [20], приведенные в табл. 2.

Таблица 2

Качественная оценка тесноты связи по Чэддоку

Показатель К 0,1 - 0,3 0,3 - 0,5 0,5 - 0,7 0,7 - 0,9 0,9 - 1,0

Сила связи Слабая Умеренная Заметная Тесная Весьма тесная

Согласно табл. 2 имеем: если эмпирическое корреляционное отношение, т.е. К > 0'5 , то сравниваемые подгруппы слушателей заметно отличаются по уровню начальной подготовки и их не следует объединять в одну учебную группу переподготовки; а если

К < 0 5

_ ' , то различие в уровне начальной подготовке не очень заметное и сравниваемые подгруппы можно объединять в одну учебную группу.

Пример. Рассмотрим пример, который носит иллюстративный характер и показывает возможность применения предложенного подхода в практической деятельности.

На переподготовку кадров по администрированию сетей подали заявки четыре организации. Каждая организация сформировала свою подгруппу слушателей и не допускает ее дальнейшего деления. Каждая подгруппа включает пять слушателей. Баллы, набранные слушателями подгрупп в процессе индивидуального выполнения одинакового для всех слушателей начального тестового набора из 20 заданий, приведены в табл. 3. Максимальная оценка за правильно выполненное задание составляла пять баллов. Если задание выполнено не полностью, то, в зависимости от степени его выполнения, каждый слушатель получал ноль, один, два, три или четыре балла.

На основании имеющегося набора исходных данных необходимо сформировать из четырех подгрупп слушателей группы переподготовки так, чтобы эти группы содержали подгруппы слушателей, близкие по уровню начальной подготовки.

Таблица 3

Баллы, набранные слушателями подгрупп за выполнения тестового набора заданий

Подгруппа Порядок расположения баллов, набранных слушателями подгрупп, по

результатам выполнения набора тестовых заданий

ПГ1 85 77 70 69 65

ПГ2 90 88 82 79 78

ПГ3 89 86 81 80 79

ПГ4 84 73 72 70 68

Используем критерий Манна-Уитни для сравнения результатов выполнения тестовых заданий слушателями подгрупп, т.е. баллов набранных ими. Попарно сравниваем все подгруппы по результатам выполнения тестовых заданий слушателей этих подгрупп. Для этого последовательно выполняем первые пять этапов расчета, указанные при использовании критерия Манна-Уитни, и полученные результаты заносим в табл. 4 - табл. 9.

Таблица 4

Сравнительный анализ первой и второй подгрупп по баллам, набранным слушателями

Подгруппа Порядок расположения баллов и соответствующих им рангов

ПГ1 85 77 70 69 65

ПГ2 90 88 82 79 78

Ранг баллов общий 1 2 3 4 5 6 7 8 9 10

Ранг баллов ПГ1 3 7 8 9 10

Ранг баллов ПГ2 1 2 4 5 6

Таблица 5

Сравнительный анализ первой и третьей подгрупп по баллам, набранным слушателями

Подгруппа Порядок расположения баллов и соответствующих им рангов

ПГ1 85 77 70 69 65

ПГ3 89 86 81 80 79

Ранг баллов общий 1 2 3 4 5 6 7 8 9 10

Ранг баллов ПГ1 3 7 8 9 10

Ранг баллов ПГ3 1 2 4 5 6

Таблица 6

Сравнительный анализ первой и четвертой подгрупп по баллам, набранным слушателями

Подгруппа 1орядок расположения баллов и соответствующих им рангов

ПГ1 85 77 70 69 65

ПГ4 84 73 72 70 68

Ранг баллов общий 1 2 3 4 5 6,5 (*) 6,5 (*) 8 9 10

Ранг баллов ПГ1 1 3 6,5 8 10

Ранг баллов ПГ4 2 4 5 6,5 9

(*) Для двух одинаковых баллов у слушателей, ранг баллов определяют по формуле (1)

Таблица 7

Сравнительный анализ второй и третьей подгрупп по баллам, набранным слушателями

Подгруппа Порядок расположения баллов и соответствующих им рангов

ПГ2 90 88 82 79 78

ПГ3 89 86 81 80 79

Ранг баллов общий 1 2 3 4 5 6 7 8,5 (*) 8,5 (*) 10

Ранг баллов ПГ2 1 3 5 8,5 10

Ранг баллов ПГ3 2 4 6 7 8.5

(*) Для двух одинаковых баллов у слушателей, ранг баллов определяют по формуле (1)

Таблица 8

Сравнительный анализ второй и четвертой подгрупп по баллам, набранным слушателями

Подгруппа Порядок расположения баллов и соответствующих им рангов

ПГ2 90 88 82 79 78

ПГ4 84 73 72 70 68

Ранг баллов общий 1 2 3 4 5 6 7 8 9 10

Ранг баллов ПГ2 1 2 4 5 6

Ранг баллов ПГ4 3 7 8 9 10

Таблица 9

Сравнительный анализ третьей и четвертой подгрупп по баллам,

набранным слушателями

Подгруппа Порядок расположения баллов и соответствующих им рангов

ПГ3 89 86 81 80 79

ПГ4 84 73 72 70 68

Ранг баллов общий 1 2 3 4 5 6 7 8 9 10

Ранг баллов ПГ3 1 2 4 5 6

Ранг баллов ПГ4 3 7 8 9 10

Для статистической обработки данных, приведенных в табл. 4 - табл. 9, последовательно выполняем этапы с 6-го по 9-ый, указанные при использовании критерия Манна-Уитни.

Для каждой таблицы используем формулы (2), (3) и (4). Результаты, полученные с помощью этих формул, сведены в табл. 10.

Таблица 10

Итоговые результаты парного сравнения подгрупп по критерию Манна-Уитни

Сравниваемые подгруппы Значения рангов баллов подгрупп Значение и э Различие в уровне знаний подгрупп Объединять в одну группу подгруппы

ПГ1 и ПГ2 Я1 = 37 Я2 = 18 Ят = Я1 = 37 и э = 3 и„ < и = 4 э Т Различие имеется Не следует объединять

ПГ1 и ПГ3 Я1 = 37 Я3 = 18 = Я1 = 37 и э = 3 иэ <иТ = 4 Различие имеется Не следует объединять

ПГ1 и ПГ4 Я, = 28,5 Я = 26,5 1 ' 4 ' = Я[ = 28,5 и э = 11,5 и, > и = 4 э Т Различия нет Следует объединять

ПГ2 и ПГ3 Я2 = 27,5 Я = 27,5 Ят = Я 2 = Я 3 = 27,5 иэ = 12,5 и а > и = 4 э Т Различия нет Следует объединять

ПГ2 и ПГ4 Я = 18 Я = 37 2 4 Ят = я4 = 37 и э = 3 и „ < и = 4 э Т Различие имеется Не следует объединять

ПГ3 и ПГ4 Яз = 18 Я4 = 37 Я = Я = 37 т 4 и э = 3 и„ < и = 4 э Т Различие имеется Не следует объединять

На основании результатов, полученных с помощью критерия Манна-Уитни, приведенных в табл. 10, следует слушателей подгрупп ПГ1 и ПГ4 объединить в одну учебную группу, переподготовки а слушателей подгрупп ПГ2 и ПГ3 в другую группу переподготовки.

Используем двухвыборочный критерий Вилкоксона и проводим для исходных данных примера 1, приведенных в табл. 3, аналогичный анализ Баллы, набранные слушателями подгрупп, и ранги, соответствующие этим баллам, при парном сравнении подгрупп, были рассчитаны ранее при использовании критерия Манна - Уитни и приведены в табл. 4 - табл. 9.

Для статистической обработки данных, приведенных в табл. 4 - табл. 9, последовательно выполняем этапы с 2-го по 5-ый, указанные при использовании двухвыборочного критерия Вилкоксона. Для каждой из таблиц (табл. 4 - табл. 9) последовательно используем формулы (5), (6), (7) и (8). Результаты, полученные с помощью этих формул, сведены в табл. 11.

При этом следует иметь в виду, что поскольку в каждой из подгрупп одинаковое число слушателей, равное пяти, то при сравнении любых двух подгрупп, математическое ожидание

М (Ж ) В (Ж ) о

у ' и дисперсия у ' статистики Вилкоксона, соответственно вычисленные по

формулам (6) и (7), будут иметь следующие значения:

(n + 1) 5 • (10 + 1)

M (W ) = —-= -= 2 7,5

2 2

n

• n2 (n + 1) 5 • 5(io + 1)

= 2 2,92

тогда

Таблица 11

D (W > = —12-= —^ = 22,92 тогля ^ = 4,79

Итоговые результаты парного сравнения подгрупп по двухвыборочному критерию Вилкоксона

Сравниваемые подгруппы Значения рангов баллов подгрупп Значение T Различие в уровне знаний подгрупп Объединять в одну группу подгруппы

ПГ1 и ПГ2 Я1 = 37 Д2 = 18 T = 1,98 Т > Т = 1,96 Т Различие имется Не следует объединять

ПГ1 и ПГ3 Я1 = 37 Я3 = 18 T = 1,98 Т > Т = 1,96 Т Различие имеется Не следует объединять

ПГ1 и ПГ4 Я1 = 28,5 Я = 26,5 4 ' T = 0,209 Т < Т = 1,96 Т Различия нет Следует объединять

ПГ2 и ПГ3 Я2 = 27,5 Я = 27,5 T = 0 Т < Т = 1,96 Т Различия нет Следует объединять

ПГ2 и ПГ4 Я2 = 18 Я = 37 4 T = 1,98 Т > Т = 1,96 Т Различие имеется Не следует объединять

ПГ3 и ПГ4 Я3 = 18 Я 4 = 37 T = 1,98 Т > Т = 1,96 Т Различие имеется Не следует объединять

На основании результатов, полученных с помощью двухвыборочного критерия Вилкоксона, приведенных в табл. 11, следует слушателей подгрупп ПГ1 и ПГ4 объединить в одну учебную группу, переподготовки а слушателей подгрупп ПГ2 и ПГ3 в другую группу переподготовки.

Сравнение результатов по объединению подгрупп в учебные группы, полученных с помощь критерия Манна-Уитни и двухвыборочного критерия Вилкоксона, приведено в табл. 12.

Таблица 12

Итоговые результаты объединения подгрупп в учебные группы на основании рекомендаций, полученных при использовании ранговых критериев

Критерий Рекомендации, полученные при использовании критерия

Критерий Манна-Уитни Объединить в одну группу подгруппы ПГ1 и ПГ4 Объединить в одну группу подгруппы ПГ2 и ПГ3

Двухвыборочный критерий Вилкоксона Объединить в одну группу подгруппы ПГ1 и ПГ4 Объединить в одну группу подгруппы ПГ2 и ПГ3

Согласно данных, приведенных в табл. 12, для рассматриваемого в статье примера, применение критерия Манна-Уитни и двухвыборочного критерия Вилкоксона, дало один и тот же результат. В практической деятельности, согласно [17-18], эти критерии, достаточно близкие по мощности, могут давать и несколько отличные результаты.

Выводы

1. Предложен подход к сравнительной оценке уровня начальной подготовки небольших по численности подгрупп слушателей, неподлежащих делению, включающих от трех до пятнадцати человек.

2. Подход предназначен для формирования сбалансированных групп из подгрупп слушателей, близких по уровню начальной подготовки и поступающих на переподготовку по направлению администрирование сетей.

3. Уровень начальной подготовки слушателей подгрупп оценивается числом баллов, набранных ими в процессе индивидуального выполнения исходного набора тестовых заданий по дисциплине администрирование сетей.

4. Для сравнения уровней начальной подготовки подгрупп слушателей предложено использовать ранговые критерии критерия Манна-Уитни и/или двухвыборочный критерия Вилкоксона, а для качественного сравнения -эмпирический коэффициент детерминации и шкалу оценки тесноты связи по Чеддоку.

5. Приведен пример, иллюстрирующий возможности практического применения предложенного подхода для формирования сбалансированных учебных групп по направлению переподготовки администрирование сетей.

ЛИТЕРАТУРА

1. Постников В.М. Основы эксплуатации автоматизированных систем обработки информации и управления. Краткий курс: учебное пособие. М.: Изд-во МГТУ им. Н.Э. Баумана. 2013. 177 с.

2. Постников В.М. Основы эксплуатации АСОИиУ: учебное пособие в 2 ч. Ч.1. Техническое обслуживание. М.: Изд-во МГТУ им. Н.Э. Баумана. 2015. 191 с.

3. Постников В.М. Основы эксплуатации АСОИиУ: учебное пособие в 2 ч. Ч.2. Администрирование и развитие. М.: Изд-во МГТУ им. Н.Э. Баумана. 2015. 188 с.

4. Ткаченко А.В., Корольков И.А., Лунева М.А. Информационно-коммуникационные технологии и качество образования // Информационно-измерительные и управляющие системы. 2016. №6. С. 70-73.

5. Кириченко С.И. Тестирование физической подготовленности в ВУЗе // Интернет журнал «Науковедение». 2013. №5, (5). [Электронный ресурс] - М.: Науковедение. 2013. - Режим доступа: http://naukovedenie.ru 16ПРГСУ513^£ (доступ свободный). Запгл. с экран. яз. рус. англ.

6. Калинина М.А. Инновационная направленность в педагогической деятельности // Всероссийская научно-практическая конференции с международным участием «Системы оценки качества образования»: труды, Красноярск: Изд-во СибГТУ, 2015. С. 28-30.

7. Лозовая М.А., Лозовой А.А. Инновационные тенденции в образовании // Всероссийская научно-практическая конференции с международным участием «Системы оценки качества образования»: труды, Красноярск: Изд-во СибГТУ, 2015. С. 34-36.

8. Сапрыгина Н.Г. Балльно-рейтинговая система контроля успеваемости студентов // Всероссийская научно-практическая конференции с международным участием «Системы оценки качества образования»: труды, Красноярск: Изд-во СибГТУ, 2015. С. 95-97.

9. Толкачева Е.В. Современные средства оценивания результатов обучения // Всероссийская научно-практическая конференции с международным участием «Системы оценки качества образования»: труды, Красноярск: Изд-во СибГТУ, 2015. С. 101-109.

10. Чернявская, А.П., Гречин, Б.С. Современные средства оценивания результатов обучения. Ярославль: Изд-во ЯГПУ. 2008. 98 с.

11. Певцов К.С. Автоматизация процессов контроля качества профессионального обучения в системе переподготовки персонала предприятий: автореф. дис. ... канд. техн. наук. М., 2009. 22 с.

12. Харькова О.А., Гржибовский А.М. Сравнение одной и двух несвязанных выборок с помощью пакета статистических программ STATA: параметрические критерии // Экология человека 2014. №3. С. 57-61.

13. Харькова О.А., Гржибовский А.М. Сравнение двух несвязанных выборок с использованием пакета статистических программ STATA: непараметрические критерии // Экология человека 2014. №4. С. 60-64.

14. Чибисов Д.М. Лекции по асимптотической теории ранговых критериев. Лекционные курсы НОЦ. Выпуск 14. М.; Математический институт им. В.А. Стеклова РАН. 2009. 176 с.

15. Орлов А.И. Часто ли распределение результатов наблюдений является нормальным // Заводская лаборатория. Диагностика материалов. 1991. №7. С. 64 - 66.

16. Орлов А.И. Двухвыборочный критерий Вилкоксона - анализ двух мифов // Научный журнал КубГАУ, 2014. №10. С. 1-21.

17. Левин Д.М., Стефан Д., Кребиль Т.С., Беренсон М.Л. Статистика для менеджеров с использованием Microsoft Excel - М.: Вильямс 2004. 1312 с.

18. Лемешко Б.Ю., Лемешко С.Б. Об устойчивости и мощности критериев проверки однородности средних // Измерительная техника. 2008. №9. С. 23-28.

19. Хиценко В.Г. Непараметрическая статистика в задачах защиты информации. Конспект лекций. Новосибирск: Изд-во НГУ. 2012. 200 с.

20. Гусаров В.М., Кузнецова Е.И. Статистика. М.: ЮНИТИ-ДАНА. 2008. 480 с.

Belous Valentina Vladimirovna

Bauman state technical university, Russia, Moscow E-mail: [email protected]

Spiridonov Sergey Borisovich

Bauman state technical university, Russia, Moscow E-mail: [email protected]

Postnikov Vitalii Mixailovich

Bauman state technical university, Russia, Moscow E-mail: [email protected]

The approach to comparing the level of initial training of educational subgroups of students on the retraining of network administration

Abstract. In the paper is developed the approach to the comparison of the level of initial training to a small number of three to fifteen people, training groups of students who come for training in network administration. Subgroups of students formed the organization that sends them to training, and these sub-groups are indivisible units. After pairwise comparison of subgroups of students, subgroup, similar levels of initial training, are combined in a group. The approach is aimed at formation of groups of students from the set of subgroups with a similar level of initial training, to ensure effective the further process of training.

The primary level of training is determined by the results of the individual appraisals of students and estimate the number of points earned by them in the execution of a set of test tasks for the working time of testing. The analysis of approaches to handling the results of testing a small number of sub-groups of listeners. It is shown that to identify the degree of proximity to the audience small groups on the initial training level, you should use the ranking criteria.

Based on the analysis of the ranking of the criteria recommended for the use of the most simple and convenient for practical use criteria to compare two independent samples according to their degree of proximity: the Mann-Whitney test for two independent samples and the Wilcoxon test.

For a qualitative comparison between the subgroups of listeners, it is recommended to use the empirical correlation ratio and the verbal-numerical scale of Cedoca.

An example illustrating the peculiarities of using the proposed criteria for the comparative evaluation of initial training of students of educational subgroups, and the decision on the formation of the sub-groups, balanced groups.

Keywords: retraining of network administrators; processing of results of tests; the MannWhitney criterion; two-sample Wilcoxon criterion; empirical correlation ratio; scale Chedoke

Приложение 1

Таблица

Критические значения критерия Манна-Уитни при уровне значимости а ~ 0,05

п 1 п 2

3 4 5 6 7 8 9 10 11 12 13 14 15

3 0 0 1 2 2 3 4 4 5 5 6 7 7

4 0 1 2 4 4 5 6 7 8 9 10 11 12

5 1 2 4 5 6 8 9 11 12 13 15 16 18

6 2 3 5 7 8 10 12 14 16 17 19 21 23

7 2 4 6 8 11 13 15 17 19 21 24 26 28

8 3 5 8 10 13 15 18 20 23 26 28 31 33

9 4 6 9 12 15 18 21 24 27 30 33 36 39

10 4 7 11 14 17 20 24 27 31 34 37 41 44

11 5 8 12 16 19 23 27 31 34 38 42 46 50

12 5 9 13 17 21 26 30 34 37 42 47 51 55

13 6 10 15 19 24 28 33 37 41 47 51 56 61

14 7 11 16 21 26 31 36 41 44 51 56 61 55

15 7 12 18 23 28 33 39 44 49 55 61 66 72