CC BY
16
УДК 004.8;378.162.15
13.00.00 Педагогические науки
СИСТЕМНО-КОГНИТИВНЫЙ АНАЛИЗ ПЕДАГОГИЧЕСКОЙ ИНФОРМАЦИИ АГРАРНОГО ВУЗА КАК ФАКТОР УПРАВЛЕНИЯ КАЧЕСТВОМ ПОДГОТОВКИ КАДРОВ ДЛЯ РЕГИОНАЛЬНОГО АПК
Грушевский Сергей Павлович д.п.н., к.ф.-м.н, профессор РИНЦ SPIN-код: 2871-4348
Кубанский государственный университет, Краснодар, Россия
Луценко Евгений Вениаминович д.э.н., к.т.н., профессор Scopus Author ID: 57191193316 РИНЦ SPIN-код: 9523-7101 prof.lutsenko@gmail.com
Кубанский государственный аграрный университет имени И. Т. Трубилина, Краснодар, Россия
Стремительно развивающиеся процессы глобальной информатизации общества оказали существенное влияние и на сферу образования. В последнее время в аграрных и других вузах резко возросли объемы генерируемой и обрабатываемой педагогической информации. Стихийно и целенаправленно создаются электронные банки данных педагогической информации, образовательные порталы. Все эти работы требуют значительных затрат труда и времени профессорско-преподавательского состава (I II 1С) вузов и большого количества технических специалистов в области информационных технологий, а также предполагают наличие соответствующего компьютерного и коммуникационного оборудования. Все это - это уже свершившийся факт. С другой стороны, возникает закономерный вопрос о степени осмысленности и целесообразности отдельных аспектов этого процесса в том виде, в каком он фактически осуществляется, и оценки его влияния на выполнение миссии ВУЗа вообще: «Подготовки качественных специалистов», в частности для регионального агропромышленного комплекса (АПК). По всей видимости, в настоящее время этот процесс развивается стихийно, и никем не спланирован, с учетом с одной стороны затрат различного рода на его осуществление, а с другой стороны -обеспечения его эффективности с точки зрения достижения поставленных целей и получения заданных желаемых результатов, как в натуральном, так и в стоимостном выражении. Осмысленность и оправданность же этому процессу может придать только его существенное положительное влияние на повышение качества образования, причем только при разумных адекватных затратах. Для аргу-
UDC 004.8 Pedagogy
SYSTEM-COGNITIVE ANALYSIS OF EDUCATIONAL INFORMATION IN AN AGRICULTURAL UNIVERSITY AS A FACTOR IN QUALITY MANAGEMENT TRAINING FOR A REGIONAL AGRICULTURE COMPLEX
Grushevsky Sergei Pavlovich Dr.Sci.Ped., Cand.Phys.-Math.Sci., Professor RSCI SPIN-code: 2871-4348
Kuban state University, Krasnodar, Russia
Lutsenko Eugeny Veniaminovich Dr.Sci.Econ., Cand.Tech.Sci., professor Scopus Author ID: 57191193316 RSCI SPIN-code: 9523-7101 prof.lutsenko@gmail.com
Kuban State Agrarian University, Krasnodar, Russia
The rapidly developing processes in global information development of our society have had a significant impact on education. Recently, in agricultural and other universities the amount of generated and processed pedagogical information has dramatically increased. Spontaneously and purposefully, electronic databases of educational information and educational portals have been created. All these works require a significant investment of time and effort of the teaching staff (PPP) of higher education institutions and a large number of technical experts in the field of information technology; they also require appropriate computer and communications equipment. All this is already an accomplished fact. On the other hand, the question arises about the degree of meaningfulness and expediency of certain aspects of this process in the form in which it is actually carried out, and evaluation of its impact on the mission of the University in General: "Training high-quality professionals", in particular for the regional agro-industrial complex (AIC). Apparently, now this process develops spontaneously, and no one has planned it, considering on the one hand, the costs of various kinds on its implementation and on the other hand - ensuring its effectiveness in achieving the objectives and getting the intended desired results both in physical and valuable forms. The meaning and justification of this process can give only a substantial positive impact on improving the quality of education, and only when it has adequate and reasonable cost. For a reasoned response to these questions, the authors propose to apply the theory of reflexive management active objects, automated system-cognitive analysis (ASC-analysis), functional cost analysis (FCA) and the method of
ментированного ответа на эти актуальные вопросы авторы предлагают применить теорию рефлексивного управления активными объектами, автоматизированный системно-когнитивный анализ (АСК-анализ), функционально-стоимостной анализ (ФСА) и метод «Директ-костинг». Имеется задел для решения поставленной проблемы: это большой опыт преподавательской и научной деятельности, успешный опыт применения АСК-анализа и ФСА для управления персоналом; программный инструментарий АСК-анализа - интеллектуальная система «Эйдос», находящаяся в полном открытом бесплатном доступе
"Direct costing". A foundation for solving the problem: this is a great experience in teaching and research activities, a successful experience of the application of ASC-analysis and the FSA for personnel management; a software tool of ASC-analysis which is an intellectual system called "Eidos" (full open free access)
Ключевые слова: АСК-АНАЛИЗ, АВТОМАТИЗИРОВАННЫЙ СИСТЕМНО-КОГНИТИВНЫЙ АНАЛИЗ, ПЕДАГОГИЧЕСКАЯ ИНФОРМАЦИЯ, МИССИЯ ВУЗА, УПРАВЛЕНИЕ, КАЧЕСТВО ПОДГОТОВКИ СПЕЦИАЛИСТОВ АПК, АГРАРНЫЙ ВУЗ
Keywords: ASC-ANALYSIS, AUTOMATED SYSTEM-COGNITIVE ANALYSIS, PEDAGOGICAL INFORMATION, MISSION OF THE UNIVERSITY, MANAGEMENT, QUALITY OF TRAINING OF AIC SPECIALISTS, AGRICULTURAL UNIVERSITY
Doi: 10.21515/1990-4665-129-001
СОДЕРЖАНИЕ
1. ВВЕДЕНИЕ......................................................................................................................................................2
2. ПОСТАНОВКА ПРОБЛЕМЫ......................................................................................................................4
3. ПОДХОДЫ К РЕШЕНИЮ ПРОБЛЕМЫ..................................................................................................5
3.1. Количественное определение степени и направления влияния значений факторов на
результат..........................................................................................................................................................5
3.2. Рациональная технология и инфраструктура проведения работ..................................................6
3.3. Условия, необходимые для выполнения работ.................................................................................7
3.3.1. Технология разработки педагогических измерительных инструментов (тестов уровней предметной обученности)..........................................................................................................................8
3.3.2. Компетентность кадров выполняющих работу..........................................................................13
3.3.3. Объем исходных данных, необходимый для разработки педагогических измерительных систем и тестов уровней предметной обученности по одной дисциплине........................................16
3.3.4. Программные инструментальные средства, необходимые для разработки педагогических измерительных систем и тестов уровней предметной обученности по одной дисциплине.............17
4. ОЦЕНКИ СРОКОВ И ТРУДОЕМКОСТИ РАБОТ, НЕОБХОДИМЫХ ЗАТРАТ ДЛЯ ИХ ВЫПОЛНЕНИЯ И ЭФФЕКТА ОТ ПОЛУЧЕННОГО РЕЗУЛЬТАТА..................................................18
5. ВЫВОДЫ И РЕКОМЕНДАЦИИ...............................................................................................................19
ЛИТЕРАТУРА...................................................................................................................................................20
1. Введение
Стремительно развивающиеся процессы глобальной информатизации общества оказали существенное влияние и на сферу образования. В последнее время в аграрных и других вузах резко возросли объемы генерируемой и обрабатываемой педагогической информации, возросло и ко-
личество самих документов. В таблице ниже приведен перечень некоторых педагогических материалов:
Перечень
учебно-методической и нормативной документации к государственной аккредитации для кафедр университета, осуществляющих подготовку кадров по программам _подготовки научно-педагогических кадров в аспирантуре_
№ п/п Наименование документов
1 Учебные планы по очной и заочной формам обучения по профилю
2 График учебного процесса
3 Федеральный государственный стандарт по направлению подготовки
4 Рабочие программы дисциплин подготовки аспирантов
5 Учебные и учебно-методические пособия по дисциплинам: > Курс лекций; > Методические указания по проведению практических занятий; > Методические задания для самостоятельной работы
6 Фонды оценочных средств по дисциплинам по профилю
7 Программы кандидатских экзаменов по профилю
8 Сведения об обеспеченности обучающихся учебной, учебно-методической литературой
9 Договоры о проведении практик
10 Программы практик
11 Фонды оценочных средств для практик
12 Приказы о прохождения практики
13 График защиты отчетов по практике
14 Отчеты по практикам
15 Журнал инструктажа по прохождении практики по техники БЖД
16 Методические указания для проведения итоговой аттестации
17 Фонды оценочных средств для промежуточной и итоговой аттестации.
18 Критерии оценки различных форм текущего контроля успеваемости
19 Перечень примерных тем выпускных квалификационных работ аспирантов, утвержденные на ученом совете факультета (Утвердить ученым Советом факультета в сентябре 2014г.)
20 Планы НИР кафедр и отчеты о выполнении за 5 лет
21 Документация, подтверждающая наличие современной научной базы (характеристика современного оборудования, сертифицированные специалисты, экспериментальная база вуза и возможности аспирантов)
22 Индивидуальный план аспиранта
23 Сведения о публикации преподавателей, обеспечивающих образовательный процесс по дисциплинам
24 Индивидуальные планы преподавателей кафедр
25 Копии документов, подтверждающие повышение квалификации ППС за 5 лет
26 Отчеты обучающихся по НИР
27 Индивидуальные планы научно-исследовательской работы обучающихся,
28 Протоколы кафедры по обоснованию темы НИР, обсуждение плана и промежуточных результатов исследования
29 Сборники конференций и т.д.
30 Журнал индивидуальных консультаций с научным руководителем (отметка не реже 1 раза в месяц, на каждого руководителя)
31 Папка научных достижений аспиранта (копии статей, грамот и т.д.)
Эти документы касаются аспирантуры и разрабатываются по всем специальностям. Но аналогично и по бакалавриату, и по магистратуре.
Затем некоторые из этих материалов размещаются в полном открытом бесплатном доступе на сайте университета и на образовательных порталах университета. Таким образом, стихийно и целенаправленно создаются электронные банки данных педагогической информации.
Все эти работы продолжаются уже много лет1 и требуют очень значительных затрат высококвалифицированного труда и времени профессорско-преподавательского состава (ППС) вузов, большого количества вспомогательных специалистов (лаборантов, учебных мастеров) и технических специалистов в области информационных технологий, а также предполагает наличие соответствующего компьютерного и коммуникационного оборудования.
Более того, сами шаблоны этих материалов, включая и содержательную часть, постоянно меняются, иногда даже по нескольку раз в месяц, что влечет за собой необходимость их изменения. А ведь преподаватели ведут по несколько дисциплин, чтобы набрать нагрузку на ставку.
Все вышеописанное - это уже свершившийся факт.
2. Постановка проблемы
В этой связи у специалистов, имеющих отношение к этим процессам и работам, возникают закономерные вопросы.
1-й вопрос о том, в какой степени все эти работы по реализации решений об изменении номенклатуры, шаблонов и содержания педагогических материалов способствует повышению качества образования и реализации миссии образования?
2-й вопрос о том, какова наиболее рациональная технология и инфраструктура проведения этих работ?
с начала перехода Российской системы образования на «Болонскую систему» Ь«р;//ед .kubagro.ru/2017/05/pdf/01.pdf
3-й вопрос о том, какие условия необходимы для выполнения этих работ?
4-й вопрос о том, какие сроки и трудоемкость этих работ, каковы необходимые затраты для их выполнения и на сколько эффект от полученного результата превышает эти затраты (или эти затраты убыточны)?
У авторов тоже возникают эти вопросы, и данная статья является попыткой найти научные подходы к аргументированным ответам на них.
Итак, налицо проблемная ситуация: с одной стороны, система высшего образования сталкивается с необходимостью разработки все большего количества и все больших объемов различных видов педагогических материалов, а с другой стороны непонятно, в какой степени это способствует достижению миссии образования.
3. Подходы к решению проблемы
Рассмотрим авторский вариант ответа на поставленные вопросы.
3.1. Количественное определение степени и направления влияния значений факторов на результат
Ответ на 1-й вопрос о том, в какой степени все эти работы по реализации решений об изменении номенклатуры, шаблонов и содержания педагогических материалов способствует повышению качества образования и реализации миссии образования? По мнению авторов решения об изменении номенклатуры, шаблонов или содержательной части педагогических материалов можно принимать только в том случае, если убедительно научно доказано, что это окажет существенное положительное влияние на повышение качества образования и реализацию миссии образования и вуза. При этом необходимо, чтобы при принятии подобных решений были даны конкретные ответы (в т.ч. с указанием источников, сроков и объемов ресурсного обеспечением) и на остальные вопросы о том, какая технология, инфраструктура и другие условия, необходимы для выполнения этих
решений, и о том каковы сроки и трудоемкость их выполнения, какова натуральная и финансово-экономическая эффективность затрат на выполнение этих решений.
Само количественное определение степени и направления влияния значений факторов на результаты обучения предлагается осуществлять на основе системно-когнитивных моделей [11, 13]. Подробнее в данной статье эти вопросы рассматривать нецелесообразно, т.к. они подробно освещены в других работах [1-13].
3.2. Рациональная технология и инфраструктура проведения работ
Ответ на 2-й вопрос о том, какова наиболее рациональная технология и инфраструктура проведения этих работ? В настоящее время сотни тысяч профессоров, доцентов и просто преподавателей делают новые варианты педагогических материалов из внезапно устаревших, используя в основном сочетания клавиш СМ+С, СМ+У. Спрашивается, неужели в век научно-технического прогресса и информационных технологий, иногда даже говорят «информационного общества» и «общества, основанного на знаниях», невозможно придумать и разработать какую-то более рациональную форму или технологию проведения этих работ, если уж они так уж необходимы (хотя в их необходимости тоже есть некоторое сомнение и об этом был первый вопрос)? Развернутый аргументированный ответ на этот вопрос был дан 4 год назад в работе [1]. Здесь же отметим лишь, что, на взгляд авторов, необходимо отделить форму (шаблон) педагогических материалов от их содержания, обязав ППС заниматься только содержательной частью полностью освободив их от оформительской работы и многочисленных ручных выборок из различных документов. Спрашивается, какой смысл в этом копировании, если вся необходимая информация и так есть в первичных документах? Но если все же это необходимо, то эти многочисленные выборки технически могут и должны осуществляться автома-
тически в технологии распределенных баз данных с on-line доступом уров-невыми правами доступа со всеми визирующими, согласующими и утверждающими подписями. При необходимости распечатки педагогических материалов может быть выбран нужный шаблон, в котором и она и будет сделана. Для выполнения подобных работ должна быть создана определенная иерархическая инфраструктура, имеющая и федеральный и региональный уровни, и уровень вузов, факультетов, кафедр и конкретных преподавателей. Существующая в настоящее время инфраструктура вузов для этого малопригодна.
3.3. Условия, необходимые для выполнения работ
Ответ на 3-й вопрос о том, какие условия необходимы для выполнения этих работ? Это вопрос о том, что необходимо, чтобы выполнить решения об изменении номенклатуры, шаблонов и содержания педагогических материалов.
Рассмотрим ответ на этот вопрос на небольшом примере разработки части фонда оценочных средств (ФОС). ФОС включает в себя кроме других материалов также тесты учебных достижений или педагогические измерительные материалы, предназначенные для измерения уровня предметной обученности учащихся. В настоящее время считается, что разрабатывать эти тесты и измерительные материалы должны профессора и доценты вузов, т.к. именно их обязывают выполнять эту работу.
Какая необходима компетентность кадров, выполняющих эту работу (3.1), какой объем исходных данных (3.2) и какие программные инструментальные средства (3.3) необходимы для ее выполнения, и, самое главное, когда все это делать (3.4) и как эта дополнительная высококвалифицированная объемная работа будет оплачиваться (3.5)?
3.3.1. Технология разработки педагогических измерительных инструментов (тестов уровней предметной обученности)
Для предметного, конкретного и научно аргументированного ответа на эти вопросы кратко рассмотрим порядок разработки педагогических измерительных инструментов (тестов уровней предметной обученности). Прежде всего, отметим, что такие материалы разрабатываются по каждой преподаваемой дисциплине для всех специальностей.
Должны быть разработаны вопросы (или другой стимульный материал) для тестов с несколькими вариантами ответов на каждый из них.
Это не только очень не простая в научном отношении, но и просто очень трудоемкая задача, т.к. вопросы должны удовлетворять определенным жестким требованиям и критериям.
Прежде всего, вопросы должны перекрывать (охватывать) все разделы учебного плана и по каждой теме и учебному вопросу должно быть определенное количество тестовых вопросов. Самих вопросов должно быть очень много. Например, в распространенной сейчас системе Имаго в окончательном варианте теста должно быть по 300 вопросов по каждой дисциплине. Кто пробовал просто написать такое количество вопросов с вариантами ответов на них, тот знает, как это тяжело. Но и это еще не самое сложное.
Затем необходимо определить ценность вопросов для решения задачи классификации учащихся по уровням предметной обученности и выбросить все бесполезные и малоценные вопросы, оставив, например, 300. Ясно, что если чтобы в окончательном варианте теста оставить 300 вопросив, в исходном варианте теста их должно быть значительно больше (как показывает опыт авторов - в несколько раз). Такой первоначальный вариант теста, в котором вопросов в несколько раз больше, чем необходимо в окончательном, называют пилотным вариантом теста.
Но, самое главное, что для того, чтобы выполнить этот этап, необходимо провести реальное2 тестирование учащихся с помощью пилотного варианта теста и потом математически обработать результаты тестирования. Ясно, что тестировать надо учащихся, изучивших уже весь учебный курс. Уже одно это означает, что разработка теста педагогических достижений никак не может занимать меньше года, а преподавателям отводят на это несколько дней. Это можно объяснить только тем, что те, кто это требует, вообще не представляют себе, чего именно они требуют или они тоже вынуждены делать вид, что это нормально. Кроме того, для проведения пилотного тестирования необходимы соответствующие полномочия и время, которые простые преподаватели, включая профессоров и доцентов, не имеют. Значит необходимо соответствующие организационные решения, планирование и юридическое обеспечение, которые должны быть разработаны и в настоящее время полностью отсутствуют.
Для математической обработки результатов тестирования необходимо соответствующее программное обеспечение, которое должны быть типовым для все вузов, решение о чем должно быть приято на федеральном уровне. Это программное обеспечение еще только должно быть разработано, т.е. в настоящее время его нет. Хотя как его прототип есть основания рассматривать универсальную когнитивную аналитическую систему «Эйдос», разработки автора [2, 3]. Это одна из немногих систем, которая одновременно является и инструментарием для разработки тестов, и средой для их применения в адаптивном режиме, и, по-видимому, единственная подобная система, находящаяся в полном открытом бесплатном доступе на сайте автора [3].
Для количественной оценки ценности вопросов для разделения учащихся по группам уровней предметной обученности авторы предлагают применить подход, описанный в статях [4, 5, 6]. Суть этого подхода
2 А не так, как часто бывает, со шпаргалками или их современным вариантом - телефонами
состоит в том, что сначала рассчитывается матрица абсолютных частот встречи разных ответов на вопросы в разных группах учащихся, отличающихся уровнем предметной обученности. Кстати, для построения измерительной системы всегда необходимо как минимум два независимых истопника (канала) информации об объектах измерения (в данном случае учащихся). Первый канал - это ответы учащихся на вопросы пилотного теста, а второй канал - это экспертная оценка уровня предметной обученности данного учащегося, т.е. по сути его оценка преподавателем, ведущим дисциплину. Затем на основе матрицы абсолютных частот рассчитывается матрица X -квадрат и матрица условных и безусловных процентных распределений ответов по группам учащихся (классам) и по всей выборке, и, на основе последней, матрицы системно-когнитивных моделей, в частности, матрица информативностей. В этой матрице информативностей строками являются варианты ответов на вопросы, колонками - группы учащихся по уровням предметной обученности (классы), а в клетках находится количество информации в битах о том, что учащийся относится к той или иной группе по уровню предметной обученности, содержащееся в его определенном ответе на тот или иной вопрос (это частный критерий). Считается, что учащийся относится к той группе по уровню предметной обученности, о принадлежности к которой во всех его ответах содержится больше всего информации (это аддитивный интегральный критерий).
По сути в предлагаемом варианте идет речь о применении нормативного подхода к тестированию, при котором индивидуальные результаты тестирования сравнивается не с критериями, а с определенной базой сравнения, в качестве которой выступает «норма», т.е. в данном случае среднее или картина по всей выборке. Критериальные тесты могут быть при необходимости разработаны на основе тестов, созданных на базе нормативного подхода, т.к. по сути, критериальные тесты являются ключами
или измерительными шкалами, созданными на основе нормативных тестов.
Анализ матриц условных и безусловных вероятностей, X -квадрат, информативностей и других системно-когнитивных моделей [5] показывает, что все варианты ответов на вопросы могут быть разделены на три основные категории:
- к 1-й категории относятся варианты ответов, которые встречаются только в одной группе учащихся по уровню предметной обученности, а в других не встречаются (это так называемые детерминистские признаки, которые позволяют однозначно определить принадлежность учащегося к обобщенной группе или классу);
- ко 2-й категории относятся варианты ответов, которые никогда не встречаются ни в одной группе учащихся по уровню предметной обучен-ности или встречаются во всех группах с равной вероятностью (это так называемые бесполезные признаки, которые вообще не играют никакой роли для разделения учащихся по классам);
- к 3-й категории относятся варианты ответов, которые встречаются в разных группе учащихся по уровням предметной обученности с разными вероятностями (это так называемые статистические признаки, которые могут оказаться более или менее полезными для разделения учащихся по классам, т.е. могут быть полезными почти как детерминистские признаки, а могут быть и почти бесполезными, но чаще всего занимают промежуточное положение между этими полюсами).
Наиболее ценными для разделения учащихся по классам являются детерминистские признаки (т.е. варианты ответов на вопросы).
Бесполезными для разделения учащихся по классам являются очень простые вопросы, на которые все учащиеся без труда отвечают правильно, и очень сложные, на которые не могут правильно ответить не только учащиеся, но и их преподаватели.
Статистические признаки могут иметь различную ценность для разделения учащихся по классам: от ценности детерминистских признаков, до ценности бесполезных признаков, т.е. до 0.
Авторы предлагают в качестве количественной меры ценности признака для разделения учащихся по классам использовать вариабельность значений в строке, соответствующей признаку, в матрицах условных и безусловных вероятностей, X -квадрат, информативностей и других системно-когнитивных моделей [5].
По матрице условных и безусловных вероятностей мы можем определить ценность признаков следующим образом. Если условные вероятности встречи признака в разных группах сильно отличаются, то признак является ценным, если же они отличаются незначительно - то почти бесполезным.
Например, если у учащегося за дверью, длинные волосы, то скорее всего это студентка, т.к. условная вероятность встретить длинные волосы в группе «студентки» значительно выше, чем в среднем по выборке, если же у него брюки, то это не меняет результата классификации, т.к. условная вероятность встретить брюки очень незначительно отличается в группах «студентки», «студенты» и по всей выборке. Таким образом, признак: «длинные волосы» имеет высокую ценность для классификации учащихся по группам «студентки» и «студенты», а «брюки» - низкую. Знание того, есть ли учащегося мобильный телефон является совершенно бесполезным для определения того, студент он или студентка.
По матрице информативностей мы можем определить ценность признаков в терминах количества информации. Если признак содержит много информации о принадлежности к одним группам по уровню предметной обученности и много информации о не принадлежности к другим группам, т.е. если количество информации в признаке о принадлежности и не принадлежности к разным группам сильно отличается, то признак явля-
ется ценным, если же количество информации в признаке о принадлежности и не принадлежности к разным группам отличается незначительно - то признак почти бесполезный (малоинформативный или неинформативный).
Если продолжить пример с классификацией учащихся по группам «студентки» и «студенты», то можно сказать, что в признаке «длинные волосы» содержится много информации о том, что это студентка, а в признаке «брюки» мало информации о том, что это студент. В признаке «есть телефон» будет ноль информации об этом. Ясно, что в обоих признаках «длинные волосы» и «брюки» суммарно3 будет много информации о принадлежности учащегося с этими признаками к группе «студентки» и много информации о непринадлежности к группе «студенты».
Теперь, когда мы рассмотрели основные этапы разработки тестов уровня предметной обученности (педагогических измерительных систем), мы можем более предметно, конкретно и аргументировано ответить на вопросы, поставленные выше: какая необходима компетентность кадров, выполняющих эту работу (3.1), какой объем исходных данных (3.2) и какие программные инструментальные средства (3.3) необходимы для ее выполнения, и, самое главное, когда все это делать (3.4) и как эта дополнительная высококвалифицированная объемная работа будет оплачиваться (3.5)?
3.3.2. Компетентность кадров выполняющих работу
Итак, ответим на вопрос 3.1. «Какая необходима компетентность
кадров, выполняющих эту работу?» Если кратко, то она должна быть высокой, на столько высокой, что в настоящее время ею обладают лишь единицы: профессиональные разработчики педагогических измерительных систем и тестов уровней предметной обученности4 (и судя по всему среди тех, кто все это придумал и обязывает ППС разрабатывать эти тесты, таких
3 это так называемый аддитивный интегральный критерий [5]
4 Один из авторов данной статьи (проф. Е.В. Луценко) в 1996-1999 годах работал начальником отдела мониторинга качества образования Государственной аттестационной службы (ГАС) Министерства образования и науки Краснодарского края и профессионально занимался именно разработкой и применением педагогических измерительных систем и тестов уровня предметной обученности.
вообще нет). Проще говоря того, что описано в данной статье, т.е. того, как это вообще делается профессионально, практически никто просто не знает (включая руководство). Но все разрабатывают такие тесты, вернее то, что неоправданно называется такими тестами, а по сути является профанацией и дискредитирует, компрометирует саму идею тестирования в педагогике.
Таким образом на лицо проблема5: фактически сложилась нежелательная ситуация с разработкой и применением педагогических измерительных систем и тестов уровней предметной обученности: эти тесты разрабатываются с нарушением соответствующей технологии и результаты их применения не корректны и несопоставимы, и желательно решить этот вопрос на профессиональном уровне, быстро, но на длительную перспективу.
Как решить сформулированную проблему, т.е. как исправить эту нежелательную ситуацию? Авторы видят два варианта: малореальный, основанный на незначительном улучшении фактически имеющейся ситуации, и более реальный, представляющий собой кардинальное предложение по полному решению поставленной проблемы.
Малореальный вариант:
- ввести в учебные планы по всем специальностям новую учебную дисциплину (базовой части) «Разработка и применение в адаптивном режиме педагогических измерительных систем и тестов уровней предметной обученности»;
- разработать научное обоснование и комплекс учебно-методических материалов (УМК) по этой новой дисциплине, включая полноценное учебное пособие и комплект материалов юридического и программного (инструментального) обеспечения;
- ввести преподавание этой дисциплины на всех специальностях;
- организовать обязательное повышение квалификации ППС по этой дисциплине;
5 Проблема - это несоответствие фактического и желаемого, противоречие между ними
- обязать ППС разрабатывать педагогические измерительные системы и тесты уровней предметной обученности с соблюдением технологии;
- ввести сертификацию педагогических измерительных систем и тесты уровней предметной обученности с соблюдением технологии;
- решить вопрос с оформлением авторских прав ППС на разработанные педагогические измерительные системы и тесты уровней предметной обученности;
- решить вопрос с доплатой ППС за разработку педагогических измерительных систем и тестов уровней предметной обученности (можно в форме часов учебной нагрузки).
Основную причину нереальности этого предложения авторы видят в том, что даже при выполнении всех вышеперечисленных пунктов все равно трудно себе представить, чтобы профессора и доценты разрабатывали пилотные тесты, апробировали их на учащихся, математически обрабатывали результаты апробации в какой-либо программной системе, пусть даже готовой и предназначенной для этого, выделяли наиболее ценные для классификации учащихся по уровням обученности варианты вопросов и ответов, и создавали на их основе уже реальный тест для его применения. Кстати сказать, система Имаго, сейчас не позволяет использовать тесты, разработанные по предлагаемой технологии, т.к. в ней просто подсчитывается процент правильных ответов и все вопросы считаются имеющими одинаковую ценность, а в предлагаемой технологии ответы на вопросы рассматриваются как несущие то или иное количество информации о принадлежности или не принадлежности учащегося к тем или иным уровням предметной обученности.
Поэтому предлагается более реальный вариант решения проблемы, который состоит в том, чтобы создать в системе Федерального Министерства образования и науки Всероссийский Научно-исследовательский и проектно-технологический институт педагогических измерительных си-
стем и тестов уровней предметной обученности и возложить на него обязанности:
- разработки этих систем и тестов для всей системы МОН и ведомственных учебных заведений, как высших, так и средних, по всем специальностям и дисциплинам;
- подготовки новых и повышения квалификации имеющихся кадров по применению этих систем и тестов в самих учебных заведениях (для этого у федерального института должна быть сеть региональных филиалов);
- управления применением этих систем и тестов (не надзор, как обычно, и не мониторинг, а именно управление).
Отметим, что все эти функции вместе включает «Контроллинг» [9].
При этом этот институт мог бы и привлекать ППС вузов на отельных этапах работ на договорной основе.
Этот вариант представляется более реалистичным, т.к. разработка педагогических измерительных систем и тестов уровней предметной обу-ченности - это специальная работа, которой надо заниматься специально и профессионально, имея на это соответствующие полномочия и выполняя государственный заказ.
3.3.3. Объем исходных данных, необходимый для разработки педагогических измерительных систем и тестов уровней предметной обученности по одной дисциплине
Ответим на вопрос о том, 3.2. какой объем исходных данных необходим для разработка педагогических измерительных систем и тестов уровней предметной обученности по одной дисциплине? Критерий простой: если при увеличении объема исходных данных результатов апробации пилотных тестов при определении ценности вариантов ответов на вопросы эта ценность перестают изменяться в такой степени, что изменяется рейтинг ответов в порядке убывания ценности, то процесс дальнейшего накопления данных апробации есть основания прекратить, т.к. они новые
данные уже не приводят к изменению рейтинга. Авторы очень сомневаются, что апробации пилотных тестов в течение года в одном вузе окажется достаточно по этому критерию. Предлагается использовать апробацию во многих вузах. Для этого необходим федеральный уровень. На региональном уровне может быть разработано только большое количество несопоставимых тестов, не образующих единой системы и при этом с огромным дублированием работ, т.е. с большими неэффективными затратами.
3.3.4. Программные инструментальные средства, необходимые для разработки педагогических измерительных систем и тестов уровней предметной обученности по одной дисциплине
Ответим на вопрос о том, 3.3. какие программные инструментальные средства необходимы для разработка педагогических измерительных систем и тестов уровней предметной обученности? По мнению авторов для этого необходима разработка новых программных средств, к которым бы авторизованные пользователи по всей России имели on-line доступ в соответствии со своими правами доступа. В качестве локального (и частично on-line) прототипа можно было бы использовать систему «Эйдос» [1, 2, 3], которая обеспечивает и разработку педагогических измерительных систем и тестов уровней предметной обученности, и их эксплуатацию в адаптивном режиме, причем с учетом рекомендаций функционально-стоимостного анализа (ФСА) и метода «Директ-костинг» [6].
На вопросы 3.4. «когда все это делать» и 3.5 «как эта дополнительная высококвалифицированная объемная работа будет оплачиваться», у авторов ответов нет, т.к. эти вопросы относятся к компетенции вышестоящих инстанций. Но, на сколько известно, сейчас ответов на эти вопросы нет не только у авторов, а их вообще нет.
4. Оценки сроков и трудоемкости работ, необходимых затрат для их выполнения и эффекта от полученного результата
4-й вопрос это скорее не вопрос, а целая группа взаимосвязанных
вопросов о том, какие сроки и трудоемкость этих работ, каковы необходимые затраты для их выполнения и на сколько эффект от полученного результата превышает эти затраты (или может быть эти затраты убыточны)?
Смысл этого вопроса можно сформулировать и проще: «стоит ли овчинка выделки», т.е. оправданы ли все эти довольно большие затраты труда и времени сотен тысяч профессоров и доцентов из всех вузов по всей России на разработку все больших и больших объемов и номенклатуры постоянно меняющихся педагогических материалов, дают ли эти без преувеличения сказать колоссальные затраты (авторы знают это «не понаслышке») соразмерное этим затратам, т.е. столь же колоссальное, повышение качества образования и соразмерное затратам положительное влияние на реализацию миссии образования вообще и вузов в частности?
Итак, мы имеем все основания задать вопрос6: «На сколько оправданы затраты на разработку все возрастающих объемов бесконечно меняющихся по своим шаблонам и содержанию педагогических материалов?».
Мы считаем, что этот вопрос давно назрел и знаем, что практически все коллеги, которых знают авторы, однозначно и уверенно отвечают на этот вопрос отрицательно. А значит обоснованно и закономерно возникают вопросы об эффективности и целесообразности этих затрат и о необходимости пересмотра положения дел в этой чувствительной области одно упоминание о которой способно сразу ввести ППС в депрессию [7].
По всей видимости в настоящее время этот процесс развивается стихийно и никем не спланирован с учетом с одной стороны затрат различного рода на его осуществление, а с другой стороны, обеспечения его эффективности с точки зрения достижения поставленных целей и получения за-
6 Скорее всего риторический
данных желаемых результатов, соразмерным затратам, как в натуральном, так и в стоимостном выражении.
Осмысленность и оправданность же этому процессу может придать только его существенное положительное влияние на повышение качества образования, причем только при разумных адекватных затратах на это.
Любые решения в области изменения оформительских или содержательных требований к учебно-методическим материалам или введение в практику новых педагогических материалов допустимы только в том случае, если до этого убедительно научно обосновано их существенное влияние на повышение качества образования, а затраты труда и времени ППС и технических специалистов, необходимые для этого, соизмеримы с эффектом от полученного результата и есть соответствующее обеспечение.
Для аргументированного ответа на эти актуальные вопросы авторы предлагают применить теорию рефлексивного управления активными объектами, автоматизированный системно-когнитивный анализ (АСК-анализ), функционально-стоимостной анализ (ФСА) и метод «Директ-костинг» [8, 9, 10, 11].
Кратко АСК-анализ кратко описан в работе [11], а подробно в [12].
Имеется задел для решения поставленной проблемы: это большой опыт преподавательской и научной деятельности, успешный опыт применения АСК-анализа и ФСА для управления персоналом; программный инструментарий АСК-анализа - интеллектуальная система «Эйдос», находящаяся в полном открытом бесплатном доступе на сайте автора [4].
5. Выводы и рекомендации
Считаем, что на основании вышеизложенного в данной работе есть все основания сделать следующие предложения:
1. Рекомендовать не изменять требования к содержанию и оформлению педагогических материалов (шаблоны) чаще, чем один раз в 5 лет (сейчас это может происходить несколько раз в месяц). Чаще (раз в год) имеет смысл менять только список рекомендуемой литературы.
2. Сократить количество различных педагогических материалов с 31 (см. табл. 1, а иногда и более) до 5, не объединяя их, и рекомендовать впредь не увеличивать их количество.
3. Вести ограничение на суммарный объем педагогических материалов не более 10 страниц на одну дисциплину.
4. Принять все меры к тому, чтобы в перспективе учебные дисциплины, меньшие по объему, чем 4 з.е. 7 и сходные или тесно связанные по содержанию были объединены в одну дисциплину (укрупнить дисциплины), чтобы ограничить количество дисциплин и педагогических материалов по ним.
Литература
1. Луценко Е.В. Web-портал по УМК в составе сайта университета: актуальность и возможность создания / Е.В. Луценко, В.Е. Коржаков // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2013. - №09(093). С. 1134 - 1147. -IDA [article ID]: 0931309077. - Режим доступа: http://ej.kubagro.ru/2013/09/pdf/77.pdf, 0,875 у.п.л.
2. Луценко Е.В. Универсальная когнитивная аналитическая система «Эйдос". Монография (научное издание). - Краснодар, КубГАУ. 2014. - 600 с. ISBN 978-5-94672-8300. http://elibrary.ru/item.asp?id=22401787
3. Система «Эйдос» на сайте автора: http: //lc .kubagro.ru/aidos/_Aidos-X .htm
4. Луценко Е.В. Синтез адаптивных интеллектуальных измерительных систем с применением АСК-анализа и системы «Эйдос» и системная идентификация в эконометрике, биометрии, экологии, педагогике, психологии и медицине / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2016. - №02(116). С. 1 - 60. -IDA [article ID]: 1161602001. - Режим доступа: http://ej.kubagro.ru/2016/02/pdf/01.pdf, 3,75 у.п.л.
5. Луценко Е.В. Метризация измерительных шкал различных типов и совместная сопоставимая количественная обработка разнородных факторов в системно-когнитивном анализе и системе «Эйдос» / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2013. - №08(092). С. 859 - 883. - IDA [article ID]: 0921308058. - Режим доступа: http://ej.kubagro.ru/2013/08/pdf/58.pdf, 1,562 у.п.л.
з.е. - зачётная единица трудоёмкости (ЗЕТ) = 36 академическим часам или 27 астрономическим часам.
б. Луценко Е.В. Реализация психологических, педагогических и профориентационных тестов и супертестов без программирования в среде интеллектуальной системы «Эйдос-Х++» (На примере теста: «Анализ особенностей индивидуального стиля педагогической деятельности») / Е.В. Луценко, В.Е. Коржаков // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2013. - №04(088). С. 105l - 10S5. - IDA [article ID]: 0SS13040?6. - Режим доступа: http://ei .kubagro.ru^QQm/pdf^.pdf, 1,S12 у.п.л.
I. Григораш О.В. О повышении эффективности работы кафедры / Григораш О.В. // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 201l. - №04(128). - Режим доступа: http://ej.kubagro.ru/201l/04/pdf/9S.pdf, 1,313 у.п.л. - IDA [article ID]: 12S1l0409S. http://dx.doi.org/10.21515/1990-4бб5-12S-09S
S. Луценко Е.В., Коржаков В.Е., Лаптев В.Н. Теоретические основы и технология применения системно-когнитивного анализа в автоматизированных системах обработки информации и управления (АСОИУ) (на примере АСУ вузом): Под науч. ред.д.э.н., проф. Е.В.Луценко. Монография (научное издание). - Майкоп: АГУ. 2009. - 53б с. http://elibrary.ru/item.asp?id=1Sб33313
9. Луценко Е.В., Коржаков В.Е., Ермоленко В.В. Интеллектуальные системы в контроллинге и менеджменте средних и малых фирм: Под науч. ред. д.э.н., проф. Е.В.Луценко. Монография (научное издание). - Майкоп: АГУ. 2011. - 392 с. http://elibrary.ru/item.asp?id=21бS3l34
10. Луценко Е. В., Лойко В. И., Лаптев В. Н. Современные информационно-коммуникационные технологии в научно-исследовательской деятельности и образовании: учеб. пособие / Е. В. Луценко, В. И. Лойко, В. Н. Лаптев; под общ. ред. Е. В. Луценко. - Краснодар: КубГАУ,. 2017. - 450с. ISBN 9lS-5-0009l-2б5-б.http://elibrarv.ru/item.asp?id=2S99бб3б
II. Луценко Е.В. Теоретические основы, технология и инструментарий автоматизированного системно-когнитивного анализа и возможности его применения для сопоставимой оценки эффективности вузов / Е.В. Луценко, В.Е. Коржаков // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2013. - №04(088). С. 340 - 359.
- IDA [article ID]: 0SS1304022. - Режим доступа: http://ej.kubagro.ru/2013/04/pdf/22.pdf, 1,25 у.п.л.
12. Луценко Е.В. Автоматизированный системно-когнитивный анализ в управлении активными объектами (системная теория информации и ее применение в исследовании экономических, социально-психологических, технологических и организационно-технических систем): Монография (научное издание). - Краснодар: КубГАУ. 2002. - б05 с. http://elibrary.ru/item.asp?id=1Sб32909
13. Луценко Е.В. Синтез и верификация многокритериальной системно-когнитивной модели университетского рейтинга Гардиан и ее применение для сопоставимой оценки эффективности российских вузов с учетом направления подготовки / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2015. -№03(107). С. 1 - б2. - IDA [article ID]: 10l1503001. - Режим доступа: http://ej .kubagro.ru/2015/03/pdf/01.pdf, 3,Sl5 у.п.л.
Literatura
1. Lucenko E.V. Web-portal po UMK v sostave sajta universiteta: aktual'nost' i vozmozhnost' sozdanija / E.V. Lucenko, V.E. Korzhakov // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2013. - №09(093). S. 1134 - 114l. - IDA [article ID]: 09313090ll.
- Rezhim dostupa: http://ej.kubagro.ru/2013/09/pdf/ll.pdf, 0,Sl5 u.p.l.
2. Lucenko E.V. Universal'naja kognitivnaja analiticheskaja sistema «Jejdos". Monografija (nauchnoe izdanie). - Krasnodar, KubGAU. 2014. - б00 s. ISBN 9?S-5-94612-S30-0. http://elibrary.ru/item.asp?id=22401lSl
3. Sistema «Jejdos» na sajte avtora: http://lc.kubagro.ru/aidos/_Aidos-X.htm
4. Lucenko E.V. Sintez adaptivnyh intellektual'nyh izmeritel'nyh sistem s primeneniem ASK-analiza i sistemy «Jejdos» i sistemnaja identifikacija v jekonometrike, biometrii, jekologii, pedagog-ike, psihologii i medicine / E.V. Lucenko // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2016. - №02(116). S. 1 - 60. - IDA [article ID]: 1161602001. -Rezhim dostupa: http://ej.kubagro.ru/2016/02/pdf/01.pdf, 3,75 u.p.l.
5. Lucenko E.V. Metrizacija izmeritel'nyh shkal razlichnyh tipov i sovmestnaja sopostavimaja kolichestvennaja obrabotka raznorodnyh faktorov v sistemno-kognitivnom analize i sisteme «Jejdos» / E.V. Lucenko // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2013. - №08(092). S. 859 - 883. - IDA [article ID]: 0921308058. - Rezhim dostupa: http://ej.kubagro.ru/2013/08/pdf/58.pdf, 1,562 u.p.l.
6. Lucenko E.V. Realizacija psihologicheskih, pedagogicheskih i proforientacionnyh testov i supertestov bez programmirovanija v srede intellektual'noj sistemy «Jejdos-H++» (Na primere testa: «Analiz osobennostej individual'nogo stilja pedagogicheskoj dejatel'nosti») / E.V. Lucenko, V.E. Korzhakov // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2013. - №04(088). S. 1057 - 1085. - IDA [article ID]: 0881304076. - Rezhim dostupa: http://ej.kubagro.ru/2013/04/pdf/76.pdf, 1,812 u.p.l.
7. Grigorash O.V. O povyshenii jeffektivnosti raboty kafedry / Grigorash O.V. // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2017. - №04(128). - Rezhim dostupa: http://ej.kubagro.ru/2017/04/pdf/98.pdf, 1,313 u.p.l. - IDA [article Id]: 1281704098. http://dx.doi.org/10.21515/1990-4665-128-098
8. Lucenko E.V., Korzhakov V.E., Laptev V.N. Teoreticheskie osnovy i tehnologija prime-nenija sistemno-kognitivnogo analiza v avtomatizirovannyh sistemah obrabotki informacii i upravleni-ja (ASOIU) (na primere ASU vuzom): Pod nauch. red.d.je.n., prof. E.V.Lucenko. Monografija (nauchnoe izdanie). - Majkop: AGU. 2009. - 536 s. http://elibrary.ru/item.asp?id=18633313
9. Lucenko E.V., Korzhakov V.E., Ermolenko V.V. Intellektual'nye sistemy v kontrollinge i menedzhmente srednih i malyh firm: Pod nauch. red. d.je.n., prof. E.V.Lucenko. Monografija (nauchnoe izdanie). - Majkop: AGU. 2011. - 392 s. http://elibrary.ru/item.asp?id=21683734
10. Lucenko E. V., Lojko V. I., Laptev V. N. Sovremennye informacionno-kommunikacionnye tehnologii v nauchno-issledovatel'skoj dejatel'nosti i obrazovanii: ucheb. posobie / E. V. Lucenko, V. I. Lojko, V. N. Laptev; pod obshh. red. E. V. Lucenko. - Krasnodar: KubGAU,. 2017. - 450s. ISBN 978-5-00097-265-6.http://elibrary.ru/item.asp?id=28996636
11. Lucenko E.V. Teoreticheskie osnovy, tehnologija i instrumentarij avtomatizirovannogo sistemno-kognitivnogo analiza i vozmozhnosti ego primenenija dlja sopostavimoj ocenki jeffektivnosti vuzov / E.V. Lucenko, V.E. Korzhakov // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2013. - №04(088). S. 340 - 359. - IDA [article ID]: 0881304022. - Rezhim dostupa: http://ej.kubagro.ru/2013/04/pdf/22.pdf, 1,25 u.p.l.
12. Lucenko E.V. Avtomatizirovannyj sistemno-kognitivnyj analiz v upravlenii aktivnymi ob#ektami (sistemnaja teorija informacii i ee primenenie v issledovanii jekonomicheskih, social'no-psihologicheskih, tehnologicheskih i organizacionno-tehnicheskih sistem): Monografija (nauchnoe izdanie). - Krasnodar: KubGAU. 2002. - 605 s. http://elibrary.ru/item.asp?id=18632909
13. Lucenko E.V. Sintez i verifikacija mnogokriterial'noj sistemno-kognitivnoj modeli univer-sitetskogo rejtinga Gardian i ee primenenie dlja sopostavimoj ocenki jeffektivnosti rossijskih vuzov s uchetom napravlenija podgotovki / E.V. Lucenko // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jel-ektronnyj resurs]. - Krasnodar: KubGAU, 2015. - №03(107). S. 1 - 62. - IDA [article ID]: 1071503001. - Rezhim dostupa: http://ej.kubagro.ru/2015/03/pdf/01.pdf, 3,875 u.p.l.
