CC BY
258
А.А. ВЕРБИЦКИИ, чл.-корр. РАО, профессор
Е.Б. ПУЧКОВА, к. психол. наук, доцент
МГГУ им. М.А. Шолохова
Возможности теста как средства диагностики качества образования: мифы и реальность
Статья посвящена анализу реальных возможностей педагогических и психологических тестов в системе средств комплексной диагностики качества подготовки бакалавра. Описан замысел разработки принципиально нового типа теста - теста на понимание учебного материала. Рассмотрен двухлетний опыт МГГУ им. М.А. Шолохова в области диагностики общекультурных компетенций бакалавров посредством комплекса психологических тестов.
Ключевые слова: диагностика учебных достижений, педагогические тесты, диагностика общекультурных компетенций бакалавра, психологические тесты оценки общекультурных компетенций, тест понимания, валидность теста, надежность теста
Проблемная ситуация
Вот уже несколько лет назад волею государства страна перешла на многоуровневую систему высшего образования и ком-петентностные образовательные стандарты. Актуальной стала проблема диагностики качества готовящихся бакалавров и магистров. В качестве диагностического средства в высшей школе все шире используются тесты - психологические и педагогические. Первые предназначены для диагностики психологических особенностей студентов, вторые - для оценивания уровня овладения учебным материалом. Что они измеряют и каковы их диагностические возможности? Обратимся вначале к педагогическим тестам.
В подписанном 30 декабря 2012 г. Д.А. Медведевым «Плане мероприятий («дорожная карта») «Изменения в отраслях социальной сферы, направленные на повышение эффективности образования и науки»» в разделе 11 «Создание системы оценки качества подготовки бакалавров» поставлена задача разработать «федеральный экзамен бакалавра». Речь идет о педагогическом тесте по типу школьного ЕГЭ, который одновременно служил бы «пропуском» к обучению в магистратуре. Может ли такой тест-экзамен служить изме-
рителем уровня общекультурных и профессиональных компетенций, т.е. не только знаний, но и умений, навыков и опыта выпускника современного вуза? В поисках ответа на этот проблемный вопрос необходимо четко представлять себе сущность и возможности педагогического теста с учетом отрицательного опыта использования ЕГЭ как единственного средства конечной оценки учебных достижений школьников.
Педагогический тест, его возможности и ограничения
Известно, что ЕГЭ проводится по единым правилам с использованием заданий стандартизированной формы (контрольно-измерительных материалов - КИМов), по единой методике оценивания результатов и состоит из трех блоков заданий - А, В, С. Выполняя каждое тестовое задания блока А, школьник должен выбрать один правильный вариант ответа из четырех предложенных; блока В - дать краткий ответ, состоящий из одного или нескольких слов, букв или чисел. Блок С состоит из одного или нескольких заданий с развёрнутым ответом: нужно решить задачу, написать краткое сочинение на предложенную тему или обоснованно ответить на определённый вопрос. Ответы на задания первых двух
блоков обрабатываются на компьютере, а блока С - оцениваются экспертами региональной экзаменационной комиссии по заданным им критериям.
Как видим, в первых двух блоках заданий школьник должен выполнить весьма примитивную «работу» по припоминанию учебной информации, что не может дать сколько-нибудь адекватного представления о его учебных достижениях. При этом он имеет право ограничиться только любыми двумя блоками (важно лишь общее число набранных баллов) и послать результаты в выбранные вузы. К сожалению, именно такие школьники поступают нынче в технические вузы, даже когда-то очень престижные.
Исчерпывающую научную оценку ЕГЭ в его отрицательном влиянии на качество не только школьного, но и вузовского образования можно найти во многих публикациях, в частности, специалиста в области педагогических измерений В.С. Аванесова или известного педагога, первого министра образования постсоветской России (19911992 гг.), академика РАО Э.Д. Днепрова.
В начале 2000-х гг. Министерство образования, пишет Э.Д. Днепров, решило использовать ЕГЭ как средство наведения порядка в громоздкой системе конкурсного отбора в вузы и борьбы с растущей там коррупцией. Предполагалось, что ЕГЭ способен решить целый ряд задач: 1) расширить доступность высшего образования для детей из малообеспеченных семей и отдаленных от центра территорий; 2) облегчить жизнь школьников, сняв двойной стресс от выпускных и вступительных экзаменов; 3) ослабить диктат вузов, взявших на себя роль своего рода аттестационной службы по отношению к школе; 4) ввести систему объективной оценки образовательной подготовки выпускников, деятельности школ и системы образования в целом. При этом ЕГЭ получал дополнительную - контрольную - нагрузку [1]. Такая система, пишет далее Э.Д. Днепров, необходима обра-
зованию, но ее нельзя было строить на базе единственного ЕГЭ. Прежде чем его вводить, нужно было провести серьезную исследовательскую работу. Но такая работа проведена не была, и оказалось, что с введением ЕГЭ школа начала подстраивать содержание и даже уклад своей деятельности под параметры этой аттестационной процедуры. Контроль возобладал над содержанием обучения и воспитания, став центральным звеном образовательного процесса. В результате все школьное образование превратилось в натаскивание на сдачу ЕГЭ, что привело к его резкому обеднению и примитивизации [Там же].
В свою очередь, В.С. Аванесов отмечает, что кажущаяся простота создания тестов без опоры на теорию педагогических измерений породила их «чиновно-лекси-ческое оформление » в виде множества некачественных контрольно-измерительных материалов (КИМов), которые нельзя называть «тестами» из-за отсутствия показателей их собственного качества. Процесс педагогических измерений может считаться научно обоснованным, только если в нем реализованы принципы объективности, связи контроля и образования, обучения и воспитания, справедливости и гласности, научности и эффективности; систематичности и всесторонности [2].
Это необходимо учитывать вузам, которым вменена в обязанность разработка тестов учебных достижений и тем более - предстоящего «федерального экзамена бакалавра». Нужно избежать опасного заблуждения, что для создания теста требуется лишь знание содержания своего предмета и не нужны специальные знания, - это дискредитирует саму идею педагогических измерений. Разработка тестов -сложный многоэтапный процесс, требующий знания теории педагогических измерений, математико-статистической подготовки, готовности к совместному поиску, усилий слаженного коллектива единомышленников. Без всего этого вузовское тестирова-
ние превращается в профанацию. Поток слабых и неграмотных тестовых форм искажает смысл диагностики и приближает к провалу саму идею педагогического тестирования. Созданием тестов должны заниматься профессионалы в этом деле, и только те специалисты, кому это интересно и кто готов менять сложившиеся стереотипы мышления и преподавания [3].
Приведем еще несколько причин, по которым нельзя делать ставку на какой-то один, единый, универсальный инструмент диагностики качества подготовки школьника ли, бакалавра, магистра, специалиста -в данном случае, педагогический тест.
1. Главная идея использования педагогических тестов состоит вовсе не в их контрольной функции, а в обеспечении управляемости процесса обучения со стороны преподавателя и самоуправляемости обучающегося. Всплеск интереса к педагогическим тестам был обусловлен появлением и развитием с начала 50-х гг. прошлого века в США программированного обучения, а затем и его преемника - современного информационно-технологического типа обучения с использованием компьютера. Тест одновременно выполняет здесь три взаимосвязанные функции: управленческую, обучающую и контролирующую.
Данные входного, промежуточных и итогового тестов, которыми в США буквально «нафарширован» весь процесс обучения, дают информацию о его протекании и мере усвоения учебного материала. По результатам таких тестов преподаватель и сам школьник или студент отслеживают уровень усвоения содержания обучения и могут управлять этим процессом. С тестом во всех трех отмеченных функциях американский обучающийся встречается при таком типе обучения уже с первого класса; оно для него так же привычно, как их отсутствие - в нашей традиционной системе обучения.
В варианте ЕГЭ от отмеченных трех функций теста была произвольно «оторва-
на» одна - контрольная, причем не содержащая какие-либо внятные измерители и не прошедшая процедуру валидизации -объемной статистической проверки, призванной подтвердить, что тест измеряет именно то, что подряжаются измерять его авторы. А без этого процедура, внешне похожая на тест, не может в принципе быть признана таковым.
2. В соответствии с главным принципом системного подхода изменение даже в одном звене системы образования закономерно влечет изменения во всех других структурно-функциональных звеньях: ценностях и целях, содержании, формах, методах, средствах обучения и контроля, условиях обучения и воспитания, в деятельности педагогов и обучающихся, в образовательной среде, правовом, научно-методическом, финансовом и материально-техническом обеспечении, в отношениях с внешней средой - семьей, государством, производством, обществом и миром [4]. Контрольное звено любой педагогической системы должно функционировать в органичном и целостном единстве с другими ее структурно-функциональными звеньями.
Складывается впечатление, что авторы идеи ЕГЭ то ли не знали этого принципа, то ли просто его игнорировали. Законодательное введение ЕГЭ как универсального средства оценки конечных результатов школьного образования, как его контрольного звена в одночасье кардинально изменило ситуацию во всей веками складывавшейся педагогической системе на всех уровнях непрерывного образования; это чувствуют все. Однако в остальном школа осталась в основном такой, какой ее задумал еще в XVII в. веке великий Я.А. Коменский [5]. Остались те же дидактические принципы, ничего, по существу, не изменилось и в других отмеченных выше структурно-функциональных блоках школьной педагогической системы. Расцвело только репетиторство, натаскивание на выполнение ЕГЭ. А если изменения и происходят, то каким-то ин-
туитивно неявным образом, путем проб и ошибок.
3. Напомним, что ЕГЭ появился в школе еще до введения ФГОС, стандартов компетентностного типа. Педагогический тест, если он, конечно, тест, а не тестовая форма обычных заданий, способен «схватывать» лишь когнитивный (знаниевый) компонент содержания независимых друг от друга учебных предметов. Педагогический тест принципиально, тем более «в одиночку», не может служить инструментом измерения уровня сформированных общекультурных и профессиональных компетенций бакалавра; он приспособлен только для оценки уровня усвоения (запоминания) материала отдельных учебных предметов. А «компетенция» - это межпредметное, надпредметное, практикоори-ентированное, мотивированное к использованию системное качество личности и ее опыт, обеспечивающие компетентное решение им тех или иных практических задач и проблем [6].
Возникает непростая дилемма: отменять либо ЕГЭ, либо ГОСы нового поколения. В существующих условиях это невозможно, но нужно хотя бы помнить об этой дилемме при попытках разработать единый «федеральный экзамен бакалавра».
4. Педагогические тесты называют тестами учебных достижений, учебной успешности, тестами знаний и т.п., поскольку они могут диагностировать только познавательную сферу. Однако образовательный процесс представляет собой единство обучения и воспитания. Предмет воспитания -морально-нравственное развитие личности в условиях общения и взаимодействия субъектов образовательного процесса. Поскольку «педагогический тест» не направлен на измерение каких-либо личностных качеств обучающихся, его название должно быть адекватно тому, что он призван измерять, и называться «дидактическим тестом». Соответственно, использование дидактических тестов в качестве основно-
го в процессе обучения либо единственного на конечном этапе обучения (как это сделано с ЕГЭ) выводит координату воспитания за пределы и содержания образования, и образовательного процесса, и самого контроля.
5. Педагогический (по сути - дидактический) тест как единственный метод диагностики конечных достижений обучающихся чужероден традиционному объяснительно-иллюстративному типу обучения. Он не используется в процессе развертывания содержания обучения и организации усвоения знаний(умений,навыков, компетенций), поэтому не только не повышает его качество, но и оказывает разрушительное воздействие на сложившуюся систему, что убедительно показывает опыт использования ЕГЭ в общеобразовательной школе.
6. Для существующей педагогической традиции тестовый контроль, даже если бы он опирался на четкую научную основу педагогических измерений, - это «ария из другой оперы», впрочем, как и любая другая значимая инновация. Сложившаяся педагогическая система передачи, закрепления информации и привычного контроля закономерно сопротивляется инновациям, нарушающим ее целостность. Субъектом такого сопротивления выступает прежде всего учитель, преподаватель как носитель этой традиции. Не потому, что он заведомо против инноваций, а по той причине, что реформа образования не опирается на какую-либо психолого-педагогическую или просто педагогическую теорию. В результате весь педагогический корпус страны находится в сказочной ситуации «пойди туда, не знаю куда, найди то, не знаю что». А теория, по мысли К. Маркса, становится материальной силой, только когда она овладевает массами.
Из всего сказанного можно сделать два основных вывода:
• если какая-либо системная инновация, в нашем случае ЕГЭ или грядущий
«федеральный экзамен бакалавра», навязывается извне без научного осмысления и теоретического обоснования всей педагогической традиции, последняя обречена на снижение качества, а новая не появится;
• для диагностики уровня развития компетенций использовать только тесты знаний (дидактические тесты) недостаточно - необходим целый комплекс диагностических средств - традиционных и новых, измерительные качества которых соответствуют диагностируемым параметрам компетенций бакалавров.
Теоретически говоря, из создавшейся ситуации может быть четыре выхода:
1)провести научное обоснование использования дидактических тестов там, где это возможно и необходимо, в рамках существующего объяснительно-иллюстративного типа обучения, не разрушая его основ;
2) научно обосновать новый тип обучения, органично включающий в себя тест в функции управления, обучения и контроля;
3) концептуально, организационно и научно-методически обосновать рациональное использование дидактического теста как одного из средств диагностики процесса и результатов обучения в рамках того или иного типа обучения, включая традиционный; 4) провести исследования по совершенствованию теста как диагностического средства в контексте задач реализации основных направлений реформирования образования на компетентностной основе.
В данной статье мы затронем только четвертое направление, кратко рассмотрев идею принципиально нового типа педаго-гической(дидактической)диагностики -теста понимания, разрабатываемого на основе контекстного подхода Е.Е. Креслав-ской, старшим преподавателем МГГУ им. М.А. Шолохова [3; 7].
Понимание - мыслительный процесс, позволяющий организовывать полученную информацию в соответствии с установленными в ней смысловыми связями, которые, в свою очередь, обусловлены взаимовлия-
нием разного рода контекстов - внешних (предметных, предметно-технологических, социокультурных и многих др.) и внутренних - психофизиологических, личностных и другихособенностей человека, через призму которых он воспринимает окружающий мир.
Очевидно, что для диагностики понимания нужна принципиально иная концепция теста, чем выбор одного правильного ответа из четырех предложенных, поскольку уровни понимания могут быть разными. В результате проверки экспериментальной модели были выделены четыре уровня понимания: а) житейский, б) поверхностное понимание, в) неполное понимание, г) адекватное понимание. Они и выступили предметом диагностики освоения учебного материала.
Тест понимания имеет ряд особенностей, принципиально отличающих его от обычных дидактических тестов по трем позициям: 1) постановка вопроса; 2) формулировки вариантов ответа; 3) способ оценивания результатов тестирования. Рассмотрим их чуть подробнее.
Отсутствие в вопросах прямых определений. Основное внимание уделяется функциональной составляющей структуры, явления или процесса, именно это является сутью, в которую надо проникнуть, чтобы понять смысл учебного материала. Например: «Гемоглобин нужен для...»вместо «Что такое гемоглобин?»; «Мутация приводит к. » вместо «Что такое мутация?».
Отсутствие дихотомии «верно/неверно » в предложенных вариантах ответа. Три из четырех вариантов содержат информацию, верную в принципе, но различающуюся по полноте, обобщенности, уровню понимания. Четвертый ответ неверен в принципе - некая абсурдная информация (дистрактор): «Пищеварение необходимо для работы пищеварительной системы». Чтобы выбрать один из предложенных вариантов теста понимания, недостаточно некоего объема знаний, студент
должен включить ряд умений и мыслительных операций: сравнивать и сопоставлять понятия, выявлять логические связи и отношения (родовидовые, причинно-следственные, части и целого и др.), владеть методами анализа и синтеза, различать главное и второстепенное. Иначе говоря, нужна осознанная мыслительная работа по выбору наиболее общего и полного ответа, свидетельствующего о понимании изучаемого материала.
Дифференцированная оценка выполнения теста. Правильных ответов на вопрос теста может быть несколько, но они оцениваются по-разному в зависимости от глубины понимания вопроса. Максимально полный правильный ответ оценивается высшим баллом - 3; верный ответ, но отражающий частный случай, - 2 балла; поверхностный ответ, свидетельствующий о наличии у студента лишь некоторых представлений по теме, - 1 балл. За ответ, демонстрирующий отсутствие знаний по учебному материалу или грубое нарушение логических связей, выставляется 0 баллов [8].
Для оценки валидности теста понимания автором использовался экспертный метод. В группу экспертов вошло 55 человек, имеющих высшее биологическое или медицинское образование либо обучавшихся по этим специальностям: научные работники, учителя школ, преподаватели вузов, студенты-биологи выпускного курса, студенты-медики и пять старшеклассников - призеров биологической олимпиады. Эксперты пришли к общему мнению, что такой тест стимулирует не только память, но и мышление и, главное, процессы понимания. Таким образом, предложенный тест выполняет собственно контрольную, обучающую и развивающую функции.
Результаты тестов понимания иллюстрируют важную мысль: нет знаний только истинных или только ложных, а принимаемых на их основе решений - только хороших или только плохих; есть решения, по-разному приближающие к некоему желае-
мому результату. Однако в ситуациях педагогического контроля в форме традиционного теста у преподавателя действует практически неосознаваемая установка оценивать знания дихотомически: «правильные, прочные, глубокие / неверные, слабые, поверхностные».
В науке давно признано, что знания людей в любой предметной области множественны, субъектны, континуальны. В воспринимаемой обучающимся информации закреплены значения - результаты социального опыта человечества. Если эти значения усвоены на уровне понимания, они становятся для человека личностными смыслами. Иначе говоря, объективно существующая информация становится личным (субъектным) знанием человека. «Встреча» внешнего, объективного, с внутренним, субъектным, с уникальным для каждого обучающегося контекстом, приводит к тому, что в процессах жизни и образования у разных людей складываются свои неповторимые личностные смыслы по отношению кодним и тем же объективно заданным значениям. Отсюда разнообразие уровней общекультурной и профессиональной компетентности у специалистов, окончивших, скажем, один и тот же вуз, -от простой умелости до вершин творчества - и, соответственно, разное качество результатов их труда. Не в развитии ли понимания человека, особенно в период раннего детства, - ключ к раскрытию механизма развития способностей?
Итак, нужно признать нормой, а не ошибкой разнообразие видения обучающимися одной и той же предметной или социальной реальности. Оно обусловлено разным пониманием информации об этой реальности под влиянием сложившего на момент ее восприятия внутреннего контекста, если только эта информация не ложная в принципе. Такое разнообразие не может «схватить » обычный тест, как и выслушивание экзаменатором зазубренной студентом информации без понимания ее смысла.
Создание стандартизованного работающего теста на базе предложенной Е.Е. Крес-лавской модели требует согласованной деятельности целого коллектива, где должны быть эксперты, профессионально владеющие учебной дисциплиной, тестологи, специалисты в области математического анализа.
Возможности психологических тестов для оценки качества подготовки бакалавра
ФГОС ВПО предписывает вузам проводить оценку качества освоения основной образовательной программы (ООП), но при этом средства оценки общекультурных и профессиональных компетенций нормативно не заданы. В МГГУ им. М.А. Шолохова в рамках внедрения контекстно-ком-петентностного подхода к профессиональному образованию проведена дифференциация компетенций и создана их классификация [9; 10], что позволяет осуществить более тонкое различение компетенций за счет разделения их на кластеры и виды (табл. 1).
В мировоззренческий кластер входят компетенции, отражающие способность выпускника использовать научные знания о природе, человеке и обществе в процессе своей профессиональной деятельности, социального участия и личностного роста. Мировоззренческий кластер общекультурной группы компетенций включает в себя компетенции по использованию общих знаний о мире, человеке и обществе. Мировоззренческий кластер профессиональной группы компетенций выражает компетенции по использованию на практике знаний
из областей, составляющих фундаментальную основу определенного направления подготовки.
В нормативный кластер входят компетенции, позволяющие выпускнику давать оценку ситуации, личности, поступку, формировать собственное отношение с точки зрения определенных социальных норм (права, морали) и руководствоваться ими в процессе своей профессиональной деятельности, социального участия и личностного роста. Нормативный кластер общекультурной группы компетенций состоит из компетенций, позволяющих давать оценку ситуации, личности, поступкам с точки зрения общих правовых и этических норм. Нормативный кластер профессиональной группы компетенций включает в себя компетенции, позволяющие давать оценку ситуации, личности или поступкам с точки зрения специальных разделов права и норм профессиональной этики, которые характерны для определенного вида профессиональной деятельности.
Инструментальный кластер составляют компетенции, отражающие способно-
сти использовать сложившиеся умения и навыки в процессе своей профессиональной деятельности, социального участия и личностного роста. Инструментальный кластер общекультурной группы - это компетенции, проявляющиеся вне зависимости от конкретной сферы профессиональной деятельности (например, способность планировать свою работу, ответственность, инициативность и т.п.). Инструментальный кластер профессиональных компетенций включает в себя компетенции, которые позволяют эффективно решать
Таблица 1
Классификация компетенций
Мировоззренческие Нормативные Инструментальные
Общекультурные Мировоззренческие общекультурные Нормативные общекультурные Инструментальные общекультурные
Профессиональные Мировоззренческие профессиональные Нормативные профессиональные Инструментальные профессиональные
задачи определенного вида профессиональной деятельности.
В соответствии с такой классификацией компетенций в нашем вузе создана система измерительных инструментов для оценки уровня развития каждой компетенции - «Банк контрольных и учебных заданий (БКУЗ)» [10]. В него входят следующие виды инструментов, классифицированных по группам компетенций:
• различные формы тестов, имитационные упражнения, курсовая работа, эссе, проект (для мировоззренческих компетенций);
• дебаты,дискуссии, выступления на круглом столе, экспертная оценка, эссе, кейс, деловая игра (для оценки нормативных компетенций);
• составление рекомендаций, отчет об исследовании,ситуационный анализ, мозговой штурм, отчет о практике, деловая игра, квазипрофессиональное творческое задание, психологическое тестирование (для оценки инструментальных компетенций).
На наш взгляд, в первую очередь нужно оценивать общекультурные компетенции (ОК), т.к. именно они позволяют определить базовый уровень готовности студента-первокурсника как к освоению ООП в целом, так и к формированию на их основе профессиональных компетенций. Это созвучно позиции, согласно которой общекультурные компетенции могут служить основой формирования профессиональной мобильности специалиста[11].
К числу целей измерения общекультурных компетенций в начале обучения также следует отнести: 1) прослеживание динамики их развития на протяжении четырехлетнего обучения как элемент психологического сопровождения профессионального становления студента; 2) внесение корректировок в вариативную часть учебных планов (дополнительные занятия в виде тренингов и практикумов) при недостаточном развитии компетенций; 3) учет при по-
строении балльно-рейтинговой системы; 4) самостоятельное построение студентом плана профессионального развития.
Проведенный анализ показал, что на момент начала нашей работы (сентябрь 2011 г.) измерение компетенций студентов проводилось в основном с помощью педагогических (дидактических) тестов, анкетирования, метода экспертной оценки и очень редко - психологических тестов. То есть возможности последних для получения надежных и валидных данных о наличии/ сформированности компетенций студентов-бакалавров в полной мере не использовались.
Психологический тест (англ. test - проба, проверка) - стандартизированная методика психологического измерения, предназначенная для диагностики выраженности психических свойств или состояний у индивида при решении практических задач [12]. Соответственно, психологическое тестирование - это метод психодиагностики, использующий стандартизированные вопросы и задачи (тесты), имеющие определенную шкалу значений [13].
Безусловно,психологическое тестирование имеет свои недостатки, но по сравнению с педагогическими (дидактическими) тестами и другими перечисленными выше методами оценки компетенций психологический тест обладает рядом несомненных преимуществ. К их числу следует отнести следующие [3]:
• возможность определения системного психологического качества, на основе которого формируется та или иная компетенция;
• надежность, т.е. точность измерения психологического качества и устойчивость результатов к действию посторонних факторов;
• валидность, т.е. соответствие тому, для изучения и оценки чего он изначально предназначен;
• стандартизованность предъявления и обработки результатов, следовательно,
независимость результатов от влияния экспериментальной ситуации и личности психолога;
• сопоставимость индивидуальных данных с нормативными, полученными в тех же условиях в достаточно репрезентативной группе.
Согласно А.Ф. Ануфриеву, с помощью методов практической психодиагностики можно выявить «различную степень выраженности уотдельного человека или группы людей неизвестного общего, т.е. индивидуальные различия» [14]. Результаты диагностики таких различий позволяют определить базовый (стартовый) уровень развития ОК студентов в качестве «точки отсчета», относительно которой можно отслеживать динамику развития компетенций, следовательно, оценить и эффективность используемых для их формирования педагогических технологий.
На основе изложенных выше позиций в МГГУ им. М.А. Шолохова была проведена диагностика общекультурных компетенций бакалавров 1-го курса. Первый замер был проведен в сентябре 2011 г. (по 10 направлениям подготовки, N=155), повторный - в сентябре 2012 г. (на направлениях подготовки «Психология» и «Менеджмент», N=29).
Для психологической диагностики были
выбраны четыре общекультурные компетенции. Основанием выбора послужила частота их встречаемости в ФГОС направлений подготовки, по которым обучаются студенты нашего гуманитарного университета, а также значение данных компетенций для формирования последующих и адаптации первокурсника в вузе. Перечень диагностируемых компетенций и средств их оценки представлен в табл. 2.
Для обеспечения достоверности результатов организационные условия диагностики были заданы следующим образом: 1) студенты заранее не предупреждались о проводимом обследовании; 2) цель обследования не сообщалась, но были оговорены условия получения «обратной связи»; 3) на бланках тестирования указывалась Ф.И.О. студента и код направления подготовки; 4) обследование проводилось в первой половине дня в середине недели в течение одной встречи; 5) студентов просили не разглашать содержание диагностики, для этого использовался соревновательный мотив - «показать результаты лучше, чем другие группы первого курса». В среднем время тестирования отдельной студенческой группы заняло 1,5-3 часа. Все тесты рассчитаны на применение в студенческом возрасте.
№ Наименование компетенции Вид средств оценки Наименование теста
1 Способен нести ответственность за свои поступки и последствия принятых решений Психодиагностический опросник «Ответственность» (авторы: А.И. Крупнов, В.П. Пря- деин)
2 Владеет навыками публичной речи, делового общения Психодиагностический опросник «Коммуникативная тревожность» (автор Хекхаузен Х.)
3 Способен ставить и достигать жизненные и профессиональные цели Психодиагностический опросник «Тест определения самоэффективности» (авторы: Дж. Маддукс и М. Шеер; модификация Л. Боя-ринцевой под руководством Р.Л. Кричевского)
4 Способен создавать рабочие команды и оптимизировать их деятельность Проективный тест «Вы и ваше окружение». (автор А.В. Липсиц)
Таблица 2
Перечень общекультурных компетенций (ОК) бакалавров и средств их оценки
Анализ результатов первичной диагностики общекультурных компетенций бакалавров первого курса, проведенной в сентябре 2011 г. на выборке в 155 человек, представлен в табл. 3.
петенция ОК.3 не имеет значимых различий ни с одной из анализируемых компетенций; 4) компетенция ОК.4 имеет значимые различия со всеми компетенциями. Следовательно, перечисленные компе-
Таблица3
Результаты первичной диагностики ОК бакалавров (сентябрь 2011 г.)
№ Компетенция Шифр Сумма рангов Уровень
1. Способен нести ответственность за свои поступки и последствия принятых решений ОК.1 68 средний
2. Владеет навыками публичной речи, делового общения ОК.2 52 средний
3. Способен ставить и достигать жизненные и профессиональные цели ОК.3 61 средний
4. Способен создавать рабочие команды и оптимизировать их деятельность ОК.4 66 средний
Полученные данные показывают базовый (стартовый) уровень развития обще-культурныхкомпетенций бакалавров и могут считаться точкой отсчета в формировании компетентностного профиля. Для оценки этих данных проведено два вида статистического анализа:
1) поиск значимых различий между уровнями развития диагностируемых компетенций по и-критерию Манна - Уитни (предназначен для оценки различий между двумя выборками по уровню какого-либо признака, количественно измеренного);
2) поиск связей между используемыми средствами оценки компетенций по коэффициенту ранговой корреляции Ч.Э. Спир-мена (позволяет определить тесноту/ силу и направление корреляционной связи между двумя признаками).
Как видно из табл. 3, все измеряемые компетенции представлены на среднем уровне развития, но результаты поиска значимых различий по и-критерию Манна -Уитни показали, что: 1) компетенция ОК.1 имеет значимые различия с компетенцией ОК.2, но не отличается от ОК.3 и ОК.4; 2) компетенция ОК.2 имеет значимые различия с компетенциями ОК.1, ОК.4, но не отличается от компетенции ОК.3; 3) ком-
тенции будут рассмотрены как отличающиеся друг от друга по уровню развития. На наш взгляд, проводить такого рода статистический анализ целесообразно, поскольку он позволяет увидеть уровень различий в диагностируемых компетенциях.
Результаты корреляционного анализа по коэффициенту Ч.Э. Спирмена показали следующее: 1) между компетенцией ОК.1 и компетенциями ОК.3, ОК.4 корреляция находится на уровне значимости, с ОК.2 -не значима; 2) между компетенцией ОК.2 и ОК.4 корреляция находится на уровне значимости, с ОК.1 и ОК.3 - нет взаимосвязи; 3) между компетенцией ОК.3 и ОК.4 корреляция находится на уровне значимости, с ОК.1 и ОК.2 - нет взаимосвязи; 4) между компетенцией ОК.4 и всеми другими компетенциями присутствует корреляционная связь.
Полученные данные по корреляционным взаимосвязям позволяют выстроить иерархию общекультурных компетенций, где на первом месте будет компетенция, обладающая наибольшим количеством взаимосвязей с другими компетенциями:
1 - способен создавать рабочие команды и оптимизировать их деятельность (три корреляционные связи);
2 - способен ставить и достигать жизненных и профессиональных целей; способен нести ответственность за свои поступки и последствия принятых решений (по две корреляционные связи);
3 - владеет навыками публичной речи, ведения дискуссии и полемики (одна корреляционная связь).
Вторым этапом изучения возможностей оценки общекультурных компетенций с помощью психологических тестов было проведение повторного обследования тех же самых компетенций год спустя (сентябрь 2012 г.). Диагностика проводилась теми же средствами оценки с 29 студентами, уже перешедшими на второй курс. Для минимизации эффекта узнавания был изменен порядок предъявления тестов и оформление стимульного материала. Проверялась гипотеза о наличии сдвига в развитии компетенций в результате годичного обучения. Для сравнения двух выборок (N=155 чел., N=29 чел.) использовался ^критерий Стьюдента, позволяющий провести оценку различий среднихзначений в двух неравных по величине выборках. Результаты сравнительного анализа показали:
■ по компетенции ОК.1 между выборками существуют значимые различия;
■ по компетенции ОК.2 различия не значимы;
■ по компетенции ОК.3 различия находятся в зоне неопределенности;
■ по компетенции ОК.4 различия значимы.
В результате сравнения данных психодиагностики в начале первого курса и через год обучения было установлено, что в двух из четырех измеряемых компетенций произошел сдвиг в сторону повышения уровня развития (ОК.1, ОК.4), что составляет 50% от общего числа измеряемых компетенций. Особенно важно, что можно констатировать развитие компетенции, занимающей первое место в иерархии компетенций, а именно ОК.4 - «Способен создавать рабочие команды и оптимизировать их деятель-
ность » как компетенции, позитивно влияющей на развитие других.
Факт положительной динамики развития общекультурных компетенций на данный момент не оставляет сомнения, как и эффективность использованного для обследования диагностического инструментария. Таким образом, нам удалось установить с высокой степенью достоверности возможность применения психологических тестов для оценки компетенций студентов. Перспективой наших дальнейших исследований является: во-первых, расширение спектра диагностических средств при изучении общекультурных компетенций; во-вторых, создание диагностического инструментария по оценке профессиональных компетенций; в-третьих, апробация средств оценки компетенций, используемых в бизнес-среде для проведения оценки персонала.
Литература
1. Днепров Э.Д. Новейшая политическая ис-
тория российского образования: опыт и уроки. М.: Мариос, 2011. 456 с.
2. Аванесов В.С. Вопросы методологии пе-
дагогических измерений. URL: http:// testolog.narod.ru/EdMeasmt3.html
3. Вербицкий А.А, Креславская Е.Е. Тести-
рование в образовании: проблемы и перспективы // Педагогика. 2012. № 8. С. 3-13.
4. Вербицкий А.А, Ермакова О.Б. Школа кон-
текстного обучения как модель реализации компетентностного подхода в общем образовании // Педагогика. 2009. № 2. С. 18-22.
5. Коменский Я.А., Локк Д., Руссо Ж.-Ж, Песталоцци И.Г. Педагогическое наследие. М.: Педагогика, 1989. 416 с.
6. Зимняя И.А. Ключевые компетенции - но-
вая парадигма результата образования // Высшее образование сегодня. 2003. № 5. С. 34-42.
7. Вербицкий А.А. Активное обучение в выс-
шей школе: контекстный подход. М.: Высшая школа, 1991. 207 с.
8. Креславская Е.Е, Вартанов А.В. Тест на
понимание учебного материала по биологии человека: результаты верификации // Вестн. Моск. ун-та. Сер. 14 «Психология». 2009. № 2. С. 72-80.
9. Нечаев В.Д., Вербицкий А.А. Через кон-
текст - к модулям: опыт МГГУ им. М.А. Шолохова // Высшее образование в России. 2010. № 6. С. 3-11.
10. Дурнева Е.Е. Учебно-методические комплексы образовательных модулей контек-стно-компетентностного формата // Вестник МГГУ им. М.А. Шолохова. Сер.: Педагогика и психология. 2012. № 2. С. 69-74.
11. Синякова М.Г. Основные подходы к определению сущности общекультурной компетентности бакалавра менеджмента // Международный журнал экспериментального образования. 2010. № 9. С. 23-36.
12. Большой психологический словарь / Сост. Мещеряков Б.Г., Зинченко В.П. СПб.: Олма-пресс, 2004.
13. Свенцицкий А.Л. Краткий словарь психологических терминов. М.: Проспект, 2011.
14. Ануфриев А.Ф. Основы практической психодиагностики: В 2 кн. Кн. вторая. М.: МГГУ им. М.А. Шолохова, 2009. С. 114.
В.М. ЖУРАКОВСКИЙ, профессор, академик РАО
Национальный фонд подготовки кадров
Опыт совершенствования управления научно-образовательной деятельностью в ведущих российских вузах
Рассматривается опыт управления научно-образовательной деятельностью в сети федеральных и национальных исследовательских университетов в рамках приоритетного национального проекта «Образование ». Проведенный анализ показал, что управление реализацией программ развития во всех ведущих вузах имеет программно-целевой характер, структурные схемы органов управления программами имеют много общего.
Ключевые слова: национальный проект «Образование », ведущий вуз, программа развития вуза, программно-целевое управление вузом, проектный менеджмент
Создание сети федеральных и национальных исследовательских университетов в рамках приоритетного национального проекта «Образование» может рассматриваться как системная управленческая инновация, которая в явном виде реализует принцип инвестиционного проектного финансирования программ развития ведущих вузов с использованием такого механизма бюджетного планирования и расходования средств, как бюджетирование, ориентированное на результат.
Университеты - участники проекта, условно объединённые в сегмент «ведущих вузов», уже на стадии разработки конкурсных заявок и проектов программ развития использовали методы стратегического пла-
нирования, а в ходе выполнения программ реализуют эффективные принципы и формы современного университетского менеджмента. В соответствии с Постановлением Правительства Российской Федерации от 13 июля 2009 года № 550 средства государственной поддержки университетов предназначены в том числе для «совершенствования системы управления качеством образования и научных исследований», а в программах развития всех вузов предусмотрены мероприятия, обычно объединяемые в раздел «Совершенствование управления университетом». На выполнение мероприятий управленческого характера в явном виде университеты планируют от 1% до 4,5% средств федерального бюджета.
