CC BY
111
№ 2, 2013
УДК 371.27:51
ПРИМЕНЕНИЕ БАЛЛЬНО-РЕЙТИНГОВОЙ СИСТЕМЫ В ВУЗЕ (на примере дисциплин математического цикла)
А. О. Сыромясов (Мордовский государственный университет им. Н. П. Огарева)
Обсуждаются параметры деятельности студентов, подлежащие оценке в рамках балльно-рейтинговой системы, итоговый рейтинг как взвешенное среднее баллов, полученных при оценке каждого из этих параметров. Предлагаемая методика определения удельного веса параметров в рейтинге основана на учете соотношения теоретической и практической составляющих учебной дисциплины, а также на сравнении объема знаний и умений, проконтролированных различными видами отчетности.
Ключевые слова: балльно-рейтинговая система; оценка; высшее образование.
Требования, предъявляемые к балльно-рейтинговой системе. В последнее время во многих отечественных вузах внедряется балльно-рейтинговая система (БаРС). В рамках этой системы мерилом учебных достижений студента объявляется рейтинг, получаемый на основе оценки всех видов его деятельности по той или иной дисциплине. Как правило, рейтинг вычисляется по 100-балльной шкале, но возможны и варианты [3; 5]. БаРС должна удовлетворять следующим условиям:
— адекватности: рейтинг отражает реальный уровень знаний студента;
— подробности: система учитывает все существенные для освоения образовательной программы виды деятельности студента;
— общности и гибкости: система, построенная по одному и тому же принципу, после небольшой адаптации пригодна для оценки освоения не одной дисциплины, а нескольких. Использование разных систем при изучении разных дисциплин может создать путаницу;
— относительной простоты использования преподавателями и студентами.
В данной работе делается попытка построить систему оценки знаний, для которой выполняются эти требования, на примере преподавания математических дисциплин.
Параметры, учитываемые в БаРС. Изучение математических дисциплин в вузе заканчивается экзаменом
или зачетом (промежуточный контроль знаний); в течение семестра может быть предусмотрен рубежный контроль — контрольные (расчетно-графические) работы, типовые расчеты или коллоквиумы. Помимо лекционных со студентами проводятся практические занятия, посвященные решению задач по различным темам курса. Очевидно, результаты рубежного и промежуточного контроля знаний, а также текущая успеваемость студента должны быть учтены в рейтинге.
Иногда утверждается, что введение рейтинговой системы позволит отказаться от проведения экзаменов и оценивать студентов по результатам семестровой работы. Однако опрос студентов старших курсов показывает: как правило, предметы, по которым заранее оглашаются оценки «автоматом», усваиваются хуже, чем те, по которым сдается экзамен. Дело в том, что каждый рубежный контроль проверяет знание лишь части курса, а подготовка к экзамену носит обобщающий характер и позволяет повторить курс целиком. Кроме того, согласно современным образовательным стандартам выпускники вузов должны уметь «логически верно, аргументированно и ясно строить устную и письменную речь» [8]. Отменяя процедуру экзамена, мы сокращаем объем общения студента с преподавателем, а значит, и возможность для формирования указанной компетенции. Следовательно, получение оценки «автоматом» должно быть исключением, а не правилом.
© Сыромясов А. О., 2013
В ряде вузов предусматривается возможность уменьшения рейтинга за пропуски занятий [2; 4; 6]. На наш взгляд, учет посещаемости в рейтинге нецелесообразен. Во-первых, требуется оценивать учебные достижения студента, а одно лишь присутствие на занятии таковым не является. Не посещая пары, студент лишается возможности получить знания и заработать оценки, но это выбор самого студента. Во-вторых, санкции за пропуски могут повлечь введение системы отработок пропущенных занятий, что усложнит учебный процесс и создаст дополнительную нагрузку на преподавателей. В-третьих, администрацией вузов предусматриваются дисциплинарные меры в отношении прогульщиков (вплоть до отчисления) и нет необходимости наказывать за один и тот же проступок дважды. В-четвертых, учет посещаемости ударит по студентам старших курсов. Многие из них работают и потому пропускают занятия, однако хорошо знают предмет [1]. Учет посещаемости приведет к искусственному занижению их рейтинга, а значит, БаРС перестанет быть адекватной. Аналогичная ситуация, возникающая при заочной форме обучения, усугубляется тем, что аудиторная нагрузка заочников мала.
Приведенные соображения не относятся к профессиональным дисциплинам, преподаваемым, например, студентам медицинских специальностей. В таких случаях пропуски занятий гораздо более критичны.
Иногда в БаРС включаются «премиальные» баллы, учитывающие выполнение студентами более сложных, творческих заданий, научную и общественную деятельность. Безусловно, активных в учебе и науке студентов необходимо поощрять, но это можно сделать, поставив несколько высоких текущих оценок или освободив студента от какой-то рубежной отчетности. Усложнять систему специальными «премиальными» баллами непродуктивно. Неясно, как рассматривать эту «премию»: как неотъемлемую часть рейтинга [4] или как бонус, прибавляемый к общей оценке [7]. Например, пусть успеваемость оценивается по
100-балльной шкале, размер «премии» составляет 20 баллов, а студент NN безупречно знает учебный материал. Тогда в первом случае, если NN не выполняет творческих заданий, он будет иметь рейтинг 80, а во втором, если он выполняет такие задания, — 120 баллов. Оба рейтинга неадекватны, ибо безупречное знание дисциплины (вне зависимости от прочих факторов) должно оцениваться 100 баллами. Общественная же деятельность при оценке учебных достижений учитываться не должна.
Иногда порядок поощрения общественной и научной деятельности студентов, регламентируемый вузом, не зависит прямо от их успеваемости. В этом случае увеличивать их рейтинг (и награждать дважды за одно достижение) нецелесообразно. Если же критерием поощрения являются набранные баллы, то следует различать рейтинг по дисциплине (он заносится в диплом) и среднесеместровый (не заносится). Последний показатель и служит основой для назначения стипендии. По решению администрации он может быть увеличен, чтобы учесть внеучебные достижения студента [2; 6].
Балльно-рейтинговая система и ECTS. Существует мнение, что внедрение БаРС обеспечит международное признание российских дипломов, в частности их конвертирование в европейскую систему ECTS. Исходя из этого некоторые вузы «привязывают» рейтинг студента к «европейским» оценкам: А, В, С, D, Е, Fx, F. Например, в Южно-Уральском государственном университете студент, имеющий рейтинг свыше 92 баллов, получает оценку А, свыше 85 — В, свыше 72 баллов - оценку С и т. д. [7]. Подобная жесткая «привязка» оценок ECTS к баллам рейтинга неверна. Во-первых, взаимное признание дипломов различных государств регламентируется договорами о нострификации и сама по себе рейтинговая система проблему признания не решит. Во-вторых, «общеевропейская» шкала не отменяет национальных. Более того, не во всех странах — участницах ECTS внедрена рейтинговая система с оцен-
кой рубежных отчетностей. Пример тому — Великобритания. В-третьих, указанная шкала призвана оценивать не абсолютные успехи студента, а его относительное положение среди других лиц, изучавших ту же дисциплину. Так, оценку A получают 10 % лучших студентов, B — следующие 25 % и т. д. [9].
Таким образом, при оценке достижений студентов можно использовать любую шкалу. Соответствие между ней и оценками ECTS возникнет автоматически при накоплении статистической информации, достаточной для ранжирования студентов по группам того или иного относительного объема.
Определение веса различных видов отчетности. Рейтинг студента складывается из баллов, заработанных им в аудитории и при сдаче рубежной отчетности (семестровый рейтинг S), и баллов, полученных на экзамене (экзаменационный рейтинг E). При этом величины S и E не могут быть больше некоторых фиксированных заранее значений S и E . В другом вари-
max max r г
анте работа в семестре и на экзамене оценивается по 100-балльной шкале, а итоговый рейтинг R является их средневзвешенным значением:
R = ws ■ S + wE ■ E. (1a)
Здесь ^ wE > 0 wS+ wE = 1 Smax =
= 100w, E = 100w. Отношение ве-
S max E
личин S и E (w„ и w„) показывает,
max max S E
насколько важна и трудоемка семестровая отчетность по сравнению с промежуточной. Более общий вид равенства (1a) таков:
R = w1M1 + w2M2 + ... + wNMN, (1b) где M1, M2, ..., MN — оценки, полученные за каждый из N предусмотренных видов отчетности; w > 0 — вес k-го вида отчетности, w1 + w2 + . + wN = 1.
Использование одной и той же шкалы при оценке разных видов отчетности позволяет избежать путаницы. Однако 100-балльная шкала излишне подробна для «повседневного» использования. Для удобства ответы в аудитории, рубежную и промежуточную отчетность можно оценивать с шагом 10 — по аналогии с 10-балльной системой, применяемой в НИУ «Высшая школа экономики» [3]. «Рабочая» шкала оценок может выглядеть так:
100 баллов — «отлично», 90 — «почти отлично», 80 — «очень хорошо» (4,5 балла по 5-балльной шкале), 70 — «хорошо», 60 — «весьма удовлетворительно» и т. д.
В некоторых вузах соотношение w5 и wE устанавливается для каждой дисциплины в отдельности [3]; в других оно едино для всех предметов [2; 4—6]. Так, в Казанском Приволжском федеральном университете, изучая любую дисциплину, можно получить до 50 баллов в течение семестра и столько же на экзамене ^ = wE = 0,5). Стремление руководства учебных заведений к унификации БаРС понятно. Но установка единых значений w8 и wE предполагает, что унифицирован и учебный процесс: число рубежных отчетностей и интенсивность аудиторной нагрузки одинаковы вне зависимости от направления подготовки и учебного предмета. Достичь этого невозможно, поэтому w8 и wE определяются для каждой дисциплины отдельно.
Изучив дисциплину, студент должен обладать некими теоретическими знаниями и практическими умениями, поэтому для использования равенства (1Ь) требуется сначала определить вес теории wT и практики wp в итоговой оценке. Далее следует выяснить, насколько та или иная отчетность контролирует освоение теоретической и практической части дисциплины, и поделить wT и wp в найденном отношении. При этом теория и практика оцениваются раздельно, полный контроль освоения той или иной компоненты принимается за 1.
Как правило, рубежная отчетность предусматривается после изучения раздела дисциплины, а сдача всех рубежных отчетностей означает полную проверку знаний или умений. Напротив, нельзя утверждать, что экзамен позволяет полностью проконтролировать освоение предмета. Классический экзаменационный билет включает два теоретических вопроса и задачу, в то время как список вопросов к экзамену и перечень типовых задач насчитывают несколько десятков позиций. Задавая дополнительные вопросы, преподаватель может расширить круг обсуж-
даемых тем, но полностью знания по предмету проверены не будут. Представляется интересным опыт британских университетов, где экзамен — это письменная работа, содержащая достаточно большое количество заданий [10].
Чтобы сохранить устное общение студента и экзаменатора, но при этом учесть зарубежный опыт, предлагается:
1) увеличить количество вопросов и задач в билете (пропорционально изменив время, отводимое на подготовку). От структуры «2 вопроса + 1 задача» можно перейти к структуре «3 + 3» или хотя бы «2 + 2». При этом желательно увеличить и норму времени на прием экзамена преподавателем;
2) составлять билеты так, чтобы они не включали вопросов из одного и того же раздела дисциплины. Для того чтобы выяснить, насколько проконтролированы знания и умения студента, можно число вопросов (задач), включенных в билет, разделить на число изученных разделов дисциплины.
Сложнее всего определить вклад текущей успеваемости в рейтинг. Если студент отвечал на каждом практическом занятии, то его навык решать задачи проконтролирован полностью. Тогда относительный вес аудиторных занятий wA при распределении баллов за практические умения равен 1, а соответствующей оценкой является среднее арифметическое оценок, полученных на занятиях. Однако практика свидетельствует, что опросить за занятие всех присутствующих невозможно. В течение семестра разные студенты выступят на занятиях различное число раз, поэтому относительный вес аудиторных занятий должен зависеть от п — количества оценок, полученных студентом. Предлагается выбрать зависимость w = /(п), удовлетворяющую следующим условиям.
1. Функция /(п) возрастает. Тогда при прочих равных условиях более активный студент (с большим количеством ответов) получит больший рейтинг.
2. Студент, не имеющий оценок, не получает аудиторного рейтинга: /(0) = 0.
3. Функция f(n) ^ Amax = const при n ^ да. Это ограничение не дает студенту заработать рейтинг выше 100 баллов. Кроме того, если у студента много оценок, то получение еще одной-двух почти не меняет общей картины.
Перечисленным ограничениям удовлетворяет функция
w A Amax Найдем A
1 — a
— n1
\
a > 1, (2)
, а и p. Пусть n —
—...K* J Sem
число практических занятий, предусмотренных учебным планом, пА — среднее количество оценок, получаемых одним студентом в течение семестра. Логично считать, что, опросив студента на пА занятиях, мы проверим (пА/п^т)-ю часть его навыков. Поэтому
W а(ПаА) = ПА/П Sem. (3a)
Функция (2) растет нелинейно. Потребуем, чтобы при п ^ да ее значение увеличивалось не более чем на 50 % по сравнению с (3a):
^А(да) = M^Sem. (3Ь)
Ограничение (3b) вызвано тем, что резкий рост рейтинга при увеличении количества оценок может вызвать среди студентов нездоровую конкуренцию и желание заработать баллы за счет понижения рейтинга однокурсников.
Наконец, рейтинг, равный 100, должен быть достижим. Предположим, что студент имеет 100 % успеваемость по другим видам отчетности и все его текущие оценки за работу в аудитории равны 100. Тогда если этих оценок достаточно много (их число превышает некоторое п0), то суммарный рейтинг должен отличаться от 100 менее чем на 0,5. При округлении до ближайшего целого это и даст искомый 100 % результат. Пусть п0 = 1,5пА: вместе с (3b) это означает, что при увеличении п в 1,5 раза wA увеличится «почти» на 50 %.
Подстановка (3a) и (3b) в (2) дает
W A = Am
A„
1 — 3
= 15 nA /nSem
(4)
причем требование достижимости 100 % рейтинга, как правило, удовлетворяется при р = 3. Фигурирующая
P
Ш П
A
№ 2, 2013
в формуле (4) величина пл должна определяться преподавателем в зависимости от специфики предмета и нормативной наполняемости академической группы.
У студентов-заочников текущую успеваемость в рейтинг можно не включать, ибо аудиторных занятий с ними проводится весьма немного.
Например, на направлении «Программная инженерия» читается семестровый курс «Алгебра и геометрия». Вес теории и практики в рейтинге составляет wT = 0,4 и wp = 0,6 соответственно: для будущего программиста навыки расчетов более важны. Курс разбит на три раздела: «Линейная алгебра», «Векторная алгебра», «Аналитическая геометрия», изучение каждого из которых заканчивается выполнением типового расчета. Эта рубежная отчетность позволяет полностью проконтролировать как практические, так и теоретические знания студента. В экзаменационный билет входят два вопроса и две задачи, т. е. на экзамене знания и умения студента будут проконтролированы на 2/3. Практические занятия по предмету проводятся с академической группой (24 чел.) один раз в неделю. На каждом занятии в среднем оценки получают 6 чел. При продолжительности семестра nSem = 18 недель это дает пл = 18*6/24 = 4,5. Согласно (4) Amax = 3/8, т. е. практические навыки могут быть проконтролированы в аудитории на 37,5 %. Тем самым, надо поделить wT между тремя типовыми расчетами и двумя вопросами экзамена в отношении 1 : (2/3), а wp между типовыми расчетами, аудиторными занятиями и экзаменом — в отношении
1 : (3/8) : (2/3). Тогда вес теоретической части одного типового расчета будет равен wTK = 0,24/3 = 0,08, а вопроса на экзамене — w TE = 0,16/2 = 0,08. Аналогично вес практической части типового расчета составляет wpK « 0,1, а экзаменационной задачи — wpE « 0,1. Оценка текущей успеваемости «весит» не более w. « 0,1.
Amax ’
Далее, пусть типовые расчеты студента nN оценены 100/100, 80/90 и 100/100 баллами (в числителях указаны оценки теоретической, в знаменате-
лях — практической частей). На практических занятиях NN получил 7 оценок 100, его ответы на экзамене оценены 90, 80, 100 и 90 баллами (за 2 вопроса и
2 задачи). Тогда вес текущей успевае-
і 0.0984
мости wA = 0.1 • 1 - 3 (7/4 5)
итоговый рейтинг NN, рассчитанный по (1b), равен
(0,08 х 100 + 0,1 х 100) +
+ (0,08 х 80 + 0,1 х 90) +
+ (0,08 х 100 + 0,1 х 100) +
+ 0,0984 х 100 + (0,08 х 90 +
+ 0,08 х 80 + 0,1 х 100 +
+ 0,1 х 100) * 94,8.
Выводы. Итак, при подсчете рейтинга следует принимать во внимание только текущую успеваемость, рубежную и промежуточную отчетность. Следует учитывать, какой вклад в итоговую оценку вносят теоретические знания и практические умения студента и насколько полно каждая отчетность позволяет их проконтролировать. Для определения веса текущей успеваемости предложена функция, зависящая от числа оценок, полученных студентом. Приведен пример построения БаРС и расчета рейтинга.
СПИСОК
ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ
1. Левченко, Т. А. Проблемы и перспективы использования балльно-рейтинговой системы для аттестации учебной работы студентов высших учебных заведений / Т. А. Левченко // Успехи современного естествознания. — 2008. — № 9. — С. 55—56.
2. Методика использования балльно-рейтинговой системы оценивания знаний студентов [Электронный ресурс] // Московский государственный университет экономики, статистики и информатики (МЭСИ) : [сайт]. — Режим доступа: mesi.ru/upload/iblock/ce8/metod_ukaz. pdf. — Дата обращения: 25.01.2013.
3. Методические рекомендации по организации проведения учебной дисциплины и оценке знаний студентов [Электронный ресурс] // Государственный университет — Высшая школа экономики : [сайт]. — Режим доступа: www.hse.ru/docs/27251625.html. — Дата обращения: 25.01.2013.
4. Положение о балльно-рейтинговой системе, используемой при проведении текущего контроля успеваемости и промежуточной аттестации студентов НИУ ИТМО [Электронный ресурс] // Санкт-Петербургский национальный исследовательский университет
информационных технологий, механики и оптики : [сайт]. — Режим доступа: uop.ifmo.ru/file/ stat/11/bars_28_02_12.pdf. — Дата обращения:
25.01.2013.
5. Положение о промежуточной аттестации [Электронный ресурс] // Нижегородский государственный технический университет : [сайт]. — Режим доступа: www.nntu.ru/RUS/ otd_sl/metod_uprav/ych_otdel/norm_dok/ polog1. doc. — Дата обращения: 25.01.2013.
6. Регламент о балльно-рейтинговой системе оценки знаний обучающихся в федеральном государственном автономном образовательном учреждении высшего профессионального образования «Казанский (Приволжский) федеральный университет» [Электронный ресурс] // Казанский (Приволжский) федеральный университет : [сайт]. — Режим доступа: kpfu.ru/ docs/F1736144035/brs.pdf. — Дата обращения:
25.01.2013.
7. Сафронова, М. А. Балльно-рейтинговая система оценки деятельности студентов : специфика, опыт внедрения / М. А. Сафронова, И. Ю. Потороко // Вестник ЮУрГУ. — 2009. — № 8. — С. 59—62.
8. Федеральный государственный образовательный стандарт высшего профессионального образования по направлению подготовки 210700 Инфокоммуникационные технологии и системы связи (квалификация (степень) «бакалавр») [Электронный ресурс] // Министерство образования и науки : [сайт]. — Режим доступа: www.edu.ru/db-mon/mo/Data/d_09/prm785-1. pdf. — Дата обращения: 28.01.2013.
9. European Comission. ECTS User's Guide. — Luxembourg : Office for Official Publications of the European Communities, 2009. — 60 p.
10. Mathematical Tripos. Part 1A [Электронный ресурс] // Cambridge University : [сайт]. — Режим доступа: www.maths.cam.ac.uk/ undergrad/ pastpa-pers/2012/ia/PaperIA_1.pdf. — Дата обращения: 25.01.2013.
Поступила 04.02.13.
Об авторе:
Сыромясов Алексей Олегович, доцент кафедры математики и теоретической механики ФГБОУ ВПО «Мордовский государственный университет им. Н. П. Огарева» (г. Саранск, Россия), кандидат физико-математических наук, [email protected]
APPLICATION OF THE SYSTEM OF ASSESSMENT BASED ON POINTS AT A INSTITUTION OF HIGHER
EDUCATION
A. O. Syromyasov (Ogarev Mordovia State University)
The article discusses students’ educational activities assessed by the system based on points. These activities mainly are: everyday academic performance, progress checks and exams (tests). Final grade is average number of points earned during performance of each activity. The technique for defining a specific significance of each parameter is based on the proportion between theoretical and practical components of an academic discipline as well as on the comparison of skills and knowledge amount checked by different tests, exams etc. Everyday academic performance rating depends on the average grade obtained by the student and on the number of his/her answers during seminars. The rating system is based on a hundred-point scale.
Keywords: assessment system based on points; mark/grade; higher education.
REFERENCES
1. Levchenko T. A. Problemy i perspektivy ispol’zovaniia ball’no-reitingovoi sistemy dlia attestatsii uchebnoi raboty studentov vysshikh uchebnykh zavedenii [Problems and perspectives of use of a rating system for assessment of higher school students’ academic progress]. Uspekhi sovremennogo estestvoznaniia [Accomplishments in Modern Natural Science]. 2008, no. 9, pp. 55—56.
2. Metodika ispol’zovaniia ball’no-reitingovoi sistemy otsenivaniia znanii studentov [Methodology of use of a rating system for assessing students’ knowledge]. Moscow State University of Economics, Statistics and Informatics. Available at: mesi.ru/upload/iblock/ce8/metod_ukaz.pdf (Accessed 25 January 2013).
3. Metodicheskie rekomendatsii po organizatsii provedeniia uchebnoi distsipliny i otsenke znanii studentov [Methodological recommendations for students’ teaching and assessment]. Higher School of Economics. Available at: www.hse.ru/docs/27251625.html (Accessed 25 January 2013).
4. Polozhenie o ball’no-reitingovoi sisteme, ispol’zuemoi pri provedenii tekushchego kontrolia uspevaemosti i promezhutochnoi attestatsii studentov [Regulations on a rating system used to assess regular academic progress and intermediate academic performance of students at ITMO]. St. Petersburg
National Research University of Information Technologies, Mechanics and Optics. Available at: uop.ifmo.ru/file/stat/11/bars_28_02_12.pdf (Accessed 25 January 2013).
5. Polozhenie o promezhutochnoi attestatsii [Regulations on intermediate assessment]. Nizhny Novgorod State Technical University. Available at: www.nntu.ru/RUS/otd_sl/metod_uprav/ych_otdel/ norm_dok/ polog1.doc (Accessed 25 January 2013).
6. Reglament o ball’no-reitingovoi sisteme otsenki znanii obuchaiushchikhsia v federal’nom gosudarstvennom avtonomnom obrazovatel’nom uchrezhdenii vysshego professional’nogo obrazovaniia
“Kazanskii (Privolzhskii) federal’nyi universitet” [Rules of procedure for a rating system in Kazan (Volga region) Federal University]. Kazan (Volga Region) Federal University. Available at: kpfu.ru/ docs/F1736144035/brs.pdf (Accessed 25 January 2013).
7. Safronova M. A. Ball’no-reitingovaia sistema otsenki deiatel’nosti studentov: spetsifika, opyt vnedreniia [A rating system of estimation of students’ activity: specifics, introduction experience]. Vestnik YuUrGU [Newsletter of South Ural State University]. 2009, no. 8, pp. 59—62.
8. Federal’nyj gosudarstvennyj obrazovatel’nyj standart vysshego pro-fessional’nogo obrazovanija po napravleniju podgotovki 210700 Info-kommunikacionnye tehnologii i sistemy svjazi (kvalifikacija (stepen’) “ba-kalavr”) [Federal state educational standard of higher education in bachelor degree programme 210700 “Infocommunicational technologies and communications systems”]. Ministry of Education and Science. Available at: www.edu.ru/db-mon/mo/Data/d_09/prm785-1.pdf (Accessed 28 January 2013).
9. European Comission. ECTS User’s Guide. Luxembourg, Office for Official Publications of the European Communities, 2009, 60 p.
10. Mathematical Tripos. Part 1A. Cambridge University. Available at: www.maths.cam.ac.uk/ undergrad/pastpapers/2012/ia/PaperIA_1.pdf (Accessed on 25.01.2013).
About the author:
Syromyasov Aleksey Olegovich, research assistant professor, Chair of Mathematics and Theoretical Mechanics, Ogarev Mordovia State University (Saransk, Russia), Kandidat nauk (PhD) degree holder in physical and mathematical sciences, [email protected]
