магистрант 2 курса ИППО ГАОУ ВО МГПУ
г. Москва
В статье представлен анализ научной литературы по вопросу искажений студенческой оценки преподавания, проведенный с целью изучить причины искажений студенческой оценки преподавания. Дается краткая сводка основных причин смещений из зарубежных и отечественных исследований. Причины смещений объединены в группы. Сделан вывод о противоречивости исследований, а также об обоснованности критики СОП относительно ее надежности и достоверности.
Студенческая оценка преподавания (СОП) — инструмент для оценки качества работы преподавателя или курса студентами. Такой способ получения обратной связи довольно популярен за рубежом и практикуется в некоторых вузах России, например в Национальном исследовательском университете «Высшая школа экономики», Московском государственном психолого-педагогическом университете, Кемеровском государственном университете и пр . СОП реализуется в формате анкетирования студентов по ключевым вопросам о работе преподавателя, например ясность изложения, уважительное отношение к студентам, умение наладить контакт, объективность в оценке знаний и проч. Каждое учебное заведение формулирует свои критерии, важные для оценки. Как правило, незадолго до окончания семестра студентам по почте приходит ссылка на опросник. В большинстве случаев такой опрос анонимен, обязателен и систематичен. СОП преследует цель улучшать качество обучения в вузе, повышать конкурентоспособность, получая обратную связь от непосредственных потребителей образовательных услуг — студентов. На основе рейтингов СОП администрацией учебного заведения принимаются управленческие решения, решения о повышениях, кадровых перестановках, а преподаватели используют обратную связь для совершенствования своих навыков, поиска новых подходов к обучению студентов. Кроме того, такой инструмент прост в использовании, не требует больших финансовых вложений, количественно отражает качественные характеристики преподавателей, на основе которых можно строить рейтинги и обосновывать тем самым административные решения [5: c. 237].
Достоверность такого способа оценки работы преподавателей подвергается сомнениям ввиду смещений — влияния факторов, не связанных напрямую с реальным качеством преподавания. Причины смещений оценок становятся предметом для пристального изучения множества исследований.
Мы провели анализ научной литературы и сделали обзор основных и часто упоминаемых причин, которые ставят под сомнение объективность и надежность студенческой оценки преподавания, с их дальнейшей классификацией по группам. Поиск литературы осуществлялся на платформах КиберЛенинка, Google Scholar, Springer, Scopus. Изучались статьи, написанные за последние 5 лет.
По мнению американского ученого Б. Уттла, на результаты оценки влияет множество нерелевантных факторов: интеллект и предшествующие знания студентов, размер класса, дисциплина, предпочтения обучающихся, которые имеют дискриминационный характер. СОП может попросту быть средством для манипуляций студентов или преподавателей в целях получения наивысших оценок: преподаватель снизит сложность курса, чтобы понравиться студентам, а студент поставит неоправданно высокую оценку преподавателю, чтобы тот в свою очередь высоко оценил его на экзамене [5].
Исследователи Университета Манитобы провели обзор работ на тему искажений студенческой оценки преподавания за период с 2012 по 2021 годы. Авторы отметили тенденцию к гендерной предвзятости в оценках студентов: преподаватели-женщины получают более низкие оценки, чем преподаватели-мужчины. В письменных комментариях анкет преподавательниц чаще употреблялась непрофессиональная лексика, чаще встречались отзывы о внешнем виде. Предвзятое отношение также наблюдалось по расовому и этническому признаку. Преподаватели различных этнических и культурных меньшинств (особенно женщины) получали более низкие оценки СОП, чем их “белые” коллеги [4: c. 51].
Положительно оценивались студентами такие качества преподавателя, как энтузиазм, организованность, интересный стиль презентаций, адекватная обратная связь, компетентность, предоставление четких объяснений, чувство юмора, уважительное отношение к учащимся. И даже большой опыт преподавателей не являлся гарантом высоких оценок СОП [4: c. 51].
Курсы, воспринимаемые студентами как более сложные получили более низкую оценку, курсы по выбору (элективы) — более высокую. Так же как и преподаватели курсов с применением количественных методов оценивались ниже, чем педагоги других курсов [4: c. 52].
Изучалось влияние успеваемости студентов на результаты СОП. Выявлено, что учащиеся с большим академическим опытом и высоким средним баллом оценили преподавателей более высоко. Обучающиеся из стран с высокой дистанцией власти давали преподавателям более высокие оценки [4: c. 52].
Исследователи также обнаружили искажения из-за времени суток и времени года проведения курса. Оценки летнего и весеннего семестров были выше, по сравнению с осенним, а преподаватели вечерних курсов получали более высокие оценки, чем педагоги утренних занятий [4: c. 53].
Удивительное исследование провели в медицинском вузе в Германии. 118 студентов третьего курса разделили на 20 групп. Экспериментальным 10 группам были предложены шоколадные печенья во время занятий. В контрольной группе угощений не было. После курса всем студентам было предложено заполнить форму обратной связи. Результаты оценок преподавателей были значительно выше в группах, которым предлагались угощения [3].
Большое значение имеет форма проведения опроса: анонимно/неанонимно, онлайн-опрос/бумажная версия, обязательно/необязательно.
Л. С. Гребнев в своей статье пишет: “Переход к добровольности участия сократит количество ответов, но значительно повысит их добросовестность, достоверность” [1: c. 75]. Это кажется вполне логичным — позволить давать обратную связь тем, кому есть, что сказать и кто добровольно на это пойдет, их ответы будут честны. Однако в исследовании С. Курана выявлено, что недовольные обучающиеся, имеющие неприязнь к преподавателю по тем или иным причинам с большей вероятностью заполнят опросник обратной связи, чем студенты, которые остались довольны курсом или не имеют негативных впечатлений от работы преподавателя [2]. В случае необязательного прохождения СОП выборку в большей степени будут составлять неудовлетворенные студенты, что нарушит ее репрезентативность.
Также установлено, что перевод опроса из бумажного формата в онлайн — опрос приводит к снижению показателя отклика (количества ответивших) [2: c. 11]. Кроме очевидных причин, это может быть связано с тем, что бумажная версия гарантирует большую анонимность, чем заполнение анкеты по ссылке в личном кабинете. Студенты не до конца уверены в том, что конфиденциальность ответов не будет нарушена, особенно если впереди экзамены.
Анализ научной литературы позволяет объединить в группы причины смещений студенческих оценок преподавания следующим образом:
- индивидуальные особенности преподавателя (пол, возраст, привлекательность, чувство юмора и т.д.);
- индивидуальные особенности студента (пол, возраст, курс и пр.);
- формальные особенности процесса обучения (время суток и года, в которые проходят занятия, содержание курса и пр.)
- организационные особенности проведения опроса (анонимность, обязательность, формат проведения и т.д.)
- манипулятивные особенности ( послабления в обучении с целью получения высоких оценок, отмщение через заниженные оценки и пр.)
Также следует отметить, что исследования нередко приводят к противоречивым результатам и указывают на несовершенство данного инструмента. Авторы сходятся в убеждении о том, что СОП не может быть единственным способом оценки качества работы педагога для принятия серьезных кадровых перестановок. Тем не менее СОП применяется очень давно, не теряет свою актуальность и популярность, вовлекает студентов в организацию учебного процесса, привлекает к совершенствованию образовательной среды, а преподавателям дает пищу для размышлений, понимание того, каким он предстает в глазах студентов. Исследования в области смещений и повышения достоверности СОП видятся нам довольно перспективными.
Литература:
- Гребнев, Л. С. Обучение: что оценивать студенту? // Высшее образование в России. – 2022. – № 31 (2). – С. 68-81.
- Curran, S. J. Pitfalls in using small number statistics in teaching evaluations: a case study. // Assessment & Evaluation in Higher Education. – 2020. – Vol. 45. – No. 3. – Pp. 419-430.
https://doi.org/10.1080/02602938.2019.1664396
- Hessler, M., Pöpping, D. M., Hollstein, H., Ohlenburg, H., Arnemann, P. , Massoth, C., Seidel, L. M., Zarbock, A. and Wenk, M. Availability of cookies during an academic course session affects evaluation of teaching. // Medical Education. – 2018. – Vol. 52. – No. 10. – Pp. 1064-1072. https://doi.org/10.1111/medu.13627
- Stoesz, B., De Jaeger, A., Quesnel, M., Bhojwani, D. & Los, R. Bias in Student Ratings of Instruction: A Systematic Review of Research from 2012 to 2021. // Canadian Journal of Educational Administration and Policy. Revue canadienne en administration et politique de l’éducation. – 2022. – Vol. 201. – Pp. 39-62. https://doi.org/10.7202/1095482ar
- Uttl, B. Lessons Learned from Research on Student Evaluation of Teaching in Higher Education. // Rollett, W., Bijlsma, H., Röhl, S. (eds.). Student Feedback on Teaching in Schools. – Springer, Cham, 2021. – Pp. 237-256. https://doi.org/10.1007/978-3-030-75150-0_15
http://izvestia-ippo.ru/lisova-t-a-fenomeny-iskazheniya-v-prakt/