Наука и технологии России

Вход Регистрация

Анатомия вузовских рейтингов

«Рейтингомания» в вузовский среде началась не так давно: первым из международных рейтингов университетов стал ARWU (Academic Ranking of World Universities), или Шанхайский рейтинг, публикуемый с 2003 года. Сегодня рейтинги высших учебных и исследовательских заведений уже прочно вошли в нашу жизнь, но нарекания к самой системе оценивания остались. Об основных проблемах различных рейтингов и их решении, а также о будущем системы оценки эффективности образования STRF.ru рассказал редактор глобального рейтинга университетов Round University Ranking (RUR) Олег Соловьёв.

Олег_Соловьёв

Многие грешат на неправильные индикаторы, используемые в рейтингах. Например, недавно, благодаря изменению выборки респондентов, МГУ поднялся в рейтинге THE (Times Higher Education World Universities Ranking) на 25-е место. Расскажите, пожалуйста, на Ваш взгляд, есть ли ещё подобные необъективные показатели?

Да, в рейтингах присутствуют некоторые «аномалии». Если вы проследите рейтинг ТНЕ за 5 лет, с 2010 по 2014 год, то вы увидите, что один и тот же вуз может сильно «скакать». В частности, среди российских вузов – МИФИ в 2012 году был в группе «226 – 250», а потом исчез из общего рейтинга совсем (всего в рейтинге рассматривается 400 университетов, ред.). При этом 2 года подряд тот же МИФИ входит в топ-100 по предметному рейтингу Physical Sciences.

В чем причина таких аномалий? Прежде всего, из-за того, что, во многом, это рейтинг трёх индикаторов (хотя формально их 13): репутация в области исследований, репутация в области преподавания и нормализированное цитирование (показывает отношение цитируемости вуза к средней цитируемости в мире). Особенно может повлиять на позицию вуза именно цитирование, от которого зависит 30% оценки. По сути,

буквально несколько публикаций могут «подвинуть» вуз на несколько сотен позиций.

Пример – Новосибирский государственный университет (НГУ). В этом году он попал в группу 301-350 THE. При этом в  прошлом году он располагался в середине седьмой сотни, то есть, прибавил 350 позиций за год. Одна из причин такого скачка в том, что в 2012 году вышло несколько значимых для мировой научной общественности публикаций. В частности, об экспериментах на БАК (Большом адроном коллайдере) по поискам бозона Хиггса, где несколько учёных из НГУ были в соавторах. Эти публикации в среднем цитируются в 30 раз больше, чем в целом по миру.  Это важное достижение для университета, и в отношении публикационной активности к таким результатам необходимо стремиться, но для рейтинга это «аномалия».

С 2015 года в THE произошел ряд изменений. Во-первых, составители THE переходят от базы данных Institutional Profiles от Thompson Reuters на собственную базу с использованием наукометрических данных Scopus вместо Web of Science. И предварительные результаты репутационных исследований показывают, что стала более равномерной выборка респондентов по регионам. Например, уменьшилась доля представителей Северной Америки – если в 2013 г. их было 33% от общего количества респондентов, принявших участие в репутационном опросе, то в 2015 только 18%. Но

существенных изменений не будет до тех пор, пока есть 3 показателя с большими весовыми коэффициентами: нормализированное цитирование – 30 %, исследовательская репутация – 18%, и репутация в области преподавания – 15%, т.е. 63 %, если они останутся, вузы будут «скакать». Чтобы этого не было, необходим рейтинг, у которого веса индикаторов были бы более или менее равнозначными.

К примеру, в Round University Ranking ни один индикатор не имеет веса больше 10%. При этом количество индикаторов увеличено до 20, которые, в свою очередь, поделены на 4 группы:

  • Качество преподавания (50%);
  • Качество исследований (30%);
  • Уровень интернационализации (10%);
  • Уровень финансовой устойчивости (10%).
Структура_рейтинга_RUR Структура рейтинга RUR

Если говорить про индикаторы, у многих возникает вопрос. Если столько внимания уделяется показателями исследовательской деятельности вузов, что же станет с преподаванием?

Проблема в том, что преподавание сложно измерить, если вообще возможно. Как измерить талант лектора или удовлетворённость студентов полученными знаниями? Можно провести опрос среди студентов, но это будет условно и субъективно.

Поэтому de facto в ведущих рейтингах практически отсутствуют индикаторы, измеряющие уровень преподавания. Вернемся к примеру рейтинга THE. Формально в этом рейтинге одна из групп индикаторов с весом в 30 % - это преподавание. И один индикатор в рамках этой группы – teaching reputation – это 15 %. На самом деле, репутация в области преподавания напрямую связана с исследовательской репутацией и, по сути, первое является продолжение второго.

Во-первых, репутационная оценка складывается из отзывов экспертов. Принципиален здесь вопрос первичных данных этих экспертов – кто они? Контакты (электронные адреса) потенциальных респондентов в период 2010-2014 выгружались из Web of Science и, соответственно, будет выгружаться из Scopus с 2015. То есть фактически, как преподавание в вузах, так и уровень исследований, оценивают исследователи, а не конечные получатели продукта – знаний или новых работников.

Во-вторых, имеет значение форма постановки вопроса при измерении качества преподавания. Он звучит так: «Назовите не более 15 вузов в мире, куда бы вы отправили своих студентов на программу по PhD», то есть, снова на исследовательские программы. Фактически между цитированием и репутацией корреляция очень большая, примерно 0,88.

Поэтому единственное, чем можно измерить преподавание – это формализованные индикаторы. Допустим, соотношением количества преподавателей к количеству студентов, количеством выданных степеней уровня PhD к выданным степеням уровня бакалавриата, и так далее. Словом, кадровый потенциал университетов. Такие метрики в разном виде используются во всех ведущих глобальных рейтингах (THE, RUR, QS).

Что касается RUR, то в нашем рейтинге группа индикаторов “преподавание” имеет вес 50% от итогового балла вуза. В следующей редакции за период 2009-2014 мы планируем присвоить группам индикаторов “преподавание” и “исследование” равные веса – по 40%, т.к. это две важнейших сферы деятельность высших учебных заведений и нельзя сказать, какая из них важнее.

Качество_преподавания Олег Соловьёв: «Измерить качество преподавания в международном контексте возможно только с помощью формализованных индикаторов»

Скорее всего, из-за глобальной конкуренции, особенно из-за роста доли дистанционного образования, большая часть традиционных вузов либо исчезнут, либо перепрофилируются в центры сертификации или тренинговые центры.

Значит ли это, что отраслевые вузы, которые готовят не исследователей, а профессионалов в какой-то практической сфере будут исчезать?

Если говорить о прикладных сферах, таких как физика, химия или медицина, здесь пока нельзя подготовить человека дистанционно... В перспективе это может стать возможным.

Что касается социальных, гуманитарных наук, математики и всем смежным с нею дисциплинам, технически, уже сейчас возможно отказаться от «живого» обучения. Единственное препятствие – законодательства национальных государств, которые движутся медленнее технического прогресса.

Какие существуют ограничения на участие в международных рейтингах университетов, в частности, в RUR?

В RUR единственным ограничением является наличие у организации образовательных программ уровня бакалавриата. Иначе в рейтинг попали бы сугубо исследовательские институты, которые из-за высоких показателей цитируемости заняли бы аномально высокие позиции (особенно это касается медицинских школ и институтов).

Касаемо пресловутого THE. Во-первых, должны быть программы уровня бакалавра. Во-вторых, не более 80 % публикаций должны принадлежать к какой-либо одной укрупненной предметной области. Например, «естественные науки», «социальные науки» и т.д. Но если в узко профильном вузе (Caltech, Ecole Polytechnic и т.д.), представлены другие направления наук (В этих двух случаях социальные и гуманитарные), то такие вузы тоже проходят. В-третьих, вуз должен попасть в топ-400. Т.е. фактически вуз может быть отранжирован, но не попадает в официальный рейтинг потому что занимает, например, 401-е место.

Как Вы считаете, стоит ли что-то менять для того, чтобы гуманитарные науки были больше представлены в рейтингах? Например, некоторые российские историки настаивают, что в рейтингах необходимо учитывать не только текущие публикации в журналах, но и фундаментальные научные труды, такие как монографии.

В библиометрических системах (Web of Science, Scopus) представлены монографии, главы книг и десятки других типов публикаций. Другое дело, что в рейтингах учитываются только статьи или обзоры. Проблема в другом. В гуманитарных науках ученые в большей мере нежели в естественных и точных публикуются на национальных языках. Соответственно, их сложнее унифицировать и стандартизировать. Потом, французские историки цитируют французских историков и т.д.

Технически это всё возможно, но нужно ли? Проблема разных частот цитирования по предметным дисциплинам уже решена путем т.н. нормализации цитирования (RUR, THE). У историков и, скажем, молекулярных биологов, разная культура цитирования. Историк со средним цитированием 1,2 цитаты на публикацию в год может многократно обойти молекулярного биолога, у которого цитирование 6. Имеет значение как цитирование вуза, коллектива авторов и отдельного исследователя выглядит на среднем уровне по миру, а не абсолютные значения, которые могут ввести в заблуждение.

Как система рейтингов в целом влияет на высшее образование? Нет ли опасности ещё более явного разделения российских вузов на небольшую группу лидеров и «аутсайдеров»?

Расслоение, с одной стороны, есть. Но даже самые сильные российские вузы, в том числе участники Проекта 5-100, серьёзно не дотягивают до среднего уровня университетов в топ-200 по миру по объемам как валового финансирования, так и подушевого (в расчете на преподавателя или студента).

В чём же тогда глобальная задача рейтингов?

Вообще, рейтинги нужны, как глобальный навигатор в области образования, то есть, чтобы человек мог выбрать вуз.

Для администраторов университетов и национальных регуляторов – министерств, ведомств и т.д. это способ оценить результативность высших учебных заведений и принять на основе этого управленческие решения. Доказательства этому встречаются по всему миру. Программ вроде Проекта 5-100 очень много. В Японии, например, есть аналог: «топ-10 вузов к 2020 году – в топ-100. Другое дело, что тут рейтинги надо использовать правильно: не оценивать вуз только потому, что он занимает 185 место, а не 95, а подходить комплексно.

Наконец,

рейтинг – это один из немногих способов объективно измерить результативность работы университета. Экспертная оценка всегда субъективна. Даже самый великий учёный имеет ограниченный круг публикаций и максимум знает несколько десятков свих коллег по всему миру. Рейтинги же анализируют десятки миллионов значений и дают более комплексную картину.

Сколько существует международных рейтингов и на какие типы их можно разделить?

В последние несколько лет в мире рейтингов существует около 20 только глобальных рейтингов, а учитывая региональные, много больше.

Есть разные миссии университетов. Одни – исследовательские, которые работают глобальный научный рынок. Другие – это большие вузы, готовящие кадры для своих регионов, вроде российских федеральных университетов. Строго говоря, нельзя сравнивать университеты с разными миссиями. Также нельзя оставить технические и гуманитарные вузы. Поэтому в классических рейтингах появляются предметные рейтинги.

Какие рейтинговые системы, на Ваш взгляд, являются наиболее «продвинутыми», если вообще можно говорить о таком понятии?

Действительно, едва ли возможно говорить о том, что тот или иной рейтинг «продвинут» или нет. Вопрос в другом - в какой мере рейтинг достигает своей цели – дать пользователю такой инструмент, который позволит принять требуемое решение. В этом смысле традиционные «таблицы лиг» дают базовое направление.

Рейтинги будущего – это скорее персонифицированные системы сравнения и сопоставления объектов, в рамках которых пользователь сам может выбрать метрики и объекты для сравнения. Иными словами, именно пользователь определяет, что, как и для чего ему сравнивать.

В настоящее время одним из наиболее интересных проектов в этом направлении является европейский U-Multirank, в котором 1 200 университетов оцениваются по более чем 50 индикаторам. И всё это в разрезе по 7 предметным направлениям. Т.е. пользователь сам может выбрать интересующий его индикатор и сам задать общий запрос. Вместе с тем, для рядового пользователяU-Multirank достаточно сложен и предназначен скорее для аналитиков, нежели для обычных абитуриентов, их родителей и т.д.

Комплексные системы сравнения, наподобие приведенного выше U-Multirank, в России пока менее известны, потому что обществу нужны простые и понятные таблицы, где чётко проставлены ранги.

Тем не менее, за персонифицированным подходом будущее. Более того, поскольку идёт переход к обучению online, то рейтинги будущего выйдут за рамки ограниченных пластов информации (кадровая статистика, наукометрические показатели и т.д.) и будут учитывать все данные, доступные в Сети. Например, соотношение студентов, которые записались на курс, к тем, кто его закончил. Чем больше студентов проходит его до конца – тем привлекательнее курс.

Будет не 6 или 20 индикаторов, а, условно, тысяча. Потому что будущее как раз за системами сравнения, классификации вузов в соответствии с интересами пользователя.

Подобного рода «мета-рейтинги» могут быть оформлены в виде приложений и программ. Например, пользователь открывает приложение и пишет: «Древнегреческая философия». И эта система, анализируя всю информацию о пользователе, выдаёт примерный перечень вузов, отдельных программ и курсов, которые в наибольшей соответствуют интересам конкретного пользователя.

Программы-рейтинги такого плана могут появиться в течении 5-10 лет. В рамках проекта RUR мы как раз сейчас работаем над такого рода аналитической системой, которая позволит сопоставлять объекты. Поскольку переход к «мета-рейтингу» технически сложно реализуем, мы совместим традиционные таблицы лиг с принципом пользовательского сравнения. В новой версии RUR, которая выйдет до конца 2015, будет доступно 210 комбинаций рейтингов (в т.ч. по 6 укрупненным предметным направлениям) за период в 7 лет (2009-2015). Также пользователь сможет получить детализованную информацию по любому из 700 вузов RUR в рамках каждого из вариантов рейтинга.

Осуществима ли программа 5-100? Иными словами, возможно ли попадание 5 российских вузов в топ-100 рейтингов RUR, THE, QS или ARWU до 2020 года?

Зависит от рейтинга. В общие рейтинги – едва ли. Перспективы находятся в скорее в предметных рейтингах. Например, в THE Physical Sciences 2014 г. 3 российских вуза попали в топ-100 (МГУ, МИФИ, НГУ). В предметных рейтингах QS 2015 уже 4 участника от России оказались в высшей лиги: МГУ, СПбГУ, НИЯУ МИФИ, НИУ ВШЭ. Это уже близко к «заветным» 5 вузам.

Показывают ли глобальные рейтинги университетов некоторый «откат» назад в сравнении с советской системой образования, которая, в соответствии с распространенным тезисом, была лучше в мире?

Начну с конца. Первый международный рейтинг вузов появился только в 2003 году. До этого периода отсутствуют сопоставимые в международном масштабе данные по сотням вузов из десятков вузов мира. Поэтому ни доказать, ни опровергнуть данный тезис нельзя. И главное, бессмысленно сравнивать два принципиально разных типов общества.

В чем, на Ваш взгляд, основная функция рейтингов? Общество вполне комфортно существовало и без них. Откуда пошла эта гонка за позициями в рейтингах?

Главная задача рейтингов – дать стимул вузам к развитию, совершенству. Если вы обнаружили свой вуз на неудовлетворительной с той или иной точки зрения позиции, то нужно предпринять усилия, чтобы оказаться выше. Гонка за местам в рейтингах отражает усиливающуюся в мире глобализацию. Российская система образования – уже часть глобальной, как и российская экономика является частью мировой экономики. Отсюда и проистекает интерес к глобальным рейтингам университетов.

Иллюстрации предоставлены www.roundranking.com

РЕЙТИНГ

4.27
голосов: 15

Обсуждение