Национальный агрегированный рейтинг *

Методология национального агрегированного рейтинга

Рассматриваются 8 рейтингов, удовлетворяющие требованиям публичности (полная информация представлена в открытом доступе), стабильности (существуют не менее трех лет), массовости (оценивают не менее 100 вузов) и периодичности (оценивание проводится ежегодно):

1. Национальный рейтинг университетов – Интерфакс
2. Рейтинг «Первая миссия» (на базе проекта «Лучшие образовательные программы инновационной России»)
3. Рейтинги университетов RAEX
4. Рейтинг по индексу Хирша
5. Рейтинг по данным Мониторинга эффективности
6. Рейтинг «Оценка качества обучения»
7. Рейтинг по результатам профессионально-общественной аккредитации
8. Рейтинг «Международное признание»

Используется методика «МетАЛиг»^[1] , которая предполагает:

a) переход от мест в рейтингах к лигам;

b) использование математического аппарата сверток, базирующихся на Теории голосования в малых группах (Борда, Кондорсе, Симпсона, плюралитарная и др.)

c) введение «слабых» сверток - B_n,m

Методология исследования

Каждая рассматриваемая система рейтингования (оценивания) носит количественный характер (место, бал). Соответственно, все вузы можно отранжировать в порядке убывания. По каждому отдельному рейтингу разбивается шкала ранжирования на непересекающиеся группы, например, на квартили. В результате разбиения каждый вуз по каждому i-му рейтингу попадает в определенную группу (например, первую, вторую, третью или четвертую квартиль) и получает соответствующую оценку A_i, B_i, C_i или D_i. Если вуз не оценивался рейтингом, то он получает оценку E_i.

Таким образом, положение вуза среди всех рассматриваемых 8 рейтингов, может быть охарактеризовано 8-мерным вектором оценок. Например, (A, D, C, A, C, D, E, B).

Далее используются, так называемые, слабые свертки B _5,8. Суть процедуры состоит в том, что в итоговой оценке учитываются не все результаты 8 рейтингов, а только 5 лучших (у каждого вуза они могут быть свои).

Для перехода от многокритериального выбора к однокритериальной задаче используется аналог метода Борда.

В процедуре Борда каждому элементу приписывается ранг. Если имеется k областей, то первой упорядоченной области приписывается ранг, равный (k-1), второй — (k-2) и т.д. Последнему объекту в упорядочении областей присваивается ранг, равный 0. Ранжирование объектов строится в порядке убывания суммы рангов (индекса Борда). Лучший вариант определяется максимальным значением индекса Борда, который рассчитывается как сумма рангов приписываемых областям.

Таким образом, новое ранжирование строится по сумме 5 лучших результатов. Значение индекса Борда в случае 8 рейтингов может варьироваться от 0 до 4*5=20. Те вузы, чей индекс Борда равен максимальному значению 20, составляют Премьер-лигу. Первая лига – это вузы, чей индекс Борда равен 18 или 19 и т.д. Всего можно выделить 10 лиг, объединенных в 4 зоны:

Обратите внимание, что количество вузов в топах может не совпадать с целым значением. Это происходит потому что вузы, имеющие одинаковый индекс Борда, входят в одну лигу.

1. Наводнов В. Г., Мотова Г. Н., Рыжакова О. Е. Сравнение международных рейтингов и результатов российского Мониторинга эффективности деятельности вузов по методике анализа лиг //Вопросы образования. – 2019. – №. 3.С. 130–151.
2. Болотов В.А., Мотова Г.Н., Наводнов В.Г., Рыжакова О.Е. Как сконструировать национальный агрегированный рейтинг? // Высшее образование в России, 2020. - № 1. - С.9-24.