Национальный агрегированный рейтинг *

Методология национального агрегированного рейтинга филиалов

Рассматриваются 5 рейтингов, удовлетворяющие требованиям публичности (полная информация представлена в открытом доступе), стабильности (существуют не менее трех лет), массовости (оценивают не менее 100 вузов) и периодичности (оценивание проводится ежегодно):

• Рейтинг «Первая миссия» (на базе проекта «Лучшие образовательные программы инновационной России»)
• Рейтинг по данным Мониторинга эффективности
• Рейтинг «Оценка качества обучения»
• Рейтинг по результатам профессионально-общественной аккредитации
• Рейтинг «Международное признание»

Используется методика «МетАЛиг»^[1] , которая предполагает:

a) переход от мест в рейтингах к лигам;

b) использование математического аппарата сверток, базирующихся на Теории голосования в малых группах (Борда, Кондорсе, Симпсона, плюралитарная и др.)

c) введение «слабых» сверток - B_n,m

Методология исследования

Каждая рассматриваемая система рейтингования (оценивания) носит количественный характер (место, бал). Соответственно, все филиалы можно отранжировать в порядке убывания. По каждому отдельному рейтингу разбивается шкала ранжирования на непересекающиеся группы, например, на квартили. В результате разбиения каждый филиал по каждому i-му рейтингу попадает в определенную группу (например, первую, вторую, третью или четвертую квартиль) и получает соответствующую оценку A_i, B_i, C_i или D_i. Если филиал не оценивался рейтингом, то он получает оценку E_i.

Таким образом, положение филиала среди всех рассматриваемых 5 рейтингов, может быть охарактеризовано 5-мерным вектором оценок. Например, (A, C, D, E, B).

Далее используются, так называемые, слабые свертки B _3,5. Суть процедуры состоит в том, что в итоговой оценке учитываются не все результаты 5 рейтингов, а только 3 лучших (у каждого филиала они могут быть свои).

Для перехода от многокритериального выбора к однокритериальной задаче используется аналог метода Борда.

В процедуре Борда каждому элементу приписывается ранг. Если имеется k областей, то первой упорядоченной области приписывается ранг, равный (k-1), второй — (k-2) и т.д. Последнему объекту в упорядочении областей присваивается ранг, равный 0. Ранжирование объектов строится в порядке убывания суммы рангов (индекса Борда). Лучший вариант определяется максимальным значением индекса Борда, который рассчитывается как сумма рангов приписываемых областям.

Таким образом, новое ранжирование строится по сумме 3 лучших результатов. Значение индекса Борда в случае 3 рейтингов может варьироваться от 0 до 4*3=12. Те филиалы, чей индекс Борда изменяется от 12 до 10, составляют Первую лигу. Всего можно выделить 10 лиг, объединенных в 3 зоны:

1. Наводнов В. Г., Мотова Г. Н., Рыжакова О. Е. Сравнение международных рейтингов и результатов российского Мониторинга эффективности деятельности вузов по методике анализа лиг //Вопросы образования. – 2019. – №. 3.С. 130–151.
2. Болотов В.А., Мотова Г.Н., Наводнов В.Г., Рыжакова О.Е. Как сконструировать национальный агрегированный рейтинг? // Высшее образование в России, 2020. - № 1. - С.9-24.