Рассматриваются 12 рейтингов, удовлетворяющих требованиям публичности (полная информация представлена в открытом доступе), стабильности (существуют не менее трех лет), массовости (оценивают не менее 100 вузов) и периодичности (оценивание проводится ежегодно):

Используется методика «МетАЛиг»^[1] , которая предполагает:

a) переход от мест в рейтингах к лигам;

b) использование математического аппарата сверток, базирующихся на Теории голосования в малых группах (Борда, Кондорсе, Симпсона, плюралитарная и др.);

c) введение «слабых» сверток — B_n,m.

Методика исследования

Каждая рассматриваемая система рейтингования (оценивания) носит количественный характер (место, балл). Соответственно, все вузы можно отранжировать в порядке убывания. По каждому отдельному рейтингу разбивается шкала ранжирования на непересекающиеся группы, например, на квартили. В результате разбиения каждый вуз по каждому i-му рейтингу попадает в определенную группу (например, в первый, второй, третий или четвертый квартиль) и получает соответствующую оценку A_i, B_i, C_i или D_i. Если вуз не оценивался рейтингом, то он получает оценку E_i.

Таким образом, положение вуза среди всех рассматриваемых 12 рейтингов может быть охарактеризовано 12-мерным вектором оценок. Например, (A, D, C, A, C, D, E, B, B, D, A, C).

Далее используются так называемые слабые свертки B _8,12. Суть процедуры состоит в том, что в итоговой оценке учитываются результаты не всех 12 рейтингов, а только 8 лучших (у каждого вуза они могут быть свои).

В связи с тем, что некоторые рейтинги используют в своей основе библиометрические показатели (рейтинг по Индексу Хирша, рейтинг «Национальное признание»), вузы культуры, искусств, физической культуры и спорта, в которых публикационная активность не является приоритетом, выпадают из поля зрения этих рейтингов. Кроме того, творческие и спортивные вузы не имеют возможности участвовать в рейтингах, которые подразделяют участников на профильные группы (технические, экономические, юридические).

Для учета этой особенности в методике используется особый подход. Для вузов культуры и искусств, а также вузы физической культуры и спорта строится вектор из 7 оценок и используется свертка при которой учитывается 4 лучших оценки из 7.

Для перехода от многокритериального выбора к однокритериальной задаче используется аналог метода Борда.

В процедуре Борда каждому элементу приписывается ранг. Если имеется k областей, то первой упорядоченной области приписывается ранг, равный (k-1), второй — (k-2) и т.д. Последнему объекту в упорядочении областей присваивается ранг, равный 0. Ранжирование объектов строится в порядке убывания суммы рангов (индекса Борда). Лучший вариант определяется максимальным значением индекса Борда, который рассчитывается как сумма рангов приписываемых областям.

Таким образом, новое ранжирование строится по сумме 8 лучших результатов. Значение индекса Борда в случае 12 рейтингов может варьироваться от 0 до 4*8=32. Те вузы, чей индекс Борда равен максимальному значению 32, составляют Премьер-лигу. Первая лига – это вузы, чей индекс Борда равен от 28 до 31, вторая - от 24 до 27, и т.д. Всего можно выделить 10 лиг, объединенных в 4 зоны:

Обратите внимание, что количество вузов в топах может не совпадать с целым значением. Это происходит потому что вузы, имеющие одинаковый индекс Борда, входят в одну лигу.

Наводнов В. Г., Мотова Г. Н., Рыжакова О. Е. Сравнение международных рейтингов и результатов российского Мониторинга эффективности деятельности вузов по методике анализа лиг //Вопросы образования. – 2019. – №. 3.С. 130–151.
Болотов В.А., Мотова Г.Н., Наводнов В.Г., Рыжакова О.Е. Как сконструировать национальный агрегированный рейтинг? // Высшее образование в России, 2020. - № 1. - С.9-24.

Распределение присутствия регионов России в национальном агрегированном рейтинге 2024

Загрузка