Методология Национального агрегированного рейтинга
Рассматриваются 14 рейтингов, удовлетворяющих требованиям публичности (полная информация представлена в открытом доступе), стабильности (существуют не менее трех лет), массовости (оценивают не менее 100 вузов) и периодичности (оценивание проводится ежегодно):
- Национальный рейтинг университетов – Интерфакс
- Рейтинг «Первая миссия» (на базе проекта «Лучшие образовательные программы инновационной России»)
- Рейтинги университетов RAEX
- Рейтинг по индексу Хирша
- Рейтинг по данным мониторинга эффективности
- Рейтинг «Оценка качества обучения»
- Рейтинг по результатам профессионально-общественной аккредитации
- Рейтинг «Международное признание»
- Рейтинг Forbes
- Рейтинг «Национальное признание»
- Рейтинг Superjob
- Рейтинг HeadHunter
- Табитуриент
- Brand Analytics
Используется методика «МетАЛиг»[1] , которая предполагает:
a) переход от мест в рейтингах к лигам;
b) использование математического аппарата сверток, базирующихся на Теории голосования в малых группах (Борда, Кондорсе, Симпсона, плюралитарная и др.);
c) введение «слабых» сверток — Bn,m.
Методика исследования
Каждая рассматриваемая система рейтингования (оценивания) носит количественный характер (место, балл). Соответственно, все вузы можно отранжировать в порядке убывания. По каждому отдельному рейтингу разбивается шкала ранжирования на непересекающиеся группы, например, на квартили. В результате разбиения каждый вуз по каждому i-му рейтингу попадает в определенную группу (например, в первый, второй, третий или четвертый квартиль) и получает соответствующую оценку Ai, Bi, Ci или Di. Если вуз не оценивался рейтингом, то он получает оценку Ei.
Таким образом, положение вуза среди всех рассматриваемых 14 рейтингов может быть охарактеризовано 14-мерным вектором оценок. Например, (A, D, C, A, C, D, E, B, B, D, A, C, D, B).
Далее используются так называемые слабые свертки B 9,14. Суть процедуры состоит в том, что в итоговой оценке учитываются результаты не всех 14 рейтингов, а только 9 лучших (у каждого вуза они могут быть свои).
В связи с тем, что некоторые рейтинги используют в своей основе библиометрические показатели (рейтинг по Индексу Хирша, рейтинг «Национальное признание»), вузы культуры, искусств, физической культуры и спорта, в которых публикационная активность не является приоритетом, выпадают из поля зрения этих рейтингов. Кроме того, творческие и спортивные вузы не имеют возможности участвовать в рейтингах, которые подразделяют участников на профильные группы (технические, экономические, юридические).
Для учета этой особенности в методике используется особый подход. Для вузов культуры и искусств, а также вузы физической культуры и спорта строится вектор из 8 оценок и используется свертка при которой учитывается 4 лучших оценки из 8.
Для перехода от многокритериального выбора к однокритериальной задаче используется аналог метода Борда.
В процедуре Борда каждому элементу приписывается ранг. Если имеется k областей, то первой упорядоченной области приписывается ранг, равный (k-1), второй — (k-2) и т.д. Последнему объекту в упорядочении областей присваивается ранг, равный 0. Ранжирование объектов строится в порядке убывания суммы рангов (индекса Борда). Лучший вариант определяется максимальным значением индекса Борда, который рассчитывается как сумма рангов приписываемых областям.
Таким образом, новое ранжирование строится по сумме 9 лучших результатов. Значение индекса Борда в случае 14 рейтингов может варьироваться от 0 до 4*9=36. Те вузы, чей индекс Борда равен максимальному значению 36, составляют Премьер-лигу. Первая лига – это вузы, чей индекс Борда равен от 32 до 35, вторая - от 28 до 31, и т.д. Всего можно выделить 10 лиг, объединенных в 4 зоны:
Обратите внимание, что количество вузов в топах может не совпадать с целым значением. Это происходит потому что вузы, имеющие одинаковый индекс Борда, входят в одну лигу.
- Наводнов В. Г., Мотова Г. Н., Рыжакова О. Е. Сравнение международных рейтингов и результатов российского Мониторинга эффективности деятельности вузов по методике анализа лиг //Вопросы образования. – 2019. – №. 3.С. 130–151.
- Болотов В.А., Мотова Г.Н., Наводнов В.Г., Рыжакова О.Е. Как сконструировать национальный агрегированный рейтинг? // Высшее образование в России, 2020. - № 1. - С.9-24.
Вузы, представленные в Национальном агрегированном рейтинге, имеют право использовать знак ТОР best-edu.ru (далее – Знак) в своих информационных материалах, на интернет сайте вуза и в печатных изданиях. Если у вас есть вопросы или предложения, свяжитесь с нами по адресу info@best-edu.ru.
Вы можете сопроводить Знак целевой гиперссылкой на страницу сайта best-edu.ru с результатом вашего вуза или рейтинга в целом https://best-edu.ru/ratings/national/nacionalnyj-agregirovannyj-rejting .
Гильдия экспертов в сфере профессионального образования и Фонд поддержки инноваций в сфере образования предоставляет неисключительное право на копирование, распространение, комбинирование Знака при соблюдении условий, описанных выше.
