Скупые критерии псевдонаучных конференций от РИНЦ
Малозамеченной прошла новость о намерении РИНЦ исключить из своей базы 6 тыс. сборников конференций. Эта новость прозвучала на февральской конференции РИНЦ, причем в последнем докладе на одном из последних слайдов1. Эта новость удостоилась небольшого сообщения на «Индикаторе»2 со ссылкой на одного из основоположников «Диссернета» Андрея Ростовцева. Небольшое внимание к этой новости особенно контрастирует со значительным ажиотажем в научном сообществе по поводу исключения из РИНЦ некоторых журналов в апреле 2017 года. Тогда были опубликованы десятки статей в ведущих СМИ, а также тысячи постов на форумах со всем спектром мнений, начиная от полного одобрения и заканчивая полным неодобрением.В сообщениях февраля 2018 года были кратко представлены промежуточные количественные и качественные критерии. Среди количественных критериев были указаны 6 тыс. исключаемых сборников конференций и 50 издателей в «черном списке». Качественными критериями были заявлены отсутствие рецензий и отсутствие аффилированности к вузам, а также мнение экспертного совета РИНЦ. Как и после исключения журналов в апреле 2017 года, по мере исполнения РИНЦ анонсированных мероприятий следует всё же ожидать полемики по поводу заявленных критериев. Отчасти предвосхищая полемику, следует остановиться на нескольких ключевых критериях реальности конференций, приводя примеры из вузовской практики.
Скорее всего, РИНЦ исключит действительно одиозные сборники, не аффилированные с вузами, однако и многие сборники вузов нацелены на накрутку публикаций и цитирований. Включаемые в эти сборники тезисы обычно похожи на студенческие доклады на семинарских занятиях или на заключения курсовых работ. Исправит ли ситуацию необходимость представлять в РИНЦ рецензии? Очевидно, рецензии для таких сборников будут писаться столь же формально, как и сами рецензируемые тезисы, даже если выдвинуть критерием включения в РИНЦ открытый доступ как к сборникам, так и к рецензиям. Ведь большинство исключенных из РИНЦ журналов предоставляли открытый доступ к своим публикациям, что не обеспечивало качества самих публикаций.
Сайты, СМИ, ваковские журналы и фотоотчеты о конференциях
Отправной точкой определения критериев включения сборников в РИНЦ можно взять топовые конференций ведущих вузов, несколько упростив их под реальные возможности региональных вузов. Максимальные критерии качества топовых конференций — это выкладывание видеозаписей выступающих на сайте конференции (пример — Гайдаровский форум3), освещение факта конференции и тезисов ключевых спикеров в ведущих СМИ (ежегодные ноябрьский и мартовский форумы Финуниверситета4, апрельская конференция НИУ ВШЭ), публикация расширенных тезисов в журнале ядра РИНЦ (конференция экономфака МГУ совместно с Институтом экономики РАН и журналом Новой экономической ассоциации5).Для региональных вузов таковыми критериями первого уровня могут быть те же видеозаписи (как защита диссертаций с видеозаписью), сообщения о конференции и тезисах ее ключевых спикеров в региональных СМИ (хотя бы спецномер или отдельная полоса любой постоянно выходящей областной газеты), публикации хотя бы четверти тезисов конференции в спецномере журнала из перечня ВАК. При удовлетворении этих критериев конференции присваивается высший уровень, и ее материалы включаются в РИНЦ в полном объеме, с засчитыванием публикаций и цитирований как один к одному.
На топовой конференции может быть несколько разных круглых столов (Гайдаровский форум собирает до нескольких сотен спикеров на нескольких десятках круглых столов), и не все круглые столы получают внимание СМИ или видеоотчет. В таком случае следует установить правило, что круглый стол ведет один из участников пленарного заседания (с видеозаписью и сообщениями в СМИ), а в отчете по круглому столу конференции делаются фотографии каждого выступления и зала. Практика фотографий применяется многими ведущими вузами, вывешивающими такие отчеты о конференциях на своих сайтах. Сочетание топового ведущего круглого стола и фотографий будет лучшим подтверждением реальности выступлений, чем формальные требования рецензий. Отчеты с фотографиями, как и слайды выступления, должны в обязательном порядке вывешиваться на сайте вуза — организатора конференции, а также предоставляться в РИНЦ вместе с опубликованным сборником тезисов конференции.
Бывают вполне полезные конференции или круглые столы, организуемые несколькими кафедрами разных вузов по одному профилю. Такие узкоспециализированные круглые столы редко когда освещаются в СМИ, но собирают вполне реальных спикеров с полезным обменом мнениями. Отчет о подобном круглом столе с фотографиями обычно также размещается на сайте вуза-организатора или хотя бы на страничке факультета или кафедры. Такие круглые столы обычно длятся 1–2 дня, в течение которых можно качественно представить и выслушать до 15–20 докладов за день. Помимо публичного представления фотографий и слайдов, а также максимума участников, следует добавить критерий диверсификации выступающих. Хотя бы половина докладчиков не должна аффилироваться с одним из вузов-организаторов, а представлять другие вузы, органы власти или предприятия (в последних двух случаях — с научными степенями докладчиков). Не обеспечив выполнение указанных критериев, круглый стол получает третий уровень, а его публикации и цитирования засчитываются в показателях РИНЦ с коэффициентом 0,5.
Понижающие коэффициенты за концентрацию публикаций и цитирований
Следует также ввести понижающие коэффициенты и стоп-факторы чрезмерной активности на конференциях и концентрации цитирований в одном сборнике. В течение года можно качественно выступить с более или менее новым докладом всего на нескольких конференциях, но никак не на десяти или тем более десятках. Скажем, публикации в трех сборниках конференции в течение года засчитывают-ся в РИНЦ с коэффициентом 1; от 4 и до 10 сборников — с коэффициентом 0,5; а свыше 10 — с коэффициентом 0,1. Вряд ли разумными выглядят цитирования по несколько раз в каждом докладе всего нескольких преподавателей одной кафедры с суммарными десятками цитирований на каждого цитируемого по результатам одной конференции. Следует ограничить максимальное цитирование одной фамилии одним разом в одной публикации в сборнике и тремя — на весь сборник. Аналогичным образом следует ограничить цитирования коллег; скажем, не более трех цитирований в одних тезисах доклада и не более 25% на весь сборник одной конференции. Превышения таких показателей цитирования засчитываются в РИНЦ в показатели цитируемых авторов с коэффициентом 0,1, либо такие превышения вообще не учитываются.
Многие ведущие вузы в рамках эффективных контрактов и премирований накопили многолетнюю практику борьбы с накрутками публикаций, цитирований, баллов и премий. Так, НИУ ВШЭ использует для целей премирования только топовые конференции6, получающие освещение в СМИ. Указанные выше критерии межкафедральной конференции с обязательным фотоотчетом на сайте организатора взяты из требований МГУ и Финуниверситета7. Коэффициент 0,1 на чрезмерную активность на конференциях и в публикациях применяется в Финуниверситете, как и исключение из премирования очевидной концентрации цитирований. Так что предложенные критерии апробированы в отдельных вузах, хотя и должны обсуждаться с учетом более широкого опыта.
РИНЦ собирает достаточно разнообразную аналитику и без проблем сможет автоматически рассчитывать показатели концентрации публикаций и цитирований. Такие показатели по каждому из зарегистрированных авторов может посмотреть любой желающий, кликнув в составе статистического отчета на распределение цитирующих публикаций по соавторам, по организациям и т. п. Более того, концентрация публикаций и цитирований по географическому признаку или по признаку принадлежности к одному университету, чрезмерное увлечение самоцитированием указывались в СМИ, когда речь шла об исключении журналов из Scopus в 2016–2017 годах.
Нужен ли антихирш или «Диссеропедия хиршеделов»?
РИНЦ или «Диссернет» на основе данных РИНЦ в принципе могут автоматически составлять антирейтинги авторов тезисов конференций, самих конференций и издателей сборников конференций по признакам концентрации публикаций и цитирований. Наглядно по каждому автору это может быть простой график с осями «Количество цитирований из сборников конференций» и «Количество самих сборников». Упрощенно говоря, у автора в сумме больше 1000 цитирований из сборников конференций, из которых по 70–100 приходится буквально на несколько конференций, затем по убыванию. По самим конференциям график может быть с осями «Количество участников конференции» и «Количество цитирований на каждого из участников». Точки в таких координатах и обобщающие эти точки графики будут наглядно показывать концентрацию, а значит, и злоупотребления.К анализу концентраций цитирования можно применять известное правило 80/20, где 80% каких-либо результатов обеспечивают 20% субъектов. Возможны различные модификации, как то: 400 самых богатых американских семей из списка Forbes владеют активами на уровне 50% всех американских семей второй половины спектра богатства8, или 1% самых богатых британцев9 платит столько же налогов, как и 50% самых небогатых британцев. Быть может, руководство и эксперты РИНЦ, думая об исключении конкретных сборников конференций или помещении их в «черные списки», составляли подобные рейтинги концентрации цитирований. То есть РИНЦ, возможно, действует как налоговые органы, которые уделяют повышенное внимание 1% самых состоятельных налогоплательщиков (т. е. самых «богатых» на цитирования авторов считанных конференций) и случайно в рамках редкой выборки проверяют деятельность 50% самых небогатых.
Следует отдельно остановиться на введении в действие критериев сборников конференций: вводить ли их ретроспективно и публично. Одним из претензий к РИНЦ в апреле 2017 года было исключение журналов ретроспективно по всем вышедшим номерам задним числом (даже Scopus лишь прекращал прием новых номеров и оставлял в своей базе ранее включенные туда номера исключаемых журналов). Большинство ученых, скорее всего, согласится со знаменитым утверждением, что «исключенные [из РИНЦ] журналы фактически представляют собой дно [российской науки]». Дно выглядело бы более убедительным в случае представления ринцевского антирейтинга журналов или сборников конференций, который, скорее всего, действительно составлялся для служебного пользования. Хотя в аналогичной ситуации Scopus лишь намекал на критерии исключения, не публикуя при этом математические доказательства в виде антирейтингов.
Напоследок следует затронуть вопрос допустимости шанса самостоятельного «вычищения» персональных профилей РИНЦ от псевдоконференций. Скажем, можно ли опубликовать критерии злостных накрутчиков и затем дать несколько месяцев на удаление таких накруток самими авторами? Либо нужно сразу опубликовать антирейтинги в стиле «Диссеропе-дии российских вузов» или «Диссеропедии журналов», безвозвратно заклеймив топов из таких антирейтингов. Можно ли полностью удалить накрутки сборников и цитирований из показателей elibrary.ru за самостоятельное исключение авторами из своих профилей таких накруток. Либо лучше оставлять самовычищения в показателях elibrary.ru наравне с исключениями по принадлежности к «дну», в стиле отзыва статей без удаления из наукометрических баз с пометкой «публикация ретрагирована».
Претензии к РИНЦ со стороны «пострадавших» псевдоученых были бы категорически менее убедительными, если бы предложенные в данной статье или им подобные критерии и вопросы были бы обсуждены и решены коллегиально и публично, скажем, подобно общественной экспертизе журналов РИНЦ, по решению Общественного совета Минобрнауки либо даже Президиума РАН.
Сергей Ануреев,
докт. экон. наук, профессор департамента общественных финансов Финансового университета при Правительстве РФ, приглашенный преподаватель магистерских программ экономического факультета МГУ
1 X-Files: секретные материалы (сезон 2018 года), или Кого будем удалять? Глухов Виктор Алексеевич (Научная электронная библиотека eLIBRARY.RU)
2 indicator.ru/news/2018/02/02/isklyuchenye-iz-rinc-statyi/
3 gaidarforum.ru; tass.ru/gaydarovskiy-forum-2018
4 fa.ru/News/2017-11-28-IFUForum.aspx; interfax.ru/pressreleases/587181
5 www.econ.msu.ru/science/Article.20161004103926_3010; econorus.org/congress.phtml
6 Детали требований НИУ ВШЭ представлены в открытом доступе на сайте в разделе «Оценка публикационной активности научных сотрудников НИУ ВШЭ»
7 Детали критериев Финуниверситета представлены в Методике распределения ежемесячной надбавки за персональный вклад научно-педагогических работников
8 en.wikipedia.org/wiki/Wealth_concentration
9 www.telegraph.co.uk/news/2017/03/19/tax-burden-wealthy-has-trebled-since-1970s-telegraph-analysis/
Источники
Сборники конференций в РИНЦ: критерии исключения и добавления
- Троицкий вариант (trv-science.ru), 27/02/2018
Сборники конференций в РИНЦ: критерии исключения и добавления
- Новости сибирской науки (www.sib-science.info), 28/02/2018