CC BY
34О.В. Михайлов
БИБЛИОМЕТРИЧЕСКИЕ ИНДЕКСЫ И РОССИЙСКАЯ НАУКА*
Ключевые слова: цитируемость; статья; й-индекс; РИНЦ; WoS; Scopus.
Keywords: citation index; article; й-index; RSCI; WoS; Scopus.
Аннотация. Рассмотрена проблема роли и значимости различных библиометрических индексов в количественной оценке научной деятельности российских исследователей, и прежде всего тех из этих индексов, что связаны с цитируемостью публикаций. Отмечено, что в естественных, гуманитарных и общественных науках как сам подход к цитированию, так и уровень цитируемости публикаций отдельно взятых исследователей весьма существенно различаются. Обсуждены также некоторые научно-этические проблемы, связанные с цитированием и цитируемостью.
Abstract. The article examines the role and importance of various bibliometric indices and especially the citation ones regading the quantitative assessment of the Russian researches' scientific activities. It is noted that there are significant disparities in approaches to the citation in humanities, natural and social sciences and also in the citation indices of individual dual researches. Some of scientific and ethical problems related to citing and citation indices are discussed as well.
На протяжении столетий в науке (да и не только в ней) господствовало мнение, что оценка результатов и квалификации зани-
* Данная статья написана по материалам пленарного доклада, сделанного автором на III Российской конференции по науковедению и наукометрии (Москва, 27-29 октября 2015 г.).
мающегося ею человека может быть только экспертной (т.е. качественной), а именно с участием лишь тех лиц, которые ранее уже проявили себя в соответствующей отрасли и приобрели в ней надлежащий авторитет. Однако оно не могло быть вечным, поскольку игнорирование количественной составляющей делало саму эту оценку, во-первых, однобокой, а во-вторых - и это главное, -субъективной независимо от того, кем бы она ни осуществлялась. Конечно, наука во все времена базировалась, базируется и будет базироваться на количественных данных. Поэтому введение в систему оценки научной деятельности каких-то количественных показателей, характеризующих эту деятельность, должно было пробить себе дорогу, и начиная с 70-х годов XX в. в методологию ее оценки все более настойчиво стали вводиться и количественные параметры. Первым было предложение об учете количества опубликованных ученым научных работ. Однако с течением времени становилось все более очевидным, что реальный его вклад в науку, определяемый ценностью полученных им результатов, одним лишь числом публикаций еще отнюдь не определяется. В XX в. разными учеными высказывалась мысль, что с количественными показателями хорошо коррелирует востребованность работ конкретного ученого со стороны его коллег «по цеху», которая в свою очередь вроде бы неплохо сопоставима с таким показателем, как цитируе-мость работ этого же ученого в научной литературе. По образному (и справедливому) выражению ведущего нашего специалиста в области наукометрии В.А. Маркусовой, «Ссылки - это своеобразная валюта, которой... исследователи оплачивают долг перед предшественниками» [3]. И коль скоро в нашем повествовании очень многое будет связано с феноменами цитирования и цитируемости, следует, вероятно, «не откладывая дело в долгий ящик», дать толкование этим понятиям, которые в литературе нередко смешивают друг с другом. Под цитированием мы будем понимать ФАКТ упоминания имени автора (авторов) при описании или заимствовании материалов из принадлежащих им опубликованных работ в средствах массовой или узкопрофессиональной информации (печати, кино, телевидении, Internet и др.); частным случаем цитирования являются ссылки автора на свои собственные публикации (так называемое самоцитирование). Можно выделить следующие пять разновидностей цитирования [4, 12]:
• цитирование конкретной публикации кем-либо из тех исследователей, которые не являются ее соавторами и которые никогда не были таковыми ни для данного исследователя, ни для его соавторов;
• цитирование конкретной публикации кем-либо из тех исследователей, которые не являются ее соавторами и которые никогда не были таковыми для данного исследователя, но были таковыми для хотя бы одного из других соавторов;
• цитирование конкретной публикации кем-либо из других исследователей, которые не являются ее соавторами, но которые являются соавторами данного исследователя по каким-либо другим публикациям (независимо от срока их выхода в свет);
• цитирование конкретной публикации кем-либо из ее соавторов;
• цитирование конкретной публикации именно тем из ее соавторов, для которого в данный момент определяется библиомет-рический индекс.
Соответственно, под цитируемостью понимается количественный параметр, в той или иной форме характеризующий уровень цитирования работ данного автора.
В цепочке (ценность ^ востребованность ^ цитируемость) научных работ ученого на количественном уровне может быть отображен лишь последний из этих показателей, и именно он и был принят в качестве основополагающего параметра в зародившейся во второй половине XX в. новой отрасли научного знания, посвященной изучению феномена науки и научной деятельности вообще - науковедения и ее ключевого раздела - наукометрии. Как следствие понимания значимости цитируемости в 1972 г. появился на свет термин «импакт-фактор журнала» IF, который согласно его творцу - Юджину Гарфильду (Eugene Garfield) - определялся как отношение числа ссылок, сделанных на все статьи в данном журнале за двухлетний период, предшествующий году обследования, на общее число статей, опубликованных в нем за этот же период на момент выхода в этом самом журнале конкретной работы конкретного исследователя [2]. Параметр этот для наиболее значимых в мировой науке журналов стал регулярно (а позднее и ежегодно) рассчитываться в специальном научном учреждении -Институте научной информации США (ISI), основанном Ю. Гар-филдом, для нескольких тысяч наиболее известных научных журналов по всему миру и вноситься в созданную им базу данных, получившую после ее приобретения компанией Thomson Reuters название Web of Science (WoS). Он и поныне продолжает рассматриваться как некое мерило авторитетности любого научного журнала независимо от его национальной принадлежности; считается, что чем больше IF, тем более авторитетным является и сам журнал.
Насколько это так - вопрос дискуссионный, но как бы то ни было, на этой почве сначала в «западной», а позднее - и в российской научной среде сформировалось весьма устойчивое мнение, что научную деятельность конкретного исследователя следует оценивать исходя из того, в каких научных журналах опубликованы его работы и каков IF этих журналов. И хотя в 80-х годах XX в. в качестве наилучшего показателя «успешности» научной деятельности ученого было предложено использовать суммарную цитируемость его публикаций, вплоть до начала XXI в. IF оставался фактически единственным задействованным для оценки научной деятельности библиометрическим параметром (индексом). Положение существенно изменилось после того, как в 2005 г. мало кому известный тогда американский физик Хорхе Хирш (Jorge Hirsch) предложил ввести для оценки научной деятельности отдельно взятого ученого так называемый й-индекс, определение которого звучит так: «Ученый имеет индекс h, если h из его N статей цитируются как минимум h раз каждая, в то время как оставшиеся (N-h) статей цитируются не более, чем h раз каждая» [11]. В только что процитированной работе Хирш высказал мнение, что такой параметр способен дать более адекватную оценку «научной продуктивности» деятеля науки, нежели общее число его публикаций или общее число их цитирований. Индекс этот приобрел почти сразу же после своего появления необыкновенную популярность и получил даже специальное название - «индекс Хирша» (а у нас в России - просто «хирш»). Отчасти, несомненно, это случилось потому, что сей библиомет-рический параметр в полной мере соответствовал известному изречению Альберта Эйнштейна «Все должно быть сделано как можно более простым, но не чересчур простым». К слову, «хирш» любого исследователя, у которого есть в WoS или иной из ныне существующих баз данных цитируемости (РИНЦ, Scopus и др.) хоть какие-то да цитируемые работы, можно весьма просто, без специальной вычислительной техники определить всякому, кто того пожелает; примеры того, как это делается, можно найти, например, в статье [6]. Появление индекса Хирша спровоцировало подлинный бум в создании все новых и новых показателей, которые позволяли с той или иной позиции оценивать научную деятельность, причем уже не только отдельно взятых исследователей, но и научных коллективов. На момент написания этих строк число предложенных различными авторами библиометрических индексов приближается к 50 [8, 10] и их можно разделить на две категории. Индексы первой категории так или иначе характеризуют публикационную актив-
ность автора или коллектива авторов и при этом обязательно (прямо или косвенно) связаны только с цитируемостью их работ. Индексы же второй категории также учитывают публикационную активность автора или коллектива авторов, но при определении их ци-тируемость может либо вообще не приниматься во внимание, либо учитываться в сочетании с каким-либо иным показателем этой самой активности (например, с количеством статей, числом соавторов и др.). При этом как в том, так и в другом варианте одни библиометрические параметры могут быть целочисленными (как, например, тот же й-индекс или общее число публикаций за определенный период времени), другие же - нецелочисленными (в частности, сумма долевых цитируемостей по всем публикациям автора или же среднее число соавторов в его публикациях). В рамках первой разновидности можно выделить две основные систематики этих показателей:
а) по ассортименту учитываемых первичных показателей
- на основе лишь суммарного количества цитирований работ ученого;
- на основе суммарного количества цитирований и общего числа его публикаций;
б) по способу обработки и последующего представления первичных показателей, в которых
- так или иначе фигурируют сами количества цитирований и число публикаций;
- фигурируют не сами указанные выше количества, а некие производные от них.
Интерес как к первой, так и ко второй разновидности индексов обусловлен целым рядом причин, и в частности возможностью автоматизации процесса оценивания публикационной активности и соответственно - своего рода «успешности» научной деятельности конкретного ученого с использованием программных средств и сведений из различных баз данных цитируемости. Эти показатели весьма удобны для оценки прежде всего фундаментальных исследований, которые направлены на развитие науки и непосредственно не связаны с экономическим эффектом; а раз так, то и востребованность результатов этих исследований вполне естественно оценивать в виде «отклика» научного сообщества на соответствующие публикации, содержащие результаты этих исследований.
Казалось бы, все ясно, но... наукометрия и ее методы анализа вызывают, мягко говоря, неоднозначные мнения в российском на-
учном сообществе, которые варьируются от ее едва ли не фетишизации до плохо скрываемого неприятия. Что примечательно, представители органов нынешней российской власти видят ныне в наукометрии едва ли не высшее «мерило» для оценки вклада в науку любого ученого или научной организации, тогда как, говоря словами Владимира Высоцкого, «доценты с кандидатами», а то и профессора с докторами видят в ней очередные бюрократические требования, призванные лишь осложнить их жизнь. И есть отчего забеспокоиться: для немалого числа нынешних российских научных работников, особенно работающих в отраслях интеллектуальной деятельности, принадлежность которых к науке, по меньшей мере, сомнительна (об этом см. подробнее в статье [5]); при оценке их научной деятельности с использованием библиометрических индексов получается, прямо скажем, картина не очень-то приятная. Поскольку эти индексы - что прямые (вроде валовой цитируе-мости), что косвенные (вроде «хирша»), у вышеуказанных лиц, как правило, весьма незначительны, а раз так, то возникают вопросы и о значимости их научной деятельности вообще. Отсюда проистекает интуитивное желание этих лиц сохранить лишь качественную оценку научной деятельности (по крайней мере, своей собственной), потому что при этом есть та или иная надежда на поблажку со стороны тех людей, которые будут ее оценивать. От библиометриче-ских же индексов этого ожидать не приходится: цифры они и есть цифры. Однако возражения по поводу целесообразности использования наукометрии нередко исходят и от тех деятелей науки, у которых данные индексы на несколько порядков превосходят среднестатистический уровень. И их возражения связаны отнюдь не только со сложностью их вычисления - вопросы возникают по поводу самой природы цитируемости, которая лежит в основе почти каждого из библиометрических параметров. Например, нужно ли принимать во внимание уровень авторитетности того издания, в котором дана та или иная ссылка? Следует ли учитывать категорию цитируемой работы и ее объем? Необходимо ли отслеживать число соавторов в цитируемых работах и если да, то каким именно образом это надлежит делать? Надо ли принимать во внимание самоцитирование и считать ли его вкладом в общую цитируемость той или иной работы? Если да, то в какой степени - на равных правах с цитированием другими авторами или же нет? Нужно ли и каким образом учитывать тот факт, что в разных отраслях науки исторически сложились различные уровни, приемы и традиции цитирования? Следует ли учитывать то обстоятельство, что исследо-
ватели различных стран мира в разной степени ссылаются на работы своих соотечественников и если да, то каким образом? Ответы на эти вопросы могут быть различными, но все-таки их можно дать с должной степенью определенности; в частности, на второй и шестой вопросы из этого перечня, по мнению автора данной статьи, следует дать отрицательные ответы, на остальные же четыре - положительные. Однако найдется немало и таких вопросов, на которые он же уже затруднился бы дать однозначные ответы, и вот лишь некоторые из них. Что важнее: сами опубликованные работы исследователя, научного коллектива (причем независимо от того, в каких изданиях они опубликованы) или востребованность этих работ другими исследователями, и справедлив ли тезис, что цити-руемость или даже востребованность работ ученого является критерием их научной ценности? Насколько правомерно рассматривать цитирование конкретной работы как ту или иную степень ее востребованности? Как быть с тем обстоятельством, что в любой отрасли науки сосуществуют как открытые исследования, содержание которых доступно неопределенному количеству лиц, так и ограниченные по степени информационного доступа исследования с тем или иным грифом секретности? Каким образом следует учитывать то обстоятельство, что нередко необъективно возвеличиваются заслуги, а то и приоритет одного исследователя в ущерб другому по ряду соображений, к науке никакого отношения не имеющих (личностных, традиционалистских, националистических, политических и пр.)? И вообще, вправе ли мы считать объективным такой показатель научной деятельности, на который сам ученый, если будет действовать совершенно честно, фактически не сможет оказать никакого влияния, но если будет действовать, мягко говоря, не слишком честно (как, например, это делал печальной памяти Т.Д. Лысенко, прямо заставлявший тогдашних советских биологов по поводу и без оного цитировать свои работы), то сможет значительно его улучшить?
В связи с этим нельзя не отметить и такой важный момент, как существенно различное отношение к публикациям и их цити-руемости со стороны ученых, работающих в сфере естественных, гуманитарных и общественных наук. Так, в естественных науках уже давно и в достаточной степени устоялось понятие так называемых «влиятельных журналов», к каковым принадлежат в первую очередь «Nature» и «Science», и наиболее авторитетные исследователи, в том числе и нобелевские лауреаты, стараются публиковать результаты своих исследований именно в ТАКИХ журналах.
В гуманитарных и общественных науках никаких «влиятельных журналов» никогда не было и нет, да и само их общее число, фигурирующее в наиболее авторитетных международных базах данных цитируемости WoS и Scopus, гораздо меньше по сравнению с аналогичным числом естественно-научных журналов. Ситуация для «гуманитариев» осложняется еще и тем, что в этих базах данных, равно как и в других им аналогичных (включая и наш РИНЦ), отслеживается и учитывается цитирование в основном лишь статей, тогда как другие печатные источники научной информации - книги, брошюры, тезисы докладов - часто никак не индексируются. А ведь книги и брошюры для «гуманитариев» - это куда более распространенный источник публикации результатов своих исследований, нежели журнальные статьи. Однако наиболее значимым в перечне различий между естественными и гуманитарными (и общественными) науками является все-таки то, что естественные науки интернациональны и их предметы исследования и объекты в принципе одинаково интересны исследователям независимо от их принадлежности к тому или иному народу и государству, тогда как в гуманитарных и общественных науках весьма значительная часть изысканий носит ярко выраженный национальный характер и, как правило, интересна лишь исследователям той страны и (или) народа, с которыми она связана [7]. Прямым следствием только что сказанного оказывается то, что цитируемость публикаций «естественников» в целом существенно выше, чем цитируемость публикаций «гуманитариев», причем это касается не только наших российских ученых, но ученых из других стран мира. В частности, как минимум весьма значительная часть наших российских изысканий в области социологии, занимающей весьма важное место в системе гуманитарных наук, не годится для международных журнальных изданий, но не вследствие недостатков в научном плане, а в силу упомянутого выше «национального характера». Исключение составляют, пожалуй, лишь статьи в области социологии науки и технологий, да и то не всегда. Но в любом случае стремление исследователя-гуманитария как-то состыковать тематику своих изысканий с тематикой международных журналов в области гуманитарных наук неизбежно поставит его перед весьма непростым выбором: либо заниматься чем-то имеющим «интернациональное» значение и стремиться публиковаться в престижных международных журналах (и соответственно надеяться на высокую личную цитируе-мость), но не заниматься изучением злободневных проблем российской жизни, либо, напротив, заниматься исключительно ими и
публиковаться лишь в российских журналах, импакт-фактор которых, как правило, не сильно отличается от нуля (и соответственно, забыть про высокую личную цитируемость) [7]. Заметим в связи с этим, что и сам ассортимент журналов по гуманитарной и «общественной» тематике значительно меньше, нежели ассортимент журналов естественно-научного профиля, и возникает даже такая проблема, как поиск журнала, в который можно было бы направить свою статью. Заметим, что и обе ключевые международные базы данных цитируемости - WoS и Scopus, равно как и РИНЦ, учитывают публикации лишь весьма небольшого числа гуманитарных журналов. И хотя существуют специальные базы данных цитируе-мости именно изданий гуманитарного профиля, в частности Social Sciences Citation Index (SSCI), Arts and Humanities Citation Index (AHCI), но их «авторитет», похоже, не очень-то велик даже в глазах самих гуманитариев. Соответственно, поэтому и количество опубликованных статей у представителей гуманитарных и общественных наук несопоставимо меньше, чем у представителей естественнонаучных дисциплин. Эта непростая ситуация усугубляется еще и тем, что в гуманитарных науках объем статьи, как правило, в разы больше, чем в естественно-научных - публикациях типа «краткие сообщения» или «письма в редакцию», столь распространенные у «естественников», у гуманитариев писать просто не принято (хотя, конечно, ничто не мешает и им ввести такую же традицию). Данное обстоятельство позволяет «естественникам» опубликовать при аналогичном объеме журналов намного больше статей, которые подчас представляют лишь небольшие отчеты о проделанных экспериментах и связанных с ними наблюдениях. Более того, есть и еще сугубо специфические факторы, связанные с различиями цитирования и цитируемостью не только между естественными и гуманитарными науками, но и между различными гуманитарными науками. Так, в случае такой гуманитарной науки, как история, важнейшим источником для исследователя являются исторические документы, в то время как для такой науки, как социология - результаты социологических экспериментов; в связи с этим у представителей первой из них преобладают ссылки на источники, у представителей второй - на исследования и описания результатов этих экспериментов, отраженные в публикациях, пусть и не обязательно в статьях. (Хотя, конечно, социологи достаточно часто публикуют результаты, полученные в ходе социологических интервью.) Поэтому в ряде случаев, особенно при уникальности сюжета и найденных в архиве документов, в исторической статье можно
найти только ссылки на источники без упоминаний работ предшественников, которых попросту нет. Немаловажно и то, что в социологии (равно как и в естественных науках) основой организации исследований являются коллективные формы - лаборатории, исследовательские группы и т.д., индивидуальные исследователи как таковые в этих науках ныне относительно редки, тогда как изучение же истории продолжает оставаться (по крайней мере, пока) в значительной степени индивидуальным трудом; рост числа ссылок данному конкретному историку гарантирован лишь тогда, когда у него есть многочисленные соавторы, которые, ссылаясь на свои работы, автоматически ссылаются и на его работы. К слову сказать, число историков существенно меньше, нежели социологов (равно как и физиков, химиков или биологов), что заведомо приводит к ситуации, в которой шанс быть процитированным у любого из историков в среднестатистическом отношении значительно меньше, чем у представителей естественно-научного и гуманитарного знания. Ко всему прочему любой историк стремится исследовать ранее неизученные темы (благо в любой отрасли исторической науки - хоть древней, хоть даже современной - их предостаточно), и соответственно - найти в архиве или при раскопках еще неизвестные, не «введенные в научный оборот» документы, что, как правило, отнюдь не способствует росту цитирований его работ даже со стороны его коллег «по цеху», не говоря уж о «сторонних» исследователях.
Наиболее серьезные возражения по поводу целесообразности использования библиометрических индексов последовали, однако, не со стороны «гуманитариев» или «общественников», а со стороны математиков, которые вполне обоснованно заявили о необходимости весьма осторожного и при этом - грамотного и корректного их применения в отношении оценки научной деятельности любого ученого и прежде всего - так называемых решателей трудных задач типа Г. Перельмана. (Заметим в связи с этим, что уровень цитируемости у математиков еще ниже, чем у «гуманитариев».) При этом Международный математический союз даже выпустил специальный сборник статей под весьма симптоматическим заглавием «Игра в цыфирь» [1], в котором по существу предал наукометрический анализ и библиометрические индексы едва ли не анафеме. Детальный анализ этих возражений с позиций математики уже выходит за рамки данной статьи, и мы здесь останавливаться на нем не будем, ограничившись лишь краткой выдержкой из преамбулы к данному сборнику, которая является своеобразным лейтмотивом его содержания: «Числа по сути отнюдь не лучше, чем разумное
суждение». Но здесь бы обратить внимание не на эти самые «числа», а на, так сказать, «социально-научные» последствия, связанные с широким внедрением библиометрических индексов - причем отнюдь не только в российской науке. Вот что по этому поводу пишет автор статьи [9] П.Е. Чеботарев: «Наука превратилась в гонку... за числом публикаций и ростом библиометрических индексов. Тысячи небездарных людей сегодня ставят перед собой задачу не продвижения в понимании устройства мира, а продвижения "по Хиршу"... ведь должности, гранты, "надбавки" - все это определяется числом публикаций, числом ссылок на них, тем же "Хир-шем"». При всем этом «Работы, которые мало кто прочтет, уже и пишутся по-иному. не для читателя, а для числа; их производить все легче, они "пекутся" все быстрее, их становится все больше». И как прямое следствие всего этого, «все чаще это шлак», а не подлинные научные произведения. В этой же статье П. Е. Чеботарев ставит весьма важную проблему - как объективно оценивать научную деятельность тех «зубров» современной науки, которые не гонятся за числом публикаций и их цитируемостью, а решают так называемые «трудные задачи». Справедливости ради, однако, стоит заметить, что такая проблема носит все же частный, а не всеобщий характер, ибо подавляющее большинство этих самых «решателей трудных задач» сосредоточено именно в математике, а потому именно и только представителям этой науки и надлежит принимать соответствующие решения о том, как оценивать их деятельность. Что же касается других наук, то следует отметить, что современный среднестатистический деятель науки в них - это явно не указанный выше «решатель», да и таких специфических проблем, как гипотеза Пуанкаре (недавно разрешенная упомянутым выше Г. Перельманом) или проблемы Гильберта, Ферма и Гольдбаха (как будто полностью решенные еще в прошлом веке) в современной химии, биологии или в науках о Земле (геологии, географии и др.), не говоря уж о гуманитарных и общественных науках, просто нет. Хотя и нельзя не отметить исключительной важности творческих личностей, обладающих оригинальным мышлением и способных делать открытия в ситуации, когда «в сегодняшней гонке за очками собственно наука - размышления, новые сложные интеллектуальные конструкции, до деталей продуманные эксперименты, скрупулезный сбор материала становятся роскошью, если и ведущей к результату, то - томительно длинным и ненадежным путем» [9] и для всех остальных наук - как естественных, так и гуманитарных.
Подводя итоги всему вышесказанному, можно провести определенное сопоставление между применимостью «библиометри-ческого подхода» для оценки научной деятельности ученых и применимостью теории тяготения И. Ньютона для решения различных задач космологии. Теория Ньютона, как известно, хорошо «работает» в случае движения тел с малыми скоростями, намного меньшими скорости света; для ситуации же, когда эти скорости сопоставимы по своим величинам, следует применять более общую (пусть и куда как более сложную) теоретическую концепцию, а именно общую теорию относительности А. Эйнштейна. В нашем же случае для оценки научной деятельности основной массы работающих в сфере российской науки («середняков») библиометриче-ские индексы являются совершенно необходимыми и по крайней мере в большинстве случаев должны служить решающим «мерилом» уровня их научных достижений; для оценки же научных достижений тех личностей, кто, так или иначе, претендует на статус «выдающихся» и тем более «великих» деятелей науки, эти самые индексы должны обязательно сочетаться с традиционной экспертной оценкой, причем значимость последней должна быть тем большей, чем выше этот статус. При этом сопоставление исследователей по их библиометрическим показателям на нынешнем уровне развития наукометрии уместно лишь в том случае, если они работают в одной и той же или же близких отраслях научного знания; сопоставлять же по этим показателям, скажем, историков и археологов с химиками или биологами, на мой взгляд, совершенно бессмысленно.
Материал данной статьи подготовлен при финансовой поддержке Российского Фонда фундаментальных исследований (проект № 14-06-00044).
Литература
1. Игра в цыфирь, или Как теперь оценивают труд ученого (сборник статей о библиометрике). - М., МЦНМО, 2011. - 72 с.
2. Импакт-фактор // Википедия. - Режим доступа: Шр^/ги.^аЫре&а.ся^/иай/Им-пакт-фактор
3. Маркусова В.А. Цитируемость российских публикаций в мировой научной литературе // Вестник Российской академии наук. - М., 2003. - Т. 73, № 4. -С. 291-298.
4. Михайлов О.В. Блеск и нищета «индекса цитирования» // Вестник Российской академии наук. - М., 2003. - Т. 74, № 11. - С. 1025-1029.
5. Михайлов О.В. Наука и науки // Вестник Российской академии наук. - М., 2007. - Т. 77, № 12. - С. 1139-1143.
6. Михайлов О.В. Новый индекс цитируемости для оценки эффективности научной деятельности исследователя // Науковедческие исследования, 2014: Сб. науч. тр. / РАН. ИНИОН. Центр науч.-информ. исслед. по науке, образованию и технологиям; Отв. ред. Ракитов А.И. - М., 2014. - С. 92-98.
7. Михайлов О.В. О принципах и специфике цитируемости в естественных и гуманитарных науках // Вестник Российской академии наук. - М., 2015. -Т. 85, № 11. - С. 1047-1050.
8. Холодов А. С. Об индексах цитирования научных работ // Вестник Российской академии наук. - М., 2015. - Т. 85, № 4. - С. 310-320.
9. Чеботарев П.Е. Наукометрия: Как с ее помощью лечить, а не калечить? // Управление большими системами. - М., 2013. - Вып. 44. - С. 14-31.
10. Штовба С.Д., Штовба Е.В. Обзор наукометрических показателей для оценки публикационной деятельности ученого // Управление большими системами. -М., 2013. - Вып. 44. - С. 262-278.
11. Hirsch J.E. An index to quantify an individual's scientific research output // Proceedings of the National Academy of Sciences of the United States of America. -N.Y., 2005. - Vol. 102, N 46. - P. 16569-16572.
12. Mikhailov O.V. A New Citation Index for Researches // Herald of Russian Academy of Sciences. - N.Y., 2012. - Vol. 82, N 5. - P. 403-405.
