Мысли быстрого реагирования - Сергей Кара-Мурза

Но вот в середине 60-х гг. появился информационный инструмент, который, казалось, давал возможность отразить качество научных публикаций. Это — «Указатель библиографических ссылок» (Science Citation Index — SCI), издаваемый Институтом научной информации (США). Почти 20 лет, в течение которых публикуется этот указатель, — солидный срок, позволяющий строить довольно представительные временные ряды, и социологи науки стали все активнее использовать открывающиеся здесь возможности. Создатель SCI Ю. Гарфилд с самого начала указывал на широкую применимость указателя в социологии и истории науки.15

Действительность не обманула этих ожиданий. Более того, нам представляется, что потенциальные возможности SCI в науковедении оценены еще лишь в малой степени, и по мере удлинения временных рядов ценность его будет возрастать. Но можно ли использовать такой измеримый параметр научных коммуникаций, как цитируемость, для оценки вклада в науку отдельных исследователей или целых коллективов?

Исходные посылки тех, кто отвечает на этот вопрос положительно, кажутся вполне обоснованными. Ссылки на предыдущие публикации отражают связи между работами отдельных ученых. Следовательно, чем больше ссылок получают работы ученого, тем в большей степени используется его продукция научным сообществом, тем выше полезность его вклада. Исходя из этих посылок, американские социологи науки Дж. Коул и С. Коул одними из первых применили измерения цитируемости для обоснования весьма радикальных социологических выводов.16 Измерение цитируемости быстро стало связываться со злободневными практическими вопросами. Поборники использования SCI для оценки продуктивности ученых, не дождавшись теоретических обоснований, начали выступать в широкой печати с пропагандой этого подхода. Судя по литературе, в некоторых университетах США показатель цитируемости уже вошел в методики формальной оценки сотрудников. Возможность использования цитирования для оценки научного труда видят и некоторые советские социологи. Так, Н.З. Мирская пишет: «Показатель цитирования — основание для определения эффективности научного труда, что особенно важно в плане практических рекомендаций… Цитирование отражает использование публикации, т. е. ее полезность и, следовательно, эффективность деятельности ее автора».17

Но позволяет ли измерение цитируемости верно оценить научный вклад? Действительно, цитирование отражает связь между работами ученых, говорит об использовании научных результатов. Но оно отражает не все связи. Если труды ученого цитируются широко, то это (в общем случае) указывает на тот факт, что его продукция высоко оценивается и в большой степени используется другими учеными. Но обратное утверждение в общем случае неверно. А для того чтобы цитируемость могла служить основой оценки научного вклада, необходимо чтобы были верны как прямое, так и обратное утверждение, — это кажется очевидным.

Как же получается, что цитирование «высвечивает» лишь часть научных коммуникаций? Рассмотрим механизм цитирования на «микроуровне» — на уровне единичной научной публикации. Чтобы упростить нашу задачу, введем три явно идеализированных предположения: 1) вся использованная в работе автора публикации научная информация изложена в статьях, на которые он может сослаться; 2) все сообщения, несущие необходимую автору для данной работы информацию, достигают этого автора; 3) отбирая статьи, на которые он сошлется в своей публикации, автор руководствуется только релевантностью, ценностью этих статей для своей работы.

Объем информации, которой пользуются при подготовке публикации даже начинающие исследователи, весьма велик. Если бы его удалось весь «упаковать» в научные статьи (наше первое предположение), то их минимальное число достигло бы, вероятно, сотни. Естественно, что процитировать их все невозможно, да и сам институт цитирования потерял бы тогда смысл. В самоорганизующейся системе научных коммуникаций установились определенные нормы цитирования (несколько отличающиеся в разных областях науки). В среднем «нормальная» публикация содержит около 15 ссылок. Это значит, что из, минимум, сотни статей автор отбирает 15 наиболее релевантных для его работы. Другими словами, устанавливается некоторый ценз, порог ценности статьи для данной работы. Этот порог — своеобразный «уровень моря», над которым видна лишь небольшая верхушка айсберга использованной информации — цитированные статьи.

Но если цитируемость связана с пороговыми явлениями, не может быть и речи о линейной зависимости между ценностью статьи и возможностью ее попадания в список цитированных трудов. Все, что ниже порога, получает одинаковую оценку — ноль. Все, что выше порога — единицу. Система работает дискретно, по принципу «все — или ничего». Используя такую двухбалльную шкалу, можно лишь сказать, что цитированные статьи для данной работы более полезны, чем нецитированные. Мы не можем вынести никаких суждений о том, насколько первые полезнее вторых, — изменение происходит скачкообразно. Внутри же обеих групп каждая статья находится в области неопределенности.

На микроуровне ясно, что такая «черно-белая» шкала мало что дает для распределения использованных 100 статей по их полезности: каждая из 85 нецитированных статей может оказаться по своей полезности почти равной любой из цитированных. Таким образом, нарушается первое требование к шкале оценки, которая должна быть достаточно растянутой и непрерывной.

Что же изменяется при переходе к «макросистеме» — крупному массиву публикаций — и сравнению авторов по числу ссылок на них? Мы получаем ряды чисел разумной величины, по которым, как будто, можно ранжировать авторов. Но это — иллюзия. Оттого, что мы складываем неопределенности, выявленные на уровне одной статьи, определенность не возникает. Обсуждая проблему оценки деятельности ученых, С.Н. Хиншельвуд писал: «Иногда заявляют, что для статистики полезны даже грубые результаты. Не может быть более опасной доктрины, чем доктрина, основывающаяся на представлении, что большое число ложных или бессмысленных догадок может быть каким-то образом усреднено, давая нечто имеющее смысл».18

Так, если какая-то работа цитируется во многих статьях, значит, многократно воспроизводится ситуация, которую мы рассмотрели на «микроуровне», — работа чаще других превышает порог полезности. Это говорит о широте «рынка» для данной работы, о массовости ее потребителя. Такие данные, позволяющие оценить масштабы того или иного научного сообщества, очень важны для науковедения. Но можно ли выражать вклад в науку, импульс, даваемый ее развитию какой-то работой, через массовость потребителя?

Анализ показывает, что наиболее массового потребителя имеют методические статьи. Это понятно: разнообразие идей и объектов науки во много раз превышает разнообразие методов. Поэтому каждая идея имеет небольшой «рынок», а одним и тем же методом пользуются при экспериментальных исследованиях, связанных со множеством идей, — и ссылка на этот метод появляется во многих статьях. Кроме того, в отношении изложения методической стороны исследования нормы в науке гораздо строже, чем в отношении идей и интерпретации результатов (на идею можно и не сослаться, на метод — нельзя).

Это хорошо видно при содержательном анализе приведенных в «Current Contents»19 заголовков наиболее цитируемых статей. По нашим оценкам, из 156 таких статей, относящихся к биохимии, биомедицинским исследованиям и психологии, 118 (т.е. 75,6 %) имеют методический характер. И эти методические статьи получают 84,7 % ссылок! Все 156 статей имеют 210759 ссылок (в среднем 1351 ссылка на одну статью); 118 методических статей имеют 178448 ссылок (1512 на одну статью), 38 неметодических статей — 32311 ссылок (850 на одну статью). В биохимии одна методическая статья имеет в среднем 1996 ссылок, а неметодическая — 949. В этой области методические статьи собрали 92 % ссылок всех 78 статей-чемпионов.

Этот подсчет сделан нами на основании опубликованных Ю. Гарфилдом материалов, хотя сам он считает ошибочным вывод, что методические статьи обязательно получают больше ссылок, чем прочие работы. Свое мнение он обосновывает тем, что статьи в журналах по аналитической химии не отличаются особенно высоким цитированием.20 На это можно ответить, что высокая цитируемость методических работ — не вывод, а эмпирический факт. Что же касается журналов по аналитической химии, то их статьи предназначены не для потребителя методов, а для их разработчика — химика-аналитика. Это — не продукт, а «полупродукт», и они, в сущности, не являются методическими статьями. Когда же аналитический метод доводится до «товарного вида» и выносится на широкий «рынок», он публикуется обычно в журналах той области исследований, для которой этот метод предназначен, и цитируется очень обильно.