С.К.Канн, Л.П.Павлова, В.А.Дубовенко МЕТОДЫ ОЦЕНКИ ЭФФЕКТИВНОСТИ
ПУБЛИКАТОРСКОЙ ДЕЯТЕЛЬНОСТИ УЧЕНЫХ
НОВОСИБИРСКА*
С июля по декабрь 1996 г. в рамках проекта РГНФ "Научный потенциал Сибирского региона: тенденции развития", была проведена оценка показателей цитируемости работ 1326 докторов наук Новосибирска из трех научных секторов - академического, вузовского и отраслевого. Эта работа носила вспомогательный характер и должна была дополнить общий анализ научной деятельности новосибирских ученых. Для проведения анализа использовалась известная база данных (БД) Института научной информации США "Science Citation Index" ("SCI") за 1991-1995 гг. (5 компакт-дисков в версии Compact Disc Edition).
База "SCI" охватывает публикации по проблемам наук о жизни, клинической медицине и биомедицине, наук о Земле, охраны окружающей среды, физики, химии, математики, и строительства. В целом, это тот спектр отраслей, в области которых работают ученые Новосибирского научного центра.
Известно, что "SCI" включает информацию далеко не из всех научных журналов, а лишь тех из них, которые имеют высокий импакт-фактор. Для подготовки указателя отбирается ограниченный, хотя и очень представительный круг источников - около 3500 журналов и 200 продолжающихся изданий по 100 дисциплинам. По словам математика Альфредо Октавио, такой подход призван "продемонстрировать мировому сообществу лидирующее положение американской науки"[1]. С одной стороны, с этим определением нельзя не согласиться. Однако известно и то широкое признание, которым пользуется БД "SCI" среди ученых всех стран.
Анализ цитируемости применяется для решения многих задач, в том числе для выявления наиболее авторитетных научных школ и коллективов, приоритетных направлений современной науки, вклада государств в общемировой прогресс науки.
Универсальность "SCI" позволяет получить весь круг ссылок на искомых авторов, независимо от тематики их работ и сроков публикации, потому что не содержит деления на отдельные дисциплины и отрасли знания и отражает все ссылки, взятые из проанализированных статей. Это преимущество "SCI" соответствовало задачам нашего исследования.
Полученные данные были обработаны и сведены в таблицы.
Они отражают количество статей, в которых встретились ссылки на соответствующих авторов[2]. Применялась следующая методика обсчета. Фамилии докторов наук транслитерировались в несколько латинизированных вариантов (от 1 до 10, в зависимости от сложности фамилий), в соответствии с правилами транслитерации, применяемыми в "SCI", и с учетом возможных ошибок. Поисковая стратегия формировалась по БД 1995 г., после чего производился автоматический поиск в поле "Citation" по 5 годам - с 1991 по 1995 г. В дальнейшем результаты обобщались и суммировались полуавтоматически, с использованием электронных таблиц Excel.
Даже при использовании столь простой методики, машиночитаемых баз "SCI" и компьютерных методов обработки анализ цитирования работ большого числа ученых представляет чрезвычайно трудоемкую задачу, которая, к тому же, по условиям проекта, выполнялась в сжатые сроки. Понимая, что в таких условиях нельзя обеспечить индивидуальную точность результата по каждому из 1326 ученых, так как для этого требовалось библиографически выверять все данные, как вводимые при поиске, так и получаемые из "SCI", мы сосредоточились на анализе отраслей и направлений науки. Сделано это было с целью минимизировать возможные ошибки подсчета. Полученные данные позволили более точно оценить научную деятельность, ее качественную сторону, чем это можно сделать, основываясь лишь на количестве публикаций. В одной из первых отечественных работ об указателе "SCI" ее автор обратил внимание на то, что "последовательность расположения авторов по числу публикаций (ранжирование) совсем иная, если не обратная, чем по частоте цитирования"[3].
БД "SCI" в версии CDE на компакт-дисках не приспособлена для массированных библиометрических подсчетов. Эту базу рационально использовать как подручное средство библиографа или исследователя при индивидуальных поисках. При возрастании объемов работы с данной версией "SCI" значительно возрастает и число ошибок, которые необходимо постоянно держать в поле зрения.
На точность обсчета в сторону занижения получаемых результатов влияли следующие основные факторы: 1) сложные случаи транслитерации фамилий и инициалов, когда были возможны несколько десятков комбинаций; 2) присутствие в базе фамилий только с первым инициалом (стратегия подразумевала поиск по двум инициалам); 3) библиографические ошибки самого указателя "Citation Index", заимствованные из первоисточников. Несмотря на большую работу Института научной информации по "отлавливанию" ошибок, словарь БД "SCI" показывает, что база содержит немало искажений как в фамилиях, так и в остальных элементах библиографического описания.
Как показал анализ, все вышеперечисленные факторы, играющие "на понижение", в значительной степени уравновешиваются мощным фактором противоположного свойства: в случае обсчета распространенных фамилий захватывается масса "чужих" ссылок. Подчас трудно было имеющимися средствами даже примерно "развести" эти ссылки по разным авторам. Так, ориентируясь на тематику исследований, весьма сложно "развести" работы двух докторов наук из Института математики (ИМ) СО РАН - Лаврентьева М.М. - старшего и Лаврентьева М.М. - младшего. Ориентируясь лишь на адрес (Новосибирск) невозможно отделить работы Захарова В.А. из Института катализа (ИК) СО РАН от работ Захарова В.А. из Объединенного института геологии, геофизики и минералогии (ОИГГМ) СО РАН. Именно для таких случаев требуется предварительная библиографическая проработка списков публикаций "обсчитываемых" авторов.
В нашей ситуации принималось конкретное решение, направленное на минимизацию погрешности в рамках общей задачи. В каких-то случаях, когда распространенная фамилия автора совпадала также с распространенными инициалами (Иванов А.А. из Института ядерной физики (ИЯФ) или Ефремов А.В. из Мединститута), было решено вообще не вести обсчет, так как это менее искажало общую картину, чем "вливание" заведомо неверных ссылок, составлявших у такого автора 30-40% от всех ссылок учреждения. В случае Лаврентьевых ссылки обоих авторов не разделялись, потому что полученные цифры считались общими для всего математического направления.
Существенное влияние на погрешность в определении частоты цитирования имеют также широко известные особенности самой БД "SCI": возможность поиска в ней сведений только по первому автору, ограниченный круг источников цитирования, etc. Исследователи отмечают, что слишком сокращены библиографические описания цитируемых работ: даже при наличии списка работ автора не всегда удается определить, на какую из его работ сделана ссылка[4]. Наиболее точные результаты можно было бы получить при тщательной подготовительной работе и последующем программированном сопоставлении данных всех частей "SCI" (Source, Citation & Permuterm Subject Index) на всю глубину издания.
Однако если анализировать полученные цифры суммарно, имеется основа для сравнения разных отраслей и направлений науки.
На момент обобщения данных нами были получены сведения из библиотеки ОИГГМ СО РАН. Там был осуществлен подсчет частоты цитирования по 102 "своим" докторам наук с использованием БД "SCI" (версии CDE) за 1991-1994 гг. Эта работа, в отличие от нашей методики, была выполнена на основе выверенных библиографических списков и знания публикаций авторов-геологов. Сравнение данных, полученных нами и нашими коллегами, показывает, что, несмотря на встречающиеся индивидуальные отклонения по отдельным авторам, в целом наблюдается выраженная корреляция результатов, а общее расхождение за 1991-1994 гг. составляет 16,4% (1335 ссылок по данным ОИГГМ против 1116 - по нашим данным).
Проанализируем состояние дел в каждом секторе науки.
АКАДЕМИЧЕСКАЯ НАУКА
Сибирское отделение Российской академии наук (СО РАН)
Авторы рассматривали абсолютное число ссылок на работы ученых каждого института и на одного доктора наук (для сравнительных характеристик это наиболее объективный показатель). В абсолютном выражении в цитировании лидирует Институт ядерной физики, затем Институты математики и катализа. По относительному показателю картина следующая:
Институт ядерной физики (ИЯФ[5]) - 75,3;
Институт химии твердого тела и механохимии (ИХТТМ) - 61,6;
Институт катализа (ИК) - 54,3;
Институт автоматики и электрометрии (ИАЭ) - 50,4;
Институт органической химии (ИОХ) - 49,0;
Институт химической кинетики и горения (ИХКГ) - 43,7;
Институт биоорганической химии (ИБХ) - 39,3;
Институт неорганической химии (ИНХ) - 39,1.
|
Наименьший показатель в институтах: Центральном Сибирском ботаническом саду (ЦСБС) - 2,1; Институте горного дела (ИГД) - 3,6; Институте систематики и экологии животных (ИСЭЖ) - 4,2; Институте почвоведения и агрохимии (ИПА) - 4,6.
Среднее число ссылок на публикации докторов наук ННЦ составляет 26,7.
Сибирское отделение Российской академии медицинских наук
(СО РАМН)
Наибольшее число ссылок (в абсолютных числах) - на работы ученых Института клинической иммунологии. По относительному показателю лидирует Институт молекулярной патологии - 67; затем Институт клинической иммунологии - 33,5; Институт биохимии - 31,5; Институт терапии - 15; наименьшее - в Институте региональной патологии - 6,7. Средний показатель цитируемости составляет 13,4.
Сибирское отделение Россельхозакадемии (СО РАСХН)
К сожалению, БД "SCI" имеет мало ссылок на публикации сельскохозяйственной тематики. Фамилий многих докторов наук в БД вообще не оказалось. Этим объясняется и низкое цитирование публикаций этой отрасли в СО РАН. Всего была найдена 21 ссылка, что составило в среднем 0,46 на одного доктора наук.
ВУЗОВСКАЯ НАУКА
Не все представители этой науки нашли отражение в БД: не оказалось работ докторов наук Новосибирского агроуниверситета (НАГУ), Новосибирской государственной академии экономики и управления (НГАЭиУ), Института легкой промышленности, Сибирской академии госслужбы (САГС), Новосибирской государственной архитектурно-художественной академии (НГАХА). Лучше других представлены в БД работы докторов наук Медицинского института, Новосибирского государственного технического университета (НГТУ). По среднему показателю (на одного доктора наук) - Новосибирский государственный педуниверситет (НГПУ) - 10,5 ссылок; Новосибирский госуниверситет (НГУ) - 7,46; НГТУ - 3,76; Сибирская государственная академия строительства (СГАС) - 3,4.
Общий средний показатель на одного доктора наук равен 2,12.
ОТРАСЛЕВАЯ НАУКА
Поиск был проведен по всем институтам, результат составил 400 ссылок, в среднем 5,5 на одного доктора наук. Наибольшее число ссылок представлено на труды ученых Государственного научного центра (ГНЦ) "Вектор" - 280 (среднее число ссылок - 15,5), затем - Сибирского научно-исследовательского института геологии, геофизики и минерального сырья (СНИИГГиМС) - 69 (среднее - 3,8), Научно-исследовательского института патологии кровообращения (НИИПК) - 21 (среднее - 2,1).
Таким образом, сравнение индекса цитирования работ докторов наук трех секторов науки показывает на преимущество академической науки. Вторую строчку занимает отраслевая наука - 5,5, а затем вузовская - 2,1.
Интересно было проанализировать цитируемость публикаций авторов отдельных отраслевых блоков науки Новосибирска (см. прил.). Лидером является блок химических наук, представленный лишь академической наукой: средний показатель - 49,5. Затем следует блок физико-технических наук - 21,3; далее - блок математических наук, также представленный только академической наукой, - 18,4, и биологических наук - 12,2. Хорошо представлен блок наук о Земле (геологический), включающий все три сектора, - 11,6. Блоки сельскохозяйственных и гуманитарных наук имеют небольшую степень цитируемости и совсем отсутствуют в БД данные по экономическим наукам. Поиск по БД "Social Science Citation Index" мог бы исправить картину цитируемости работ.
Для получения более полных и объективных данных о наличии публикаций сибирских ученых дополнительно был проведен поиск через Интернет по каталогу изданий библиотеки Гарвардского университета, а также по БД Medline. Эти БД были выбраны, с одной стороны, из-за их значимости в мировом информационном пространстве (научность изданий, отражаемых в них, полнота, высокая информативность изданий и т.п.), а с другой, - по причине их доступности в сети Интернет.
В БД Medline хорошо представлены труды ученых СО РАМН. Здесь оказалось 1552 их публикации (средний показатель на одного доктора наук - 25). Больше всего БД отражает публикации докторов наук Института физиологии, затем Института клинической иммунологии, далее - Института региональной патологии и клинической и экспериментальной лимфологии. По среднему показателю лидируют доктора наук институтов биохимии - 66, клинической иммунологии - 36, Президиума СО РАМН - 32,5.
В БД также полно представлены труды ученых отраслевых институтов медицинского профиля: Института патологии кровообращения (ИПК) - 26,5; НИИ гигиены - 19; НИИ травматологии и ортопедии (НИИТО) - 4,14, а также вузовской науки: мединститута - 13,6.
В каталоге библиотеки Гарвардского университета поиск велся по публикациям ученых всех научных учреждений Новосибирска. Больше всего публикаций имеют ученые, занимающиеся гуманитарными науками - в относительном выражении (среднее число) - 11,5; затем следуют науки о Земле - 4,29; математические науки - 3,6; сельскохозяйственные - 2,8; химические науки - 1,4; биологические науки - 1,3; физико-технические - 1,3; экономические науки - 0,8.
Таким образом, мы осуществили лишь попытку ранжирования научных публикаций докторов наук Новосибирска, используя информационные ресурсы, которыми располагает Отделение Государственной публичной научно-технической библиотеки СО РАН в настоящее время.
Сравнительная характеристика по отраслям и ветвям наук
____________________________________________________________________________
| |___Наличие публикаций__|
| Коли- |
| чест- Цити- Сред- в б-ке в |
| во до- рова- нее на Гарвар- б-ке в |
| Наука Институты кто- ние 1 док- дского Кон- Med- |
| ров БД SCI тора универ- грес- line |
| наук наук ситета са |
|___________________________________________________________________________|
|______1_____________2__________3_______4________5_______6_______7_______8__|
| |
| Биолого-медицинские науки |
| |
|Академическая ИЦИГ СО РАН 52 1431 26,5 139 |
| ИБХ СО РАН 9 319 35,4 11 |
| Мед. упр. СО |
| РАН |
| СО РАМН 62 836 13,4 138 1552 |
| Итого 123 2586 21,02 288 1552 |
|Вузовская Мед. институт 82 219 2,6 27 1138 |
|Отраслевая НИИТО 7 6 29 |
| ИПК 10 21 2,1 265 |
| НИИ гигиены 3 57 |
| Центр медицины |
| катастроф 1 1 1 |
| НИИМБ "Вектор" 18 280 15,5 13 |
| Итого 39 302 6,1 19 351 |
| Всего 244 3107 12,2 334 3041 |
| |
| Сельскохозяйственные науки |
| |
|Академическая ИПА СО РАН 11 56 4,6 68 |
| ЦСБС СО РАН 14 30 2,14 110 |
| ИСиЭЖ 12 55 4,2 56 |
| СО РАСХН 35 21 0,6 11 |
| (7 учреждений) |
| Итого 72 162 22,5 270 |
|Вузовская НАГУ 24 |
| Всего 96 162 2,25 270 |
| |
| Экономика и управление |
| |
|Академическая ОЭиОП 20 200 |
| СибНИИ эконом. 4 2 |
| СО РАСХН |
| Итого 24 2 200 |
|Вузовская НГАЭУ 12 25 |
| САГС 4 6 8 |
| Итого 16 31 8 |
| Всего 40 33 208 |
| |
| Просвещение и гуманитарные науки |
| |
|Академическая ОИФФиФ 53 896 |
| ГПНТБ СО РАН 3 29 |
| Институт образ. |
| технологий 1 19 |
| Итого 57 944 |
|Вузовская НГУ 31 82 7,46 177 |
| НГПУ 17 74 10,5 50 25 |
| Итого 48 156 3,25 227 25 |
| Всего 105 156 1,4 1171 25 |
| |
| Геология, геодезия |
| |
|Академическая ОИГГМ 103 1502 14,5 577 |
| Ин-т монокрист. 1 |
| КТИ 1 |
| Итого 105 1502 14,5 577 |
|Вузовская СГГА 11 19 1,9 11 6 |
| Итого 11 19 1,9 11 6 |
|Отраслевая СНИИГГиМС 18 69 3,8 |
| НИИ метрологии 1 1 1 |
| СибНИИ |
| геодезии 2 3 1,5 |
| Итого 21 73 3,4 |
| Всего 137 1594 11,6 588 6 |
| |
| Математика и вычислительная техника |
| |
|Академическая ИМ 104 2424 25,25 235 |
| ИВТ 11 73 6,6 13 |
| ВЦ 32 325 9,8 237 |
| ИСИ 7 51 7,2 75 |
| Всего 154 2873 18,4 560 |
| |
| Физико-технические науки, энергетика, горные науки |
| |
|Академическая ИТПМ 39 596 17,5 67 |
| ИГД 18 117 3,6 109 |
| ИТФ 43 883 19 115 |
| ИГиЛ 47 777 17,2 44 |
| ИФП 25 1251 34,7 62 |
| ИАиЭ 23 1260 50,4 42 |
| ИЯФ 62 4523 75,3 87 |
| ИЛФ 11 159 14,4 10 |
| КТИ 3 73 24,3 4 |
| СибНИИ мех. и |
| электр. с/х СО |
| РАСХН 6 |
| Итого 277 9639 34,8 540 |
|Вузовская СГАС 36 83 3,4 15 26 |
| СГАПС 38 66 2,06 30 |
| НГАВТ 20 5 0,3 9 16 |
| СГАТиИ 17 25 1,7 13 12 |
| Ин-т легкой |
| пром-сти 2 |
| НГАХА 2 5 4 |
| НГТУ 66 216 3,76 28 |
| Итого 181 395 2,18 100 58 |
|Отраслевая СибНИИА 7 1 0,1 1 |
| НИИ трансп. |
| стр-ва 1 1 1 |
| СибНИИ энерге- |
| тики 3 2 |
| НИИ электро- |
| приб. 1 |
| НИИ комп. |
| электроприб. 1 23 23 |
| Итого 13 25 1,9 3 |
| Всего 471 10059 21,3 643 58 |
| |
| Химические науки |
| |
|Академическая ИХТТиМ 8 493 61,6 9 |
| ИНХ 34 1409 39,1 57 |
| ИОХ 22 1087 49 35 |
| ИХКиГ 21 918 43,7 24 |
| ИК+КТИ 44 2489 54,3 62 |
| Всего 129 6396 49,5 187 |
|___________________________________________________________________________|
| Ссылки на публикации докторов наук (Новосибирск, 1991-1995 гг.) |
 |
|
 |
| *Опубликовано в сборнике: | Оптимизация информационно-библиографического обслуживания ученых и специалистов: Сб. науч. тр. / ГПНТБ СО РАН. - Новосибирск, 2000. - С.98-108: диагр., табл. - Библиогр.: с.103-104 (5 назв.). |
|
