Альтметрия

В научных и научно-исследовательских публикациях альтметрия (англ. Altmetrics) — это нетрадиционная библиометрия, предлагаемая в качестве альтернативы или дополнения к более традиционным метрикам цитирования, таким как импакт-фактор и h- индекс.

Термин альтметрия был предложен в 2010 году как обобщение используемых в то время нетрадиционных методов оценивания уровня статей и имеет свои корни в хештеге #altmetrics. Хотя понятие альтметрии часто рассматривается как метрики для оценки статей, но в то же время альтметрия может применяться к людям, журналам, книгам, наборам данных, презентациям, видео, репозиториям исходного кода, веб-страницам и т. д.

Altmetrics используют открытые API на разных платформах для сбора данных с помощью открытых скриптов и алгоритмов. Первоначально альтметрика не учитывала количество цитирований, но оценивала влияние ученых с помощью онлайн-исследований, на основе данных социальных сетей, онлайн-СМИ, онлайн-справочные менеджеры и так далее. Альтметрика может быть использована для: фильтрации исследований и оценки исследователей, отбора заявок на гранты, для ранжирования недавно опубликованных статей в списке академических баз данных и поисковых систем.

История

Запуск web 2.0 изменил подход к поиску публикации внутри академического сообщества или за его пределами, но также дало новые способы измерения научного воздействия работы в «широком» смысле. Традиционные метрики остаются значимыми, но их может быть недостаточно для измерения новых работ, особенно за пределами экспертной оценки.

Такие проекты, как ImpactStory и различные компании, включая Altmetric и Plum Analytics, рассчитывают альтметрию. Несколько издателей начали предоставлять такую информацию читателям, в том числе BioMed Central, Public Library of Science (PLOS), Frontiers, Nature Publishing Group, и Elsevier.

В 2008 году журнал Medical Internet Research начал систематически собирать твиты о своих статьях. Начиная с марта 2009 года Публичная научная библиотека также ввела метрики на уровне статей для всех статей. Спонсоры начали проявлять интерес к альтернативным метрикам, включая Совет по медицинским исследованиям Великобритании. Альтметрики были использованы в приложениях для обзора продвижения исследователями. Кроме того, несколько университетов, включая Университет Питтсбурга, экспериментируют с альтметрией на уровне институтов.

Тем не менее, сложность попадания статьи в верхние квантили явно не достаточна, что объясняется недостатком источников альтметрии, чтобы дать сбалансированную картину воздействия для большинства работ.

Важное значение при определении относительного влияния работы, это сервис, который рассчитывает статистику альтметрии, и он нуждается в значительной базе знаний. В следующей таблице показано количество работ, покрываемых их услугами (по состоянию на 2016 год):

Виды альт-метрик

Альтметрики — это очень широкая группа метрик, фиксирующих различные части воздействия, которое может оказать бумага или произведение. Классификация альтметрик была предложена ImpactStory в сентябре 2012 года и публичная библиотека наук использует очень похожую классификацию:

Просмотры — просмотр HTML и загрузка PDF;
Обсуждения — комментарии в рамках журналов, научных блогов, Википедии, Twitter, Facebook и других социальных сетей;
Сохранения — Mendeley, CiteULike и другие социальные закладки;
Цитирование — цитаты в научной литературе, отслеживаемые Web of Science, Scopus, Crossref и другими;
Рекомендации — например, используется F1000Prime.

Просмотры

Одной из первых альтернативных метрик, которая была использована, было количество просмотров работ. Традиционно автор хотел бы публиковаться в журнале с высокой подпиской, поэтому многие люди будут иметь доступ к исследованию. С внедрением веб-технологий стало возможным фактически посчитать, как часто просматривается одна статья. Как правило, издатели считают количество представлений HTML и представлений PDF. Ещё в 2004 году BMJ опубликовал количество просмотров своих статей, которое, как было установлено, было несколько связано с цитатами.

Обсуждения

Обсуждение работы можно рассматривать как метрику, отражающую потенциальное влияние статьи. Типичные источники данных для расчета этого показателя включают страницы Facebook, Google+, Twitter, Science Blogs и Wikipedia.

Некоторые исследователи считают упоминания в социальных сетях цитатами. Например, цитаты на платформе социальных сетей можно разделить на две категории: внутренние и внешние. Например, первый включает ретвиты, последний относится к твитам, содержащим ссылки на внешние документы. Корреляция между упоминаниями, симпатиями и цитированием в первичной научной литературе была изучена, и в лучшем случае была обнаружена небольшая корреляция, например, для статей в PubMed. В 2008 году Journal of Medical Internet Research начал публиковать мнения и твиты. Эти «твиты» оказались хорошим показателем цитируемых статей, что побудило автора предложить «фактор Twimpact», который представляет собой количество твитов, полученных за первые семь дней публикации, а также Twindex, который процентиль ранга фактора Twimpact статьи. Однако, если внедрить использование фактора Twimpact, исследования показывают, что оценки весьма специфичны для каждого предмета, и в результате следует сравнивать факторы Twimpact между бумагами одной и той же предметной области. Хотя прошлые исследования в литературе продемонстрировали корреляцию между твиттерами и цитатами, это не причинно-следственная связь. На данный момент неясно, происходят ли более высокие цитирования в результате более пристального внимания средств массовой информации через твиттер и другие платформы, или это просто отражает качество самой статьи.

Недавние исследования, проведенные на индивидуальном уровне, а не на уровне статей, поддерживают использование платформ Twitter и социальных сетей в качестве механизма повышения отдачи. Результаты показывают, что исследователи, чьи работы упоминаются в твиттере, имеют значительно более высокие h-индексы, чем исследователи, чьи работы не упоминались в твиттере. В исследовании подчеркивается роль использования основанных на обсуждении платформ, таких как твиттер, для повышения ценности традиционных метрик воздействия.

Помимо Twitter и других потоков, ведение блога показало себя как мощную платформу для обсуждения литературы. Существуют различные платформы, которые отслеживают, о каких статьях пишут в блогах. Altmetric.com использует эту информацию для расчета метрик, в то время как другие инструменты просто сообщают, где происходит обсуждение, например ResearchBlogging и Chemical blogspace.

Сохранения

Также полезно подсчитать, сколько раз страница была сохранена или добавлена в закладки. Считается, что люди обычно выбирают закладки для страниц, которые имеют большое отношение к их собственной работе, и в результате закладки могут быть дополнительным индикатором воздействия для конкретного исследования. Поставщики такой информации включают специализированные службы социальных закладок, такие как CiteULike и Mendeley .

Цитирования

Упомянутая категория является суженным определением, отличным от обсуждения. Помимо традиционных метрик, основанных на цитировании в научной литературе, таких как полученные из Google Scholar, Crossref, PubMed Central и Scopus, в альтметриках также используются ссылки во вторичных источниках знаний. Например, ImpactStory подсчитывает, сколько раз на статью ссылалась Википедия. Plum Analytics также предоставляет метрики для различных научных публикаций, стремясь отслеживать продуктивность исследований. PLOS также является инструментом, который может использоваться для использования информации о взаимодействии.

Интерпретация

Существует определённая дискуссия относительно достоверности и согласованности альтметрики, также активно обсуждается интерпретация альтметрики.

Сторонники альтметрии считают, что многие из метрик изначально показывают внимание или вовлеченность, а не влияние на работы на науку. Даже метрики, основанные на цитировании, не указывают, означает ли высокий балл положительное влияние на науку. То есть документы также цитируются в статьях, которые не согласуются с цитируемым документом, — проблема, например, решаемая проектом онтологии цитирования.

Альтметрию можно было бы более правильно интерпретировать, предоставляя подробный контекст и качественные данные. Например, чтобы оценить научный вклад научной работы в формирование политики с помощью альтметрики, в качестве доказательства должны быть предоставлены качественные данные, например, кто цитирует и в какой степени онлайн-цитирование имеет отношение к выработке политики.

Что касается относительно низкой корреляции между традиционными метриками и альтметриками, альтметрика скорее может измерять совокупное/комплексное влияние ученого. Альтметрика предоставляет удобные инструменты для оценки исследователей и учреждений, чтобы отслеживать влияние их работ и избегать неправильных интерпретаций.

Полемика

Полезность метрик для оценки научного вклада является спорной. Исследования показали, что онлайн-шум может усилить влияние других форм охвата на научное влияние исследователей. Для ученых, которые упоминаются в Твиттере, их общаются с журналистами и не-учеными, это приводит к завышенным оценкам h-индекс, тогда как не группа ученых, которая занималась непосредственно и исключительно исследованиями по этой же оценке провалилась. Альтметрика расширяет измерение влияния ученых для сдерживания быстрого освоения, более широкого круга аудитории и разнообразных результатов исследований. Кроме того, сообщество демонстрирует явную потребность: спонсоры требуют измеримых результатов от воздействия своих расходов, таких как участие общественности.

Тем не менее, существуют ограничения, которые влияют на полезность из-за технических проблем и систематического смещения конструкции, таких как качество данных, неоднородность и конкретные зависимости. С точки зрения технических проблем, данные могут быть неполными, потому что сложно собрать результаты онлайн-исследований без прямых ссылок на их упоминания (например, видео) и идентифицировать различные версии одной исследовательской работы.

Что касается систематического смещения, как и других метрик, то альтметрики склонны к самоцитированию, играм и другим механизмам для усиления видимого воздействия. Альтметрики могут быть игровыми, например, лайки и упоминания можно купить. Альтметрию может быть сложнее стандартизировать, чем цитаты. Одним из примеров является количество твитов, связанных с бумагой, где число может широко варьироваться в зависимости от того, как собраны твиты. Кроме того, популярность в Интернете может не совпадать с научными ценностями. Некоторые популярные онлайн-цитаты могут быть далеки от ценности создания дальнейших научных открытий, в то время как некоторые теоретические или ориентированные на интересы меньшинств исследования, имеющие большое научное значение, могут быть изолированы в Интернете. Например, лучшие статьи в биомедицине, опубликованные в твиттере в 2011 году, были связаны с любопытным или забавным контентом, потенциальными приложениями для здоровья и катастрофой.

Альтметрика для более статей, вышедших позже, может быть выше из-за роста социальной сети, поскольку статьи упоминаются в большинстве случаев тогда, когда они публикуются. В результате, возможно, будет несправедливо сравнивать оценки альтметрики статей, если они не были опубликованы в одно и то же время. Исследователи разработали тест, чтобы избежать предвзятого отношения к использованию, сравнивая метрики статьи с двумя статьями, опубликованными непосредственно до и после неё.

Следует иметь в виду, что метрики являются лишь одним из результатов отслеживания того, как исследования распространяются и используются. Альтметрию следует тщательно интерпретировать, чтобы преодолеть предвзятость. Ещё более информативно, чем знать, как часто цитируется статья, какие статьи цитируют её. Эта информация позволяет исследователям увидеть, как их работа влияет на область (или нет). Поставщики метрик также обычно предоставляют доступ к информации, из которой были рассчитаны метрики. Например, Web of Science показывает, какие статьи цитируют, ImpactStory показывает, какие страницы Википедии ссылаются на статью, а CitedIn показывает, какие базы данных извлекли данные из статьи.

Другая проблема, связанная с альтметрикой или любыми метриками, заключается в том, как университеты или учреждения используют метрики для ранжирования своих сотрудников при принятии решений о повышении или финансировании и цель должна быть ограничена измерением вовлеченности.

В целом результаты онлайн-исследований очень незначительны и варьируются между различными дисциплинами. Это явление может соответствовать использованию социальных сетей среди ученых. Опросы показали, что почти половина их респондентов придерживались неоднозначного отношения к влиянию социальных сетей на академическое влияние и никогда не заявляли о своей исследовательской работе в социальных сетях. Со временем вероятно, будут приняты последовательные подходы к альтметрии по всем дисциплинам и учреждениям.

Текущие исследования

Конкретные варианты использования и характеристики — это активная область исследований в области библиометрии, предоставляющая столь необходимые данные для измерения воздействия самой альтметрии. Публичная научная библиотека имеет коллекцию альтметрики и как Information Standards Quarterly и Aslib Journal of Information Management недавно опубликовали специальные выпуски по альтметрии. Серия статей, в которых подробно рассматриваются альтметрики, была опубликована в конце 2015 года.

Существуют другие исследования, в которых рассматривается обоснованность одной альтметрии и проводится сравнение на разных платформах. Исследователи изучают корреляцию между альтметрикой и традиционными цитатами как критерий достоверности. Они предполагают, что положительная и значимая корреляция показывает точность альтметрии для измерения научного воздействия в виде цитат. Низкая корреляция (менее 0,30) приводит к выводу, что альтметрия играет дополнительную роль в измерении воздействия на ученых. Тем не менее, остается неясным, какие альтметрики являются наиболее ценными и какая степень корреляции между двумя метриками оказывает более сильное влияние на измерение. Кроме того, сам тест достоверности также сталкивается с некоторыми техническими проблемами. Например, репликация сбора данных невозможна из-за мгновенно меняющихся алгоритмов поставщиков данных.