Проблемой №1 современной науки является так называемый кризис вопроизводимости. Масштаб бедствия хорошо показывает вот эта статья - соцопрос учёных: 70% исследователей не смогли воспроизвести результаты, как и свои собственные, так и чужие. Классическим примером является так называемый Schön scandal. В науке известны аналогичные примеры из, наверное, всех областей знания, что ощутимо бьёт по репутации ведущих институтов.
Одной из главных причин этого является расчёт успешности учёного по количеству научных публикаций и ссылок на его работы в других результатах исследованиях. Этот критерий придуман чиновниками, которые не особо вникают в качество статей, но зато выделяют деньги на исследования (это общее утверждение не призвано оскорбить конкретных людей и автор приносит извинения тем, чьи чувства были задеты). Кроме того, этот же критерий используется при приёме на работу или изменении должности, когда главными оказываются формальные показатели - по тем же самым "чиновничьим причинам". В результате складывается парадоксальная ситуация, когда качество работы не является главной мотивацией исследователя. Наличие института научных рецензентов не может разрешить эту ситуацию, поскольку не может изменить источник трудностей.
Корень проблемы в том, что учитывается (помимо количества статей) только количество ссылок на них безотносительно того, как именно используется материал и используется ли он вообще (а статья может быть процитирована только как "эта теория обсуждалась в таких-то работах"). Понятное дело, что отзывы "это отличная статья" и "никогда не делайте так, как сделали эти двое" должны считаться абсолютно по-разному.
Рациональным решением проблемы видится цитирование с указанием некой ключевой информации, характеризующей как саму цитированную литературу, так и его роль в публикуемой научной работе: предоставляет ли он ключевый данные для данного исследования, содержит ли он крайне спорный материал, достоверны ли в нём данные.
Такая система оценки позволит повысить заинтересованность исследователей в публикации качественного материала, чиновникам от науки даст надёжные показатели качества работы и её востребованности для других учёных, а также формализует работу рецензентов как людей, ответственных за чёткое разграничение собственных результатов авторского коллектива, сторонних данных и дополнительной информации.
Косвенным плюсов является то, что использование такой системы на ресурсах типа Google Scholar, Web of Science и подобных им позволит очень быстро выявлять (при доказанном факте мошенничества или просто некачественных данных) все последующие работы, опирающиеся на неверные результаты и, даже при полной добросовестности последующих авторов, не содержащих надёжных сведений.
Ниже предлагается набор категорий, которые можно присваивать статьям. Каждая статья может получать несколько категорий, наиболее полно характеризующих её роль в исследовании.
O (“обзор” / “overview”) Цитирование работы сделано исключительно для полноты литературного обзора (например, альтернативная гипотеза, которая не обсуждается в дискуссии, или какие-то сведения, не имеющие прямого отношения к объекту исследования)
B (“базовая информация” / “basic info”) Цитируемая работа содержит базовую информацию об области исследования, которая не влияет на получаемые данные, но может влиять на их интерпретацию. Пример: мотивацией исследования состояния вещества при сверхвысоких давлениях могут быть предположения о таких условиях в недрах планет; тем не менее, сами физические результаты не зависят от мотивации исследования.
OM (“исходная методика” / “original method”) Методика исследования (расчётов, экспериментов) или отдельный её этап целиком соответствует цитируемой работе. Например, при использовании стороннего научного программного обеспечения для обсчёта данных.
MM (“метод модифицирован” / “modified method”) Методика исследования (расчётов, экспериментов) авторами данной работы заимствована из цитируемой статьи с изменениями или дополнениями. Авторы обязаны использовать эту категорию, даже если поменяли пятый параметр четвёртого уравнения на двадцатой странице.
KD (“ключевые данные” / “key data”) Цитируемая работа содержит ключевые предпосылки или данные, определяющие ход исследования и получаемые результаты. Пример: при расчёте магнитного поля планет Солнечной системы используется информация об их внутреннем строении и, возможно, геологической истории. Тогда полученные в основной работе результаты напрямую определяются качеством исходных данных. В том случае, если авторы основной работы не хотят быть жёстко привязанными к конкретным статьям и зависеть от их качества, они могут использовать несколько моделей, что переведёт цитируемую работу в первую категорию.
ED (“дополнительные данные” / “extra data”) Исходные данные или результаты цитируемой работы напрямую используются в исследовании, но не влияют ключевым образом на результат. Пример: какое-то медицинское метаисследование по пятидесяти работам и ста тысячам пациентам. “Выключение” одной группы в 5000 человек не меняет результат.
UD (“уникальные данные” / “unique data”) Данные, результаты или выводы цитируемой работы основаны на невоспроизводимом материале. Случается, что исходный уникальный материал был утрачен или стал недоступным. Например, улетевший астероид Оумуамуа. Или результаты наблюдений за повадками вымершего вида животных. Или одна общественная организация религиозного назначения экспроприировала (простите, реституировала) музейную собственность с утратой особо ценных фондов. Эта категория заодно может как-то подтолкнуть чиновников к более эффективному сбережению фондовых материалов.
SD (“сомнительные данные” / “shady data”) Авторы отмечают большую разницу между данными, приведёнными в цитируемой статье, и своими результатами. Она может быть обусловлена использованием более прогрессивных методик получения (например, аналитическое оборудование нового поколения) и анализа данных (обработка данных была проведена с ошибками)
SH (“сомнительная гипотеза” / “shaky hypothesis”) В то время, как качество исходных данных не вызывает сомнений, их обработка или интерпретация вызывает сомнения (выдвинутая гипотеза не имеет должной предсказательной силы).
NT (“нет доверия” / “no trust”) Авторы считают, что в цитируемой статье допущены грубые ошибки в методике, делающие все данные и результаты невоспроизводимыми и непригодными для использования.
NM (“методика описана недостаточно” / “not described method”) Методика описана с пропусками, не позволяющими воспроизвести данные.
NF (“данные не найдены” / “data not found”) В цитируемой статье приведены данные со ссылкой на третий источник, в котором этой информации нет. И такое бывает.
Автор будет рад обсуждению и предложениям, а также попыткам использования!
Спасибо Аркадию Бейлину за обсуждение!
Комментариев нет:
Отправить комментарий