여기에 한 제약사가 있습니다. 이 회사는 개발 중인 약물을 뇌성마비 환자에게 투여하니 눈에 띄게 증상이 개선됐다는 연구결과를 국제학술지 '저널 오브 메디칼리서치'에 게재합니다. 이는 언론에 대대적으로 보도됐고 다음 날 회사의 주가는 상한가를 기록합니다.
기쁨도 잠시. 이 회사는 얼마 뒤 부실출판 논란에 휩싸입니다. 논문을 낸 저널 오브 메디칼리서치가 제대로 된 심사 없이 출판할 수 있는 이른바 '약탈적학술지'로 분류되는 곳임이 밝혀졌기 때문이죠.
10여년 전 국내에서 실제로 일어났던 일입니다. 현재까지도 많은 제약사들이 유명 학술지에 신약연구성과를 등재하고 이 사실을 주요 홍보수단으로 활용하고 있는데요. 전문가가 아닌 일반인이 이 소식의 진위나 중요성을 파악할 수 있는 방법이 없을까요?
학술지에도 등급이 있다
제약사들이 연구성과를 학술지에 등재하는 이유는 연구의 신뢰성을 확보하기 위해서입니다. 학술지에 논문을 투고하면 피어리뷰(동료심사)라는 전문가 심사를 통해 실험방법과 데이터해석, 학문적 가치 등에 대한 검증이 이뤄집니다. 이후 여러 차례의 수정을 거쳐 더 이상 문제가 없다고 판단되면 비로소 게재가 결정되죠.
신뢰성이 높은 저널일수록 그 명성을 지키기 위해 심사기준이 엄격하다는 공통점이 있습니다. 질이 떨어지는 논문이 실리는 순간 저널의 이름도 덩달아 추락할 수 있기 때문이죠.
저널의 신뢰성을 판단하는 주요 잣대는 인용횟수(피인용수)입니다. 논문이 자주 인용됐다는 것은 동료학자들이 연구성과를 인정하고 이를 본인들의 연구에 활용한다는 것을 의미합니다. 이 인용횟수를 기반으로 저널의 신뢰성을 수치화한 게 바로 '임팩트팩터(영향력지수, IF)'입니다.
대표적인 영향력지수로는 클래리베이트사의 'JIF(저널임팩트팩터)'를 들 수 있습니다. 한 저널에 실린 논문이 평균적으로 얼마나 인용됐는지를 보여주는 지표인데요. 클래리베이트는 JIF 점수에 따라 저널이 속한 분야별 상위 25%부터 하위 25%까지 4개 등급(Quartile 1~4)을 부여합니다.
JIF를 확인하는 방법은 간단합니다. 구글 등의 검색엔진에 특정 저널의 이름과 JIF를 함께 검색하거나 클래리베이트 사이트에서 직접 검색하면 알 수 있죠.
1823년 영국에서 창간된 '란셋'이라는 저널을 예로 들어볼까요. 이 저널의 JIF는 지난해 기준으로 98.4점입니다. 상위 0.3%에 해당하는 점수입니다. 이에 따라 란셋은 해당 분야에서 상위 25% 안에 드는 Q1 등급을 받았습니다. 반면 과거에 문제가 된 저널 오브 메디칼리서치는 클래리베이트의 학술 데이터베이스에 미포함돼 JIF 점수가 산정되지 않았죠.
약탈적 학술지를 피하라
인용지수를 봤다면 다음으로 체크해야 하는 것은 '약탈적 학술지(Predatory Journal)' 여부입니다. 약탈적 학술지는 형식적으로만 보면 정상적인 저널과 구분하기 무척 어렵습니다. 하지만 제대로 된 피어리뷰가 부재해 논문을 쉽고 빠르게 게재할 수 있다는 차이점이 있습니다. 유명 저널과 이름을 비슷하게 짓거나, JIF 점수를 허위로 발표해 연구자들을 혼란스럽게 만드는 곳도 있죠.
2010년 제프리 빌이라는 미국 대학의 한 사서는 약탈적 학술지를 처음 공론화한 인물로 꼽히는데요. 그는 직접 약탈적 학술지 리스트(사진)를 만들어 웹사이트에 공개했고 빌의 목록이라 불리는 이 리스트는 연구자들 사이에서 아직까지 유용하게 쓰이고 있습니다. 특정 저널이 약탈적 학술지에 속하는지 여부도 이곳에서 알 수 있죠.
빌에 이어 현재는 미국의 데이터회사인 카발이 약탈적 학술지 목록을 만들어 제공하고 있습니다. 국내에서는 한국과학기술정보연구원이 건전학술활동지원시스템(SAFE)이라는 사이트를 통해 위조 또는 부실 의심 학술지 여부를 알려주고 있습니다.
저명 학술지에서 주의할 점은
란셋, 네이처 등 저명 학술지라고 해도 등재된 연구결과를 그대로 받아들이는 것은 위험합니다. 대개 연구자들은 부정적이기보다 긍정적인 성과를 낸 연구결과를 출판하는 경향이 있기 때문이죠. 이에 학술지에 편향된 연구정보만 담길 수 있는데 이를 '출판편향' 효과라고 합니다.
에릭 터너 오리건 보건과학대 교수는 2008년 과거 의학저널에 실린 항우울제에 관한 임상시험 연구를 분석하고 놀라운 결과를 확인합니다. 긍정적인 연구는 94%가 출판되는 데 반해 부정적이거나 중립적인 연구는 50%만 공개됐다는 것이죠. 부정적인 연구결과가 긍정적인 방향으로 각색되는 경우도 간혹 발견되기도 했죠.
유명 학술지에 실렸더라도 초기 단계의 연구라면 후속연구를 거쳐 긍정적이었던 결과가 부정적으로도 바뀔 가능성이 있어 유의해야 합니다.
기억하실지 모르겠지만 지난 2020년 에이즈치료제가 코로나19에 효과적이라는 논문이 란셋 등 유명 저널에 줄줄이 실린 적이 있습니다. 실제 여러 국가에서 에이즈약이 긴급하게 처방되기도 했었는데요. 하지만 이후 이뤄진 임상시험 등 검증 과정에서 에이즈약은 효능이 없다는 것이 밝혀졌죠.
이학박사 출신의 한 바이오텍 대표는 "제약사 입장에서 임상시험 결과가 학술지에 등재됐다는 소식을 알리는 것이 당연하겠으나 사실보다 과장해서 소개하면 문제가 될 수 있다"며 "특히 전임상이나 임상 1상 시험 등의 초기 데이터는 향후 변동될 가능성이 커 유의해서 봐야한다"고 설명했습니다.
그는 이어 "비전문가인 일반인들이 학술지에 담긴 논문을 완전히 이해하는 것은 사실상 어려워 학술지에 등재됐다는 사실만으로 투자의사 결정을 내리는 것을 권장하지 않는다"고 조언했습니다.
