국제의학학술지편집인위원회(International Committee of Medical Journal Editors)의 임상시험자료 공유 정책에 대한 안내문

국제의학학술지편집인협의회(International Committee of Medical Journal Editors, ICMJE)는 2017년 7월, 중재적 임상시험(interventional clinical trial) 결과를 ICMJE 회원 학술지(13종)에 출간하고자 하는 경우 자료공유선언계획과 선언문을 제출하여야 한다는 요지의 Data Sharing Statement를 발표하였다.

이에 대한의학학술지편집인협의회는 국내 연구자들에게 이같은 ICMJE의 새로운 방침을 알리기 위해 지난 2월부터 한시적인 특별위원회를 구성하고 'ICMJE의 임상시험자료 공유 정책에 대한 안내문'을 작성하였다.

위원 구성은 다음과 같다.


■ 위원장: 오세정(가톨릭의대)

■ 위 원: 김진수(서울대보라매병원) 박현영(질병관리본부) 이경훈(서울대병원) 이은경(국립암센터) 임석아(서울대병원) 정준(연세의대)

■ 배경

국제의학편집인위원회(International Committee of Medical Journal Editors, ICMJE)는 2017년 7월 ICMJE 회원 학술지 13종(Annals of Internal Medicine, British Medical Journal, Bulletin of the World Health Organization, Deutsches Ärzteblatt, Ethiopian Journal of Health Sciences, Journal of the American Medical Association, Journal of Korean Medical Science, New England Journal of Medicine, New Zealand Medical Journal, PLOS Medicine, The Lancet, Revista Méedica de Chile, Ugeskrift for Laeger)에 “Data Sharing Statements for Clinical Trials: A Requirement of the International Committee of Medical Journal Editors1)”를 동시에 게재하였다. 주요 내용을 보면 첫째 2018년 7월 1일부로 ICMJE 회원 학술지는 중재적 임상시험(Interventional Clinical Trial) 결과를 보고할 때 임상시험대상자의 개인식별정보를 제거한(비식별화) 임상시험자료에 대한 자료공유선언문(Data Sharing Statement)을 포함해야 하고, 둘째 2019년 1월 1일부로 임상시험대상자 모집을 시작하는 임상시험은 임상시험 등록 시에 자료공유계획(Data Sharing Plan)을 제출해야 하며, 임상시험 등록 후 자료 공유계획에 변동사항이 발생하였을 경우 이를 논문 제출 또는 출간 시에 명기하고 임상시험을 등록한 곳에 기록으로 남겨야 한다. 이와 같은 ICMJE의 방침은 임상시험대상자의 인권 보호에 중점을 두고 전개되어 왔으며, 그 밖에 연구의 투명성 담보, 중복된 자료 수집의 예방, 공유자료를 이용한 부가적 연구의 진작 등을 배경으로 하고 있다. 대한의학회에서 발간하는 영문학술지 Journal of Korean Medical Science (JKMS)는 ICMJE 회원 학술지이기 때문에 당장 2018년 7월부터 ICMJE의 임상시험에 대한 방침을 준수해야 하며, JKMS뿐만 아니라 여타 ICMJE 회원 학술지에 임상시험 결과를 투고하고자 하는 연구자는 이 방침을 따라야 한다. 또한 ICMJE 회원 학술지들은 의학연구의 출간에 선도적인 역할을 하고 있는 의학학술지들이므로 ICMJE 회원 학술지가 아닌 여타 유수한 학술지들도 조만간 이러한 방침을 채택할 것으로 예상된다.


■ 자료공유선언문에 포함되는 내용

ICMJE는 자료공유선언문에 반드시 포함되어야 할 내용으로 ① 비식별화된 자료를 공유할 것인가? ② 모든 자료를 공유할 것인가? 또는 특정 자료만 공유할 것인가? ③ 관련 부가 자료(연구 프로토콜, 통계분석 방법 등)도 공유할 것인가? ④ 공유 기간을 설정할 것인가? ⑤ 접근 가능 기준(모든 사람에게 공개할 것인지, 아니면 특정 기준을 갖춘 사람에게만 공개할 것인지; 자료 사용 목적에 제한을 두지 않을 것 인지, 아니면 메타분석 같은 특정한 경우에만 허용할 것인지; 자료의 저장/관리와 접근 방법 등)을 설정할 것인가? 등을 제시하였다. Table 1은 ICMJE가 예시한 자료공유계획으로 각각의 예제에 포함된 항목들은 학술지의 특성에 따라 수정/보완, 상호 재조합이 가능할 것이며, 필요한 항목을 더 추가할 수도 있을 것이다.

Table 1. Examples of data sharing statements that fulfill these ICMJE requirements*

Element Example  1 Example 2 Example 3 Example 4
Will individual participant data be available (including data dictionaries)? Yes Yes Yes No
What data in particular will be shared? All of the individual participant data collected during the trial, after deidentification. Individual participant data that underlie the results reported in this article, after deidentification (text, tables, figures, and appendices). Individual participant data that underlie the results reported in this article, after deidentification (text, tables, figures, and appendices). Not available
What other documents will be available? Study protocol, statistical analysis  plan,
informed consent form, clinical study report, analytic code
Study protocol, statistical analysis plan, analytic code Study protocol Not available
When will data be available (start and end dates)? Immediately following publication. No end date. Beginning 3 months and ending 5 years following article publication. Beginning 9 months and ending 36 months following article publication. Not applicable
With whom? Anyone who wishes to access the  data. Researchers  who  provide a methodologically sound proposal. Investigators  whose proposed use of the data has been approved by an independent review committee (“learned
intermediary”) identified for this purpose.
Not applicable
For what types of analyses? Any purpose To achieve aims in the approved  proposal. For individual participant data meta-analysis. Not applicable
By what mechanism will data be made available? Data are available indefinitely at (link to be included). Proposals should be directed to xxx@yyy. To gain access, data requestors will need to sign a data access agreement. Data are
available for 5 years at a third-party website (link to be included).
Proposals may be submitted up to 36 months following article publication. After 36 months the data will be available in our University’s data warehouse but
without investigator support other than deposited metadata. Information regarding submitting proposals  and  accessing data may be found at (link to be provided).
Not applicable

Adopted from J Korean Med Sci 2017;32:1051.
*These examples are meant to illustrate a range of, but not all, data sharing options.


■ 문제점

첫째, 임상시험 자료를 공개, 공유한다는 것은 제3자에게 개인정보를 제공하는 것을 의미하는 것으로 ‘생명윤리 및 안전에 관한 법률(이하 생명윤리법)’과 ‘개인정보 보호법’에 따라 개인정보 제3자 제공에 대한 정보주체(임상시험대상자)의 동의를 획득해야 한다. 먼저 생명윤리법에서 관련 부분을 보면 제16조 1항 4호에 인간대상연구를 하기 전에 인간연구대상자로부터 서면동의를 받아야 할 항목 가운데 하나로 단순히 ‘개인정보 보호에 관한 사항’이라고만 하였고, 제18조 2항에는 ‘인간대상연구자가 개인정보를 제3자에게 제공하는 경우에는 익명화하여야 한다’고만 규정되어 있으나, 개인정보 보호법에서는 제15조에서 개인정보처리자가 개인 정보를 수집, 이용할 수 있는 경우로 임상시험과 관련한 부분은 정보주체의 동의를 받아야 하는 것이 유일하고, 제17조 1항에 개인정보를 제3자에게 제공할 수 있는 경우로 임상시험과 관련한 부분 역시 정보주체의 동의를 받아야 하는 것이 유일하다. 또한 제17조 2항에는 정보주체의 동의를 받을 때 고지해야 할 사항으로 ‘개인정보를 제공받는 자’가 포함되어 있고, 제17조 3항에는 국외의 제3자에게 제공할 때에는 2항과 동일한 사항을 정보주체에 알리고 동의를 받도록 규정하고 있다. 따라서 어느 법을 적용하느냐에 따라 임상시험에 임하는 연구자의 임상시험대상자 동의 구득에 차이가 생길 수 있다. 개인정보 보호법에 따르면 ICMJE가 요구하는 임상시험자료의 공개, 공유는 지금까지 의료현장에서 관행적으로 이루어져 온 임상시험대상자 동의서만으로는 실정법 위반이 될 소지가 높다. 개인정보를 비식별화 하더라도 임상시험대상자 정보가 국외의 제3자에게 공개될 것이라는 설명을 하지 않았고, 그 정보를 소비할 주체가 누가 될 것인지 설명하지 않았을 것이기 때문이다. 그러나 동법 제18조 2항에는 개인정보를 목적 외의 용도로 이용하거나 제3자에게 제공할 수 있는 경우로 임상시험과 관련한 부분은 1호 ‘정보주체로부터 별도의 동의를 받은 경우’와 함께 4호에 ‘통계작성 및 학술연구 등의 목적을 위하여 필요한 경우로서 특정 개인을 알아볼 수 없는 형태로 개인정보를 제공하는 경우’라고 규정하고 있어서 이 조항으로 제15조와 제17조의 규정을 갈음할 수 있을지 명확한 법조문 해석이 필요해 보인다.

둘째, 임상시험자료의 공유를 위해서는 관련 인프라가 갖추어져야 한다. 연구자 개인이 장기적으로 임상시험자료를 관리하고, 외부 연구자들에게 제공하기는 현실적으로 대단히 어려운 일이기 때문에 정부나 비영리기관에서 운영하는 자료 저장소에 기탁하여 관리하는 것이 가장 바람직하나, 아직까지 국내외적으로 임상시험자료를 기탁할 수 있는 시스템이 활성화되어 있지 않은 것으로 보인다. 국내의 경우 국립보건연구원에서 CODA(Clinical & Omics Data Archive)를 구축하였으나, 이는 유전체정보의 저장을 위해 구축된 것이어서 임상시험자료의 기탁 및 공유를 위한 표준절차 등이 확립되어 있지 않으며, 이는 해외에서도 사정이 비슷할 것으로 추정된다. 따라서 국내외적으로 적절한 임상시험자료 기탁 시스템이 구축될 때까지는 개인 차원에서 자료를 관리할 수밖에 없는 상황이다.


■ 제언

학술지 편집인들은 우선 ICMJE의 중재적 임상시험에 대한 자료공유정책을 수용할 것인지, 아닌지를 결정할 필요가 있다. 자료공유정책을 수용한다면 어떤 방식으로 수용할 것인지, 즉 ICMJE의 방침을 그대로 수용할 것인지, 아니면 변형하여 운용할 것인지를 결정해야 하고, 이를 학술지 투고규정에 반영해야 한다. 또한 임상시험 결과가 학술지에 출간된 후 자료공유계획이 제대로 이행되지 않았을 경우에 대한 대책도 마련할 필요가 있다. 아직 임상시험자료의 공유와 관련한 국내 실정법을 개선, 정비해야 할 부분이 남아있는 것으로 보이지만, 우선 연구자들은 임상시험을 시작할 때 임상시험대상자들로부터 기존의 임상시험 동의서에 더하여 개인정보의 제3자 제공 동의서를 받아 둘 필요가 있으며, 개인정보를 제공 받는 자, 개인정보를 제공 받는 자의 개인정보 이용목적 및 이용 기간, 제공하는 개인정보의 항목 등(개인정보 보호법 제17조 2항)을 임상시험대상자에게 설명하여야 할 것이다. 또한 이처럼 비식별화된 개인정보의 활용에 대한 법적, 제도적 환경을 개선하기 위한 노력과 함께 임상시험자료의 저장, 관리를 위한 공공기구의 마련을 관계기관에 건의하고 추진해 나아가야 한다.





2018년도 과총 학술지 평가결과와 내년도에 대비한 젠더 관련 규정 보완

한국과학기술단체총연합회(과총)는 590개 과학기술계 학회가 모인 최상급 단체로 국내 과학기술 분야의 학술진흥을 위하여 여러 사업을 하는데, 학회가 발간하는 학술지 발간경비를 지원하는 사업이 그중 하나이다. 매년 국내학술지, 국제학술지, 학술지국제화로 사업분야를 나누어 자연과학, 공학, 농수산, 해양학, 의약학, 종합 등 분야 별로 학술지를 평가하여 그 결과에 따라 학술지 발간비를 지원하고 있다. 2017년도에 대폭 개편한 학술지 평가항목을 2018년도에 처음 적용한 결과로 국내 학술지 341종, 국제학술지 150종, 학술지 국제화 10종, 총 501종 중에서 국내학술지 294종, 국제학술지 108종, 학술지 국제화 4종, 총 406종이 선정되었다. 의약학 분야만 보면 국내학술지 114종이 신청하여 98종, 국제학술지 62종 중 44종, 학술지 국제화 8종 중 3종이 선정되어 전체 184종 중 145종이 발행비 일부를 지원받게 되었다. 평가 결과에 따라서 분야별로 상위 70-80% 수준에서 학술지를 선정하였는데, 선정되지 않은 일부 학술지가 평가항목이 학문분야 성격에 따라 불리하다는 불만을 토로하고 있다. 2018년도에 적용한 평가항목은 그 이전과 같이 편집과 발간의 외형적인 것에 학술지의 인용도와 정확성, 온라인가시성 등을 추가하였다. 대부분 학술지가 외형적인 항목을 충족하고 있기 때문에 학술지 별로 차이가 있고, 선정에 직접적인 영향을 끼친 항목은 논문게재율, 접수원고 수, 온라인가시성, 인용도 등이다. 이를 높이는 노력이 필요하다. 궁극적으로 학술지를 인용도와 온라인가시성, 정확성, 게재율 위주로 평가하는 것이 바람직하다. 현재 국제의학학술지편집인위원회(ICMJE) 권장 글로벌 편집 표준에 따라 의학분야 학술지들은 투고규정이나 학술지 편집관련 규정에 자료공유(data sharing)와 젠더관련 내용을 보완할 필요가 있다. 자료공유는 대한의학회가 발간하는 Journal of Korean Medical Science (JKMS 2017; 32: 1051-1053)에 공개된 “Data Sharing Statements for Clinical Trials: A Requirement of the International Committee of Medical Journal Editors” (https://doi.org/10.3346/jkms.2017.32.7.1051)와 관련하여 학술지의 방침을 정하고, 이를 규정에 반영하여야 한다. 참고로 JKMS는 투고규정의 Clinical Trial에 아래 내용을 규정하고 있다. 참고자료 출처 https://jkms.org/index.php?main=instruction Data sharing statement JKMS accepts the ICMJE Recommendations for data sharing statement policy (http://icmje.org/icmje-recommendations.pdf). All manuscripts reporting clinical trial results should submit a data sharing statement following the ICMJE guidelines from 1 July 2018. Authors may refer to the editorial, “Data Sharing Statements for Clinical Trials: A Requirement of the International Committee of Medical Journal Editors,” in JKMS Vol. 32, No. 7:1051-1053. 또한 국내외에서 의생명 연구에서 학술성을 높이고 성차별을 없애는 젠더혁신연구가 활발한데, 이를 규정에 반영하도록 권장한다. 내년도부터는 과총 평가항목에 반영할 예정이므로 각 학술지는 이와 관련하여 규정을 제정하는 것이 필요하다. 참고로 현재 JKMS는 ICMJE의 권고안에 있는 동일한 문구를 투고규정 원저 원고작성 안내의 Methods의 마지막 문단으로 기입하고 있다. 참고자료 출처 https://jkms.org/index.php?main=instruction (Description of participants) Ensure correct use of the terms sex (when reporting biological factors) and gender (identity, psychosocial or cultural factors), and, unless inappropriate, report the sex and/or gender of study participants, the sex of animals or cells, and describe the methods used to determine sex and gender. If the study was done involving an exclusive population, for example in only one sex, authors should justify why, except in obvious cases (e.g., prostate cancer). Authors should define how they determined race or ethnicity and justify their relevance. 학술지는 필요한 규정을 잘 구비하고 있어야 하지만 규정만 갖춘 것으로는 부족하고 실제로 편집에 규정을 정확하게 적용하여 발간하여야 한다. 차제에 투고규정에 다른 미완 내용이 있는 학술지는 함께 보완하는 기회로 활용하면 좋을 것이다.

국제의학학술지편집인위원회(International Committee of Medical Journal Editors)의 임상시험자료 공유 정책에 대한 안내문

국제의학학술지편집인협의회(International Committee of Medical Journal Editors, ICMJE)는 2017년 7월, 중재적 임상시험(interventional clinical trial) 결과를 ICMJE 회원 학술지(13종)에 출간하고자 하는 경우 자료공유선언계획과 선언문을 제출하여야 한다는 요지의 Data Sharing Statement를 발표하였다. 이에 대한의학학술지편집인협의회는 국내 연구자들에게 이같은 ICMJE의 새로운 방침을 알리기 위해 지난 2월부터 한시적인 특별위원회를 구성하고 'ICMJE의 임상시험자료 공유 정책에 대한 안내문'을 작성하였다. 위원 구성은 다음과 같다. ■ 위원장: 오세정(가톨릭의대) ■ 위 원: 김진수(서울대보라매병원) 박현영(질병관리본부) 이경훈(서울대병원) 이은경(국립암센터) 임석아(서울대병원) 정준(연세의대) ■ 배경 국제의학편집인위원회(International Committee of Medical Journal Editors, ICMJE)는 2017년 7월 ICMJE 회원 학술지 13종(Annals of Internal Medicine, British Medical Journal, Bulletin of the World Health Organization, Deutsches Ärzteblatt, Ethiopian Journal of Health Sciences, Journal of the American Medical Association, Journal of Korean Medical Science, New England Journal of Medicine, New Zealand Medical Journal, PLOS Medicine, The Lancet, Revista Méedica de Chile, Ugeskrift for Laeger)에 “Data Sharing Statements for Clinical Trials: A Requirement of the International Committee of Medical Journal Editors1)”를 동시에 게재하였다. 주요 내용을 보면 첫째 2018년 7월 1일부로 ICMJE 회원 학술지는 중재적 임상시험(Interventional Clinical Trial) 결과를 보고할 때 임상시험대상자의 개인식별정보를 제거한(비식별화) 임상시험자료에 대한 자료공유선언문(Data Sharing Statement)을 포함해야 하고, 둘째 2019년 1월 1일부로 임상시험대상자 모집을 시작하는 임상시험은 임상시험 등록 시에 자료공유계획(Data Sharing Plan)을 제출해야 하며, 임상시험 등록 후 자료 공유계획에 변동사항이 발생하였을 경우 이를 논문 제출 또는 출간 시에 명기하고 임상시험을 등록한 곳에 기록으로 남겨야 한다. 이와 같은 ICMJE의 방침은 임상시험대상자의 인권 보호에 중점을 두고 전개되어 왔으며, 그 밖에 연구의 투명성 담보, 중복된 자료 수집의 예방, 공유자료를 이용한 부가적 연구의 진작 등을 배경으로 하고 있다. 대한의학회에서 발간하는 영문학술지 Journal of Korean Medical Science (JKMS)는 ICMJE 회원 학술지이기 때문에 당장 2018년 7월부터 ICMJE의 임상시험에 대한 방침을 준수해야 하며, JKMS뿐만 아니라 여타 ICMJE 회원 학술지에 임상시험 결과를 투고하고자 하는 연구자는 이 방침을 따라야 한다. 또한 ICMJE 회원 학술지들은 의학연구의 출간에 선도적인 역할을 하고 있는 의학학술지들이므로 ICMJE 회원 학술지가 아닌 여타 유수한 학술지들도 조만간 이러한 방침을 채택할 것으로 예상된다. ■ 자료공유선언문에 포함되는 내용 ICMJE는 자료공유선언문에 반드시 포함되어야 할 내용으로 ① 비식별화된 자료를 공유할 것인가? ② 모든 자료를 공유할 것인가? 또는 특정 자료만 공유할 것인가? ③ 관련 부가 자료(연구 프로토콜, 통계분석 방법 등)도 공유할 것인가? ④ 공유 기간을 설정할 것인가? ⑤ 접근 가능 기준(모든 사람에게 공개할 것인지, 아니면 특정 기준을 갖춘 사람에게만 공개할 것인지; 자료 사용 목적에 제한을 두지 않을 것 인지, 아니면 메타분석 같은 특정한 경우에만 허용할 것인지; 자료의 저장/관리와 접근 방법 등)을 설정할 것인가? 등을 제시하였다. Table 1은 ICMJE가 예시한 자료공유계획으로 각각의 예제에 포함된 항목들은 학술지의 특성에 따라 수정/보완, 상호 재조합이 가능할 것이며, 필요한 항목을 더 추가할 수도 있을 것이다. Table 1. Examples of data sharing statements that fulfill these ICMJE requirements* Element Example  1 Example 2 Example 3 Example 4 Will individual participant data be available (including data dictionaries)? Yes Yes Yes No What data in particular will be shared? All of the individual participant data collected during the trial, after deidentification. Individual participant data that underlie the results reported in this article, after deidentification (text, tables, figures, and appendices). Individual participant data that underlie the results reported in this article, after deidentification (text, tables, figures, and appendices). Not available What other documents will be available? Study protocol, statistical analysis  plan, informed consent form, clinical study report, analytic code Study protocol, statistical analysis plan, analytic code Study protocol Not available When will data be available (start and end dates)? Immediately following publication. No end date. Beginning 3 months and ending 5 years following article publication. Beginning 9 months and ending 36 months following article publication. Not applicable With whom? Anyone who wishes to access the  data. Researchers  who  provide a methodologically sound proposal. Investigators  whose proposed use of the data has been approved by an independent review committee (“learned intermediary”) identified for this purpose. Not applicable For what types of analyses? Any purpose To achieve aims in the approved  proposal. For individual participant data meta-analysis. Not applicable By what mechanism will data be made available? Data are available indefinitely at (link to be included). Proposals should be directed to xxx@yyy. To gain access, data requestors will need to sign a data access agreement. Data are available for 5 years at a third-party website (link to be included). Proposals may be submitted up to 36 months following article publication. After 36 months the data will be available in our University’s data warehouse but without investigator support other than deposited metadata. Information regarding submitting proposals  and  accessing data may be found at (link to be provided). Not applicable Adopted from J Korean Med Sci 2017;32:1051. *These examples are meant to illustrate a range of, but not all, data sharing options. ■ 문제점 첫째, 임상시험 자료를 공개, 공유한다는 것은 제3자에게 개인정보를 제공하는 것을 의미하는 것으로 ‘생명윤리 및 안전에 관한 법률(이하 생명윤리법)’과 ‘개인정보 보호법’에 따라 개인정보 제3자 제공에 대한 정보주체(임상시험대상자)의 동의를 획득해야 한다. 먼저 생명윤리법에서 관련 부분을 보면 제16조 1항 4호에 인간대상연구를 하기 전에 인간연구대상자로부터 서면동의를 받아야 할 항목 가운데 하나로 단순히 ‘개인정보 보호에 관한 사항’이라고만 하였고, 제18조 2항에는 ‘인간대상연구자가 개인정보를 제3자에게 제공하는 경우에는 익명화하여야 한다’고만 규정되어 있으나, 개인정보 보호법에서는 제15조에서 개인정보처리자가 개인 정보를 수집, 이용할 수 있는 경우로 임상시험과 관련한 부분은 정보주체의 동의를 받아야 하는 것이 유일하고, 제17조 1항에 개인정보를 제3자에게 제공할 수 있는 경우로 임상시험과 관련한 부분 역시 정보주체의 동의를 받아야 하는 것이 유일하다. 또한 제17조 2항에는 정보주체의 동의를 받을 때 고지해야 할 사항으로 ‘개인정보를 제공받는 자’가 포함되어 있고, 제17조 3항에는 국외의 제3자에게 제공할 때에는 2항과 동일한 사항을 정보주체에 알리고 동의를 받도록 규정하고 있다. 따라서 어느 법을 적용하느냐에 따라 임상시험에 임하는 연구자의 임상시험대상자 동의 구득에 차이가 생길 수 있다. 개인정보 보호법에 따르면 ICMJE가 요구하는 임상시험자료의 공개, 공유는 지금까지 의료현장에서 관행적으로 이루어져 온 임상시험대상자 동의서만으로는 실정법 위반이 될 소지가 높다. 개인정보를 비식별화 하더라도 임상시험대상자 정보가 국외의 제3자에게 공개될 것이라는 설명을 하지 않았고, 그 정보를 소비할 주체가 누가 될 것인지 설명하지 않았을 것이기 때문이다. 그러나 동법 제18조 2항에는 개인정보를 목적 외의 용도로 이용하거나 제3자에게 제공할 수 있는 경우로 임상시험과 관련한 부분은 1호 ‘정보주체로부터 별도의 동의를 받은 경우’와 함께 4호에 ‘통계작성 및 학술연구 등의 목적을 위하여 필요한 경우로서 특정 개인을 알아볼 수 없는 형태로 개인정보를 제공하는 경우’라고 규정하고 있어서 이 조항으로 제15조와 제17조의 규정을 갈음할 수 있을지 명확한 법조문 해석이 필요해 보인다. 둘째, 임상시험자료의 공유를 위해서는 관련 인프라가 갖추어져야 한다. 연구자 개인이 장기적으로 임상시험자료를 관리하고, 외부 연구자들에게 제공하기는 현실적으로 대단히 어려운 일이기 때문에 정부나 비영리기관에서 운영하는 자료 저장소에 기탁하여 관리하는 것이 가장 바람직하나, 아직까지 국내외적으로 임상시험자료를 기탁할 수 있는 시스템이 활성화되어 있지 않은 것으로 보인다. 국내의 경우 국립보건연구원에서 CODA(Clinical & Omics Data Archive)를 구축하였으나, 이는 유전체정보의 저장을 위해 구축된 것이어서 임상시험자료의 기탁 및 공유를 위한 표준절차 등이 확립되어 있지 않으며, 이는 해외에서도 사정이 비슷할 것으로 추정된다. 따라서 국내외적으로 적절한 임상시험자료 기탁 시스템이 구축될 때까지는 개인 차원에서 자료를 관리할 수밖에 없는 상황이다. ■ 제언 학술지 편집인들은 우선 ICMJE의 중재적 임상시험에 대한 자료공유정책을 수용할 것인지, 아닌지를 결정할 필요가 있다. 자료공유정책을 수용한다면 어떤 방식으로 수용할 것인지, 즉 ICMJE의 방침을 그대로 수용할 것인지, 아니면 변형하여 운용할 것인지를 결정해야 하고, 이를 학술지 투고규정에 반영해야 한다. 또한 임상시험 결과가 학술지에 출간된 후 자료공유계획이 제대로 이행되지 않았을 경우에 대한 대책도 마련할 필요가 있다. 아직 임상시험자료의 공유와 관련한 국내 실정법을 개선, 정비해야 할 부분이 남아있는 것으로 보이지만, 우선 연구자들은 임상시험을 시작할 때 임상시험대상자들로부터 기존의 임상시험 동의서에 더하여 개인정보의 제3자 제공 동의서를 받아 둘 필요가 있으며, 개인정보를 제공 받는 자, 개인정보를 제공 받는 자의 개인정보 이용목적 및 이용 기간, 제공하는 개인정보의 항목 등(개인정보 보호법 제17조 2항)을 임상시험대상자에게 설명하여야 할 것이다. 또한 이처럼 비식별화된 개인정보의 활용에 대한 법적, 제도적 환경을 개선하기 위한 노력과 함께 임상시험자료의 저장, 관리를 위한 공공기구의 마련을 관계기관에 건의하고 추진해 나아가야 한다.

제17-1차 KoreaMed 등재 학술지 통합 재평가회 결과 보고

의편협에서는 단체회원 학술지의 질적 향상을 위해 KoreaMed 등재 후 7년 주기로 재평가를 실시하고 있습니다. 2018년 5월 28일(월) 오후 5시, 서울대학교 의과대학 융합관 1층 GDR 5,6,7에서 열린 제17-1차 KoreaMed 등재 학술지 통합 재평가회에서는 총 12종(당뇨병, 대한나학회지, 소아청소년정신의학, 정신신체의학, International Journal of Thyroidology, Korean Journal of Health Promotion, Laboratory Medicine Online, Neurointervention, Psychiatry Investigation, Restorative Dentistry & Endodontics, The Korean Journal of Helicobactor and Upper Gastrointestinal Research, Translational and Clinical Pharmacology)이 평가를 받았으며, 그 중 10종이 평점 3.0점 이상을 획득하였습니다. 평가 결과, 평점 3.0 이상을 받은 학술지는 의편협 규정에 따라 KoreaMed(koreamed.org)에 계속 등재됩니다. 심사를 통과한 학술지 총평을 공개하오니 KoreaMed 등재 및 재평가를 준비하고 있는 단체회원은 참고하시기 바랍니다. 1. 당뇨병 대한당뇨병학회에서 연 4회 발간하며, 심사대상이 된 2018년 3월호 (19권 1호)에는 원저 1편 외에 종설로 구분되는 논문 9편이 게재되어 있습니다. 표지 디자인은 무난하고 책등에 페이지가 표시되어 책꽂이에 꽂았을 때 찾아보기 편하게 되어 있습니다. 투고규정은 비교적 잘 정비되어 있습니다. 사진, 그림의 규격에 해상도 외에도 파일의 형태, 그림의 크기, 파일 사이즈 등에 대한 내용이 좀 더 상세하게 기재되었으면 하는 아쉬움이 있습니다. 본문에 고유명사의 표기상 통일성이 떨어지는 논문이 하나 발견되었으나 전반적으로 잘 관리되고 있습니다. 초록 단어수가 잘 관리되고 있고 첫 페이지 레이아웃도 통일성이 잘 유지되고 있으나 초록에 의미를 알기 어려운 괄호가 들어간 논문이 하나 발견되는 것은 아쉬운 점입니다. 본문의 오자도 거의 발견되지 않으며 간기를 잘 지켰고 국내논문 인용비율도 좋은 편입니다. 참고문헌 오류 비율도 낮습니다. 전반적으로 잘 관리되고 있는 학술지라는 인상을 줍니다. 대한당뇨병학회에서는 영문학술지와 국문학술지를 동시에 발간하고 있는데, 이번 심사에서 발견됨 점들을 정비해서 국문학술지로서 유용한 정보 교류의 장으로 계속 발전하기를 기대합니다. 2. 소아청소년정신의학 대한소아청소년정신의학회에서 연 4회 발간하며 디자인은 세련되어 있고 오자는 없습니다. 투고규정은 필요한 사항이 잘 정리되어 있고 이력관리 내용이 기재되어 있는 점이 우수합니다. 잘 정비된 투고규정인데 이해관계 관련 규정과 이해관계 공지 서식이 없는 것은 아쉬운점입니다. 그림의 작성 요령과 함께 파일 형식, 크기, 해상도 등에 대한 내용이 추가되면 좋겠습니다. 일부 고유명사의 표기 방식에 통일성이 부족한 부분이 발견되지만 첫 페이지 레이아웃이 잘 관리되고 있고 투고규정의 초록 단어수를 잘 지키고 있는 점은 우수합니다. 본문에서 표, 그림의 각주 설명이 투고규정과 다른 것 외에는 별다른 오류가 없으며 참고문헌 서지사항, 표기에서도 오류가 발견되지 않습니다. 전반적으로 잘 관리되고 있는 학술지라는 인상을 주고 있습니다. 인용도가 낮은 것이 아쉬운 점인데 이 부분에 관심을 갖고 더 좋은 학술지로 발전하기를 바랍니다. 3. International Journal of Thyroidology 대한갑상선학회에서 연 2회 발간하며, 심사대상이 된 10권 2호(2017년 11월호)에는 5편의 원저, 6편의 증례와 대한갑상선학회의 역대 학술상 수상자 명단이 게재되어 있습니다. 표지도안은 미려하나, 잡지명의 띄어쓰기에 오류가 있습니다. 책등에 그 호의 페이지를 표시하면 검색과 정리에 도움이 되겠습니다. 학술지의 웹사이트가 서로 다른 두 군데로 기술되어 있어서 정리가 필요합니다. 편집위원의 명단에 앞서서 학회의 이사진 명단이 제시되어 있으며, 책의 앞부분에는 영문, 뒷부분에는 국문으로 같은 내용이 중복하여 있습니다. 편집위원의 영문 명단만 앞부분에 제시하는 방안도 고려해 보십시오. 투고규정과 저작권이양동의서에서 몇 가지 개선점이 보입니다. 투고규정에 저자의 자격, 이해상충, 윤리 규정에 대한 보강을 권합니다. 투고규정 중 논문 종류별 구성요소 및 작성요령을 논문 종류별로 세분하여 상세히 기술하는 것이 좋겠습니다. 목차에서 저자의 소속은 표시하지 않는 것을 고려해 보십시오. 본문에서는 저자 이름, 소속에 있어서 논문 상호간 체재상의 차이가 있습니다. 결론 단락이 따로 있는 논문도 있고, 고찰 단락에 결론의 내용을 포함하는 논문도 있어서 형식을 통일하는 것이 좋겠습니다. 편집인의 보다 적극적인 점검이 인쇄된 학술지의 완성도를 높이는데 도움이 될 것 같습니다. 이번 평가에서 언급된 사항들을 잘 정비하여 보다 훌륭한 학술지로 발전하기를 기대합니다. 4. Korean Journal of Health Promotion 대한임상건강증진학회에서 연 4회 발간하며, 심사대상이 된 18권 1호(2018년 3월호)에는 원저 8편이 게재되어 있습니다. 표지도안은 미려하나, 표지 다음 뒷장으로 이어지는 빈 공간을 활용하는 방안이 필요해 보입니다. 편집위원의 명단이 영문과 국문으로 중복하여 있습니다. 영문 명단만 제시하는 방안도 고려해 보십시오. 목차에서 ‘Information for authors, 학회안내, 저자 점검표, 투고규정’은 표시하지 않는 것을 고려해 보십시오. 투고규정에서 몇 가지 개선점이 보입니다. 투고규정 중 책임저자의 자격, 이해상충, 저작권, 윤리 규정에 대한 보강이 필요해 보입니다. 논문 종류별로 세분하여 투고규정을 상세히 기술하는 것이 좋겠습니다. 저작권이양동의서 서식을 제공하는 것이 필요합니다. 본문에서는 저자의 소속 표기에 있어서 논문 상호간 체재상의 차이가 있습니다. 국가 표기 방식을 통일하기를 권합니다. 연구의 IRB 통과 여부에 대한 기술이 논문 상호간 차이가 있습니다. 표와 그림의 선명도가 떨어진 경우가 있어서 표와 그림의 편집을 개선하는 것이 좋겠습니다. 그림의 경우에 제목이 제일 위에 있고 아래에 그림, 제일 아래에 약어에 대한 설명이 있습니다. 제목을 그림 아래, 약어 설명 위에 배치하는 것을 고려해 보십시오. 편집인의 보다 적극적인 점검이 인쇄된 학술지의 완성도를 높이는데 도움이 될 것 같습니다. 이번 평가에서 언급된 사항들을 잘 정비하여 보다 훌륭한 학술지로 발전하기를 기대합니다. 5. Laboratory Medicine Online Laboratory Medicine Online (LMO)는 대한진단검사의학회지에서 발행하는 국문과 영문으로 연 4회 발간하고 있으며, 온라인 출판을 하고 있습니다. 심사대상이 된 8권 2호(2018년 4월호)에는 총 6편의 논문이 게재되어 있었고, 원저 2편, 단신 2편, 편지 2편이었습니다. 표지도안에는 특이사항은 없었으며, 앞면에 해당 호에 중요한 사진을 싣고 있었습니다. 논문집에 판권(copyright)에 대한 표기는 없었습니다. 투고규정은 국문과 영문을 모두 포함하고 있으며, 영문은 국문의 내용을 영어로 번역해서 싣고 있고 내용이 동일하였습니다. 투고규정에서 기본적인 사항은 대체적으로 정리가 잘 되어 있었습니다. 하지만, 국문의 저작권에서 저자에 대해서 일부 기술하고 있었으나, 저자됨에 대한 설명, 책임저자에 대한 역할 등을 명확하게 표기하지 않았습니다. 저자됨(authorship)에 관한 사항을 추가하는 것이 바람직할 것으로 보입니다. 각 논문의 종류에 대한 구분에 대한 설명이 없었습니다. 특히 편지와 단신의 구분이 어떠한지 명확하지 않았습니다. 논문 작성요령에서 투고자의 편지(cover letter)의 내용은 투고자의 편지보다는 표지에 관한 사항이었습니다. 수정이 필요한 부분입니다. 참고문헌의 표기 방법은 상술되어 있으나 본문에서 인용하는 표기법에 대해서는 설명되어 있지 않았습니다. 개개 논문의 대한 평가에서는 논문 간 체재에는 오류는 보이지 않았습니다. 저자의 소속을 표기할 때 어깨번호의 위치가 국문은 이름과 소속의 뒤에, 영문은 소속의 앞에 위치하는 것이 일반적이나 소속의 뒤에 어깨번호를 위치하고 있었습니다. 그림과 표의 해상도나 표기는 일정하고 어깨글자의 이용은 오류가 없었습니다. 투고규정에는 현미경의 사진인 경우에 염색법과 배율을 표기하도록 하고 있었으나, 염색법의 표기하지 않은 사진이 있었습니다. 58페이지의 Fig. 1.에서 세부 그림을 A1, A2, A3, A4, B1, B2, B3, B4 등으로 표기되어 있어 독특한 표기였습니다. 진단과 추적검사에서 그림을 비교하기 위해서 A와 B로 구분한 것으로 보이나, 편집 과정에서 Fig. 1. 과 Fig. 2. 로 구분하는 것이 좀 더 나았을 것으로 평가됩니다. 중심단어에서 MeSH 용어를 준하지 않는 경우가 있었습니다. 특히, 62페이지의 초록에서 ARCHITECT는 MeSH 용어에 해당하지 않았습니다. 학회지의 특성상 기계나 검사법이 중심이 될 수밖에 없음으로 부연 설명되었습니다. 원저 2번째 논문(p52-55)에서 요약제목이 국문으로 작성되어 있었습니다. 투고규정에서는 영어로 작성하도록 규정되어 있었습니다. 온라인논문투고시스템의 주소가 2015년 6월 이전의 주소를 싣고 있어 온라인에서 페이지 오류로 보여지고 있어 변경된 주소로 수정이 필요합니다. 본 학술지의 발행처인 학회에서는 2종의 학술지를 출간하고 있습니다. 본 학술지는 국문과 영문으로 발행되는 논문집으로 논문 출판에 관한 제반 사항을 잘 지키고 있었습니다. 일부 투고규정을 수정과 추가하고, 논문 편수가 증가하면 훌륭한 학술지로 유지할 것으로 평가됩니다. 6. Neurointervention Korean Society of Interventional Neuroradiology에서 발행하고, Asian Australasian Federation of Interventional and Therapeutic Neuroradiology의 공식학술지로 연 2회 발간되는 영문 학술지입니다. 심사대상이 된 13권 1호(2018년 3월호)에는 총 10편의 논문이 수록 되어 있었고, 원저 6편, 증례 4편이었습니다. 표지도안은 우수합니다. 책등에 논문집의 권 호 표기는 있으나 페이지 표기가 없었고, 두 학회의 공식학술지이나 주 학회(Korean Society of Interventional Neuroradiology)만 표기되어 있었습니다. 논문집의 첫 페이지 판권관리에서 편집사무실, 출판처는 표기되기 되어 있으나, 저작권, 발행일, 인쇄일 등의 표기를 관찰할 수 없었습니다. ‘BRACCO international award’가 하단에 인쇄되어 있는데, 표기가 도드라지는 점이 있었습니다. 투고규정은 영문을 취급범위, 저작권, 윤리규정 등이 잘 기술되어 있었습니다. 원고제출 전 점검표가 너무 단순해서 원고 작성요령에 맞추어 상세한 점검을 할 수 있도록 개정이 필요해 보입니다. 논문 제출에서 온라인 투고에서 논문, 저작권이양동의서 등이 함께 보내도록 하고 있으나, 6. Detailed Guideline for Each Type of Manuscripts에는 논문을 제출한 이후에 동의서 양식을 전자우편으로 전송한다고 규정하고 있어 수정이 필요합니다. 논문 작성법에 대한 일반적 원칙을 제시하고 각각 논문형식(original paper, review, technical notes, case reports, pictorial essay, letters to the editor)에 대한 세부 작성지침을 별도로 설명하고 있었습니다. 이러한 사항보다는 일반적 원칙에 세부사항을 좀 더 자세히 기술하는 것이 바람직한 방향으로 보입니다. 논문 작성의 일반원칙과 원저에서는 초록 내의 구조화를 요구하고 있지만, technical notes에는 초록의 작성법을 규정하고 있지 않았습니다. 참고문헌의 서지정보 표기 방법은 있으나 본문에서 참고문헌의 표기사항에 대해서는 언급이 없어 추가적 기술이 필요할 것입니다. 세부논문 형식에 대한 작성법의 표기 문단의 위치가 적절하지 않았습니다. 개개 논문의 체제에는 많은 상이한 점은 발견되지 않았습니다. 하지만, 투고규정에는 ‘conclusion’을 규정하고 있지 않으나, 대부분의 원저에서 conclusion 항을 유지하고 있었습니다. 소속기관이 다른 저자의 표기는 보이는 순서에 따라서 어깨번호를 부여하여야 하나 그 순서가 일정하지 않았습니다. 저자 소속의 영문 표기가 논문 간 혹은 논문 내에서 형식이 일치하지 않는 경우가 관찰되었습니다. 2페이지의 논문 초록에서 약어의 설명이 없이 표기되어 있었습니다. 중심단어가 MeSH 용어에 준하지 않는 논문이 관찰되었고, 58페이지의 kinking은 상용 단어를 제시하고 있었습니다. 원저의 논문의 참고문헌 수를 30개 (논문 작성요령의 앞부분에는 40개로 제시)로 제한하고 있으나 p2-12, p20-30 논문은 각각 32개, 40개의 참고문헌을 기술하고 있었습니다. 학술지의 성격을 고려하여 참고문헌 숫자의 제한을 수정하는 것을 고려할 수 있겠습니다. 인쇄된 논문의 가독성이 떨어집니다. 활자체와 문단 단어의 편집이 워드프로세스의 양쪽맞춤 형식으로 편집되어 한 줄당 활자수가 줄마다 매우 상이한 경우가 있었습니다. 인쇄처의 활자 선택과 편집에서 고려해야 할 부분으로 판단됩니다. 논문의 투고일, 수정일, 채택일의 불가능할 정도로 짧은 논문이 눈에 띄었습니다. 편집장이 교체되면서 학술지의 개선을 위한 논문 관리에서 발생한 부분이라고 소명됩니다. 온라인 출판물을 점검하였을 때, commentary가 있는 논문에 책임저자가 2인으로 표기되어 있습니다. 이는 commentary를 작성한 저자가 해당 논문의 책임저자와 같이 수준에 표기되어 있기 때문으로 보입니다. Neurointervention은 interventional neuroradiology에 관한 선구적 학술지로 활발한 활동이 예상되는 학술지로 평가됩니다. 투고규정의 일부의 개선과 인쇄물의 가독성을 향상시킬 방안을 강구한다면, 향후 큰 활약이 기대되는 학술지로 평가됩니다. 7. Psychiatry Investigation Psychiatry Investigation은 대한정신의학회에 발간하는 영문 학술지로 SCI에 등재되어 있고, 2018년부터는 매월 호를 발간하고 있습니다. 심사대상이 된 학술지는 15권 3호 (2018년 3월호)로서 총 15편의 논문이 수록되어 있었고, Viewpoint 1편, Original articles 11편, Brief reports 2편, Case reports 1편이었습니다. 표지도안은 깔끔하고 학술지의 목적을 함축적으로 제시하고 있었습니다. 책 등에 서지사항에서 수록된 논문의 페이지를 추가하는 것이 권고됩니다. 첫 페이지에 판권 사항이 정확하게 표기되어 있었습니다. 투고 규정은 저작권, 원고작성, 투고방법, 윤리규정 등이 상술되어 있었습니다. 개선점은 brief report가 단어 수에 대한 제한을 설명하고 있으나, 논문의 성격이 어떠한 것인지가 명확하지 않았습니다. 투고규정에 증례보고에 대한 내용은 없었고, 2018년부터 증례의 투고를 접수를 받고 있지 않고 있으나 과년도에 채택된 논문의 출판을 위해 1편의 증례보고가 수록되었다고 소명하였습니다. 원고제출 전 점검표는 제시하고 있지 않았습니다. 온라인투고시스템은 ScholarOne이었습니다. 각 논문의 체재는 일정하게 잘 유지되고 있었고, 2인의 논문편집인이 논문의 완성도를 높이고 있는 것으로 보였습니다. 투고규정에서 논문의 제목은 줄당 42자에 2줄까지 만으로 규정하였으나 몇몇 논문에서 이보다 긴 제목을 가진 논문이 발견되었습니다. MeSH의 권고와는 상이한 중심단어를 사용한 논문이 있었습니다. 예를 들면 p261의 Danwon, Sewol ferry disaster 등이었습니다. 그림, 표는 시인성이 좋았고 오류는 발견되지 않았습니다. Psychiatric Investigation은 논문 편수가 증가하고 있으며, 점차 발전되어 가는 학술지로 보입니다. 논문의 완성도를 높이기 위해 편집위원회에서 많은 노력을 하고 있으며, 향후 전문 영역의 선구적 학술지로 자리매김할 수 있길 기대됩니다. 8. Restorative Dentistry & Endodontics 대한치과보존학회에서 연 4회 온라인으로만 출간하는 영문 학술지로서 심사대상이 된 43권 1호 (2018년 2월호)에는 원저 8편, 증례 2편 외에 open lecture on statistics 1편, 편집인의 글 1편이 게재되어 있습니다. 실물평가 결과, 특별하게 큰 오류가 발견되지 않고, 깔끔한 정리와 일관된 편집이 되고 있는 좋은 저널로 평가됩니다. 도안과 사진 자료가 매우 선명하여 알아보기 쉽고, 시각성이 우수합니다. 참고문헌과 본문에 오류가 발견되지 않으며, 통일성이 있습니다. 서지사항과 투고규정도 매우 상세하게 기술되어 있습니다. 일부 논문에서 규정 단어 수를 초과하는 요약제목이 발견되었고, 저자 소속이 불분명한 논문이 발견되고 있는 점은 수정이 필요한 부분입니다. 9. The Korean Journal of Helicobactor and Upper Gastrointestinal Research 대한 헬리코박터 연구학회지에서 연 4회 발간하며 심사대상이 된 18권 1호 (2018넌 3월호)에는 편집인의 글 1편, 종설 5편, 원저 4편, 증례 3편, Image of the Tissue 1편, Research update 1편이 게재되어 있습니다. 전반적으로 무난하게 큰 오류 없이 잘 편집되고 있는 저널입니다. 인쇄본보다는 온라인 저널을 추구하는 저널인 만큼 표지에 저널 홈페이지 주소가 기재되는 것이 좋겠습니다. 투고규정에서 종설과 증례보고의 초록은 원저와 다르게 unstructured 된 형식으로 한다는 규정 변경이 필요하며, 국문 제목의 글자 수(30자) 제한 규정을 명확히 표시하는 것이 좋겠습니다. 홈페이지에는 조회되는 논문에서는 모든 사진이 컬러로 인쇄되어 있으나, 인쇄본에서 거의 모든 사진들이 (특히, 칼라가 필수인 병리조직 염색사진과 내시경사진 등) 흑백으로 인쇄되어 중요한 소견을 알아보기 어려운 것은 아쉬운 점입니다. 그 외, 참고문헌이나 본문에서 중대한 오류는 발견되지 않았습니다. 전반적으로 잘 관리되고 있는 학술지입니다. 10. Translational and Clinical Pharmacology 대한임상약리학회에서 연 4회 영문으로 발간하며 심사대상이 된 26권 1호에는 tutorial 1편, 원저 6편이 게재되어 있습니다. 판권관리 란이나 투고규정에 간기 표기가 없고, 발행인 정보가 누락되어 있습니다. 투고규정은 전반적으로 많은 보완이 필요합니다. 동물실험 윤리에 대한 규정이 없으며, 논문의 종류별, 구성요소 별 논문작성 요령이 지나치게 간단하게 기술되어 있어서 내용 보완이 필요합니다. 핵심단어 는 MeSH 용어를 권장한다는 기술이 없으며, 도량형에 관한 규정이 없습니다. 참고문헌 규정에서 기본적인 논문 이용의 예시가 빠져 있고, ‘모든 참고문헌은 영문으로 작성한다.’라는 내용이 누락되어 있습니다. 투고 규정에 오타가 발견됩니다. 원고제출 시 필요한 저자점검표를 통한 점검표의 구축이 필요합니다. 보다 구체적인 creative common license를 표기하는 것이 좋겠습니다. 보안성이 강화된 https:// 형식의 DOI 번호를 부여하는 것을 권장합니다. 논문 제목, 저자이름, 소속, 초록과 핵심단어 부분에 체재상의 차이가 없이 통일성이 잘 유지되고 있으나, 핵심단어, 참고문헌과 본문에서 대소문자 사용의 불일치, 오타, 위아래첨자 사용의 오류 등이 다수 발견됩니다. 핵심단어의 선정에 주의를 요하는 논문이 있고, 괄호 안에 약자를 함께 사용한 핵심단어도 발견됩니다. 일부 그래프 도안들이 선명하지 못하고 흐릿하게 보이는 경우가 있으며, 선과 점들이 중첩되어 대비성이 떨어지는 예가 다수 보입니다. 표에서 중요한 자료 표기에 오류가 있어 erratum 발행이 필요한 부분이 발견됩니다. 표와 도안들에서 사용된 약자 풀이가 누락된 경우가 많으며, 숫자의 자리 표시와 신뢰구간 간격 표시 기호의 통일화가 요구됩니다. 전반적으로 내용 보완과 함께 세밀한 편집 노력이 필요한 학술지로 평가됩니다.