Consolidated standards of reporting trials (CONSORT) and the completeness of reporting of randomised controlled trials (RCTs) published in medical journals

  • Review
  • Methodology

Authors


Abstract

Background

An overwhelming body of evidence stating that the completeness of reporting of randomised controlled trials (RCTs) is not optimal has accrued over time. In the mid-1990s, in response to these concerns, an international group of clinical trialists, statisticians, epidemiologists, and biomedical journal editors developed the CONsolidated Standards Of Reporting Trials (CONSORT) Statement. The CONSORT Statement, most recently updated in March 2010, is an evidence-based minimum set of recommendations including a checklist and flow diagram for reporting RCTs and is intended to facilitate the complete and transparent reporting of trials and aid their critical appraisal and interpretation. In 2006, a systematic review of eight studies evaluating the "effectiveness of CONSORT in improving reporting quality in journals" was published.

Objectives

To update the earlier systematic review assessing whether journal endorsement of the 1996 and 2001 CONSORT checklists influences the completeness of reporting of RCTs published in medical journals.

Search methods

We conducted electronic searches, known item searching, and reference list scans to identify reports of evaluations assessing the completeness of reporting of RCTs. The electronic search strategy was developed in MEDLINE and tailored to EMBASE. We searched the Cochrane Methodology Register and the Cochrane Database of Systematic Reviews using the Wiley interface. We searched the Science Citation Index, Social Science Citation Index, and Arts and Humanities Citation Index through the ISI Web of Knowledge interface. We conducted all searches to identify reports published between January 2005 and March 2010, inclusive.

Selection criteria

In addition to studies identified in the original systematic review on this topic, comparative studies evaluating the completeness of reporting of RCTs in any of the following comparison groups were eligible for inclusion in this review: 1) Completeness of reporting of RCTs published in journals that have and have not endorsed the CONSORT Statement; 2) Completeness of reporting of RCTs published in CONSORT-endorsing journals before and after endorsement; or 3) Completeness of reporting of RCTs before and after the publication of the CONSORT Statement (1996 or 2001). We used a broad definition of CONSORT endorsement that includes any of the following: (a) requirement or recommendation in journal's 'Instructions to Authors' to follow CONSORT guidelines; (b) journal editorial statement endorsing the CONSORT Statement; or (c) editorial requirement for authors to submit a CONSORT checklist and/or flow diagram with their manuscript. We contacted authors of evaluations reporting data that could be included in any comparison group(s), but not presented as such in the published report and asked them to provide additional data in order to determine eligibility of their evaluation. Evaluations were not excluded due to language of publication or validity assessment.

Data collection and analysis

We completed screening and data extraction using standardised electronic forms, where conflicts, reasons for exclusion, and level of agreement were all automatically and centrally managed in web-based management software, DistillerSR®. One of two authors extracted general characteristics of included evaluations and all data were verified by a second author. Data describing completeness of reporting were extracted by one author using a pre-specified form; a 10% random sample of evaluations was verified by a second author. Any discrepancies were discussed by both authors; we made no modifications to the extracted data. Validity assessments of included evaluations were conducted by one author and independently verified by one of three authors. We resolved all conflicts by consensus.

For each comparison we collected data on 27 outcomes: 22 items of the CONSORT 2001 checklist, plus four items relating to the reporting of blinding, and one item of aggregate CONSORT scores. Where reported, we extracted and qualitatively synthesised data on the methodological quality of RCTs, by scale or score.

Main results

Fifty-three publications reporting 50 evaluations were included. The total number of RCTs assessed within evaluations was 16,604 (median per evaluation 123 (interquartile range (IQR) 77 to 226) published in a median of six (IQR 3 to 26) journals. Characteristics of the included RCT populations were variable, resulting in heterogeneity between included evaluations. Validity assessments of included studies resulted in largely unclear judgements. The included evaluations are not RCTs and less than 8% (4/53) of the evaluations reported adjusting for potential confounding factors.   

Twenty-five of 27 outcomes assessing completeness of reporting in RCTs appeared to favour CONSORT-endorsing journals over non-endorsers, of which five were statistically significant. 'Allocation concealment' resulted in the largest effect, with risk ratio (RR) 1.81 (99% confidence interval (CI) 1.25 to 2.61), suggesting that 81% more RCTs published in CONSORT-endorsing journals adequately describe allocation concealment compared to those published in non-endorsing journals. Allocation concealment was reported adequately in 45% (393/876) of RCTs in CONSORT-endorsing journals and in 22% (329/1520) of RCTs in non-endorsing journals. Other outcomes with results that were significant include: scientific rationale and background in the 'Introduction' (RR 1.07, 99% CI 1.01 to 1.14); 'sample size' (RR 1.61, 99% CI 1.13 to 2.29); method used for 'sequence generation' (RR 1.59, 99% CI 1.38 to 1.84); and an aggregate score over reported CONSORT items, 'total sum score' (standardised mean difference (SMD) 0.68 (99% CI 0.38 to 0.98)).

Authors' conclusions

Evidence has accumulated to suggest that the reporting of RCTs remains sub-optimal. This review updates a previous systematic review of eight evaluations. The findings of this review are similar to those from the original review and demonstrate that, despite the general inadequacies of reporting of RCTs, journal endorsement of the CONSORT Statement may beneficially influence the completeness of reporting of trials published in medical journals. Future prospective studies are needed to explore the influence of the CONSORT Statement dependent on the extent of editorial policies to ensure adherence to CONSORT guidance.

Résumé scientifique

La déclaration CONSORT et l'exhaustivité de la notification des essais contrôlés randomisés (ECR) publiés dans des journaux médicaux

Contexte

Un très large corps de preuves indiquant que l'exhaustivité de la notification des essais contrôlés randomisés (ECR) n'est pas optimale s'est accumulé au fil du temps. Au milieu des années 90, en réponse à ces inquiétudes, un groupe international d'investigateurs cliniques, de statisticiens, d'épidémiologistes, et d'éditeurs de journaux biomédicaux ont développé la déclaration CONSORT. La déclaration CONSORT, dernièrement mise à jour en mars 2010, est un set de recommandations minimum fondées sur des preuves incluant une liste de contrôle et un diagramme de flot pour la notification des ECR et celle-ci a pour but de faciliter la notification exhaustive et transparente des essais et de favoriser leur analyse critique et leur interprétation. En 2006, une revue systématique de huit études ayant évalué "l'efficacité" de CONSORT pour améliorer la qualité des comptes-rendus dans des revues a été publiée.

Objectifs

Mettre à jour la précédente revue systématique ayant évalué si le cautionnement de la liste de contrôle CONSORT de 1996 et de 2001 par les revues a un impact sur l'exhaustivité de la notification des ECR publiés dans des journaux médicaux.

Stratégie de recherche documentaire

Nous avons effectué des recherches électroniques, recherché les articles connus, et passé au crible les listes de références afin d'identifier des rapports d'évaluations évaluant l'exhaustivité de la notification d'ECR. La stratégie de recherche électronique a été développée pour MEDLINE et adaptée à EMBASE. Nous avons effectué des recherches dans le registre Méthodologie et dans la base de données des revues systématiques Cochrane en utilisant l'interface Wiley. Nous avons effectué des recherches dans le Science Citation Index, Social Science Citation Index, et Arts and Humanities Citation Index via l'interface ISI Web of Knowledge. Nous avons effectué toutes les recherches dans le but d'identifier des rapports publiés entre janvier 2005 et mars 2010, inclus.

Critères de sélection

En plus des études identifiées dans la revue systématique originale sur ce sujet, toutes les études comparatives évaluant l'exhaustivité de la notification d'ECR dans n'importe lequel des groupes de comparaison suivants étaient éligibles pour l'inclusion dans cette revue : 1) L'exhaustivité de la notification d'ECR publiés dans des journaux ayant ou n'ayant pas cautionné la déclaration CONSORT ; 2) L'exhaustivité de la notification d'ECR publiés dans des journaux ayant cautionné la déclaration CONSORT avant et après le cautionnement ; ou 3) L'exhaustivité de la notification d'ECR, avant et après la publication de la déclaration CONSORT (de 1996 ou de 2001). Nous avons utilisé une définition large du cautionnement de la déclaration CONSORT incluant n'importe lequel des éléments suivants : (a) l'obligation ou la recommandation dans la section "Instructions aux auteurs" de suivre la déclaration CONSORT ; (b) une déclaration de l'équipe éditoriale d'une revue indiquant le cautionnement de la déclaration CONSORT ; ou (c) l'obligation éditoriale nécessitant que les auteurs soumettent une liste de vérification CONSORT et/ou un diagramme de flot avec leurs manuscrit. Nous avons contacté les auteurs des évaluations rapportant des données qui auraient pu être incluses dans l'un des groupes de comparaison(s), mais n'ayant pas été présentées comme tel dans le rapport publié et nous leur avons demandé des données supplémentaires afin de déterminer l'éligibilité de leur évaluation. Les évaluations n'ont pas été exclues en raison de la langue de publication ou de l'évaluation de la validité.

Recueil et analyse des données

Nous avons passé au crible les résumés et extrait les données en utilisant des formulaires électroniques; les discordances, les motifs d'exclusion, et le niveau d'accord ont tous été automatiquement et centralement gérés au moyen du logiciel en ligne DistillerSR®. Les auteurs ont travaillé à deux; l'un de ceux-ci a extrait les caractéristiques générales des évaluations incluses puis toutes les données ont été vérifiées par le second auteur. Les données décrivant l'exhaustivité de la notification ont été extraites par un auteur à l'aide d'un formulaire prédéfini ; et un échantillon aléatoire contenant 10 % des évaluations a été vérifié par un deuxième auteur. Les divergences ont été débattues par les deux auteurs ; nous n'avons pas modifié les données extraites. Les évaluations de la validité des évaluations incluses ont été effectuées par un auteur et vérifiées de façon indépendante par l'un des trois auteurs. Nous avons résolu toutes les discordances par consensus.

Pour chaque comparaison, nous avons recueilli des données concernant 27 critères de jugement : 22 items de la liste de contrôle CONSORT 2001, avec quatre items supplémentaires relatifs à la notification de la mise en aveugle, et un item supplémentaire représentant un agrégat des scores CONSORT. Lorsque celles-ci étaient rapportées, nous avons extrait et qualitativement synthétisé les données concernant la qualité méthodologique des ECR, au moyen d'une échelle ou d'un score.

Résultats principaux

Cinquante-trois publications rapportant 50 évaluations ont été incluses. Le nombre total d'ECR évalués dans les évaluations était de 16 604 (médiane par évaluation 123 (intervalle interquartile (IQR) de 77 à 226) publiés dans une médiane de six (IQR de 3 à 26) revues. Les caractéristiques des populations d'ECR inclus étaient variables, ce qui a entrainé une hétérogénéité entre les évaluations incluses. Les évaluations de la validité des études incluses ont entraîné des jugements très incertains. Les évaluations incluses ne sont pas des ECR et moins de 8 % (4/53) des évaluations ont indiqué avoir réalisé des ajustements pour prendre en compte les potentiels facteurs de confusion.

Vingt-cinq des 27 critères de jugement évaluant l'exhaustivité de la notification dans les ECR semblaient être en faveur aux revues cautionnant CONSORT par rapport aux revues ne la cautionnant pas, dont cinq étaient statistiquement significatifs. "L'assignation secrète" a entraîné l'effet le plus important, avec un risque relatif (RR) de 1,81 (intervalle de confiance à 99 % (IC) 1,25 à 2,61), ce qui suggère que 81 % d'ECR en plus publiés dans des journaux cautionnant CONSORT décrivent correctement l'assignation secrète par rapport aux ECR publiés dans des journaux ne cautionnant pas CONSORT. L'assignation secrète était rapportée de manière adéquate dans 45 % (393/876) des ECR dans les journaux cautionnant CONSORT et dans 22 % (329/1520) des ECR dans les journaux ne cautionnant pas CONSORT. D'autres critères de jugement ayant des résultats significatifs comprennent : la justification scientifique et le contexte dans l'« Introduction » (RR 1,07, IC à 99 % 1,01 à 1,14) ; « la taille de l'échantillon » (RR 1,61, IC à 99 % 1,13 à 2,29) ; la méthode utilisée pour « générer la séquence » (RR 1,59, IC à 99 % 1,38 à 1,84) ; et le score agrégé des items CONSORT rapportés, « score total » (différence moyenne standardisée (DMS) de 0,68 (IC à 99 % de 0,38 à 0,98)).

Conclusions des auteurs

Les preuves accumulées suggèrent que la notification des ECR reste sous-optimale. Cette revue est une mise à jour d'une revue systématique précédente portant sur huit évaluations. Les résultats de cette revue sont similaires à ceux de la revue initiale et démontrent que, malgré des lacunes répandues en matière de notification des ECR, le cautionnement de CONSORT par les revues pourrait avoir une influence bénéfique sur l'exhaustivité de la notification des essais publiés dans des journaux médicaux. De futures études prospectives sont nécessaires pour étudier l'influence de la déclaration CONSORT en fonction du niveau de cautionnement de la déclaration CONSORT au sein des politiques éditoriales.

Plain language summary

CONsolidated Standards Of Reporting Trials (CONSORT) and the completeness of reporting of randomised controlled trials published in medical journals

A group of experts has developed a checklist and flow diagram called the CONSORT Statement. The checklist is designed to help authors in the reporting of randomised controlled trials (RCTs). This systematic review aims to determine whether the CONSORT Statement has made a difference to the completeness of reporting of RCTs. Reporting of RCTs published in journals that encourage authors to use the CONSORT Statement with those that do not is compared. We found that some items in the CONSORT Statement were fully reported more often when journals encouraged the use of CONSORT. While the majority of items are reported more often when journals endorse CONSORT, the data only showed a statistically significant improvement in reporting for five of 27 items. No items suggest that CONSORT decreases the completeness of reporting of RCTs published in medical journals.

None of the evaluations included in this review used experimental designs, and their methodological approaches were mostly poorly described and variable when they were described. Furthermore, evaluations assessed the completeness of reporting of RCTs within a wide range of medical fields and in journals with a wide variation in the enforcement of CONSORT endorsement. Our results do have some limitations, but given the number of included evaluations and the number of assessed RCTs, we conclude that while most RCTs are incompletely reported, the CONSORT Statement beneficially influences their reporting quality.

Résumé simplifié

La déclaration CONSORT et l'exhaustivité de la notification des essais contrôlés randomisés (ECR) publiés dans des journaux médicaux

Un groupe d'experts a développé une liste de contrôle et un diagramme de flot portant le nom de déclaration CONSORT. La liste de contrôle a pour objectif d'aider les auteurs à rendre compte des essais contrôlés randomisés (ECR). L'objectif de cette revue systématique est de déterminer si la déclaration CONSORT a mené à des différences au niveau de l'exhaustivité de la notification des ECR. Nous avons comparé la notification des ECR publiés dans des journaux encourageant les auteurs à suivre la déclaration CONSORT avec les ECR publiés dans des journaux n'encourageant pas les auteurs à le faire. Nous avons constaté que certains items de la déclaration CONSORT ont été plus souvent rapportés de manière exhaustive lorsque les journaux encourageaient de suivre CONSORT. Bien que la majorité des items sont plus souvent rapportés lorsque les journaux cautionnent CONSORT, les données ont seulement montré une amélioration statistiquement significative au niveau de la notification pour cinq des 27 items. Aucun des items ne suggère que CONSORT réduit l'exhaustivité de la notification des ECR publiés dans des journaux médicaux.

Les évaluations incluses dans cette revue n'utilisaient pas des plans d'étude expérimentaux, et leurs approches méthodologiques étaient généralement insuffisamment décrites et variables lorsque celles-ci ont été décrites. En outre, les évaluations ont examiné l'exhaustivité de la notification des ECR dans un large éventail de domaines médicaux et dans des revues ayant de larges variations au niveau du contrôle du cautionnement de CONSORT. Nos résultats ont quelques limitations, mais étant donné le nombre d'évaluations incluses et le nombre d'ECR évalués, nous concluons que, bien que la plupart des ECR restent insuffisamment rapportés, la déclaration CONSORT influence positivement la qualité de leur notification.

Notes de traduction

Traduction réalisée par Martin Vuillème