Get access

New treatments compared to established treatments in randomized trials

  • Review
  • Methodology

Authors


Abstract

Background

The proportion of proposed new treatments that are 'successful' is of ethical, scientific, and public importance. We investigated how often new, experimental treatments evaluated in randomized controlled trials (RCTs) are superior to established treatments.

Objectives

Our main question was: "On average how often are new treatments more effective, equally effective or less effective than established treatments?" Additionally, we wanted to explain the observed results, i.e. whether the observed distribution of outcomes is consistent with the 'uncertainty requirement' for enrollment in RCTs. We also investigated the effect of choice of comparator (active versus no treatment/placebo) on the observed results.

Search methods

We searched the Cochrane Methodology Register (CMR) 2010, Issue 1 in The Cochrane Library (searched 31 March 2010); MEDLINE Ovid 1950 to March Week 2 2010 (searched 24 March 2010); and EMBASE Ovid 1980 to 2010 Week 11 (searched 24 March 2010).

Selection criteria

Cohorts of studies were eligible for the analysis if they met all of the following criteria: (i) consecutive series of RCTs, (ii) registered at or before study onset, and (iii) compared new against established treatments in humans.

Data collection and analysis

RCTs from four cohorts of RCTs met all inclusion criteria and provided data from 743 RCTs involving 297,744 patients. All four cohorts consisted of publicly funded trials. Two cohorts involved evaluations of new treatments in cancer, one in neurological disorders, and one for mixed types of diseases. We employed kernel density estimation, meta-analysis and meta-regression to assess the probability of new treatments being superior to established treatments in their effect on primary outcomes and overall survival.

Main results

The distribution of effects seen was generally symmetrical in the size of difference between new versus established treatments. Meta-analytic pooling indicated that, on average, new treatments were slightly more favorable both in terms of their effect on reducing the primary outcomes (hazard ratio (HR)/odds ratio (OR) 0.91, 99% confidence interval (CI) 0.88 to 0.95) and improving overall survival (HR 0.95, 99% CI 0.92 to 0.98). No heterogeneity was observed in the analysis based on primary outcomes or overall survival (I2 = 0%). Kernel density analysis was consistent with the meta-analysis, but showed a fairly symmetrical distribution of new versus established treatments indicating unpredictability in the results. This was consistent with the interpretation that new treatments are only slightly superior to established treatments when tested in RCTs. Additionally, meta-regression demonstrated that results have remained stable over time and that the success rate of new treatments has not changed over the last half century of clinical trials. The results were not significantly affected by the choice of comparator (active versus placebo/no therapy).

Authors' conclusions

Society can expect that slightly more than half of new experimental treatments will prove to be better than established treatments when tested in RCTs, but few will be substantially better. This is an important finding for patients (as they contemplate participation in RCTs), researchers (as they plan design of the new trials), and funders (as they assess the 'return on investment'). Although we provide the current best evidence on the question of expected 'success rate' of new versus established treatments consistent with a priori theoretical predictions reflective of 'uncertainty or equipoise hypothesis', it should be noted that our sample represents less than 1% of all available randomized trials; therefore, one should exercise the appropriate caution in interpretation of our findings. In addition, our conclusion applies to publicly funded trials only, as we did not include studies funded by commercial sponsors in our analysis.

Résumé scientifique

Les nouveaux traitements par rapport aux traitements établis dans les essais randomisés

Contexte

La proportion de nouveaux traitements proposés jugés comme étant des « réussites » est d'importance éthique, scientifique, et publique. Nous avons étudié la fréquence des nouveaux traitements expérimentaux évalués dans des essais contrôlés randomisés (ECR) comme étant supérieurs aux traitements établis.

Objectifs

Notre principale question était : "En moyenne à quelle fréquence est-ce que des nouveaux traitements se révèlent plus efficaces, tout autant efficaces ou moins efficaces que les traitements établis ? En outre, nous souhaitions expliquer les résultats observés ; c'est-à-dire établir si la distribution des résultats est conforme au « besoin qu'il existe une incertitude » pour l'enrôlement dans des ECR. Nous avons également étudié l'effet du choix du comparateur (traitement actif par rapport à l'absence de traitement/placebo) sur les résultats observés.

Stratégie de recherche documentaire

Nous avons effectué des recherches dans le Cochrane Methodology Register (CMR) 2010, numéro 1 dans The Cochrane Library (recherche effectuée le 31 mars 2010) ; dans MEDLINE Ovid, de 1950 à la 2ème semaine de mars 2010 (recherche effectuée le 24 mars 2010) ; et sur EMBASE Ovid, de 1980 à la 11ème semaine de 2010 (recherche effectuée le 24 mars 2010).

Critères de sélection

Les études de cohortes étaient éligibles pour l'analyse si celles-ci répondaient à tous les critères suivants : (I) séries consécutives d'ECR, (ii) enregistrées après ou avant le début de l'étude, et (iii) ayant comparé des nouveaux traitements par rapport aux traitements établis chez l'homme.

Recueil et analyse des données

Des ECR provenant de quatre cohortes d'ECR ont répondu à tous les critères d'inclusion et ont fourni des données issues de 743 ECR portant sur 297 744 patients. Les quatre études de cohorte comprenaient des essais cliniques financés publiquement. Deux études de cohorte portaient sur l'évaluation de nouveaux traitements pour les cancers, une cohorte portait sur les troubles neurologiques, et la dernière cohorte portait sur un mélange de divers types de maladies. Nous avons utilisé des estimations par noyau de la densité, une méta-analyse et une méta-régression pour évaluer la probabilité que des nouveaux traitements soient supérieurs aux traitements établis au niveau de leur effet sur les critères de jugement principaux et sur la survie globale.

Résultats principaux

La distribution des effets observés était généralement symétrique au niveau de l'ampleur des différences entre les nouveaux traitements par rapport aux traitements établis. Le regroupement méta-analytique a indiqué que, en moyenne, les nouveaux traitements étaient légèrement plus favorables à la fois en termes de réduction des principaux critères de jugement (hazard ratio (HR)/rapport des cotes (RC) 0,91, intervalle de confiance à 99 % (IC) 0,88 à 0,95) et d'amélioration de la survie globale (HR 0,95, IC à 99 % 0,92 à 0,98). Aucune hétérogénéité n'a été observée dans l'analyse sur la base des critères de jugement principaux ou de la survie globale (I 2= 0 %). Les analyses par noyau de la densité étaient cohérentes avec la méta-analyse, mais celles-ci ont montré une distribution relativement symétrique des nouveaux traitements par rapport aux traitements établis indiquant une imprévisibilité dans les résultats. Ce résultat était cohérent avec l'interprétation selon laquelle les nouveaux traitements ne sont que légèrement supérieurs aux traitements établis lorsque ceux-ci sont testés dans des ECR. En outre, les méta-régressions ont démontré que les résultats sont restés stables au fil du temps et que le taux de succès des nouveaux traitements n'a pas changé au cours de la moitié du dernier siècle d'essais cliniques. Les résultats n'ont pas été significativement affectés par le choix d'un comparateur actif (traitement actif versus placebo/absence de traitement).

Conclusions des auteurs

La société peut s'attendre à ce que légèrement plus de la moitié des nouveaux traitements expérimentaux se révèlent être plus efficaces que les traitements établis lorsque ceux-ci sont testés dans le cadre d'ECR, mais peu de ceux-ci seront sensiblement plus efficaces. C'est un résultat important pour les patients (car ceux-ci envisagent de participer à des ECR), les chercheurs (car ceux-ci envisagent de concevoir de nouveaux essais cliniques), et pour les bailleurs de fonds (car ceux-ci évaluent le « retour sur investissement »). Bien que nous fournissions les meilleures preuves actuelles sur la question du « taux de réussite » attendu de la part des nouveaux traitements par rapport aux traitements établis conformément aux prévisions à priori théoriques reflétant une « hypothèse d'incertitude ou d'équilibre clinique », il convient de noter que notre échantillon représente moins de 1 % de tous les essais randomisés disponibles ; par conséquent nos résultats devraient être interprétés avec prudence. En outre, notre conclusion s'applique uniquement aux essais publiquement financés car nous n'avons pas inclus les études financées par des sponsors commerciaux dans notre analyse.

Plain language summary

New treatments versus established treatments in randomized trials

Random allocation to different groups to compare the effects of treatments is used in fair tests to find out which among the treatment options is preferable. Random allocation is only ethical, however, if there is genuine uncertainty about which of the treatment options is preferable. If a patient or their healthcare provider is certain which of the treatments being compared is preferable they should not agree to random allocation, because this would involve the risk that they would be assigned to a treatment they believed to be inferior. Decisions about whether to participate in randomized trials are made more difficult because of the widespread belief that new treatments must inevitably be superior to existing (standard) treatments. Indeed, it is understandable that people hope that this will be the case. If this was actually so, however, the ethical precondition of uncertainty would often not apply. This Cochrane methodology review addresses this important question: "What is the likelihood that new treatments being compared to established treatments in randomized trials will be shown to be superior?" Four cohorts of consecutive, publicly funded, randomized trials, which altogether included 743 trials that enrolled 297,744 patients, met our inclusion criteria for this review. We found that, on average, new treatments were very slightly more likely to have favorable results than established treatments, both in terms of the primary outcomes targeted and overall survival. In other words, when new treatments are compared with established treatments in randomized trials we can expect slightly more than half will prove to be better, and slightly less than half will prove to be worse than established treatments. This conclusion applies to publicly funded trials as we did not include studies funded by commercial sponsors in our analysis.The results are consistent with the ethical preconditions for random allocation – when people are enrolled in randomized trials, the results cannot be predicted in advance as there is genuine uncertainty about which of the treatments being compared in randomized trials will prove to be superior. 

எளியமொழிச் சுருக்கம்

சீரற்ற சமவாய்ப்புச் சோதனைகளில் நிறுவப்பட்ட சிகிச்சைகளுக்கு எதிராக புதிய சிகிச்சைகள்

வெவ்வேறு குழுக்களுக்கான சீரற்ற சமவாய்ப்பு ஒதுக்கீடானது, நியாயமான சோதனைகளில் சிகிச்சைகளின் விளைவுகளை ஒப்பிட்டு சிகிச்சை விருப்பங்களின் மத்தியில் விரும்பத்தக்கது எது எனக் கண்டுபிடிக்க பயன்படுத்தப்படுகிறது.சிகிச்சை விருப்பங்களில் எது விரும்பத்தக்கதாக இருக்கிறது என்பது பற்றி உண்மையான நிச்சயமற்ற நிலை இருந்தால் மட்டுமே, சீரற்ற சமவாய்ப்பு ஒதுக்கீடானது நெறிமுறையானதாகும்.ஒரு நோயாளியோ அல்லது அவர்களின் ஆரோக்கிய பராமரிப்பு வழங்குநரோ, ஒப்பிடப்பட்ட சிகிச்சைகளில் எது விரும்பத்தக்கதாக இருக்கிறது என்பது பற்றி நிச்சயமான நிலையில் இருந்தால், அவர்கள் சீரற்ற சமவாய்ப்பு ஒதுக்கீட்டை ஏற்கக் கூடாது. ஏனெனில், அவர்கள் தாழ்வானது என நம்பப்படுகிற ஒரு சிகிச்சைக்கு ஒதுக்கப்படும் ஆபத்தை உள்ளடக்கியது.புதிய சிகிச்சைகள், தற்போதிற்கும் (நிலையான) சிகிச்சைகளை விட உயர்வாக இருக்க வேண்டும் என்ற பரவலான நம்பிக்கை உள்ள காரணத்தினால், சீரற்ற சமவாய்ப்பு சோதனைகளில் பங்கேற்கலாமா என்பதைப் பற்றி தீர்மானங்களை எடுப்பது மிகவும் கடினமாக்கப்பட்டிருக்கிறது. உண்மையில், மக்கள் இது வழக்கில் இருக்கக் கூடியது என்று நம்புகிறார்கள் என்று புரிகிறது. இது உண்மையாக இருந்தால், எப்படியாகிலும், நிச்சயமற்ற நெறிமுறை என்ற முன்னிபந்தனையை அடிக்கடி உபயோகிக்க முடியாது. "புதிய சிகிச்சைகளை நிறுவப்பட்ட சிகிச்சைகளுடன் சீரற்ற சமவாய்ப்பு சோதனைகளில் ஒப்பிடும்போது உயர்வாக காட்டப்பட வேண்டியதற்கான சாத்தியக் கூறுகள் என்ன?" என்கிற இந்த முக்கியமான கேள்வியை இந்த காக்குரேன் ஆராய்ச்சி முறை திறனாய்வானது முகவுரைக்கிறது.இந்த திறனாய்வு சேர்க்கை அடிப்படையை பூர்த்தி செய்த, முற்றிலும் 297,744 நோயாளிகளை பதிவில் கொண்ட 743 சோதனைகளை உள்ளடக்கி பகிரங்கமாக நிதியுதவி பெற்ற நான்கு சீரற்ற சமவாய்ப்பு சோதனைகளின் தொடர்ச்சியான தொகுப்பைக் கொண்டது. சராசரியாக, புதிய சிகிச்சைகள் நிறுவப்பட்ட சிகிச்சைகளை விட, முதன்மை விளைவுகளின் இலக்கு மற்றும் ஒட்டுமொத்த உயிர்வாழ்தல் அடிப்படையில் சாதகமான விளைவுகளைப் பெறுவதற்கு மிகக் குறைந்தளவில் கூடுதல் வாய்ப்பை பெற்றிருக்கிறது என்பதை நாங்கள் கண்டறிந்தோம். வேறுவிதமாக கூறினால், சீரற்ற சமவாய்ப்பு சோதனைகளில் புதிய சிகிச்சைகளை நிறுவப்பட்ட சிகிச்சைகளுடன் ஒப்பிடும் போது, பாதிக்கு மேற்பட்டவை திறன் வாய்ந்ததாகவும், மற்றும் பாதிக்கும் குறைவானவை மோசமானதாகவும் நிரூபிக்கப்படும் என்று எதிர்பார்க்கலாம். நமது பகுப்பாய்வில் வணிக ஆதரவாளர்கள் மூலம் நிதியுதவி பெற்ற ஆய்வுகளை பகுப்பாய்வில் சேர்க்காததன் காரணமாக, இந்த முடிவு பொது நிதியுதவி பெற்ற சோதனைகளுக்குப் பொருந்தும். இம்முடிவுகள் சீரற்ற சமவாய்ப்பு ஒதுக்கீடு பற்றிய நெறிமுறை முன்நிபந்தனைகளுக்கு இசைவானதாக இருக்கிறது. சீரற்ற சோதனைகளில் மக்கள் சேர்க்கப்படும் போது, சீரற்ற சோதனைகளில் ஒப்பிடப்படும் சிகிச்சைகளில் எந்த சிகிச்சை உயர்ந்ததாக நிரூபிக்கும் என்ற உண்மையான நிச்சயமற்ற நிலையின் காரணமாக முன்கூட்டியே முடிவுகளை கணிக்க முடியாது.

மொழிபெயர்ப்பு குறிப்புகள்

மொழி பெயர்ப்பாளர்கள்: தங்கமணி ராமலிங்கம், ப்ளசிங்டா விஜய், சிந்தியா ஸ்வர்ணலதா ஸ்ரீகேசவன், ஸ்ரீகேசவன் சபாபதி.

Laički sažetak

Je li nova terapija uvijek bolja? Nove terapije u usporedbi s već uhodanim terapijama u randomiziranim kontroliranim pokusima

Nasumično razvrstavanje ispitanika (randomizacija) u kliničkim studijama služi za objektivno provjeravanje terapija u medicini te za ispitivanje koja vrsta terapije je bolja. Nasumično razvrstavanje ispitanika je etično jedino ako postoji stvarna dvojba o tome koja terapija je bolja. Ako su pacijent ili zdravstveni radnik sigurni da je jedna od terapija koje se analiziraju bolja, onda ne bi trebali pristati na nasumično razvrstavanje jer bi tada mogli možda biti razvrstani u skupinu koja prima terapiju za koju vjeruju da je lošija. Odluke o tome da li sudjelovati u randomiziranom kontroliranom pokusu još su teže zbog uvjerenja da novije terapije moraju biti bolje u odnosu na postojeće (stanardne, uhodane) terapije. Štoviše, razumljivo je da se ljudi nadaju da će tako biti i da će se pokazati da je nova terapija bolja. Da je to zaista točno, etički uvjeti koji se odnose na dvojbe u medicini često ne bi bili primjenjivi. U ovom Cochrane metodološkom sustavnom pregledu ispitano je sljedeće važno pitanje: "Kolika je vjerojatnost da će nova terapija biti bolja u odnosu na uhodanu, standardnu terapiju u randomiziranim kliničkim pokusima?" U ovaj sustavni pregled uključene su četiri kohorte randomiziranih kontroliranih istraživanja koja su financirana javnim novcem, s ukupno 743 klinička pokusa u kojima je sudjelovalo 297.744 pacijenata. Rezultati analize svih tih dokaza pokazuju da su novije terapije imale samo malo veću vjerojatnost da će se pokazati bojlima u odnosu na uhodane, standardne terapije, i kad su u pitanju glavni rezultati, a isto tako i ukupno preživljenje. Drugim riječima, kad se novija terapija u randomiziranim kontroliranim istraživanjima uspoređuje sa standardnom terapijom, možemo očekivati da će samo malo više od polovice njih dati bolje rezultate, a nešto malo manje od pola njih će se pokazati lošijima nego standardna terapija.  Taj zaključak odnosi se na studije financirane javnim novcem jer u ovaj sustavni pregled nisu uključene studije koje je financirala komercijalna industrija. Ti su rezultati dosljedni s etičkim uvjetima koji se odnose na nasumično razvrstavanje ispitanika - kad se ispitanici uključuju u randomizirane kontrolirane pokuse, rezultati se ne mogu unaprijed predvidjeti jer postoji stvarna dvojba o tome koja od terapija koje se uspoređuju će se zaista pokazati bolja. 

Bilješke prijevoda

Hrvatski Cochrane
Prevela: Livia Puljak
Ovaj sažetak preveden je u okviru volonterskog projekta prevođenja Cochrane sažetaka. Uključite se u projekt i pomozite nam u prevođenju brojnih preostalih Cochrane sažetaka koji su još uvijek dostupni samo na engleskom jeziku. Kontakt: cochrane_croatia@mefst.hr 

Résumé simplifié

Les nouveaux traitements par rapport aux traitements établis dans les essais randomisés

L'assignation aléatoire à différents groupes pour comparer les effets des traitements est utilisée dans les tests objectifs afin de déterminer parmi les options de traitement laquelle est préférable. L'assignation aléatoire est seulement éthiquement acceptable, s'il existe une réelle incertitude concernant la meilleure option de traitement. Si un patient ou un prestataire de soins de santé sait déjà avec certitude quel traitement faisant partie de la comparaison est préférable celui-ci ne devrait pas accepter l'assignation aléatoire, car cela pourrait impliquer le risque d'être affecté à un traitement qu'il considère comme inférieur. Les décisions concernant la participation à des essais randomisés sont compliquées par la croyance largement répandue selon laquelle les nouveaux traitements sont inévitablement supérieurs aux traitements existants (standard). En effet, il est compréhensible que les gens aient l'espoir que cela soit véridique. Si cela était vraiment le cas, cependant, le prérequis éthique nécessitant la présence d'une incertitude ne s'appliquerait que rarement. Cette revue méthodologique Cochrane porte sur la question importante suivante : "Quelle est la probabilité que des nouveaux traitements, une fois comparés aux traitements établis dans des essais randomisés soient jugés comme supérieurs ? Quatre cohortes portant sur des essais randomisés consécutifs et publiquement financés, incluant au total 743 essais portant sur 297 744 patients, répondaient à nos critères d'inclusion dans cette revue. Nous avons trouvé que, en moyenne, les nouveaux traitements étaient très légèrement plus susceptibles d'avoir des résultats favorables par rapport aux traitements établis, à la fois en termes de critères de jugement principaux ciblés et de survie globale. En d'autres termes, lorsque des nouveaux traitements sont comparés à des traitements établis dans des essais randomisés, nous pouvons nous attendre à ce que légèrement plus de la moitié de ceux-ci se révèlent être plus efficaces, et à ce que légèrement moins de la moitié se révèlent être inférieurs aux traitements établis. Cette conclusion s'applique aux essais publiquement financés car nous n'avons pas inclus les études financées par des sponsors commerciaux dans nos analyses. Les résultats sont cohérents avec le prérequis éthique à l'assignation aléatoire – lorsque des personnes sont impliquées dans des essais randomisés, il ne doit pas être possible de prédire les résultats au préalable et il doit exister une réelle incertitude concernant la supériorité de l'un des traitements comparés dans des essais randomisés. 

Notes de traduction

Traduction réalisée par Martin Vuillème et révisée par Cochrane France