Das Online-Magazin des DATADIWAN

Ausgabe Nr. 2 / November 1998 - ISSN 1435-1560

Autor:	Prof. Dr. Joachim Hornung
Keywords:	Methodologie, Methodology, monophasische prospektive Einzelfallstudie, single-case studies, Wirksamkeitsnachweis, Naturheilkunde, Naturopathy, unkonventionelle Therapierichtungen, randomisierte placebokontrollierte Doppelblindstudie, Randomized Clinical Trials, RCT
Abstract:	Der Artikel bezieht sich auf den Einführungsvortrag von Prof. Dr. J. Hornung, gehalten auf dem Kreativsymposium. Er zeigt die Gründe auf, die gegen die weitverbreitete randomisierte Doppelblindstudie sprechen. Der Text ist eine überarbeitete Fassung eines Vortrags, der am 15.6.1996 in Rosenfeld gehalten wurde. Er ist der Einstieg zu einem weitergehende und das Thema vertiefenden Aufsatz, der den Titel haben wird: "Randomisierte Doppelblindstudien - logisch fundiert?"
Copyright:	Patienteninformation für Naturheilkunde e.V., Berlin 1998
	Datadiwan Netzwerk

•  Medizin und Naturwissenschaft
•  Randomisierter klinischer Versuche - der Beginn
•  Die Forderung nach objektiver Effektivität bzw. Ineffektivität
•  Die Kritik an der RCT
•  Die Metaanalyse
•  Alternativen zur RCT
•  Addendum: RCTs, Doppelblind und Placebo
•  Literatur

Unter Wissenschaftlichkeit versteht man in unserer Zeit zwei Dinge: Einmal die Art des methodischen Vorgehens in der medizinischen Forschung, indem man nur das gelten läßt, was durch Analyse, Maß und Zahl zu bestimmen ist. Zum zweiten wird vorausgesetzt, das alles Beobachtbare letztlich auf physikalische und chemische Vorgänge zurüchzuführen ist. Allem Forschen und Verstehen wird ein streng materialistisch-mechanistisches Weltbild zugrundegelegt. In der Erkenntnislehre nennt man das Reduktionismus.

Der Anspruch auf Wissenschaftlichkeit in der etablierten westlichen Medizin tritt auf gepaart mit dem Anspruch auf Alleingültikeit, Fortschrittlichkeit und Effizienz. Randomisierter klinischer Versuche - der Beginn
Erst nach dem 2. Weltkrieg wurden Methoden entwickelt, um die Wirksamkeit von Therapien wissenschaftlich, d.h. nach heutigem Verständnis: mit statistischen Methoden, zu überprüfen. Beginnend mit der Streptomycin-Studie in London 1948 [12] wurde seither das Instrumentarium des randomisierten klinischen Versuchs entwickelt, verfeinert und in sehr großer Zahl angewandt. Dem entsprechend findet sich eine nicht mehr überschaubare Vielzahl von Berichten über randomisierte klinische Studien in der Fachliteratur. Daneben wurde eine Methodologie dieses Forschungsinstruments entwickelt, der wiederum zahlreiche Artikel, ganze Zeitschriften und Lehrbücher gewidmet sind. Randomisierte klinische Versuche gelten heute als die Forschungsmethode der Wahl, als goldener Standard, und haben den Charakter eines Paradigmas im Sinne Kuhns [88] angenommen.

Dieses Monopol besteht jedoch nur scheinbar. Angesichts des immer wieder erhobenen Wissenschaftlichkeitsanspruchs der Medizin wirkt es ernüchternd zu erfahren, daß nur 10-20 % aller Therapien überhaupt wissenschaftlich (und das heißt heute: in randomisierten Studien) überprüft wurden, und daß für nur 5 % ein positiver Effizienznachweis tatsächlich erbracht wurde [1, 122].

Auch heute noch gilt: Die Medizin ist in erster Linie eine Kunstlehre, die auf individueller und kollektiver Erfahrung beruht, ebenso wie auf Denk- und Handlungsgewohnheiten und auf Lehrmeinungen [30]. Demzufolge werden in der klinischen Wirklichkeit auch ineffektive Therapien angewandt, und nicht in´s Denkschema passende effektive Therapien vernachlässigt. Die Forderung nach objektiver Effektivität bzw. Ineffektivität
Welche Therapien aber sind, in einem objektiven Sinne, effektiv und welche ineffektiv? Um den Streit zwischen persönlichen Ansichten, subjektiven Erfahrungen und verschiedenen Schulen zu überwinden, hat man nach verbindlichen Maßstäben gesucht, um einzelnen Therapieformen das Etikett "objektiv wirksam", oder anderen das Etikett "objetiv unwirksam" anheften zu können. Und gerade zu diesem Zweck sind die randomisierten klinischen Versuche entwickelt worden. (Wenn im folgenden von RCT´s, randomized clinical trials, die Rede ist, so ist damit zugleich auch die Problematik der Verblindung und der Placebo-Kontrolle angesprochen; siehe hierzu das Addendum am Ende dieses Artikels.) Wenn man betrachtet, mit welcher Selbstverständlichkeit die RCT´s als alleingültiges Forschungsinstrument angesehen werden, wenn man die Leidenschaftlichkeit betrachtet, mit der diese immer wieder auch von der Komplementärmedizin gefordert werden, dann könnte man glauben, daß die RCTs naturgesetzlichen Charakter haben.

Es ist jedoch inzwischen durch zahlreiche Publikationen eine Fülle von Tatsachen und Argumenten bekannt geworden, die Brauchbarkeit und Nutzen der RCT´s ernstlich bezweifeln lassen. Eine hervorragende Übersicht über die vielfältigen Gründe, die gegen die randomisierten Studien sprechen, und die diesbezügliche Literatur findet sich bei Heusser [48]. Vorangehende Arbeiten im deutschsprachigen Raum stammen u.a. von Kiene [72-78], Begemann [4, 5], und Hornung [50-62]. Viele Gedanken finden sich jedoch schon bei Kienle und Burkhardt [79]. Die Kritik an der RCT
Ich fasse im folgenden einige der wichtigsten Aspekte der Kritik an den RCTs kurz zusammen.

RCT´s stellen im Sinne der Naturwissenschaften Experimente dar, die dazu dienen sollen, mehr und Genaueres über den Untersuchungsgegenstand, hier über ein Therapieverfahren, in Erfahrung zu bringen. In Experimenten werden künstliche Bedingungen geschaffen, die von selbst so in der Natur nicht vorkommen. Dabei besteht grundsätzlich die Möglichkeit, daß durch die künstliche experimentelle Anordnung der Untersuchungsgegenstand so beeinflußt wird, daß er nicht mehr sein normales Verhalten zeigt. Dieses kann in allen experimentellen Wissenschaften vorkommen, ist aber besonders bei der Erforschung lebender Systeme zu bedenken und nicht zuletzt bei psychologischen und medizinischen Forschungen, wenn intelligente Lebewesen artifiziellen Bedingungen ausgesetzt werden.

In RCT´s werden hochgradig künstliche Therapiebedingungen gesetzt. Daher ist die Frage nach der Übertragbarkeit der Ergebnisse auf den klinischen Alltag völlig offen [6, 13, 26, 28, 64, 65, 70, 89,120].

Charakteristisch für RCT´s sind:

• Kollektivierung der Patienten unter Mißachtung ihrer Individualität;
• Standardisierung der Therapie; häufig Reduktion auf eine Monotherapie;
• Zerstörung der natürlichen Arzt-Patienten-Beziehung;
• Nicht-Inanspruchnahme der Kompetenz des Arztes und damit Verzicht auf eine individuelle und dem Verlauf angepaßte Therapieführung;
• Verzicht auf gezielte Führung des Patienten auf den verschiedenen Seinsebenen (körperlich, mental, emotional, sozial, spirituell);
• gegenüber der normalen Behandlungssituation werden durch den informed consent grundlegend veränderte Informationen an die Patienten gegeben, somit veränderte Grundstimmung, Erwartungen und Compliance,
• bei den Ärzten Forschungsmotiv statt Heilmotiv.

Da die Patienten in einer klinischen Studie keine Zufallsstichprobe aus einer größeren Gesamtheit darstellen, da ihre Zusammensetzung immer eine besondere ist, lassen sich die Ergebnisse nicht auf andere Patientenkollektive übertragen [4, 13, 16, 27, 34, 40]. Das Problem der Verallgemeinerbarkeit von Studienergebnissen ist nicht lösbar [56]. Da die Therapiebedingungen immer Klinik-spezifisch, Praxis-spezifisch und Arzt-spezifisch sind, lassen sich die Ergebnisse nicht auf andere Kliniken, Praxen, Ärzte übertragen [24, 76, 77, 78, 109]. Die Ergebnisse von Kollektivstudien sind auf den einzelnen Patienten nicht anwendbar [13, 17, 28, 34, 89].

Das Forschungswerkzeug RCT ist nicht validierbar, da es keinen Vergleichsmaßstab gibt. Man weiß grundsätzlich nicht, ob die Resultate klinischer Studien verläßlich, allgemeingültig und auf die Praxis übertragbar sind.

Daher bleibt den Propagatoren der RCTs nichts anders übrig, als sich auf Literaturzitate, Autoritäten und auf eine vorgebliche Logik zu berufen. Es ist auffällig, wie wenig das Grundprinzip der RCTs, ebenso die Prinzipien der Verblindung und der Placebokontrolle, in der Literatur logisch begründet werden. Statt dessen wird heute durchgängig so getan, als seien diese gottgegeben und ohne allen Zweifel gültig, so wie dies eben bei Paradigmen im Sinne KUHN´s [88] der Fall ist. Nach einer präzisen Begründung wird man die Verfechter oft vergeblich fragen.

Im Gegenteil wurde in [51] gezeigt, daß nahezu dieselben Gründe, die für  das Doppelblindverfahren sprechen, auch gegen es sprechen. Doch erst durch die Verblindung wird eine randomisierte Studie beweiskräftig, so daß durch jene Überlegungen auch die RCTs an sich nicht mehr fundiert sind. Das ganze Verfahren ist eben nicht  logisch begründbar. Eine Neufassung von [51] ist für den Datadiwan in Vorbereitung [63]. Mithin stehen wir vor der bedauerlichen Tatsache, daß RCTs weder theoretisch herleitbar noch empirisch validierbar sind.

Wie steht es aber mit den praktischen Erfahrungen, die man mit ihnen macht? Die Ergebnisse der praktischen Anwendung sind nun allerdings sehr enttäuschend. Studien zum gleichen Thema kommen oft zu widersprüchlichen Ergebnissen [9, 13, 32, 36, 38, 64, 66], widersprechen nicht selten der klinischen Erfahrung, sind methodisch notorisch mangelhaft [2, 3, 8, 25, 39, 42, 47, 49, 87, 94, 105, 112, 115, 117]. Sie unterliegen einem völlig intolerablen publication bias [14, 20, 21, 22, 41, 42, 45, 98, 101, 104, 113], sind meist schlecht dokumentiert und finden, wohl zu Recht, kaum Resonanz in der Praxis [23, 71]. Fast alle Studien werden von Befürwortern der beforschten Therapie oder von finanziell Abhängigen gemacht. Beteiligte Ärzte und Studienleiter wissen, welche Ergebnisse erwünscht sind. Auf dieser Stufe gibt es weder Verblindung, noch Objektivität noch Unvoreingenommenheit. RCT´s sind nicht praxiskonform, ethisch bedenklich, verfälschen den Untersuchungsgegenstand und führen zu unbrauchbaren Resultaten. Sie sind zu groß, zu schwerfällig, zu teuer [19, 31, 44, 96]. Zum medizinischen Fortschritt tragen sie kaum bei [1, 23, 37, 48, 70, 71, 108]; sind eher innovationsfeindlich [48]. Niemals endende Probleme ergeben sich bei der praktischen Durchführung, z.B. ist die Verblindung nicht zu garantieren und über längere Zeit nicht aufrecht zu erhalten [100, 102]. Die Metaanalyse
Angesichts der Unzulänglichkeiten der RCT´s hat man jetzt ein neues Heilmittel ersonnen: Man macht aus vielen schlechten Studien eine gute und nennt das Verfahren Metaanalyse. Auf diese Weise können die winzigsten Unterschiede noch signifikant gemacht werden, seien sie auch klinisch noch so irrelevant [57] und durch die einzelnen Studien, die in die Metaanalyse eingehen, längst widerlegt. So löst man das Problem auch nicht [15, 24, 29, 123]. Insbesondere kommt man so dem Experimentatoreffekt [107] nicht bei, welcher auf sehr subtiler, in der Klinik aber auch auf recht handfester Ebene wirksam werden kann.

Obwohl all diese Dinge durch die Literatur bestens belegt und in Fachkreisen auch bekannt sind, wird an den Säulen nicht gerüttelt. Jährlich werden unglaubliche Summen für RCTs ausgegeben, werden Patienten in klinischen Studien wissentlich mangelhaft, falsch oder gar nicht behandelt, werden Entscheidungen über Zulassung und Kassenerstattung von RCTs abhängig gemacht. Die verschiedenen Zweige der Komplementärmedizin werden immer wieder mit dem Argument bedrängt, ihre Therapien seien nicht wissenschaftlich, gemeint ist: mit RCTs, überprüft worden. Das herrschende System schottet sich nach außen hin ab. Die eigenen Methoden werden ohne Diskussion als wissenschaftlich eingestuft, obwohl sie es zum großen Teil nicht sind. Ein Paradigmenwechsel ist nicht in Sicht, obwohl sachlich geboten und von einigen Autoren durchaus gefordert [5, 10, 11, 18, 34, 40, 64, 75, 77, 78, 92, 110, 116].

Das Symposion in Rosenfeld war so konzipiert, daß über die Kritik an den RCTs nicht diskutiert werden sollte, sondern über mögliche Alternativen. Ganz ließ sich die Thematik der Kritik jedoch nicht vermeiden.

Die meisten Teilnehmer des Symposions arbeiten im Bereich der Komplementärmedizin in so bekannten Richtungen wie Homöopathie, Psychotherapie, anthroposophischer Medizin etc.. Sie sehen sich der ständigen Aufforderung der Universitäten, der Ämter und Behörden ausgesetzt, ihre Therapieverfahren mit sog. wissenschaftlichen Methoden zu validieren. Es wäre schön, wenn das dazu nötige Instrumentarium bereitstünde, dann könnte man dieser Aufforderung zumindest exemplarisch nachkommen.

Nach dem Gesagten ist aber das Gegenteil der Fall: Zunächst muß die Unhaltbarkeit der Forderung nach RCTs gezeigt werden, sodann sind überzeugende, brauchbare Alternativen zu entwickeln, zu erproben und zu etablieren. Damit ist das Thema des Symposions umrissen. Alternativen zur RCT
Welche Eigenschaften müßten nun diese Alternativen haben? Dies ergibt sich leicht aus dem Gesagten: Alles, was den RCT´s angelastet wurde, setze man in´s positive Gegenteil, und schon hat man einen Wunschkatalog [54]. Ob sich all diese Wünsche in einer Methode vereinigen lassen, bleibt abzuwarten.

Ganz oben in dieser Wunschliste stehen für mich folgende Punkte:

• Praxiskonformität,
• Individualität und Flexibilität der Therapie,
• intaktes Arzt-Patienten-Verhältnis.

Wie die Dikussion auch verlaufen möge, vor einem muß ich jedoch warnen: vor der Durchführung weiterer doppelblinder, placebokontrollierter RCTs. Das ist Verschwendung von Zeit, Geld und Mühe, die man in Nützlicheres investieren kann. Als Beispiel mögen die desolaten Resultate der Homöopathieforschung [58, 111, 124] dienen. Addendum: RCTs, Doppelblind und Placebo
Es gibt verschiedene Typen randomisierter Studien: Nicht-blinde, einfach-blinde, doppelblinde und mehrfachblinde Studien. Um die Vergleichbarkeit der Gruppen sicherzustellen, muß, nach der Logik der RCT´s, mehrfach verblindet werden. Denn Nichtverblindung führt aufgrund unterschiedlicher Einstellungen von Patienten, Ärzten und Auswertern zu unterschiedlichen Behandlungen, Beobachtungen, Erwartungen und Ergebnissen. Ein großes Handikap der RCTs besteht darin, daß viele Therapien gar nicht verblindet werden können. Gründe sind: Offensichtlichkeit bei nicht-medikametösen Therapien, Nebenerscheinungen bei Arzneimitteln, mangelndes Einverständnis von Ärzten und/oder Patienten mit dieser Prozedur [51]. Dort, wo die Verblindung durchführbar erscheint, ist sie jedoch auch nicht unproblematisch: Sie erfordert eine spezielle, psychologisch gesehen absurde Aufklärung der Patienten, welche ihrerseits die Studienergebnisse verfälschen kann [7, 51, 74, 77, 78, 84, 85, 103, 114, 121]. Überdies ist die Blindheit einer Studie meist nur ein frommer Wunsch; Überprüfungen ergeben oft das Gegenteil [100, 102], d.h., Patienten und Ärzte können die tatsächlich angewandte Therapie oft mit einer Trefferquote von weit über 50 % zutreffend angeben.

Bei kontrollierten Studien unterscheidet man zwischen einem absoluten und einem relativen Wirksamkeitsnachweis. Ein absoluter Wirksamkeitsnachweis ist nach der internen Logik der RCTs nur durch Placebokontrolle erreichbar. Placebos spielen hier die Rolle eines vermeintlich zuverlässigen Referenzpunktes, so wie der Nullpunkt eines Meßinstruments, was sie aber nicht sind [5, 74, 77, 78, 96, 99].Es ist inzwischen deutlich geworden, daß Begriff, Bedeutung und Ausmaß des Placebo-Effektes völlig ungeklärt sind [80-83]. Zunächst einmal erweist es sich als äußerst schwierig, in der Fachdiskussion zwei verschiedene Placebo-Begriffe genau zu unterscheiden:

1. Ein Placebo-Effekt im engeren Sinne ist die Wirkung der Gabe eines Leerpräparates, wenn dieses als ein Verum deklariert wird.
2. Ein Placebo-Effekt im weiteren Sinne ist die Auswirkung der gesamten Behandlungssituation als solcher auf den Patienten minus der Wirkung der eingesetzten Therapien. Dies wird häufig auch als Droge-Arzt-Effekt bezeichnet, was aber etwas zu kurz greift.

Eine brauchbare Definition des Placebo-Effektes in engerem Sinne findet sich, außer in [55], wie ich meine, in der gesamtem Placebo-Literatur nicht.

Der Placebo-Effekt im weiteren Sinne findet bei jedem Arztbesuch oder Klinikaufenthalt statt. Sein Ausmaß ist kaum zu bestimmen. Die Additivität zur Wirkung der spezifischen Therapie ist hypothetisch und keineswegs sicher. Andere Formen der Interaktion sind vorstellbar.

Der Placebo-Effekt im engeren Sinne ist, wenn denn Leerpräparate gegeben werden, immer verkoppelt mit dem Droge-Arzt-Effekt. Die Additivität ist jedoch keineswegs sicher.

Der Placebo-Effekt im engeren Sinne ist immer auch ein Bestandteil der Wirkung der spezifischen Therapie. Auch hier sind andere Modelle jenseits der simplen Additivität möglich [5, 55, 73, 74, 77, 78, 86, 95, 99]. Der Therapieeffekt ist dann nicht mehr zu ermitteln.

Was das Ausmaß des Placebo-Effektes im engeren Sinne anbetrifft, so herrschen hierüber abenteuerliche und völlig falsche Vorstellungen [80-83]. Gewöhnlich werden alle positiven Veränderungen in der Patientengruppe, welche Placebo erhält, als Placebo-Effekt interpretiert. Es gibt aber zahlreiche andere mögliche Ursachen für solche Veränderungen [80-83].

Eine genaue Betrachtung des Placebo-Begriffs zeigt, daß in randomisierten Studien mit informed consent gar keine Placebos im üblichen Sinne gegeben werden, sondern etwas anderes, was nur der menschliche Geist ersinnen kann [55].

In der Hoffnung auf einen regen Gedankenaustausch,
Ihr Joachim Hornung
 

Literatur

1. Abel U: Die zytostatische Chemotherapie fortgeschrittener epithelialer Tumoren. Eine kritische Bestandesaufnahme. Hippokrates, Stuttgart 1990, Einleitung
2. Altman DG: Statistics and ethics in medical research, Br Med J 281: 1542-1544, 1980
3. Altman DG: Statistics in medical journals. Stat Med 1:59-71, 1982
4. Begemann H: Therapie als Wissenschaft. Bemerkungen zum Problem der vergleichenden Therapiebewertung am Beispiel der Zytostatika. Dtsch med Wschr 113 (30): 1198-1203, 1988
5. Begemann H: Die Medizin und die Naturwissenschaften. Schw Ärztezeitung 38 (71): 1560-6, 1990
6. Begg CB, Engstrom PF: Elegibility and Extrapolation in Cancer Clinical Trials. J Clin Oncology 5 (6): 962-968, 1987
7. Bergmann JF, Chassany O, Gandiol J. Deblois P, Kanis JA, Sgrestaa JM, Chaulin CH, Dahan R: A randomized clinical trial of the effect of informed consent on the analgesic activity of placebo and naproxen in cancer pain. Clinical Trials and Meta-Analysis 29: 41-47, 1994
8. Block JB, Elashoff RM: The Randomized Clinical Trial in Evaluation of new Cancer Treatment-Pro. Methods in Cancer Research 17: 259-275, 1979
9. Bobbio M, Demichelis B, Giustetto G: Completeness of reporting trial results: effect on physicians willingness to prescribe. Lancet 343: 1209-1211, 1994
10. Bonchek LI: The Role of the Randomized Clinical Trial in the Evaluation of New Operations. Surgical Clinics of North America 62 (4): 761-769, 1982
11. Bradley C: Clinical Trials - Time for a Paradigm Shift? Diabetic Medicine 5: 107-109, 1988
12. The British Medical Research Council: Streptomycin treatment of pulmonary tuberculosis. Br Med J 2:769-782, 1948
13. Burkhardt R, Kienle G, Schreiber K: Methodologische Gesichtspunkte zum kontrollierten Therapieversuch. In [79 ] Kp 2, S 19-88
14. Chalmers I, Hetherington J, Newdick M, Mutch L, Grant A, Enkin M, Enkin E, Dickersin K: The Oxford database of perinatal trials. Controlled Clin Trials 7:306-324, 1986
15. Chalmers TC, Berrier J, Sacks HS, Levin H, Reitman D, Nagalingam R: Meta-Analysis of Clinical Trials as a Scientific Discipline II: Replicate Variability und Comparison of Studies that Agree and Disagree. Statistics in Medicine 6: 733-744, 1987
16. Charlson ME, Horwitz RI: Applying results of randomized trials to clinical practice: impact Literaturverzeichnis 31.7.98 Seite 2 (7) of losses before randomisation, Br Med J 289: 1281-1284, 1984
17. DeLap RJ: The effect of Leucovorin in the Therapeutic Index of Fluorouracil in Cancer Patients. The Yale Journal of Biology and Medicine 61: 23-24, 1988
18. Denollet J, Sys SU, et al: Personality as independent predictor of long-term mortality in patients with coronary heart disease. Lancet 347: 417-21, 1996
19. DeVita VT: Breast cancer therapy: exercising all our options. N Engl J Med 320 (8): 527- 529, 1989
20. Dickersin K, Chan S, Chalmers TC, Sacks HS, Smith H Jr.: Publication bias and clinical trials. Controlled Clin Trials 8: 343-353, 1987
21. Dickersin K: Report from the panel on the case for registers of clinical trials. Controlled Clin Trials 9: 76-81, 1988
22. Easterbrook PJ, Berlin JA, Gopalan R, Matthews DR: Publication bias in clinical research. Lancet 337: 867-872, 1991
23. Editoral: Clinical trials and clinical practice, Lancet 342: 877-878, 1993
24. Egger M, Smith D: Meta-Analysen, Pharma Kritik 14 (14): 53-56, 1992
25. Emerson JD, Burdick E, Hoaglin DC, Mosteller E, Chalmers TC: An empirical study of the possible relation of treatment differences to qualitiy scores in controlled randomization trials. Controlled Clin Trials 11: 339-352, 1990
26. Fallowfield LJ, Hall A, Maguire GP, Baum M: Psychological outcomes of different treatment policies in women with early breast cancer outside a clinical trial, Br Med J 301: 575-580, 1990
27. Feinstein AR: Clinical Biostatistics. Saint Louis, Mosby, 1977
28. Feinstein AR: Clinical Judgment Rivisited: The Distraction of Quantitative Models, Annals of Internal Medicine 120 (9): 799-805, 1994
29. Feinstein AR: Meta-Analysis: Statistical Alchemy for the 21st Century. J Clin Epidemiol 48 (1): 71-79, 1995
30. Fleck L: Entstehung und Entwicklung einer wissenschaftlichen Tatsache - Einführung in die Lehre vom Denkstil und Denkkollektiv. Frankfurt am Main, Suhrkamp, 1980
31. Fleming ID: Barriers to Clinical Trials, Cancer 74 (9 suppl): 2662-2675, 1994
32. Flournoy N, Olkin I: Do small trials square with large ones? Lancet 345: 741-742, 1995
33. Freedman B, Equipoise and the Ethics of Clinical Research, N Engl J Med 317 (3): 141- 145, 1987
34. Freireich EJ: Is There Any Mileage Left in the Randomized Clinical Trial? Cancer Investigation 8 (2): 231-232, 1990
35. Ganz PA: Clinical Trials. Concerns of the Patient and the Public, Cancer 65 (10 suppl): 2394-2399, 1990 Literaturverzeichnis 31.7.98 Seite 3 (7 )
36. Gerbarg ZB, Horwitz RI: Resolving Conflicting Clinical Trials: Guidelines for Meta- Analysis, J Clin Epidemiol 41 (5): 503-509, 1988
37. Gehan EA, Freireich EJ: Cancer Clinical Trials. A Rational Basis for use of Historical Controls. Seminars in Oncology 8 (4): 430-436, 1981
38. Godfrey K: Comparing the Means of Several Groups, N Engl J Med 313 (23): 1450- 1456, 1985
39. Gore SM, Jones IG, Rytter EC: Misure of statistical methods. Br Med J No.1 (Jan 8): 85- 87, 1977
40. Gotay CC: Accrual to Cancer Clinical Trials: Directions from the Research Literature, Soc Sci Med 33 (5): 569-575, 1991
41. GØtzsche PC: Reference bias in reports of drug trials. Br Med J 295: 654-656, 1987
42. GØtzsche PC: Methodology and overt and hidden bias in reports of 196 double-blind trials of nonsteroidal antiinflammatory drugs in rheumatoid arthritis. Controlled Clin Trials 10: 31-56, 1989
43. Gough IR, Dalgleish LI: What Value Is Given to Quality of Life Assessment by Health Professionals Considering Response to Palliative Chemotherapy for Advanced Cancer? Cancer 68: 220-225, 1991
44. Hawley D, Wolfe F: Are the Results of Controlled Clinical Trials and Observational Studies of Second Line Therapy in Rheumatoid Arthritis Valid and Generalizable as Measures of Rheumatoid Arhtritis outcome: Analysis of 122 Studies. J Rheumatol 18: 1008-1014, 1991
45. Hawkins BS, Gannon C, Hoskin JD, James KE, Markowitz JA, Mowery RL: Archives for data and documents from completed clinical trials. Controlled Clin Trials 9: 19-22, 1988
46. Hellman S: Of Mice but not Men. N Engl J Med 324 (22): 1585-1589, !991
47. Hennekens CH, Buring J: Methodologic considerations in the design and conduct of randomized trials. Controlled Clin Trials 10: 142-150, 1989
48. Heusser P: Anhang II zu den Kriterien zur Beurteilung des Nutzens von komplementärmedizinischen Methoden . Handout an die Teilnehmer des gleichnamigen Workshops des Bundesamts für Sozialversicherung, Bern, Schweiz, 18.Dez.1997
49. 49 Hoffmann O: Application of Statistics and Frequency of Statistical Errors in Articles in Acta Neurochirurgica, Acta Neurochirurgica 71: 307-315, 1984
50. Hornung J, Ist unser Konzept der Arzneiprüfung richtig? Ärztl. Praxis 34 (53): p. 2051, 3. Juli 1982
51. Hornung J: Zur Problematik der Doppelblindstudien. therapeutikon 3 (12): 696-701, 1989
52. Hornung J: Zur Problematik der Doppelblindstudien. Dritte Mitteilung: Vier Literaturverzeichnis 31.7.98 Seite 4 (7 ) Qualitätsaspekte klinischer Studien. therapeutikon 5 (12): 649-654, 1991
53. Hornung J: Significant - and Nothing Else? On Formal Correctness, Validity, Quality of Publication, and Meta-Aspects of Controlled Clinical Trials. The Berlin Journal on Research in Homoeopathy 1 (3): 206-214, June 1991
54. Hornung J, Bartsch U, Schreiber O: Kriterienkatalog für die methodische Qualität klinischer Therapieprüfungen, Teile 1 und 2, Forschende Komplementärmedizin 1 (1): 44-49 und 1 (2), 76-86, 1994
55. Hornung J: Was ist ein Placebo? Die Bedeutung einer korrekten Definition für die klinische Forschung. Forschende Komplementärmedizin 1 (4): 160-165, 1994
56. Hornung J: Über Randomisation und Signifikanztests in klinischen Studien. Forschende Komplementärmedizin 2 (1): 6-11, 1995
57. Hornung J: Kritik der Signifikanztests. Metamed 1 : 325-345, 1977 (überarbeitete Fassung 1995, beim Autor, http://www.datadiwan.de, in Vorbereitung)
58. Hornung J: Quo vadis Homöopathieforschung? Über klinische Studien und Arzneimittelprüfung am Gesunden in der Homöopathie. Forschende Komplementärmedizin 3 ( 3): 91-101, 1996
59. Hornung J (Hrsg.): Forschungsmethoden in der Komplementärmedizin. Über die Notwendigkeit einer methodologischen Erneuerung. Schattauer, Stuttgart, 1996, 249 Seiten
60. Hornung J: Einleitung zu [59]
61. Hornung J: Signifikant - und sonst nichts? In [59], S. 147-152
62. Hornung J: Mein wichtigstes Anliegen zur Methodologie. In [59], S. 164-175
63. Hornung J: Randomisierte Doppelblindstudien - logisch fundiert? http://www.datadiwan.de, in Vorbereitung
64. Horwitz RF, Coulter HO: Complexity and Contradiction in the Results of Randomized Clinical Trials. Clinical Research 32 (2): 225A, 1984
65. Howard J, Friedman L: Controlled Clinical Trials and Medical Ethics, Lancet: p. 385, 1979
66. Iversen P, Rasmussen F, Klarskov P, Christensen FJ: Long-term Results of Danish Prostatic Cancer Group Trial 86. Cancer 72: 3851-3854, 1993
67. Joseph RR: Viewpoints and Concerns of a Clinical Trial Participant, Cancer 74: 2692- 2693, 1994
68. Joslin CAF: The patient´s view of breast cancer trials, Lancet 339: 314, 1992
69. Juhl E, Christensen E, Tygstrup N: The Epidemiology of the Gastrointestinal Randomized Clinical Trial, N Engl J Med 296 (1): 20-22, 1977
70. Kaufman D: Cancer Therapy and the Randomized Clinical Trial. Good Medicine? Cancer Literaturverzeichnis 31.7.98 Seite 5 (7 ) 72 (9 suppl): 2801-2804, 1993
71. Ketley D, Woods KL: Impact of clinical trials on clinical practice: example of thrombolysis for acute myocardial infarction, Lancet 342: 891-894, 1993
72. Kiene H: Ärztliche Individualethik und randomisierte Studien - Das Spektrum der Probleme. Biologische Medizin 3: 118, 1993
73. Kiene H: Arzneimittel-Placebo-Interaktion in Doppelblindstudien: Anlass für falsche Ergebnisse - Kritik der klinischen Doppelblindstudie. Biologische Medizin 3: 119-126, 1993
74. Kiene H: Kritik der klinischen Doppelblindstudie. Medizin Verlag München, 1993
75. Kiene H: Komplementärmedizin - Schulmedizin. Der Wissenschaftsstreit am Ende des 20. Jahrhunderts. Schattauer, Stuttgart, New York 1994
76. Kiene H, Kalisch M: Wissenschaftliche Dogmen bei der Nachzulassung von Arzneimitteln in der Bundesrepublik Deutschland. Aurelia, Baden-Baden 1995
77. Kiene H: A Critique of the Double-blind Clinical Trial, Part 1. Alternative Therapies in Health and Medicine 2(1): 74-80; 1996
78. Kiene H: A Critique of the Double-blind Clinical Trial, Part 2. Alternative Therapies in Health and Medicine 2(2). 59-61. 1996
79. Kienle G, Burkhardt R: Der Wirksamkeitsnachweis für Arzneimittel. Analyse einer Illusion. Urachhaus, Stuttgart 1983
80. Kienle GS: Der sogenannte Placeboeffekt - Illusion, Fakten, Realität. Schattauer Verlag Stuttgart, New York, 1995
81. Kienle GS, Kiene H: Placebo Effect and Placebo Concept: A Critical Methodological and Conceptual Analysis of Reports on the Magnitude of the Placebo Effect. Alternative Therapies in Health and Medicine 2 (6): 39-54, 1996
82. Kienle GS, Kiene H: Placeboeffekt und Placebokonzept. Eine kritische methodologische und konzeptionelle Analyse von Angaben zum Ausmaß des Placeboeffekts. Forsch Komplementärmedizin 3(3): 121-138, 1996
83. Kienle GS, Kiene H: The Powerful Placebo Effect. Fact or Fiction? J Clin Epidemiol 50 (12): 1311-1318, 1997
84. Kirsch I, Weixel LJ: Double-blind versus deceptive administration of a placebo. Behavioral Neuroscience 102 (2): 319-323, 1988
85. Kirsch I, Rosadino MJ: Do double-blind studies with informed consent yield externally valid results? Psychopharmacology 110: 437-442, 1993
86. Kleijnen J, de Craan AJM, van Everdingen J. Krof L: Placebo effect in double-blind clinical trials: a review of interactions with medications. Lancet 344: 1347-1349, 1994
87. Kuhlemann H, Majerus J, Möller J: Qualitätssicherung im Krankenhaus. Trugschlüsse Literaturverzeichnis 31.7.98 Seite 6 (7) biometrischer Untersuchungen, Dt Ärzteblatt 93 (36): 1747-1750, 1996
88. Kuhn TS: Die Struktur wissenschaftlicher Revolutionen. Frankfurt am Main, Suhrkamp, 1992
89. Lantos J: Ethics, Randomization, and Technology Assessment, Cancer 74 (9 suppl): 2653- 2656, 1994
90. Lau J, et al: Cumulative meta-analysis of therapeutic trials for myocardial infarction. N Engl J Med 23: 248-254, 1992
91. Laurence DR: Reply. Eur J Clin Pharmacol: 317-319, 1981
92. Legg England S, Evans J: Patients´ choices and perceptions after an invitation to participate in treatment decisions. Soc Sci Med 11 (34): 1217-1225, 1992
93. Levine RJ: Ethics of Clinical Trials. Do They Help the Patient?, Cancer 72 (9 suppl): 2805-2810, 1993
94. Liberati A, Himel HN, Chalmers TC: A quality assessment of randomized control trials of primary treatment of breast cancer. J Clin Oncol 4: 942-951, 1986
95. Lindahl O, Lindwall L: Is all therapy just a placebo effect? Metamedicine 3: 255-259, 1982
96. Lorenz W, Rohde H: Prospektive, kontrollierte Studien in der Chirurgie. Kontroverse Standpunkte zur Motivierung und Durchführung, Klin Wochenschr 57: 301-310, 1979
97. Martyn C: Not quite as random as I pretended, Lancet 347: 70, 1996
98. Meinert CL: Toward prospective registration of clinical trials. Controlled Clinical Trials 9: 1-5, 1988
99. Moerman DE: General Medical Effectiveness and Human Biology: Placebo Effects in the Treatment of Ulcer Disease. Medical Anthropology Quarterly 14: 3-16, 1983
100. Nash H: The double-blind procedure: Rationale and empirical evaluation. J Nerv Ment Dis 134: 34-47, 1962
101. Newcombe RG: Towards a reduction in publication bias. Br Med J 295: 656-659, 1987
102. Ney PG, Collins C, Spensor C: Double blind: Double Talk or are there ways to do better research. Med Hypotheses 21: 119-126, 1986
103. Peninck SB, Hinkle LE: The Effect of Expectation on Response to Phenmetrazine. Psychosomatic Medicine 26: 369-373, 1964
104. Piantadosi S, Byar DP: A proposal for registering clinical trials. Controlled Clin Trials 9: 82-84, 1988
105. Pocock J, Hughes MD, Lee RJ: Statistical problems in the reporting of clinical trials. New Engl J Med 317: 426-432, 1987
106. Redelmeier DA, Tversky A: Discrepancy between Medical Decisions for Individual Literaturverzeichnis 31.7.98 Seite 7 (7 ) Patients and for Groups, N Engl J Med 322 (16): 1162-1164, 1990
107. Rosenthal R: Experimenter Effects in Behavioral Research. Irvington, New York, 1976
108. Rossetti L, Marchetti I, Oralesi N, Scorpilione N, Torri V, Liberati A: Randomized clinical trials on medical treatment of glaucoma - are they appropriate to guide clinical practice? Arch Ophtalmol 111: 96-103, 1993
109. Rothwell PM: Can overall results of clinical trials be applied to all patients? Lancet 345: 1616-1619, 1995
110. Schain WS: Barries to Clinical Trials. Part II: Knowledge and Attitudes of Potential Participants. Cancer 74: 2666-2671, 1994
111. Schütte A: Forschung in der Veterinärhomöopathie im Spannungsfeld zwischen Anspruch, Wirklichkeit und Kritik; in [59].
112. Schulz KF: Randomized trials, human nature, and reporting guidelines, Lancet 348: 596- 598, 1996
113. Simes RJ: Confronting publication bias. Stat Med 6: 11-29, 1987
114. Skovlund E: Sollten wir an Studien teilnehmenden Patienten mitteilen, daß sie Placebo erhalten können? Lancet (Deutsche Ausgabe) 5 (11): 630-631, 1991
115. Smith R: Where is the Wisdom? The poverty of medical evidence. Br Med J 303: 798- 799, 1991
116. Sniderman AD: The governance of clinical trials, Lancet 347: 1387-1388, 1996
117. Solomon MJ, McLeod RS: Clinical studies in surgical journals - have we improved? Dis Colon Rectum 36: 43-48, 1993
118. Taylor KM, Shapiro M, Soskolne CL, Margolese RG: Physician Response to Informed Consent Regulations for Randomized Clinical Trials, Cancer 60: 1415-1422, 1987
119. Thornton HM: Breast cancer trials: a patient´s viewpoint, Lancet 339: 44, 1992
120. Tröhler U: Was ist therapeutische Erfahrung? Dt. Ärzteblatt 88 (39): 48-54, 1991
121. Uhlenhut EH et al: Drug, Doctor´s Verbal Attitude, and Clinic Setting in the Symptomatic Response to Pharmacotheray. Psychopharmacologia 9: 392-418, 1966
122. U.S. Congress, Office of Technological Assessment (OTA), Identify Health Technologies that Work: Surching for Evidence. US Government Printing Office, Washington DC 1994
123. Villar J, Carroli G, Belizán JM: Predictive ability of meta-analyses of randomized controlled trials. Lancet 345: 772-776, 1995
124. Walach H: Ist Homöopathie der Forschung zugänglich? Schweiz Rundsch Med Prax 83: 1439-1447, 1994