So bewerten wir

Wer wissen will, ob Magnesium gegen Krämpfe hilft, findet in wenigen Minuten ein Dutzend Antworten, und fast jede beruft sich auf „Studien“. Genau darin liegt das Problem. Denn für beinahe jedes Versprechen lässt sich irgendwo eine kleine Untersuchung finden, die es zu stützen scheint. Entscheidend ist deshalb nicht, ob es eine passende Studie gibt, sondern was alle guten Studien zusammen zeigen. Diese Seite erklärt, wie SuppStudies das herausfindet und an welchen Stellen wir bewusst streng sind.

Warum feste Regeln statt Bauchgefühl?

Jede Einschätzung auf dieser Seite folgt Regeln, die vorher feststehen und für alle Inhaltsstoffe gleich gelten. Niemand setzt eine Stufe von Hand, weil ihm ein Ergebnis plausibel oder eine Studie sympathisch erscheint. Stattdessen werden zuerst die Fakten zu jeder Wirkung erhoben, also wie viele Studien es gibt, wie groß sie sind und was sie fanden. Erst danach ordnet ein Rechenprogramm diese Fakten nach den Regeln einer Stufe zu.

Das klingt bürokratisch. Der Grund dafür ist aber einfach, denn wer im Einzelfall entscheidet, entscheidet unbemerkt oft so, wie er es sich wünscht. Feste Regeln schützen davor, auch vor unseren eigenen Erwartungen. Hält eine Regel einer Prüfung nicht stand, wird die Regel geändert, und dann gilt die Änderung sofort für alle Stoffe, nie nur für einen.

Was die Stufen bedeuten

Für jede untersuchte Wirkung vergeben wir eine von fünf Stufen. Sie beschreiben nicht, wie stark ein Mittel wirkt, sondern wie sicher man sich nach heutigem Wissen sein kann. Am meisten zählen dabei Meta-Analysen, also Auswertungen, die viele kontrollierte Studien zu einer Frage zusammenrechnen. Kontrolliert heißt, dass eine Vergleichsgruppe ein Scheinpräparat bekam, ohne dass die Teilnehmenden wussten, wer was schluckt.

Am häufigsten taucht auf unseren Seiten die Stufe „unklar“ auf. Das ist kein Zufall. Viele Wirkstoffe wurden nur in wenigen kleinen Studien geprüft, oft über wenige Wochen. Damit dieser Unterschied sichtbar bleibt, steht unter „unklar“ eine zweite Zeile: „erste Hinweise“ heißt, dass die bisherigen Studien eher positiv sind, es aber an Masse fehlt. „Widersprüchlich“ heißt dagegen, dass ordentliche Studien sich gegenseitig widersprechen und mehr vom Gleichen die Frage womöglich nicht klärt.

Auch „spricht dagegen“ ist eine echte Auskunft und kein Urteil über die Pflanze oder das Mineral. Es bedeutet nur, dass sich ein bestimmtes Versprechen in guten Studien nicht gezeigt hat. Ein Stoff kann bei einer Beschwerde gut belegt sein und bei der nächsten gegen sich sprechen, deshalb bewerten wir jede Wirkung einzeln.

Wie wir Risiken einstufen

Für die Sicherheit gilt derselbe Maßstab, nur umgekehrt gelesen. Gezählt wird hier nicht ein Nutzen, sondern ein Schaden, der in kontrollierten Studien häufiger auftrat als beim Scheinpräparat. Daraus ergeben sich die Stufen „Schaden belegt“, „Schaden wahrscheinlich“, „ungeklärt“, „kein Schaden gefunden“ und „nicht untersucht“. Dabei ist „kein Schaden gefunden“ die beste Nachricht, die Studien liefern können. Eine Garantie ist sie trotzdem nicht.

Manche Effekte sind zwar gut belegt, aber harmlos. Kreatin etwa lässt einen Laborwert für die Nieren steigen, ohne die Nieren zu schädigen, und solche Fälle kennzeichnen wir eigens, statt mit Warnfarben Angst zu machen. Umgekehrt nennen wir ausdrücklich, für wen es keine Daten gibt, etwa für Schwangere, Kinder oder Menschen mit kranken Nieren. Fehlende Studien sind schließlich keine Entwarnung.

Warum Fallberichte und Behördenwarnungen zählen

Seltene Schäden zeigen sich in Studien mit ein paar Hundert Teilnehmenden kaum. Sie fallen eher dort auf, wo viele Menschen ein Mittel über lange Zeit nehmen, in Fallberichten aus Kliniken, in Meldesystemen für Nebenwirkungen und in den Bewertungen von Behörden. Solche Hinweise beweisen keinen Zusammenhang. Sie wegzulassen, wäre trotzdem fahrlässig.

Deshalb gilt eine feste Untergrenze: Liegen Fallberichte, Meldedaten oder eine ausdrückliche Warnung einer Behörde vor, steht bei diesem Risiko nie „kein Schaden gefunden“ und nie „nicht untersucht“, sondern höchstens „ungeklärt“. Zählt aber nicht jede Behördenäußerung als Warnung? Nein, sondern nur eine, die vor einem Schaden warnt oder von der Einnahme abrät, etwa ein Rückruf, ein Verkaufsverbot oder eine aus einem Schaden abgeleitete Höchstmenge. Die Hinweise selbst stehen bei jedem Risiko mit Quelle, damit sich jeder selbst ein Bild machen kann.

Woher die Studien kommen

Gesucht wird in PubMed, der großen öffentlichen Datenbank der US-Nationalbibliothek für Medizin, und in frei zugänglichen Volltexten. Eine Quelle ohne PubMed-Eintrag zählt für die Stufe nicht, auch wenn sie in Werbebroschüren gern zitiert wird. Wenn im Kurztext einer Studie eine wichtige Zahl fehlt, etwa die Zahl der Teilnehmenden, lesen wir den frei verfügbaren Volltext. Bleibt die Zahl auch dort offen, zählt sie als unbekannt, und eine unbekannte Zahl kann eine Stufe weder heben noch senken.

Für jede Wirkung legen wir vorher fest, welcher Messwert zählt und bei welcher Personengruppe. Gibt es mehrere Messwerte, hat der klinisch wichtigere Vorrang, beim Blutzucker also der Langzeitwert vor dem Nüchternwert und eine echte Erkrankung vor einem Laborwert. So lässt sich nicht nachträglich der Messwert heraussuchen, der am besten aussieht. Studien mit Infusionen im Krankenhaus gelten außerdem nie für Tabletten, weil eine Spritze in die Vene etwas ganz anderes ist als eine Kapsel zum Frühstück.

Zwei Erhebungen, die sich nicht sehen

Jede Wirkung wird zweimal erhoben, und zwar unabhängig voneinander. Die zweite Erhebung kennt die erste nicht und liest dieselben Studien noch einmal von vorn. Danach werden beide abgeglichen. Kommen sie zur selben Stufe, gilt diese. Weichen sie voneinander ab, gilt automatisch die vorsichtigere, beim Nutzen also die niedrigere und bei Risiken die besorgtere.

Dieser doppelte Weg kostet Zeit, fängt aber Fehler ab, die einer einzelnen Erhebung leicht entgehen. Mal wurde eine Studie übersehen, mal zählte eine Erhebung eine Teilgruppe mit, die nicht zur Frage passte. Jede Abweichung wird protokolliert, und wo sich dahinter eine Lücke in den Regeln zeigt, wird die Regel ergänzt und für alle Stoffe neu durchgerechnet.

Was eine Stufe nach unten drückt

Manche Schwachstellen sind so ernst, dass sie eine Stufe begrenzen, egal wie gut der Rest aussieht. Der Grundsatz dahinter lautet: Im Zweifel vorsichtiger. Die wichtigsten Bremsen sind diese.

• Geld vom Hersteller: Stammen die positiven Studien überwiegend von Herstellern, die das Mittel verkaufen, bleibt es höchstens „unklar“. Dass ein Hersteller nur die Kapseln stellt, zählt dabei nicht als Finanzierung.
• Eine große Studie ohne Effekt: Findet eine sauber kontrollierte Studie mit mindestens tausend Teilnehmenden keinen Nutzen, ist höchstens „wahrscheinlich“ möglich, auch wenn kleinere Studien positiv waren.
• Nur offene Studien: Zeigt sich ein Nutzen nur in Studien, in denen alle wussten, wer das Mittel bekam, bleibt es bei „unklar“.
• Gesamtzahlen über viele Messwerte: Manche Auswertungen nennen nur, wie viele Studien sie insgesamt für eine Erkrankung gesammelt haben, nicht wie viele genau den fraglichen Wert gemessen haben. Für „gut belegt“ reicht das allein nicht.
• Neuauflagen zählen einmal: Eine aktualisierte Fassung derselben Übersicht ist keine zweite, unabhängige Bestätigung, auch wenn sie ein neues Erscheinungsjahr trägt.
• Weitere Grenzen: Weniger als 500 Teilnehmende in der wichtigsten Auswertung, ein von den Autoren selbst als unbedeutend bezeichneter Effekt oder unplausibel große Effekte bremsen ebenfalls.

Jede dieser Bremsen steht auf den Stoffseiten direkt an der betroffenen Wirkung. Unter „Warum diese Stufe?“ lässt sich nachlesen, welche Regel gegriffen hat und welche Studie den Ausschlag gab.

Keine Kauflinks, keine Produkttests

Auf den Evidenzseiten gibt es keine Kauflinks, keine Rabattcodes und keine Produktempfehlungen. Das ist eine bewusste Entscheidung. Denn sobald eine Seite an jedem Kauf mitverdient, gerät jede Einschätzung in Verdacht. Wir bewerten Wirkstoffe, keine Marken, und wenn es um Formen oder Dosierungen geht, stützen wir uns auf die Studien und nicht auf einzelne Produkte.

Diese Seite ersetzt keine ärztliche Beratung. Keine Werbung, keine Kauflinks, keine Produktempfehlungen.