Es ist zweckmäßig und allein zielführend, VOR der statistischen Analyse von Daten die zu prüfenden Hypothesen zu formulieren. Nur für diese besteht später die Möglichkeit der Verallgemeinerung. Das damit gewonnene Resultat lässt sich dann auf eine durch die Stichprobe repräsentierte Grundgesamtheit übertragen und zwar mit einer Wahrscheinlichkeit, die durch das zuvor festgelegte Signifikanzniveau bestimmt wird. Ggf. sind multiple Tests dabei zu berücksichtigen (Anpassung / Korrektur des Signifikanzniveaus falls zutreffend).
Während der Analyse können die erhobenen Daten daraufhin durchgesehen werden, ob sich noch weitere Hypothesen aus ihnen gewinnen lassen - solche Hypothesen müssen dann mit großer VORSICHT formuliert und geprüft werden, da jeder Datensammlung zufällige Extreme aufweisen kann. Das Risiko eines alpha-Fehlers ist in unbestimmter Weise größer als dann, wenn die Hypothesen im Voraus formuliert sind.
Die aus dem Datenmaterial gewonnenen Hypothesen können als neue Hypothesen für spätere Untersuchungen wichtig werden. Sie sofort zu testen ist auch dann, wenn weitere Daten kaum beschafft werden können, gefährlich, selten nützlich und generell leider weiter verbreitet als man annehmen sollte.
