Atunci când apare un fenomen nou, oamenii raționali încearcă să-i detecteze cauzele, şi avansează diverse ipoteze care li se par plauzibile. Ulterior, în urma observării altor apariții ale fenomenului, unor ipoteze le creşte, altora le scade veridicitatea, fiind posibil chiar să se renunțe la ele; într-un cuvânt, plauzibilitatea fiecărei ipoteze „explicative” este reevaluată.

Testarea statistică de semnificație este o metodă de stabilire a gradului de plauzibilitate (veridicității?). Particularitatea sa este limpede: se referă la un anumit tip special de ipoteze, cunoscute sub numele de ipoteze statistice.

Într-o abordare de bun simţ, a testa o anumită presupunere (adică o ipoteză) căreia experiența noastră personală ne spune să-i acordăm crezare, este ușor de explicat: admitem că ipoteza ar fi adevărată, apoi comparăm observațiile (adică datele obținute din lumea reală) cu consecințele logice ale ipotezei noastre. Dacă observațiile de care dispunem sunt compatibile cu consecințele la care ne așteptăm, atunci vom continua să credem – şi în cele mai multe cazuri ne vom întări „credința” – în presupunerea noastră. Evident, dacă ceea ce observăm nu se potrivește suficient de bine cu așteptările noastre, atunci „credința” noastră în validitatea presupunerii va scădea, uneori atât de mult încât vom „respinge” cu totul presupunerea făcută. (Trebuie să subliniem aici cât de vagi sunt afirmațiile din paragraful precedent: înțelesul precis al sintagmei „suficient de bine” este lăsat la latitudinea cititorului. La fel şi responsabilitatea oricărei consecințe neplăcute pe care ar putea-o avea o decizie greșită!)

Evident, ipotezele avansate de către cercetătorii științifici sunt cunoscute ca ipoteze științifice. Efectuarea unui test de semnificație (cunoscută şi sub numele de testarea ipotezelor) este o metodă folosită pentru a testa o presupunere, în care credem, despre o întreagă populație, prin folosirea datelor obținute dintr-un eșantion. În general, rezultatul unui test de semnificație este exprimat printr-un număr. Acest număr reflectă cât de plauzibilă este ideea că valoarea unei anumite statistici descriptive – care este calculată din datele obținute din acel eșantion – ar putea proveni dintr-un eșantion aleator.

Interpretarea pragului de semnificație si limitele acestuia

Cel mai frecvent prag ales în testarea ipotezei nule este de .05, valoare stipulată inițial de Fisher, părintele statisticii moderne. Ulterior această valoare a fost fetişizată. Exagerând, am putea spune că publicarea sau nepublicarea studiilor, evoluția lucrărilor de doctorat sau licență, fericirea sau nefericirea cercetătorilor au devenit dependente de acest prag (Sava, 2004).

Dar ce înseamnă această valoare? Gigerenzer (1993) sintetizează foarte bine starea de confuzie existentă în interpretarea ei. La nivel convențional, valoarea p de .05 reprezintă nivelul acceptat de comunitatea științifică de a respinge sau a nu respinge ipoteza nulă. La nivel de interpretare se produce frecvent greșeala de a vedea pragul de semnificație ca un indicator al veridicității sau falsității unei ipotezei de cercetare. O consecință a acestei greșeli este interpretarea eronată a pragului de semnificație în termeni de rezultate semnificative statistic pentru p< .05, puternic semnificative statistic pentru p< .01, ori foarte puternic semnificative în cazul unui p< .001. Cu alte cuvinte, exista tendința de a vedea în aceste valori gradul de adevăr al unui ipoteze. De fapt, pragul de semnificație se referă la probabilitatea de a obține datele culese în condiția în care ipoteze nula este adevărată. Prin urmare, aceste praguri nu arată gradul de încredere pe care-l avem în veridicitatea ipotezei de cercetare, ci doar probabilitatea de a obține datele observate pornind de la premisa că ipoteza nulă este adevărată.

Interpretarea pragului de semnificație poate fi îmbogățită prin discutarea a două erori posibile ce pot apărea în testarea ipotezelor. Eroarea de tip I este situația în care cercetătorul decide să respingă ipoteza nulă, deși aceasta nu trebuia respinsă, în timp ce eroarea de tip II este dată de cazul în care ipoteza nulă nu a fost respinsă, deși trebuia să fie respinsă. Între cele două tipuri de erori există o relație de dependenţă. O dată ce cresc șansele de a comite eroarea de tip I, scad șansele de a comite eroarea de tip II şi invers. Cel mai adesea, probabilitatea de a comite o eroare de tip I este prestabilită la .05. În schimb, probabilitatea de a comite eroarea de tip II tinde să fie variabilă. Cohen (1988, 1994) propune pentru acest caz o probabilitate de .20, o valoare de patru ori mai mare decât cea asociată erorii de tip I.

După părerea noastră, problema de bază a pragului de semnificație nu ţine neapărat în interpretarea dată unui rezultat semnificativ statistic, ci mai ales în dependenţa pragului de semnificație de valoarea puterii statistice a unei cercetări (Cohen, 1988, 1994).

Prin urmare, în lipsa unei analize a puterii statistice nu vom beneficia de informații de bază pentru a analiza corect rezultatele unei cercetări. De pildă, puterea statistică este dependentă de erorile de măsurare a unor indicatori statistici. Cu cât erorile de măsurare sunt mai mari cu atât puterea statistică este mai mică. Însă, erorile de măsurare sunt dependente de volumul eșantionului. Cu cât avem mai mulți subiecți testați, cu atât erorile de măsurare sunt mai mici, în consecință, puterea statistică este mai mare. Mulți cercetători îşi aleg numărul de subiecți ce urmează a fi testați in funcție de resursele avute la dispoziție. Această modalitate nu este însă cea mai fericită, deoarece puterea statistică şi implicit, pragul de semnificație sunt sensibile la volumul eșantionului. Astfel, în cazul unui eșantion redus de persoane (ex. 10 subiecți), există mari șanse ca rezultatul să fie nesemnificativ statistic datorită unei puteri statistice scăzute, deși în realitate există un efect. În schimb, prin alegerea unui eșantion foarte mare (ex. 500 de persoane), creşte puterea statistică şi există șanse mari de a obține un rezultat semnificativ statistic, deși în realitate efectul (ex. corelația) ar putea fi unul foarte slab.