Na revista eletrônica Science News foi publicado o artigo Odds are, it's Wrong (do qual traduzi uma pequena parte para abrir o apetite), onde um famoso item dos métodos estatísticos utilizados por pesquisadores científicos é colocado sob suspeita de estar errado e/ou precisar de novas interpretações. Sendo muito recente, a polêmica ainda é pequena, mas ataques desse tipo costumam despertar discussões apaixonadas no mundo da ciência. Vamos aguardar. Não deixe de ler o artigo inteiro: é muito mais interessante do que essa pequena mostra deixa entrever.

Há probabilidades de que isto está errado
A ciência não consegue enfrentar as falhas da estatística
By Tom Siegfried
March 27th, 2010; Vol.177 #7 (p. 26)

"Para melhor ou para pior, a ciência está casada com a matemática há tempos. Geralmente tem sido para melhor. Especialmente desde a época de Galileu e Newton, a matemática nutriu a ciência. Métodos matemáticos rigorosos asseguraram a fidelidade da ciência aos fatos, e conferiu uma confiabilidade intemporal às suas descobertas.

Entretanto, durante o século passado, uma forma mutante de matemática desviou o coração da ciência para longe dos modos de cálculo que durante muito tempo a serviram fielmente. A ciência foi seduzida pela estatística, a matemática enraizada nos mesmos princípios que garantem lucros para os cassinos de Las Vegas. Supostamente, o uso apropriado da estatística torna a confiabilidade dos resultados científicos uma aposta segura. Mas, na prática, o mau uso disseminado de métodos estatísticos faz com que a ciência se pareça mais com um lance de dados.

É o segredo mais obceno da ciência: o 'método científico' de testar hipóteses através da análise estatística está posicionado sobre uma débil fundamentação. Os testes estatísticos, supostamente, existem para guiar os cientistas quanto aos resultados experimentais refletirem alguns efeitos reais ou serem simplesmente um feliz acaso, mas os métodos padronizados misturam filosofias mutuamente inconsistentes e não oferecem qualquer base significativa para a tomada de tais decisões. Mesmo quado executados corretamente, os testes estatísticos são amplamente incompreendidos e frequentemente mal interpretados.Como resultado, incontáveis conclusões da literatura científica estão erradas, e testes de perigos médicos ou de tratamentos quase sempre são confusos e contraditórios".

Temos ainda, um pouco mais adiante:

"A significância estatística é uma expressão que todo aluno dos cursos científicos aprende, mas poucos compreendem. Suas origens vão pelo menos até o século 19, mas essa noção foi um trabalho pioneiro do matemático Ronald A. Fisher, na década de 1920. Seu interesse original estava na agricultura. Ele procurava testar se uma variação de produção em colheitas se devia a alguma intervenção específica (digamos, fertilizantes), ou simplesmente refletia fatores aleatórios que estavam além do controle experimental.

Fisher, em primeiro lugar, supôs que os fertilizantes não faziam qualquer diferença - era a hipótese 'nula', do 'não-efeito'. Ele então calculou um número, chamado de valor de P, a probabilidade de que uma produção observada em um campo feritilizado ocorreria se o fertilizante não tivesse qualquer efeito real. Se P fosse menor do que 0,05 - significando que a probabilidade de um feliz acaso é menor do que 5 por cento - o resultado seria declarado 'estatisticamente não sigbificativo', declarou Fisher arbitrariamente, e a hipótese do efeito nulo deveria ser rejeitada, supostamente confirmando que o fertilizante funciona.

O valor de Fisher para P tornou-se eventualmente o árbitro definitivo de credibilidade para resultados científicos de todo tipo - seja testando efeitos de poluentes sobre a saúde, os poderes curativos de uma nova droga ou os efeitos dos genes sobre o comportamento. De diversas formas, testar a significância estatística passou a fazer parte da pesquisa científica e médica até hoje

Entretanto, de fato não existe nenhuma base lógica para se utilizar o valor de P em qualquer estudo isolado para tirar conclusões. Se a chance de um feliz acaso for menor do que 5 por cento, duas conclusões possíveis permanecem: existe um efeito real, ou o resultado é um improvável acaso feliz. O método de Fisher não oferece qualquer maneira de se distinguir entre as duas. Por outro lado, se um estudo não descobrir qualquer efeito estatisticamente significativo, isto também não prova nada. Talvez o efeito não exista, ou talvez o teste estatístico não fosse poderoso o suficiente para detectar um efeito pequeno porém real.

'O teste, em si mesmo, não é necessário nem suficiente para comprovar um resultado científico', afirma Stephen Ziliak, historiador econômico da Roosevelt University, em Chicago".

VEJA TAMBÉM:

THE FALLACY OF THE NULL-HYPOTHESIS SIGNIFICANCE TEST (1960)
William W. Rozeboom
Classics in the History of Psychology
An internet resource developed by Christopher D. Green
York University, Toronto, Ontario

What are Null Hypotheses? The Reasoning Linking Scientific and Statistical Hypothesis Testing
Anton E. Lawson 2008
Arizona State University, Tempe, AZ, USA