L’importanza degli esperimenti “falliti”

Tendiamo a pensare che un risultato negativo sia un “non risultato”. Una percezione fallace in cui cascano spesso anche i ricercatori: quando un’ipotesi non passa il vaglio dei risultati sperimentali, difficilmente provano a pubblicare i dati ottenuti, e n genere tentano altre strade di investigazione. Ma anche un risultato nullo ha valore, perché consente di eliminare un’ipotesi per valutarne altre, oppure può portare a sviluppi inattesi. E pubblicarlo può mettere in guardia altri scienziati.

Nell’immaginario collettivo, lo scienziato (quasi mai una donna) è colui che da solo, grazie alla sua intelligenza e alla sua tenacia, fa una scoperta in grado di cambiare il mondo. Se fosse un film o un cartone animato, vedremmo il suo sguardo illuminarsi nel momento in cui capisce che, finalmente, l’ennesimo esperimento sta dando i risultati sperati, dopo tanti tentativi andati a vuoto. Eureka! In realtà, però, nella scienza i geni solitari non esistono e le scoperte epocali non sarebbero possibili senza il lavoro di migliaia di ricercatrici e ricercatori (del passato e presente) che non riceveranno mai il Nobel, senza per questo essere “meno scienziate” o “meno scienziati”.

C’è però qualcosa di vero in questo diffuso stereotipo: i risultati di un esperimento non sono quasi mai conformi alle aspettative e alle ipotesi formulate dai ricercatori. C’è sempre qualcosa che sfugge o va in direzioni inaspettate. Anche nei rari casi in cui si arriva all’agognato traguardo, possono essere necessari tantissimi tentativi, con prove e riprove e aggiustamenti e correzioni e verifiche, che possono richiedere anche molti anni. Per quanto frustrante, ogni “fallimento” può a volte avvicinare alla meta. In altri casi, poi, può produrre risultati sorprendenti che, se colti da chi fa ricerca, apriranno strade del tutto nuove per trovare risposte ad altre domande. Su WonderWhy, per esempio, abbiamo raccontato spesso di scoperte emerse da esperimenti e osservazioni che, in un modo o nell’altro, non erano quelle che ci si aspettava. Ma l’importanza dei risultati negativi non si limita ai “fortunati errori” o alle improbabili catene di eventi tipiche delle storie di serendipità, dove il caso è anche fortunato.

Una lezione dalla storia

C’è una storia molto istruttiva a questo riguardo. Nell’Ottocento il consenso scientifico era che le onde luminose avessero bisogno di un mezzo attraverso il quale propagarsi. Questo mezzo che permeava lo spazio, invisibile e impalpabile, fu chiamato etere. Per verificarne l’esistenza, però, doveva esistere un modo di rilevarlo. Verso la fine del secolo i fisici Albert Abraham Michelson e Edward Williams. Morley cominciarono una serie di esperimenti a questo scopo. Se l’etere era ovunque nell’Universo, allora quando la Terra, in rivoluzione intorno al Sole, lo attraversava, avrebbe dovuto sperimentare un “vento d’etere”. Quest’ultimo avrebbe peraltro dovuto cambiare direzione in base al movimento della Terra. Come provare tutto ciò? Misurando con estrema precisione la velocità della luce in direzioni diverse, mentre la Terra continua a muoversi a 30 chilometri al secondo attraverso l’etere. In queste condizioni ci aspetteremmo che la velocità della luce cambi, a seconda che i raggi luminosi viaggino o meno “controvento”. Per verificare questa ipotesi, i due fisici misero a punto un apparato sperimentale capace di fare proprio questo. Ma la velocità della luce, contro ogni previsione, si rivelò costante in tutte le direzioni in cui era stata misurata.

A tutti gli effetti il loro esperimento era “fallito”: l’etere non esisteva. Nel 1887 pubblicarono il loro “non-risultato” sull’American Journal of Science. In questo modo, però, cambiarono per sempre la fisica. Il loro esperimento fu infatti ripetuto e confermato, e la scienza fu costretta a trovare altre spiegazioni. Senza entrare nei dettagli, è stata poi la teoria della relatività speciale di Einstein a spiegare perché la luce non ha bisogno dell’etere per propagarsi.

I problemi dell’editoria scientifica

Quello di Michelson e Morley è da molti considerato il più celebre esperimento fallito della storia. Ma l’importanza dei risultati negativi o nulli va al di là dei singoli episodi, per quanto eclatanti. Ed ecco il problema: i risultati scientifici devono essere comunicati, perché solo in questo modo la comunità scientifica di riferimento ha la possibilità di riprodurli molte volte ed eventualmente accettarli. Ma quello che è vero per i risultati è vero anche per cosiddetti “non-risultati”, cioè per tutti i casi in cui gli esperimenti o le osservazioni non confermano (in parte o del tutto) l’ipotesi di partenza. Anche quelli, infatti, sono dati che possono essere utili alla comunità scientifica, anche e soprattutto quando non ribaltano completamente le carte in tavola come l’esperimento dei due fisici.

Tuttavia, sia le riviste scientifiche, sia gli scienziati tendono a pubblicare soltanto i risultati delle ricerche e degli esperimenti “di successo”. Anche se hanno richiesto molta fatica da parte dei ricercatori, gli esperimenti “falliti” fanno meno notizia e non sono considerati degni della stessa attenzione. Questo è il cosiddetto “bias di pubblicazione”, e ha delle conseguenze. Pensiamo agli studi di biomedicina, dove le variabili in gioco in un esperimento sono molto numerose e non è affatto facile raggiungere risultati statisticamente significativi. Per trarre conclusioni solide serve, oltre al rigore statistico nei singoli studi, anche confrontare tra loro i risultati di moltissimi esperimenti che sono tra loro diversi, anche solo perché le persone, gli animali, o anche le cellule non possono mai essere esattamente uguali tra loro.

Immaginiamo che un farmaco sia sperimentato in diversi studi clinici. A volte sembra che funzioni, altre no. Alla fine, solo quando emergono statisticamente più risultati positivi che negativi, i primi saranno pubblicati sulle riviste. Il setaccio è in parte ragionevole, poiché la stragrande maggioranza delle ricerche ottiene molti più risultati negativi e una cernita permette di tenere il numero delle pubblicazioni nell’ordine del gestibile e del leggibile. Certo, in questo modo, una parte della storia, quella fatta di insuccessi, non viene raccontata e, di fatto, parte dei dati ottenuti resterà ignota. Come sarà dunque possibile trarre conclusioni solide sull’efficacia o non-efficacia di quel farmaco? I risultati positivi dovranno, appunto, essere effettivamente preponderanti rispetto a quelli negativi; e gli studi replicati da altri scienziati dovranno confermarne i risultati.

L’esempio è una semplificazione, ma la realtà non è molto diversa. Il problema del “bias di pubblicazione” è sempre esistito, ma la situazione sta un po’ peggiorando, per diverse ragioni e anche in ambiti disciplinari che includono le scienze sociali, alcune branche della psicologia e dell’economia.

Pubblicare o perire

La microbiologa e celebre esperta di integrità della ricerca Elizabeth Bik ha spiegato in dettaglio i termini del problema sulla rivista Access Microbiology, in un editoriale dal titolo “Publishing negative results is good for science”, che ha inaugurato una rubrica dedicata agli studi che riportano risultati negativi.

Da una parte, ha spiegato Bik, “I quaderni dei ricercatori e gli scantinati dei laboratori sono pieni di risultati negativi” che potrebbero essere molto utili alla ricerca. Ma per le riviste scientifiche, gli studi che li riguardano hanno meno probabilità di essere letti e citati, e spesso sono velocemente scartati dalle redazioni, prima ancora di arrivare alla cosiddetta “peer review”, il processo di valutazione di un articolo da parte di esperti che deve avvenire prima che esso possa essere pubblicato su una seria rivista scientifica. Anche per questo i ricercatori non sono incentivati a tentare la pubblicazione dei loro “non risultati”.

Dall’altra parte, per i ricercatori vige il mantra del “publish or perish”, “pubblicare o perire”. Infatti, le pubblicazioni e le relative citazioni degli articoli più significativi contribuiscono fortemente ai progressi di carriera di uno scienziato o di una scienziata. Più la persona pubblica, e più lo fa su riviste di alto livello, e maggiori sono le probabilità che sia accolta in un’università o un centro di ricerca ambito e prestigioso e che ottenga finanziamenti per i propri studi.

L’insieme delle pubblicazioni di una ricercatrice o un ricercatore spesso vengono ridotti ad alcuni numeri, che per esempio corrispondono all’insieme delle citazioni degli articoli individuali oppure a quelli della rivista su cui hanno pubblicato (“impact factor”). Semplificando molto, più alti sono questi numeri e maggiore dovrebbe essere il livello di successo e di affidabilità degli studi. Quando sono letti attentamente, questi numeri possono dire alcune cose del lavoro di uno scienziato o di una scienziata, ma mai tutte. Non vanno infatti mai considerati da soli, superficialmente e frettolosamente, dato che presentano parecchi limiti e sono giustamente oggetto di numerose critiche. Come scrive Bik, “Tali parametri non misurano necessariamente la qualità di un ricercatore, ma sono facili da applicare”, per esempio per selezionare i candidati per una posizione di ricerca o per un finanziamento. Quindi, per “sopravvivere” gli scienziati devono pubblicare molto, ma devono anche presentare risultati positivi.

Questo crea una forte pressione su tutti i ricercatori, e alcuni possono essere tentati di ricorrere a scorciatoie. Per esempio, potrebbero cambiare l’ipotesi di partenza, o misurare molti parametri diversi per poi “torturare” i dati finché non spunta qualcosa di interessante e statisticamente significativo, ma non necessariamente informativo. Oppure potrebbero cercare di pubblicare i risultati di tanti, piccoli studi non sufficientemente rigorosi. O addirittura, in casi estremi, inventare i dati, contando sul fatto che non sempre gli esperti che fanno la “peer review” riescono a identificarli. Come spiega Bik, questo accade non perché i ricercatori siano disonesti (anche se una minoranza lo è, come in ogni professione). Sono piuttosto i meccanismi competitivi di selezione e di progressione della carriera a creare le condizioni e gli incentivi che possono portare a espedienti pur di mantenere una certa produttività, spesso misurata con il numero di articoli pubblicati.

Come rimediare?

Fortunatamente, la scienza ha degli “anticorpi” contro questi problemi. Elizabeth Bik fa, per esempio, parte di un gruppo di scienziati che a titolo volontario dedicano del tempo a esaminare gli articoli già pubblicati, segnalando quando qualcosa non torna a editori, autori e comunità scientifica. Gli articoli possono per esempio contenere testi copiati da altri articoli, immagini manipolate o risultati statisticamente implausibili. Nella maggior parte dei casi si tratta di sviste o errori commessi in buona fede, che grazie al lavoro di questi attenti controllori possono essere rapidamente corretti. Quando invece dai controlli emergono frodi scientifiche, al termine di indagini approfondite gli articoli sono in genere ritrattati. Questo processo è spesso più lungo di quanto sarebbe desiderabile, ma la durata è anche una garanzia di non superficialità, su decisioni che possono avere effetti rilevanti per la carriera e la vita di molte persone. Oggi la maggior parte delle istituzioni scientifiche, tra cui AIRC, hanno appositi regolamenti sull’integrità della ricerca.

Per aumentare il numero di risultati negativi pubblicati, e migliorare la ricerca in generale, c’è probabilmente bisogno di ancora più trasparenza e nuove regole, non sempre facili da applicare.

Per ridurre il numero di studi che, pur presentando risultati positivi, non sono affidabili, bisognerebbe per esempio limitare quelli che non sono adeguatamente progettati dal punto di vista statistico, e quindi la loro pubblicazione. Bisognerebbe, cioè, che tutti gli attori coinvolti privilegiassero la qualità sulla quantità. Va detto che non è banale definire le caratteristiche di ciascuno studio sperimentale in modo tale che dia risultati affidabili e poi realizzarlo. Tuttavia, usare campioni troppo piccoli, per esempio coinvolgendo pochi pazienti, è rischioso, perché i risultati avranno difficilmente un valore statisticamente significativo.

C’è anche bisogno di più studi di replicazione, in cui altri ricercatori cercano di riprodurre i risultati ottenuti. Anche questi sono piuttosto difficili da pubblicare, sia perché per le riviste sono in sé meno interessanti in quanto non nuovi, sia perché possono produrre (e spesso lo fanno) dei risultati negativi: è la cosiddetta crisi della replicazione. Se i ricercatori potessero pubblicare più facilmente anche i risultati negativi, questo li incoraggerebbe forse ad aumentare anche gli sforzi di replicazione.

Un modo per incentivare la pubblicazione dei risultati negativi è la cosiddetta pre-registrazione degli studi. Con questa procedura i ricercatori, prima di iniziare una sperimentazione, dichiarano pubblicamente l’ipotesi che indagheranno e i metodi con cui lo faranno, impegnandosi a pubblicare tutti i risultati. Questa pratica è diffusa, anche per ragioni legali, nelle sperimentazioni cliniche in cui sono coinvolti esseri umani. Non lo è altrettanto negli studi con animali, scrive Bik, che pure sono un tassello fondamentale di molte ricerche biomediche.

C’è ancora molta strada da fare e anche le riviste scientifiche stanno cercando dei modi per dare un po’ più spazio ai risultati negativi. In alcuni casi, alcune società scientifiche offrono premi per le migliori ricerche pubblicate di questo tipo. Sono nate anche riviste specializzate ad accoglierli (anche se non sempre sono durate a lungo). Alcune riviste affermate, come appunto Access Microbiology, hanno cominciato a raccogliere questi studi in rubriche o numeri speciali. La dottoressa Bik si augura che altre pubblicazioni seguano l’esempio.