Il problema della valutazione tra qualità e quantità

di Paolo Miccoli (Università di Pisa) e Luca Boscolo (Fondatore sito "Top Italian Scientists", TIS)

Fra i molteplici temi sollevati dallo scritto di Lorenzo Ornaghi ve n’è uno che, come un fil rouge, tiene insieme molti di essi. Il tema può essere riassunto con un solo termine: “valutazione”. Ovviamente si tratta di un termine semanticamente assai ampio, che fa la sua comparsa in tempi abbastanza recenti nel mondo dell’università italiana. In senso strettamente giuridico, “valutazione” si afferma definitivamente con la legge 240 del 2010, la quale stabilisce che il 30% delle risorse dell’FFO (Fondo di Finanziamento Ordinario) deve essere distribuito sulla base dei risultati della ricerca, presi in esame dall’ANVUR attraverso un periodico esercizio di Valutazione della Qualità delle Ricerca (VQR). La stessa ANVUR nasce poco prima dell’entrata in vigore di questa legge di riforma e l’Agenzia potrebbe apparire l’unico e fondamentale giudice in ultima istanza della qualità della ricerca universitaria. Così non è però: un ampio settore della valutazione è di competenza preponderante delle Università, come accade per le carriere della docenza o, indirettamente, nei panel che decidono l’assegnazione delle risorse, o poi del MUR quando decide i meccanismi della Abilitazione Scientifica Nazionale (ASN).

La estrema frammentazione in un «mastodontico complesso di discipline e corrispettive aree scientifiche», come sostiene Ornaghi, si porta dietro non solo la rarefazione di prodotti della ricerca corposi come sono, o dovrebbero essere, le monografie, ma ha anche causato la proliferazione a livelli ormai inaccettabili del numero di riviste, talora predatorie, e dei contributi scientifici ospitati in riviste: tutto ciò che è catalogabile come “paper”, ossia un saggio che abbia almeno l’apparenza di un articolo scientifico, è oggi quasi impossibile che non trovi una sede di pubblicazione. E mi limito qui a fotografare solo la situazione odierna, non osando neppure pensare all’ulteriore incremento di pubblicazioni che presto saranno prodotti in pochi minuti dall’intelligenza artificiale.

Tuttavia, l’equazione frammentazione dei saperi uguale proliferazione incontrollata dei “prodotti della ricerca” non regge ad un esame più approfondito della genesi del fenomeno. Se alcuni esercizi di valutazione come la VQR e i bandi competitivi, soprattutto europei, scoraggiano il fenomeno cosiddetto del “publish or perish”, almeno in senso meramente quantitativo, così non è per lo strumento fondamentale, anzi ineludibile, di valutazione delle carriere universitarie che è l’Abilitazione Scientifica Nazionale (ASN). Naturalmente è una Commissione di docenti della stessa disciplina che certifica la maturità scientifica e abilita o meno i candidati, ma l’accesso a tale giudizio è possibile solo se il candidato supera alcune “soglie” meramente quantitative. È l’incontestabile trionfo della bibliometria incontrollata (che paradossalmente stravolge anche i “settori non bibliometrici”) vale a dire non sottoposta ad un autentico vaglio critico da parte di esperti riconosciuti. D’altra parte, gli indici bibliometrici si basano su una combinazione del numero delle pubblicazioni e sul numero delle citazioni, ma queste, gestite in automatico da algoritmi, non possono portare a una vera e propria misura della qualità di un ricercatore o comunque dei suoi prodotti della ricerca. Inoltre, privilegiare gli aspetti quantitativi della ricerca rispetto ad un attento esame della stessa sta producendo una serie di comportamenti censurabili. Il riferimento è in particolare al numero sovrabbondante di autori per articolo, alle autocitazioni e alla creazione di vere e proprie citation farms, vale a dire le citazioni incrociate fra autori di diverse istituzioni, volte ad aumentare la visibilità degli studiosi, il fenomeno del “plagiarismo” e altro ancora, senza contare che avremo sempre più, almeno in molte delle “scienze dure” review articles che notoriamente raccolgono un maggior numero di citazioni e che fra l’altro sono facilmente gestibili in termini di intelligenza artificiale.

E in effetti anche la Commissione Europea in una sua raccomandazione del 2022 così si esprimeva: «la valutazione della ricerca dovrebbe essere in prima istanza basata su giudizi qualitativi dove la valutazione fra pari è centrale, eventualmente supportata da un uso responsabile della bibliometria», invitando quindi ad «abbandonare ….  l’uso di journal impact factor and h-index».

Anche i giudizi fra pari (peer review) hanno mostrato in passato alcuni limiti, legati soprattutto alla disparità di vedute fra Autore e Revisore, che non di rado si nutrivano più di rivalità fra Scuole che di oneste divergenze di prospettive scientifiche, il che ha finito per indebolire questo tipo di valutazione. In ogni caso, resta il fatto che a una qualche forma di giudizio dei pari occorre comunque ritornare. Vi è dunque necessità di revisori/valutatori imparziali e indipendenti nei limiti del possibile dai comitati editoriali delle riviste, che davvero leggano e valutino i prodotti della ricerca. L’obiezione, fin troppo ovvia, è che il revisore/valutatore non ha il tempo di leggere decine e decine di contributi, tempo che peraltro è ben raramente remunerato.

Se si vuole percorrere una strada di questo genere quindi si dovrebbe pensare a valutare il ricercatore in base a pochissimi prodotti della ricerca, compresi brevetti o riconoscimenti di sicuro e altissimo prestigio, in cui il contributo personale sia chiaramente individuabile, evitando altresì che possano innescarsi conflitti di interessi, sia pure culturali, fra valutatore e valutato.