Lo scorso 5 agosto è stato pubblicato, nella sua versione definitiva, il bando del terzo esercizio italiano di Valutazione della Qualità della Ricerca (VQR 2011-2014) che dà così avvio a un nuovo capitolo sulla valutazione della ricerca scientifica nel nostro Paese. Un capitolo che, già molto prima del suo inizio e sulla scia della precedente esperienza, ha visto muovere numerose critiche nei confronti dell’Agenzia nazionale di valutazione del sistema universitario e della ricerca (ANVUR) da parte di diverse voci appartenenti al mondo accademico.

Molte critiche sono legate in modo particolare all’applicazione dell’analisi bibliometrica per giudicare la qualità dei prodotti della ricerca (pubblicazioni): volendo operare una semplificazione ai minimi termini, l’assunto di base è che sia impossibile utilizzare indicatori di tipo quantitativo in sostituzione di una valutazione di tipo qualitativo (peer review).

Il dibattito che ha investito il mondo accademico (e non solo) relativamente alla valutazione della ricerca ha spostato molta dell’attenzione proprio sulla bibliometria, sulla sua applicabilità e sulle criticità nelle quali si può incorrere. E questo nuovo (anzi, rinnovato) interesse nei confronti di una disciplina che, non lo si dimentichi, nasce e si sviluppa (con finalità diverse dalla “valutazione della ricerca” così come la si intende comunemente oggi) proprio in seno alle discipline bibliografico-documentali, si manifesta anche nella letteratura più recente del nostro settore. Ad avviso di chi scrive, l’anno 2010 può essere visto come uno spartiacque, un punto che segna un aumento considerevole dello spazio dedicato a questo tema in Italia: nei prossimi paragrafi si discuteranno quelli che possono essere considerati i principali filoni di riflessione.

Perché la scelta di questa data? Potrebbe sembrare un paletto fissato in maniera arbitraria per una questione di comodità, stabilendo così un “classico” arco temporale di 5-6 anni dalla data attuale. In realtà è un anno cruciale per il nostro sistema universitario, per via della promulgazione dell’ennesima, discussa riforma che lo ha investito, la cosiddetta “legge Gelmini”. Pochi mesi prima, a febbraio, era stato emanato anche il Regolamento di funzionamento dell’ANVUR, atto di avvio ufficiale dei lavori dell’Agenzia (insediatasi nel maggio 2011). Non è però la situazione legislativa del nostro sistema universitario a interessare questa trattazione, quanto piuttosto il fatto che essa inevitabilmente influenza la letteratura scientifica e la discussione su questi temi.

Nel marzo 2010, Riccardo Ridi è autore di un contributo dal titolo Bibliometria: una introduzione, che sembra segnare idealmente un confine tra il passato e il futuro prossimo. Ridi riesce a condensare in poche pagine gli aspetti salienti della disciplina, delineandone brevemente la storia ed evidenziandone gli elementi che possono aver influito sulla scarsa fortuna avuta in Italia. Scarsa fortuna dimostrata chiaramente dalla ricognizione bibliografica fatta dall’Autore: sono solamente 25 i riferimenti bibliografici relativi alla bibliometria e all’analisi citazionale pubblicati in Italia nell’arco cronologico 1982-2004, ai quali si possono aggiungere l’articolo stesso e gli altri documenti in esso citati per un totale di 31 contributi. A questi andrebbero sommate altre cinque pubblicazioni che non trattano principalmente di bibliometria, ma ne fanno riferimento assai spesso, soprattutto in relazione alle opportunità offerte dal movimento Open Access: si arriverebbe così a 36 contributi nell’arco di circa un trentennio.

Solo pochi mesi dopo, il panorama della letteratura sull’argomento è destinato a modificarsi. Nel dicembre 2010 Alberto Baccini, docente di Economia politica all’Università di Siena, pubblica infatti il volume Valutare la ricerca scientifica. Uso e abuso degli indicatori bibliometrici: è il primo libro in lingua italiana che affronta il tema della bibliometria, riflettendo in particolare sugli effetti che un suo uso esclusivo (e indiscriminato) nella valutazione della ricerca possa determinare. D’altro canto «la valutazione dei pari […] è il peggiore dei modi per giudicare la qualità della ricerca; il fatto è che non ce ne sono di migliori». In ogni caso, è fondamentale evidenziare la forte correlazione tra questi due strumenti: gli indicatori bibliometrici sono infatti elaborati a partire da banche dati costruite con informazioni relative a scritti che sono stati sottoposti a rigide procedure di revisione paritaria che ne hanno valutato la pubblicabilità. Politiche della ricerca, qualità e impatto, peer review e indicatori bibliometrici, copertura degli archivi bibliografici e citazionali: sono tutti temi che ricorreranno spesso nella letteratura successiva.

Il volume di Baccini, passando in rassegna le metriche più diffuse e le loro possibili applicazioni, le inserisce nel contesto più ampio delle politiche che sempre più fortemente stanno condizionando il mondo della ricerca e il modo di condurla: questo perché gli strumenti di cui la comunità scientifica si è dotata nel tempo (peer review e bibliometria) sono stati lentamente trasferiti da un uso “interno” alla comunità stessa a uno “esterno” a disposizione dei decisori politici, che difficilmente possono avere un’adeguata consapevolezza delle specificità delle diverse aree scientifiche e della reale applicabilità che questi strumenti possano avere.

Se l’opera di Baccini può essere vista come una svolta importante nella letteratura italiana sulla bibliometria, si è dovuto attendere ancora qualche anno affinché anche il nostro Paese potesse vantare una pubblicazione di ampio respiro sugli aspetti teorico-tecnici della disciplina. È il volume Introduzione alla bibliometria di Nicola De Bellis, il primo manuale italiano sull’argomento, laddove il termine “manuale” rimanda alle fondamenta di una trattazione. Partendo dalle radici, illustrandone la storia e le origini bibliografico-biblioteconomiche, l’Autore «suggerisce […] un modo per riappropriarsi di un ambito intrinsecamente nostro e mette in evidenza i problemi […] derivati dal progressivo allontanamento della disciplina dagli ambiti a essa più affini».

Dalla trattazione storica, nella quale ne illustra lo sviluppo, a quella teorico-tecnica, dove ne spiega gli strumenti e i loro presupposti, De Bellis guida i (tanti tipi di) lettori sulla strada che ha portato all’attuale “bibliometria per la valutazione” e alle sue caratteristiche: una condizione che non è un punto di arrivo, poiché «la bibliometria ha una storia e un futuro che dipendono in larga misura da ciò che si pensa di lei».

Un anno dopo la pubblicazione della monografia di De Bellis, viene dato alle stampe un altro significativo contributo: è il volumetto La bibliometria di Chiara Faggiolani. Un titolo essenziale come lo è la trattazione che qui viene condotta. Un’essenzialità che riesce a condensare, in un breve spazio: le idee che hanno influito sulla disciplina bibliometrica e le tappe raggiunte in poco meno di un secolo; gli elementi e gli strumenti fondanti dell’analisi bibliometrica; le domande da porsi, i possibili oggetti, le fisiologiche criticità legati all’applicazione della bibliometria nel contesto della valutazione (dall’esterno) della ricerca; le ulteriori sfide che l’evaluative bibliometrics dovrà affrontare in un mondo della ricerca sempre meno “istituzionalizzato” come è quello che è stato definito Mode 2.

Benché successivo alle altre due monografie, il lavoro di Faggiolani si pone come una lettura introduttiva chiara, essenziale e, al contempo, adeguatamente esaustiva per chi si avvicina per la prima volta a questi argomenti. Tre elementi (chiarezza, essenzialità, esaustività) che, a vari livelli, si rispecchiano in tutti e tre i volumi appena citati, indice di una maturità teorica oramai raggiunta anche nel nostro settore. E, tra le loro pagine, è possibile individuare tutti gli argomenti “caldi” che hanno attirato l’attenzione della nostra letteratura disciplinare: in questa sede, si cercherà di delineare questi filoni principali.

In un contesto come quello italiano, nel quale «la maggioranza dei bibliotecari in servizio ha una formazione di stampo marcatamente umanista [sic]», potrebbe risultare ostico confrontarsi con una disciplina intrinsecamente interdisciplinare, nella quale convivono la matematica, la statistica, la sociologia, la storia della scienza. Cosa possono fare perciò i bibliotecari e gli studiosi di biblioteconomia? Semplicemente quello che sanno fare da sempre: organizzare la conoscenza fornendo, oltre a un apporto squisitamente tecnico, il contributo critico proprio della cultura umanista nella progettazione e nello sviluppo di metriche di nuova generazione non necessariamente legate all’analisi citazionale.

Sulla base delle prime, autorevoli, riflessioni (Otlet, Ranganathan), anche nel nostro Paese si sta prendendo coscienza delle potenzialità della bibliometria: nell’ambito delle «politiche di selezione, di acquisizione, di accesso e di uso delle collezioni bibliografiche, ma anche per quelle di scarto e di conservazione del materiale»; nel miglioramento dei sistemi di information retrieval (attività fin troppo spesso demandata agli informatici); nell’assistenza ai ricercatori sull’utilizzo delle banche dati e sulle strategie di diffusione dei risultati della ricerca.

Le biblioteche accademiche si stanno popolando di nuove figure professionali legate allo sviluppo delle biblioteche digitali e del movimento Open Access che devono necessariamente possedere competenze interdisciplinari e, tra queste, non possono certo mancare quelle bibliometriche.

Il ruolo dei bibliotecari viene discusso soprattutto sulla base del contributo che essi possono fornire nell’ambito delle attività di valutazione della ricerca. Perché, come negli altri settori disciplinari, anche nel nostro l’attenzione è rivolta maggiormente al binomio bibliometria/valutazione, con un focus ben preciso: quello della valutazione della ricerca nelle scienze umane e sociali.

Il termine bibliometria viene comunemente associato alla valutazione della ricerca ed è questo binomio a essere l’oggetto della trattazione di gran parte della letteratura. In Italia il discorso si concentra in particolar modo sull’impossibilità di applicare analisi bibliometriche alle scienze umane e sociali, per via delle differenze intrinseche rispetto alle discipline scientifico-tecnico-mediche (per le quali gli indicatori bibliometrici sono stati costruiti). È però importante evidenziare che, in generale, la pratica della valutazione “sistematizzata” è stata adottata nelle scienze umane solo in tempi recenti: la stessa peer review non era così diffusa fino a pochi anni fa «per motivi storici, epistemologici ed economici» e «spesso esercitata in forme non strutturate». Questo è uno dei motivi della bassa copertura di cui godono le pubblicazioni umanistiche nei due grandi database citazionali Web of Science e Scopus: la monografia, canale principale della ricerca in questi settori, raramente viene sottoposta a un processo di revisione paritaria come avviene nei journal del settore scientifico-tecnico-medico, poiché richiederebbe tempi lunghissimi per pubblicazioni che spesso condensano il lavoro di anni di ricerca.

La valutazione delle monografie è senz’altro uno dei temi più delicati: la comunità degli umanisti ribadisce a gran voce che l’unico strumento possibile sia quello della peer review, rifiutando qualsiasi utilizzo di indicatori numerici. Va detto che anche la valutazione dei pari non è esente da problematiche che, specie in comunità ristrette come quelle umanistiche, possono minare la credibilità stessa del processo valutativo.

Per questo motivo l’ANVUR, pur condividendo le perplessità degli esperti, è convinta che si possa lavorare per individuare nuove soluzioni per affiancare alla valutazione qualitativa anche degli indicatori quantitativi che possano irrobustirla e renderla meno arbitraria. Le motivazioni e gli obiettivi dell’Agenzia sono sintetizzati in un documento programmatico firmato qualche anno fa da Andrea Bonaccorsi ed è solo un primo spunto che è stato poi seguito da diversi incontri volti a raccogliere idee e proposte. In uno di questi incontri sono stati presentati sei progetti di ricerca finanziati dall’Agenzia a seguito di un bando competitivo, dei quali ben due sono di carattere bibliografico-biblioteconomico, a dimostrazione del contributo che le nostre discipline possono offrire.

Maria Cassella espone le criticità della valutazione delle monografie, ma anche le opportunità offerte agli umanisti dal digitale e dall’accesso aperto, nonché un esaustivo excursus sul lavoro che stanno svolgendo Thomson Reuters ed Elsevier nell’implementazione di dati relativi ai libri.

Tra le prime proposte per lo sviluppo di indicatori inerenti le monografie c’è quella di Faggiolani e Solimine che richiama il metodo sperimentato alcuni anni prima da Torres-Salinas e Moed, la Library Catalog Analysis (LCA): presupposto imprescindibile per questo tipo di analisi è una rigorosa politica di selezione dei documenti da parte delle biblioteche, con un’attenzione particolare anche alla questione dei doni.

In attesa di individuare soluzioni che permettano una valutazione adeguata dei libri, la scelta italiana è ricaduta per il momento sul rating delle riviste, per le quali sarebbe così possibile mettere in atto una informed peer review: il problema non è però risolto, poiché nelle scienze umane e sociali la rivista ricopre un ruolo di secondo piano rispetto al libro, quindi i risultati più importanti della ricerca non verrebbero toccati da questo tipo di valutazione. Sempre che, nel frattempo, non si verifichino cambiamenti nei comportamenti di ricerca e nelle strategie di pubblicazione, legati proprio alle attività di valutazione e alla ricerca di finanziamenti (nazionali e comunitari), istanze sempre più pressanti per tutto il mondo della ricerca contemporaneo: come ipotizza Faggiolani, è possibile che anche le scienze umane e sociali si stiano trasformando per adeguarsi al già citato paradigma della ricerca Mode 2?

La difficoltà principale nella realizzazione di analisi bibliometriche efficaci e affidabili nel campo delle scienze umane e sociali è data dall’insufficienza della materia prima, ossia dei dati bibliografici e citazionali. Essendo il libro, non la rivista, il canale principale di diffusione dei risultati della ricerca umanistico-sociale, le grandi banche dati internazionali (Web of Science, Scopus) non sono ancora pronte a rispondere a questo tipo di esigenza, sebbene stiano lavorando per colmare tale lacuna. E il livello di copertura diminuisce ulteriormente per quelle pubblicazioni non appartenenti all’area anglofona, dato che in ambito umanistico la ricerca si esprime soprattutto mediante le rispettive lingue nazionali. Spostando il focus sulle riviste italiane di scienze umane e sociali, infatti, Andrea Capaccioni e Giovanna Spina mostrano il loro scarso peso nello scacchiere internazionale (0,47% nel JCR Social Sciences Edition e 3,75% nell’A&HCI di Thomson Reuters, mentre in SJR si hanno valori pari a 1,14% e 3,35%).

Come si vede, il livello di copertura cambia a seconda della fonte considerata, senza contare che il terzo attore in gioco, Google Scholar, ha potenzialmente a disposizione l’intero web. Tale condizione rappresenta uno dei principali punti deboli degli indicatori bibliometrici: un output bibliometrico, per essere ritenuto affidabile e veritiero rispetto alla realtà, dovrebbe rimanere coerente anche al cambiare della fonte di riferimento.

Simona Turbanti sottolinea il fondamentale contributo che potrebbe apportare un serio e robusto controllo di autorità sui dati presenti in queste fonti (in particolare in Google Scholar). Questo controllo richiederebbe uno sforzo enorme (e probabilmente senza esiti realmente efficaci) se eseguito a livello centrale dagli editori commerciali, mentre un lavoro distribuito, a rete, da parte di ciascun ricercatore potrebbe garantire risultati molto importanti.

Fattore che incide notevolmente sulla situazione italiana è la mancanza di un’anagrafe nazionale dei prodotti della ricerca, un catalogo centrale unico che permetta di verificare la qualità dei dati, di validarli e di renderli pubblici: un primo passo è quello della progressiva adozione, da parte degli atenei italiani, del sistema IRIS, prodotto dal Cineca, e dell’avvio del progetto IRIDE. In questo modo si potrebbero fare passi avanti nella pulizia dei dati, fattore di rischio nel momento in cui l’inserimento è lasciato all’autonomia dei singoli ricercatori all’interno degli archivi istituzionali dei rispettivi atenei, finora poco comunicanti tra loro.

Per ovviare al problema della mancanza di fonti certe e di un’adeguata copertura, l’ANVUR si è fatta promotrice di un progetto per la realizzazione di un database citazionale per le scienze umane e sociali, incontrando però le resistenze di una gran parte delle comunità scientifiche coinvolte, in particolare quelle di area giuridica. Tale opposizione è stata motivata in particolare dalla scelta di indicizzare le sole riviste di fascia A escludendo le monografie (quindi la parte più consistente della produzione scientifica umanistico-sociale), nonché dai costi eccessivi che l’intera procedura avrebbe richiesto. Per tale motivo, l’ANVUR ha deciso di avviare un’attività di supporto alle riviste che vogliano presentare domanda per l’indicizzazione nelle banche dati internazionali.

Sempre nel corso del 2010 si è assistito alla definizione di una nuova idea di metriche che potessero affiancare le classiche metriche citazionali, sfruttando le potenzialità del web e dei social media. In ottobre viene infatti pubblicato in rete il Manifesto delle metriche alternative, documento che getta le basi per nuovi ambiti di indagine bibliometrica. La comunicazione scientifica sta cambiando e i canali telematici ricoprono un ruolo sempre più importante. Agli occhi degli autori del Manifesto, gli strumenti di valutazione esistenti, siano essi di carattere qualitativo o quantitativo, si muovono a una velocità diversa rispetto alla produzione scientifica e non riescono a fotografare adeguatamente ciò per cui sono stati pensati. Alla luce di questo nuovo modo di concepire l’impatto dei prodotti della ricerca, sono nati diversi strumenti che permettono di “catturare” e aggregare questo nuovo tipo di citazioni e di valutazioni paritarie.

Come ricorda Anna Maria Tammaro, Internet nasce per scopi di ricerca, ossia per lo scambio di dati e informazioni; è però oramai superata la fase della semplice ricerca “connessa”, sostituita dalla nuova ricerca “partecipata”, della quale Internet e il web ne costituiscono l’infrastruttura basilare. E questo cambiamento sta avvenendo anche nelle scienze umane e sociali, tanto che può offrire una grande opportunità di sviluppo per la valutazione della ricerca anche in queste aree.

In questo senso, come evidenzia Paola Galimberti, molto importanti potrebbero essere gli archivi istituzionali delle università, specialmente se interoperabili e ad accesso aperto. Se raggiungessero una copertura realmente completa della produzione scientifica (nazionale, di area, delle strutture ecc.), tali archivi potrebbero divenire l’infrastruttura adeguata per l’applicazione di nuove metriche article based e non più journal based.

L’orizzonte delle metriche alternative si sta espandendo in fretta e coinvolge aspetti di cui sempre più si parla trasversalmente in molti settori (non solo in quello della ricerca): a livello internazionale, David Stuart offre una panoramica molto completa dello stato dell’arte su queste tematiche, delineandone i contorni quanto mai sfumati e fluidi, «intrinsecamente in divenire, che cambiano in tempo reale», ipotizzando le opportunità per i professionisti dell’informazione.

Come si è visto nei paragrafi precedenti, il legame tra bibliometria e valutazione ha raggiunto un livello tale da considerarli, in un certo senso, sovrapponibili. Ma l’uso (e l’abuso, citando Baccini) di questi strumenti ha convinto sempre più persone e istituzioni del mondo della ricerca a evidenziare la necessità di ristabilire un equilibrio tra attività valutative e strumenti bibliometrici.

La prima azione intrapresa è stata la San Francisco Declaration on Research Assessment (DORA), documento pubblicato nel dicembre 2012 e sottoscritto da un gruppo di redattori ed editori di riviste scientifiche. Tale dichiarazione si compone di 18 raccomandazioni e si rivolge a tutti gli attori che, nei rispettivi ruoli, sono coinvolti nel processo di valutazione della ricerca. È una presa di posizione che, dai 155 firmatari individuali e 82 istituzionali, può vantare oggi ben 12.552 sottoscrizioni individuali e 588 istituzionali.

La seconda azione è quella intrapresa nel 2015 da alcuni dei maggiori esperti mondiali nel campo della bibliometria, ossia il Leiden Manifesto for research metrics. Il documento ha avuto in brevissimo tempo una grande eco, dati l’argomento e la caratura degli autori: l’Italia, dopo la traduzione curata dalla Redazione ROARS, può già vantare due contributi provenienti dai nostri settori (ad opera di Turbanti e Faggiolani) che offrono una riflessione sulla portata del Manifesto, entrando nel merito dei principi esposti. Il Manifesto è il primo esempio di sistematizzazione dei principi che regolano l’attività di valutazione, nel tentativo di arginare quell’uso esclusivo e indiscriminato della bibliometria di cui si è già detto: principi generali validi per tutto il mondo della ricerca, che possano così rispondere a tutte le istanze, i comportamenti, le specificità esistenti a livello delle singole discipline.

L’obiettivo del presente contributo è stato quello di riflettere sull’attenzione crescente che il mondo biblioteconomico italiano ha rivolto negli ultimi anni ai temi della bibliometria, cercando di offrire una sintesi di ciò che è stato prodotto e dei temi di cui si è parlato. La letteratura sull’argomento cresce velocemente e risulta complesso monitorarla con costanza senza rischiare di trascurare qualcosa.

Perché parlare di bibliometria in una rivista per bibliotecari? Senz’altro per i motivi sopra elencati: è un campo di studio che nasce nelle biblioteche e per opera di bibliotecari; la qualità dell’analisi bibliometrica non può prescindere dalla qualità dei dati utilizzati; può essere un’opportunità di visibilità e di valorizzazione per le biblioteche e per la professione bibliotecaria.

Nell’ambito della valutazione della ricerca, è uno strumento che non può essere utilizzato in maniera esclusiva e, sicuramente, non certo per determinare la qualità intrinseca di una pubblicazione. Ma può senz’altro essere una bussola decisiva che permetta di orientarsi mentre si naviga in quel vasto mare (prendendo in prestito la metafora suggerita da Simona Turbanti) che oramai è divenuta la produzione scientifica della nostra epoca. Ammesso che il suo ago sia stato ben magnetizzato.