In questi giorni, si discute di "chiudere delle Università" sulla base di dati ANVUR usati come "classifiche". In realta', come e' venuto fuori da G. De Nicolao, ci sono due classifiche, entrambe diffuse alla stampa in forma diversa da come erano nel rapporto finale.
1. "università al top": i dati per ottenere la classifica stanno nel primo foglio Excel del file
http://www.anvur.org/rapporto/files/stampa/piccole%20universita.xlsx
Basta fare un sort rispetto alla colonna "somma algebrica" (nel file sembrano esserci solo i piccoli atenei, ma basta rendere visibili le linee nascoste per vederli tutti). La parte di testa di questa classifica è quella riportata su Roars nella figura:
http://www.roars.it/online/wp-content/uploads/2013/08/Magnifiche201.png
Per le "università al top", la differenza tra classifiche per la stampa e quelle desumibili dal rapporto finale dipende dalla diversa definizione di quali atenei sono "grandi", "medi" e "piccoli" (http://www.roars.it/online/classifiche-vqr-alterate-analizziamo-le-prove/
).
2. "dimensione vs qualità": la classifica per la stampa è quella che cita Giavazzi nella sua risposta a me, ovvero quella riportata nelle slides di presentazione della VQR. La classifica "originale" è quella riportata nell'articolo di Roars:
http://www.roars.it/online/wp-content/uploads/2013/08/tab6_10aRappFin.png
In questo secondo caso nel materiale per la stampa era stata usata una formula diversa per aggregare i risultati delle diverse aree disciplinari (Matematica, Fisica, Chimica, etc): http://www.roars.it/online/vqr-le-classifiche-daltoniche-dellanvur/
RIEPILOGANDO, A CHE SERVE TUTTO QUESTO BARACCONE DI DATI?
L'anno scorso, usando dati di Google Scholar raccolti a Roma da un collega (Gianni Cesareni) che aveva scaricato l'intero database di docenti del Cineca, e fatto girare Google Scholar in modo automatico (tentando al meglio di evitare gli omonimi), feci una classifica di Atenei, che oggi mi pare migliore di quella ANVUR, e certamente se anche venisse strumentalizzata, non sarebbe tanto male.
Il grosso vantaggio rispetto a quella ANVUR e' che non taglia chissa' perche' arbitrariamente a 3 lavori per docente.
http://italianscientists.blogspot.it/2012/04/la-classifica-delle-univ-per-h-medio.html
.
Intanto, la riporto qua, e poi la commento, con le critiche che ha ricevuto.
Rispetto alla classifica del H-index medio docente, abbiamo normalizzato per tener conto degli Hmedi diversi nei vari SSD. In questa maniera, non si avvantaggiano i SSD che hanno mediamente H-index piu' alti, come i medici e i fisici. Infatti balza in testa la Bocconi, mentre S.Raffaele scende al secondo posto e Bologna sale al terzo. Da notare la risalita di Trento, e la ottima posizione di Milano che con Trento, Padova e Pisa, si colloca meglio della Normale di Pisa, forse svantaggiata dal fatto che usiamo Scholar solo in inglese. La Campus Bio medico di Roma scende molte posizioni. Ci saremmo aspettati molto migliori performance dai Politecnici, che invece solo sono al 30 esimo posto con PoliMI, e addirittura 41 con Polito, e 59esimo PoliBA. Ci sono ovvie differenze con la classifica SCIMAGO, che vede PoliBA la migliore università pubblica italiana addirittura nel 2011, preceduta dalla privata Bocconi di pochi posti nella classifica mondiale, intorno ai 620- 640 posti, http://www.scimagoir.com/. Rimane da analizzare meglio la differenza nelle classifiche SCIMAGO che pure dovrebbero misurare impatto normalizzato molto in modo simile a noi. Una nota di cautela per gli entusiasmi, gli H index italiani sono comunque mediamente bassi, e rimane terribile il fatto che un terzo degli italiani non e' proprio citato su Google Scholar. Forse aggiungeremo il Google Scholar in italiano, per vedere se recuperiamo materie umanistiche e meno presenti in lingua inglese, per un confronto piu' ampio.
H_ord Hass HRic Totale Rank Ateneo
2,736 3,226 2,058 2,630 1 Bocconi MILANO
2,143 2,221 1,027 1,975 2 S, Raffaele MILANO
1,865 1,782 1,479 1,677 3 BOLOGNA
1,917 1,314 1,627 1,622 4 TRENTO
2,136 1,625 1,094 1,532 5 S,ANNA di PISA
1,428 1,311 1,463 1,403 6 PISA
1,616 1,349 1,234 1,373 7 PADOVA
1,589 1,311 1,025 1,367 8 SISSA - TRIESTE
1,828 1,294 1,055 1,340 9 MILANO
1,876 0,946 1,100 1,288 10 Scuola Normale Superiore di PISA
1,562 1,203 0,891 1,217 11 Ca Foscari VENEZIA
1,382 1,146 1,002 1,157 12 SIENA
1,457 1,160 0,941 1,138 13 TORINO
1,287 0,988 1,133 1,138 14 CATANIA
1,338 1,034 1,033 1,109 15 MILANO-BICOCCA
1,185 1,220 0,993 1,108 16 NAPOLI Federico II
1,312 1,054 0,957 1,087 17 MODENA e REGGIO EMILIA
1,373 1,044 0,905 1,078 18 PAVIA
1,411 1,005 0,897 1,063 19 BRESCIA
1,251 0,994 0,948 1,049 20 Politecnica delle MARCHE
1,319 1,020 0,877 1,029 21 ROMA La Sapienza
1,218 1,016 0,908 1,026 22 FERRARA
1,192 0,636 1,153 1,012 23 BERGAMO
1,391 1,224 0,715 0,990 24 Univ, Campus Bio-Medico ROMA
1,291 0,889 0,894 0,989 25 BARI
1,148 0,926 0,914 0,987 26 FIRENZE
1,269 0,948 0,838 0,984 27 VERONA
1,211 1,005 0,817 0,977 28 PALERMO
1,359 0,891 0,807 0,958 29 della CALABRIA
1,093 0,939 0,828 0,932 30 Politecnico di MILANO
1,272 0,930 0,725 0,931 31 SALERNO
1,241 0,975 0,716 0,918 32 ROMA Tor Vergata
1,063 0,884 0,838 0,914 33 PARMA
0,922 1,052 0,810 0,907 34 CAGLIARI
1,126 0,929 0,749 0,905 35 INSUBRIA
1,130 0,971 0,686 0,901 36 PIEMONTE ORIENTALE
0,982 0,848 0,856 0,887 37 TRIESTE
1,062 0,917 0,686 0,865 38 UDINE
0,979 0,839 0,766 0,842 39 PERUGIA
0,874 0,840 0,820 0,841 40 CATANZARO
0,831 0,961 0,733 0,828 41 Politecnico di TORINO
0,985 0,880 0,687 0,826 42 CHIETI-PESCARA
0,974 0,801 0,716 0,818 43 GENOVA
0,970 0,860 0,695 0,805 44 MESSINA
0,894 0,640 0,872 0,798 45 SASSARI
1,043 0,721 0,676 0,794 46 TUSCIA
0,687 1,101 0,585 0,750 47 CASSINO
0,944 0,784 0,575 0,749 48 L AQUILA
0,756 0,899 0,494 0,737 49 LUISS Guido Carli - ROMA
0,933 0,803 0,590 0,726 50 SANNIO di BENEVENTO
0,860 0,604 0,707 0,706 51 BASILICATA
0,710 0,860 0,616 0,701 52 Libera Universita di BOLZANO
0,693 0,637 0,734 0,697 53 Seconda Univ, NAPOLI
0,820 0,525 0,633 0,645 54 Mediterranea di REGGIO CALABRIA
0,865 0,504 0,604 0,641 55 FOGGIA
0,761 0,618 0,594 0,639 56 CAMERINO
0,805 0,571 0,603 0,638 57 URBINO Carlo BO
0,673 0,666 0,411 0,590 58 MOLISE
0,645 0,503 0,595 0,582 59 Politecnico di BARI
0,833 0,624 0,447 0,574 60 Cattolica del Sacro Cuore
0,532 0,607 0,432 0,513 61 ROMA TRE
0,583 0,527 0,430 0,494 62 Parthenope di NAPOLI
0,522 0,386 0,496 0,471 63 SALENTO
0,720 0,397 0,306 0,445 64 MACERATA
0,544 0,566 0,345 0,440 65 TERAMO
0,370 0,478 0,387 0,411 66 LIUC - CASTELLANZA
0,666 0,354 0,300 0,385 67 IULM - MILANO
0,587 0,487 0,225 0,351 68 VALLE D AOSTA
0,479 0,134 0,327 0,311 69 Libera Univ, Maria SS,Assunta-LUMSA - ROMA
0,037 0,188 0,421 0,238 70 Suor Orsola Benincasa - NAPOLI
0,310 0,516 0,135 0,238 71 Stranieri di SIENA
0,173 0,240 0,094 0,187 72 Universita IUAV di VENEZIA
0,000 0,172 0,205 0,167 73 Stranieri di PERUGIA
0,000 0,168 0,110 0,110 74 UKE - Universita Kore di ENNA
0,147 0,000 0,090 0,096 75 LUSPIO
0,182 0,033 0,100 0,091 76 ROMA Foro Italico
0,119 0,053 0,000 0,064 77 LUM Jean Monnet
0,036 0,036 78 I,U,S,S, - PAVIA
0,000 0,144 0,015 0,034 79 SCIENZE GASTRONOMICHE
0,000 0,000 0,012 0,006 80 EUROPEA di ROMA
0,000 0,000 0,000 0,000 81 L Orientale di NAPOLI
http://scholarsearch.uniroma2.it/documentation.html
Google scholar used only for publications in english
Fonte: elaborazioni su dati Scholar Search, periodo 2004-2010
http://scholarsearch.uniroma2.it
A me non pare tanto cattiva!
1) A Giavazzi piacera' perche' n.1 e' Bocconi
2) ai vertici mi pare ci siano ottime universita' (sfido quelli di ROARS a dire il contrario)
3) BARI non è terzultima come con ANVUR, ma 25 su 81
4) Le ultime sono forse effettivamente da chiudere!
Ai colleghi di ROARS tipo Giuseppe De Nicolao non piace. "La classifica di Mike Ciavarella è basata su Scholar Search, la cui inutilizzabilità è già stata dimostrata da Antonio Banfi:
http://www.roars.it/online/scholar-search-allinferno-andata-e-ritorno/
Eppure quando li provoco su fare proposte e non solo critiche, non riesco ad ottenere una singola risposta. Mike Ciavarella: "ah si? ma i soldi in UK li danno eccome in modo differenziato, da almeno 20 anni. quindi come fanno??"
Giuseppe De Nicolao Basta studiare i documenti HEFCE per rendersi conto che per dare i soldi non è necessario fare classifiche. Sono sufficienti i "quality profiles" (che non sono classifiche). Per una spiegazione si legga la parte finale di:
http://www.roars.it/online/vqr-gli-errori-della-formula-ammazza-atenei-dellanvur/
1. "università al top": i dati per ottenere la classifica stanno nel primo foglio Excel del file
http://www.anvur.org/rapporto/files/stampa/piccole%20universita.xlsx
Basta fare un sort rispetto alla colonna "somma algebrica" (nel file sembrano esserci solo i piccoli atenei, ma basta rendere visibili le linee nascoste per vederli tutti). La parte di testa di questa classifica è quella riportata su Roars nella figura:
http://www.roars.it/online/wp-content/uploads/2013/08/Magnifiche201.png
Per le "università al top", la differenza tra classifiche per la stampa e quelle desumibili dal rapporto finale dipende dalla diversa definizione di quali atenei sono "grandi", "medi" e "piccoli" (http://www.roars.it/online/classifiche-vqr-alterate-analizziamo-le-prove/
2. "dimensione vs qualità": la classifica per la stampa è quella che cita Giavazzi nella sua risposta a me, ovvero quella riportata nelle slides di presentazione della VQR. La classifica "originale" è quella riportata nell'articolo di Roars:
http://www.roars.it/online/wp-content/uploads/2013/08/tab6_10aRappFin.png
In questo secondo caso nel materiale per la stampa era stata usata una formula diversa per aggregare i risultati delle diverse aree disciplinari (Matematica, Fisica, Chimica, etc): http://www.roars.it/online/vqr-le-classifiche-daltoniche-dellanvur/
RIEPILOGANDO, A CHE SERVE TUTTO QUESTO BARACCONE DI DATI?
L'anno scorso, usando dati di Google Scholar raccolti a Roma da un collega (Gianni Cesareni) che aveva scaricato l'intero database di docenti del Cineca, e fatto girare Google Scholar in modo automatico (tentando al meglio di evitare gli omonimi), feci una classifica di Atenei, che oggi mi pare migliore di quella ANVUR, e certamente se anche venisse strumentalizzata, non sarebbe tanto male.
Il grosso vantaggio rispetto a quella ANVUR e' che non taglia chissa' perche' arbitrariamente a 3 lavori per docente.
http://italianscientists.blogspot.it/2012/04/la-classifica-delle-univ-per-h-medio.html
Intanto, la riporto qua, e poi la commento, con le critiche che ha ricevuto.
Rispetto alla classifica del H-index medio docente, abbiamo normalizzato per tener conto degli Hmedi diversi nei vari SSD. In questa maniera, non si avvantaggiano i SSD che hanno mediamente H-index piu' alti, come i medici e i fisici. Infatti balza in testa la Bocconi, mentre S.Raffaele scende al secondo posto e Bologna sale al terzo. Da notare la risalita di Trento, e la ottima posizione di Milano che con Trento, Padova e Pisa, si colloca meglio della Normale di Pisa, forse svantaggiata dal fatto che usiamo Scholar solo in inglese. La Campus Bio medico di Roma scende molte posizioni. Ci saremmo aspettati molto migliori performance dai Politecnici, che invece solo sono al 30 esimo posto con PoliMI, e addirittura 41 con Polito, e 59esimo PoliBA. Ci sono ovvie differenze con la classifica SCIMAGO, che vede PoliBA la migliore università pubblica italiana addirittura nel 2011, preceduta dalla privata Bocconi di pochi posti nella classifica mondiale, intorno ai 620- 640 posti, http://www.scimagoir.com/. Rimane da analizzare meglio la differenza nelle classifiche SCIMAGO che pure dovrebbero misurare impatto normalizzato molto in modo simile a noi. Una nota di cautela per gli entusiasmi, gli H index italiani sono comunque mediamente bassi, e rimane terribile il fatto che un terzo degli italiani non e' proprio citato su Google Scholar. Forse aggiungeremo il Google Scholar in italiano, per vedere se recuperiamo materie umanistiche e meno presenti in lingua inglese, per un confronto piu' ampio.
H_ord Hass HRic Totale Rank Ateneo
2,736 3,226 2,058 2,630 1 Bocconi MILANO
2,143 2,221 1,027 1,975 2 S, Raffaele MILANO
1,865 1,782 1,479 1,677 3 BOLOGNA
1,917 1,314 1,627 1,622 4 TRENTO
2,136 1,625 1,094 1,532 5 S,ANNA di PISA
1,428 1,311 1,463 1,403 6 PISA
1,616 1,349 1,234 1,373 7 PADOVA
1,589 1,311 1,025 1,367 8 SISSA - TRIESTE
1,828 1,294 1,055 1,340 9 MILANO
1,876 0,946 1,100 1,288 10 Scuola Normale Superiore di PISA
1,562 1,203 0,891 1,217 11 Ca Foscari VENEZIA
1,382 1,146 1,002 1,157 12 SIENA
1,457 1,160 0,941 1,138 13 TORINO
1,287 0,988 1,133 1,138 14 CATANIA
1,338 1,034 1,033 1,109 15 MILANO-BICOCCA
1,185 1,220 0,993 1,108 16 NAPOLI Federico II
1,312 1,054 0,957 1,087 17 MODENA e REGGIO EMILIA
1,373 1,044 0,905 1,078 18 PAVIA
1,411 1,005 0,897 1,063 19 BRESCIA
1,251 0,994 0,948 1,049 20 Politecnica delle MARCHE
1,319 1,020 0,877 1,029 21 ROMA La Sapienza
1,218 1,016 0,908 1,026 22 FERRARA
1,192 0,636 1,153 1,012 23 BERGAMO
1,391 1,224 0,715 0,990 24 Univ, Campus Bio-Medico ROMA
1,291 0,889 0,894 0,989 25 BARI
1,148 0,926 0,914 0,987 26 FIRENZE
1,269 0,948 0,838 0,984 27 VERONA
1,211 1,005 0,817 0,977 28 PALERMO
1,359 0,891 0,807 0,958 29 della CALABRIA
1,093 0,939 0,828 0,932 30 Politecnico di MILANO
1,272 0,930 0,725 0,931 31 SALERNO
1,241 0,975 0,716 0,918 32 ROMA Tor Vergata
1,063 0,884 0,838 0,914 33 PARMA
0,922 1,052 0,810 0,907 34 CAGLIARI
1,126 0,929 0,749 0,905 35 INSUBRIA
1,130 0,971 0,686 0,901 36 PIEMONTE ORIENTALE
0,982 0,848 0,856 0,887 37 TRIESTE
1,062 0,917 0,686 0,865 38 UDINE
0,979 0,839 0,766 0,842 39 PERUGIA
0,874 0,840 0,820 0,841 40 CATANZARO
0,831 0,961 0,733 0,828 41 Politecnico di TORINO
0,985 0,880 0,687 0,826 42 CHIETI-PESCARA
0,974 0,801 0,716 0,818 43 GENOVA
0,970 0,860 0,695 0,805 44 MESSINA
0,894 0,640 0,872 0,798 45 SASSARI
1,043 0,721 0,676 0,794 46 TUSCIA
0,687 1,101 0,585 0,750 47 CASSINO
0,944 0,784 0,575 0,749 48 L AQUILA
0,756 0,899 0,494 0,737 49 LUISS Guido Carli - ROMA
0,933 0,803 0,590 0,726 50 SANNIO di BENEVENTO
0,860 0,604 0,707 0,706 51 BASILICATA
0,710 0,860 0,616 0,701 52 Libera Universita di BOLZANO
0,693 0,637 0,734 0,697 53 Seconda Univ, NAPOLI
0,820 0,525 0,633 0,645 54 Mediterranea di REGGIO CALABRIA
0,865 0,504 0,604 0,641 55 FOGGIA
0,761 0,618 0,594 0,639 56 CAMERINO
0,805 0,571 0,603 0,638 57 URBINO Carlo BO
0,673 0,666 0,411 0,590 58 MOLISE
0,645 0,503 0,595 0,582 59 Politecnico di BARI
0,833 0,624 0,447 0,574 60 Cattolica del Sacro Cuore
0,532 0,607 0,432 0,513 61 ROMA TRE
0,583 0,527 0,430 0,494 62 Parthenope di NAPOLI
0,522 0,386 0,496 0,471 63 SALENTO
0,720 0,397 0,306 0,445 64 MACERATA
0,544 0,566 0,345 0,440 65 TERAMO
0,370 0,478 0,387 0,411 66 LIUC - CASTELLANZA
0,666 0,354 0,300 0,385 67 IULM - MILANO
0,587 0,487 0,225 0,351 68 VALLE D AOSTA
0,479 0,134 0,327 0,311 69 Libera Univ, Maria SS,Assunta-LUMSA - ROMA
0,037 0,188 0,421 0,238 70 Suor Orsola Benincasa - NAPOLI
0,310 0,516 0,135 0,238 71 Stranieri di SIENA
0,173 0,240 0,094 0,187 72 Universita IUAV di VENEZIA
0,000 0,172 0,205 0,167 73 Stranieri di PERUGIA
0,000 0,168 0,110 0,110 74 UKE - Universita Kore di ENNA
0,147 0,000 0,090 0,096 75 LUSPIO
0,182 0,033 0,100 0,091 76 ROMA Foro Italico
0,119 0,053 0,000 0,064 77 LUM Jean Monnet
0,036 0,036 78 I,U,S,S, - PAVIA
0,000 0,144 0,015 0,034 79 SCIENZE GASTRONOMICHE
0,000 0,000 0,012 0,006 80 EUROPEA di ROMA
0,000 0,000 0,000 0,000 81 L Orientale di NAPOLI
http://scholarsearch.uniroma2.it/documentation.html
Google scholar used only for publications in english
Fonte: elaborazioni su dati Scholar Search, periodo 2004-2010
http://scholarsearch.uniroma2.it
A me non pare tanto cattiva!
1) A Giavazzi piacera' perche' n.1 e' Bocconi
2) ai vertici mi pare ci siano ottime universita' (sfido quelli di ROARS a dire il contrario)
3) BARI non è terzultima come con ANVUR, ma 25 su 81
4) Le ultime sono forse effettivamente da chiudere!
Ai colleghi di ROARS tipo Giuseppe De Nicolao non piace. "La classifica di Mike Ciavarella è basata su Scholar Search, la cui inutilizzabilità è già stata dimostrata da Antonio Banfi:
http://www.roars.it/online/scholar-search-allinferno-andata-e-ritorno/
Eppure quando li provoco su fare proposte e non solo critiche, non riesco ad ottenere una singola risposta. Mike Ciavarella: "ah si? ma i soldi in UK li danno eccome in modo differenziato, da almeno 20 anni. quindi come fanno??"
Giuseppe De Nicolao Basta studiare i documenti HEFCE per rendersi conto che per dare i soldi non è necessario fare classifiche. Sono sufficienti i "quality profiles" (che non sono classifiche). Per una spiegazione si legga la parte finale di:
http://www.roars.it/online/vqr-gli-errori-della-formula-ammazza-atenei-dellanvur/
Nessun commento:
Posta un commento