Enric I. Canela

Llegeixo al Times Higher Education Supplement (THES) que The Higher Education Policy Institute (HEPI) dubta que el nombre de vegades que es citen els articles sigui una manera de mesurar la seva qualitat.

Fan la pregunta:
“Does citation analysis provide an objective measure of research quality?”

I la resposta és:
“No. Bibliometric indicators measure impact rather than quality.”

Podeu veure la pregunta i l’anàlisi a l’informe de desembre de 2007 Evaluating and funding research through the proposed “Research Excellence Framework”. Aquest article és la conseqüència d’aquest altre informe de juny de 2006: Using metrics to allocate research funds: initial response to the Government’s consultation proposals.

Les conclusions del HEPI provocaran variacions en els mecanismes de finançar la recerca a les universitats britàniques. Que com recordareu es basa en el Research Assessment Exercise (RAE). L’últim informe respon a Consultation on the assessment and funding of higher education research post-2008 fet pel Higher Education Funding Council for England (HEFCE).

Al meu parer, els mecanismes britànics haurien de ser emprats aquí.

9 respostes a “La qualitat de la recerca i el nombre de citacions”

  1. a 15 Des 2007 a les 11:29 David

    Les cites poden ser un indicador de popularitat, però no necessàriament de qualitat. Un conegut investigador en economia em posava un exemple: pot ser que un article rebi moltes cites perquè conté hipòtesis errònies o perquè omet variables d’anàlisi rellevant.

    En economia, el criteri que se segueix per avaluar a un investigador es basa principalment en la revista en què publiques, més que no pas en les cites que rep el teu article. Per determinar les millors revistes se sol combinar el factor d’impacte (que considera les cites que han rebut els articles de la revista en un període determinat), així com els resultats d’enquestes entre acadèmics, el que permet evitar el problema que he citat al principi.

  2. a 15 Des 2007 a les 11:53 enriccanela

    David,
    està clar. La idea és a similar qualitat de revista.
    A Ciències també s’agafa l’index d’impacte i es pondera tot amb el nombre de cites. El que passa és que també es critica l’Índex. O sigui els britànics volen una avaluació que vagi més enllà de la bibliometria. Una mescla de bibliometria i avaluació mper parells.

  3. a 16 Des 2007 a les 9:24 Elies

    Aquest informe continua essent un dels més interessants. No sé si t’has fixat que enguany han canviat la font de les cites. Fins ara treballaven amb l’Essential Science Indicators, de l’ISI, i en l’edició d’enguany la font és Scopus…

  4. a 16 Des 2007 a les 11:00 enriccanela

    Elies,
    Si. No ho vaig comentar, però quan vaig estudiar tot allò dels rànquings, ho vaig veure que QS topuniversities, que és qui fa el rànquing THES, emprava Scopus , ho raonen. Mira aquí les raons. Jo soc un fanàtic del mètode de finançament de les universitats i de revisió de la recerca britànics. Fa molts anys que els segueixo. També del model de pagament de matrícula, beques i préstecs, com a quedat per a aquest curs. La matrícula és cara però pagar al moment, pràcticament ningú. Millor que el mètode d’aquí, absolutament irresponsable i dolent per a les universitats.

  5. a 16 Des 2007 a les 12:22 Elies

    ok, gràcies, Enric. No ho conec prou bé, però els resultats són evidents.

    Tanmateix, m’esgarrifo només de pensar què passaria a les nostres universitats si s’apliquessin polítiques com les que descrius, i amb les que estic d’acord. Però tenint en compte el poder que té la crostra progressista (això sí que és una crostra) i la frivolitat i manipulabilitat del nostre personal… uf!

    L’amic de la Universitat de Perpinyà m’explicava la vaga salvatge que han hagut de patir, sense cap sentit. Quan es van poder reobrir les aules, tenien al mig del campus una pila d’un munt de metres d’alçada de material “saquejat”, arrassat.

    No cal posar-hi molta imaginació…
    (quantes coses han de canviar i quin munt d’absurds mites, falsedats i llocs comuns hem de combatre…)

  6. a 16 Des 2007 a les 12:29 enriccanela

    Elies,
    No soc gens optimista. A Madrid, parlant d’aquestes coses amb gent del Gobierno, no veuen gens clar fer canvis. I això que parlava amb persones que hi creuen, que també n’hi ha. No veuen gens clar que la universitat, i parlem de rectots, etc., ho accepti. Ja no dic res dels grups minoritaris d’estudiants però que fan soroll.
    Aquí a Catalunya es podrien canviar coses, però implicaria posar diners i tocar la LUC. Però coneixent als nostres líders…

  7. a 30 Des 2007 a les 12:52 Edunomia

    Índex d’impacte i qualitat de la recerca…

    Les dues darreres setmanes de desembre han estat molt complicades i no he tingut temps de comentar alguns dels molt interessants posts de l’Enric Canela. La seva entrada La qualitat de la recerca i el nombre de citacions aporta nova llum al tema…

  8. a 30 Des 2007 a les 8:33 Anna

    M’ha fet pensar en una de les darreres entrades del blog “Administraciones en red” sota el títol “Colaboración versus fiscalización”. Fa referència al principi de qualitat que postula que la qualitat no s’inspecciona, es produeix. Pocs recursos per a la recerca, molts per a la seva avaluació… quin paradigma! Tot sovint, es fa realitat allò de “ens costa més el mall que l’enclusa”.

  9. a 30 Des 2007 a les 11:22 enriccanela

    Anna,
    Jo penso que l’avaluació és necessària per assignar bé els recursos. De fet l’avaluació per parells no és tan cara.
    De totes formes manquen recursos, especialment per a grups emergents. També caldria allargar més els projectes.
    A més cal adonar-se que els britànics avaluen per donar un pressupost extra-projectes.

Trackback URI | Comentaris RSS

Deixi una contestació