Η τυραννία του Impact Factor(y). Η άλλη άποψη σε 9 θέματα

Με αφορμή όσα ακούγονται στις κρίσεις των μελών ΔΕΠ, σχετικά με την αναγνωρισιμότητα του ερευνητικού τους έργου και του εργαλείου που λέγεται impact factor, θέλω σήμερα να φιλοξενήσω μια διαφορετική άποψη. Είναι η άποψη που η «συναισθηματική» φόρτιση του υποψήφιου δεν του επιτρέπει να την διατυπώσει κοιτάζοντας κατάματα το εκλεκτορικό του σώμα. Όταν αισθάνεται ότι το ακαδημαϊκό του μέλλον κρέμεται από μια κλωστή και όπου κόποι ζωής, είτε θα δικαιωθούν ή θα μείνουν ανεκπλήρωτοι. Απλά επειδή κατά διαστήματα πρέπει να ταράσσονται τα νερά, θέλω να καταθέσω τον αντίλογο σε αυτήν την υπόθεση, που μπορεί να σώσει ίσως τα πανεπιστήμια από το factor(y) εργασιών και τους φοιτητές από δασκάλους που θα διαλέγουν το μετρήσιμο ερευνητικό έργο από το «ανούσιο» διδακτικό, το οποίο τελικά εκτιμάται λίγο μπροστά στην έρευνα. Ο αντίλογος είναι δεκτός και οι απόψεις των δασκάλων μας σεβαστές. Όλα νομίζω πως χρειάζονται, απλά μερικές φορές ίσως χάνεται το μέτρο.

Είμαστε μάρτυρες μιας εκρηκτικής αύξησης της επιστημονικής παραγωγής γνώσης στις μέρες μας. “Documentary chaos” είναι ο όρος που χρησιμοποιείται, αλλά το θέμα είναι πώς θα εκτιμήσουμε την επιστημονική ποιότητα. Αυτή η ανάγκη που σήμερα προκύπτει, δημιούργησε την αναγκαιότητα διεθνών δεικτών μέτρησης της σημαντικότητας των δημοσιεύσεων.

Ο impact factor πρωτοπεριγράφηκε το 1955 από τον Dr. Eugene

Garfield και χρησιμοποιήθηκε στις αρχές του 1960. Τι είναι ο impact Factor (IF). Είναι ένας αριθμός που για κάθε περιοδικό υπολογίζεται από την διαίρεση του αριθμού των πρόσφατων αναφορών σε άρθρα που έχουν δημοσιευτεί στο περιοδικό τα τελευταία 2 χρόνια με τον συνολικό αριθμό των άρθρων που έχουν δημοσιευτεί στο περιοδικό αυτά τα 2 χρόνια. Η χρηματοδότηση της έρευνας σε διεθνές επίπεδο, ακόμη και οι μισθοί των ερευνητών ή για να μην πάμε μακριά η ακαδημαϊκή τους εξέλιξη, καθορίζονται πλέον από αυτόν τον αριθμό. Το ερώτημα είναι, αν μπορεί ένας αριθμός να σηματοδοτήσει την αξιοπιστία ενός επιστημονικού περιοδικού, την επιστημονική αξία των άρθρων του, ή την αξία των ερευνητικών πρωτοκόλλων ή των ιδρυμάτων;

Θέμα πρώτον: Μικρό μέγεθος του δείγματος. Το 2005 το ISI (Institute for Scientific Information) είχε μια βάση δεδομένων σε άρθρα από 13673 περιοδικά στις ιατρικές και φυσικές επιστήμες (αυτά σήμερα πρακτικά μετρώνται) σε σύνολο 126000 επιστημονικών περιοδικών, με σαφή προτίμηση σε αγγλόφωνα και με κυριαρχία των εκδόσεων από την Βόρειο Αμερική. Για παράδειγμα το 1995 υπολογίστηκε, ότι υπήρχε η τάση οι συγγραφείς, επιλεκτικά να αναφέρονται σε άρθρα γραμμένα στην εθνική τους γλώσσα, με αποτέλεσμα οι μισές των αναφορών να είναι σε επιστήμονες από τις ΗΠΑ, ο οποίοι είχαν την τάση να αναφέρονται σε ομοεθνείς τους. Ποιος θα αναφερθεί σε μια αξιόλογη εργασία που δεν είναι γραμμένη στην αγγλική ή την μητρική του γλώσσα; Αυτό έχει σε τίποτα να κάνει με την αξία της έρευνας;

Θέμα δεύτερον: Ελλειπείς πηγές άντλησης του δείγματος μέτρησης. Οι δείκτες γίνονται με βιβλιογραφικές αναφορές μόνο από περιοδικά και όχι από βιβλία, κεφάλαια βιβλίων ή ανακοινώσεις σε συνέδρια. Έτσι τα περιοδικά έχουν τον πειρασμό, να μην δημοσιεύουν πράγματα που δεν θα τους δώσουν πόντους, δηλαδή ετεροαναφορές, όπως πρόσθετο υλικό (supplements) από διάφορες επιστημονικές συναντήσεις. Από την άλλη επιλέγουν άρθρα ανασκόπησης, ή τεχνικές αναφορές που είναι σίγουρο ότι θα έχουν μεγάλη αναφορά, με αποτέλεσμα τον περιορισμό του αριθμού των πρωτότυπων ερευνητικών εργασιών που δεν πουλάνε τόσο στην διαμόρφωση του IF.

Θέμα τρίτον: Το αντίκρισμα του άρθρου σε επιστημονική αξία. Η παρουσία ενός άρθρου σε ένα περιοδικό, δεν σημαίνει ότι το άρθρο αξίζει, αλλά μπορεί να παίρνει το άρθρο από το περιοδικό και όχι να προσφέρει το άρθρο στο περιοδικό. Περιοδικά με υψηλό IF, συγκεντρώνουν εργασίες που θα μπορούσαν να δημοσιευτούν σε περισσότερο εξειδικευμένα περιοδικά και να βοηθήσουν τον επιστημονικό πλουραλισμό. Για παράδειγμα, ένα εξαιρετικό περιοδικό στον χώρο της τοπικής αναισθησίας το Anesthesia Progress, ή στον χώρο των εμφυτευμάτων το Implant Dentistry δεν έχει IF. Αυτό μήπως μειώνει την αξία τους; Από την άλλη όμως πώς θα στείλουν οι ερευνητές εργασίες, όταν εξαιτίας αυτού του γεγονότος αυτές θεωρηθούν υποδεέστερες από άλλες;

Θέμα τέταρτον: Το θέμα της έρευνας. Το IF δεν επιτρέπει συγκρίσεις όταν πρόκειται για διαφορετικά πεδία έρευνας. Οι ετεροαναφορές επηρεάζονται από την δυναμική του πεδίου έρευνας αλλά και το μέγεθος του επιστημονικού πεδίου. Η επιλογή του θέματος της έρευνας, θα καθορίσει και την πιθανότητα που έχει αυτή να γίνει υψηλά αναφερόμενη. Έτσι για παράδειγμα, επιστήμονες που κάνουν έρευνα για το AIDS έχουν αυξημένη πιθανότητα να αναφερθούν από άλλους, σε σχέση με αυτούς που μελετούν την τοπική αναισθησία. Αυτό δεν δημιουργεί μια σύγχρονη δικτατορία στην έρευνα, που οδηγεί την έρευνα εκεί που πουλάει περισσότερο ή υπάρχουν οικονομικά συμφέροντα; Αναρωτιέται κανείς, μια επιδημιολογική μελέτη στην Ελλάδα έχει για ένα βορειοαμερικάνικο περιοδικό με υψηλό IF σημασία, την στιγμή που η αξία της έρευνας για εμάς, έχει ύψιστη σημασία, για την ποιότητα της υγείας των παιδιών μας, άσχετα αν δημοσιεύεται στο ταπεινό «ΣΤΟΜΑ»; Τι γίνεται επίσης όταν αλλάζουν οι προτεραιότητες της έρευνας; Πρέπει να αλλάξει ο ερευνητής πεδίο επειδή το προηγούμενο τώρα δεν πουλάει; Αν είναι πανεπιστημιακός με αυξημένη διδακτική ευθύνη, τι θα πει στους μαθητές του;

Θέμα πέμπτον: Η ουσία της έρευνας. Παράμετροι που καθορίζουν την ποιότητα της έρευνας μπορεί να περάσουν απαρατήρητες με το IF, όπως: σχεδιασμός της έρευνας, το θέμα που πραγματικά ερευνάται σε σχέση με την πρωτοτυπία του, οι κατάλληλες στατιστικές μεθοδολογίες, οι γενικεύσεις σε άλλες ομάδες, αλλά και το αν ο συγγραφέας είναι πρώτο όνομα ή είχε ουσιαστική συμβολή στην έρευνα, γιατί μπορεί και να είχε διακοσμητικό χαρακτήρα.

Θέμα έκτον: Η αναγνωσιμότητα του μέσου. Στην σημερινή εποχή που αρκετά περιοδικά προσφέρουν open access στο διαδίκτυο, η αξία μιας έρευνας δεν έχει να κάνει μόνο με τα περιοδικά που υπάρχουν στις πανεπιστημιακές βιβλιοθήκες, αλλά και από το πόσο αυτά διαβάζονται, με το κατέβασμα των άρθρων είτε σε pdf ή από τα site των εκδοτικών οίκων στο internet. Αυτή η παράμετρος δεν θα πρέπει να λαμβάνεται υπόψη; Δεν είναι και αυτό ένας δείκτης αξίας για την εργασία, που ο καθένας μας ως χρήστης γνώσης την αξιοποιεί; Ένας άλλος παράγοντας είναι η συχνότητα κυκλοφορίας του περιοδικού. Αυτά που είναι για παράδειγμα μηνιαία, έχουν περισσότερες πιθανότητες από τα διμηνιαία να αναφερθούν. Αυτό έχει να κάνει σε τίποτα με την ποιότητα της δημοσιευμένης σε αυτά έρευνας; Και τι γίνεται με τον χρόνο που παίρνει να δημοσιευτεί ένα άρθρο με όλες τις διορθώσεις από τους κριτές; Αν αυτό πάρει δύο χρόνια μετά πόσο επίκαιρη μπορεί να είναι η έρευνα σου για να αναφερθεί κάποιος σε αυτήν;

Θέμα έβδομον. Τι πιθανότητες έχεις να σε αναφέρει κάποιος. Σε μια μελέτη που έγινε από το 1900 μέχρι το 2005 βρέθηκε ότι μόνο το 0.5 % αναφέρθηκε πάνω από 200 φορές και ότι τα μισά άρθρα δεν αναφέρθηκαν ποτέ.

Θέμα όγδοο. Η έκταση των βιβλιογραφικών αναφορών. Μερικά περιοδικά βάζουν περιορισμούς στον αριθμό των αναφορών. Αυτό δεν έχει νομίζετε επιπτώσεις στην δυνατότητα που έχει κάποιος να σε αναφέρει;

Θέμα ένατο. Τι μας διδάσκει η ιστορία. Παίρνει συνήθως αρκετά χρόνια, πριν τα δεδομένα και τα θέματα που θίγουν σημαντικά άρθρα να αποκτήσουν ευρύτερο ενδιαφέρον στην επιστημονική κοινότητα. Ένα παράδειγμα που τεκμηριώνει την αποτυχία του IF που αναφέρεται μόνο στα δύο προηγούμενα χρόνια. Ένα πολύ μεγάλο και εξαιρετικά προσεγμένο επιστημονικό έργο που πραγματοποιήθηκε και δημοσιεύτηκε στην δεκαετία του 1960 από την ομάδα Branemark στο πανεπιστήμιο Goteborg της Σουηδίας, έγινε ευρέως γνωστό είκοσι τουλάχιστον χρόνια αργότερα! Και αν υποθέσει κανείς ότι, ένα πειραματικό έργο είναι πιο δύσκολα αναγνωρίσιμο, είναι εντυπωσιακό ότι ακόμα και τα κλινικά αποτελέσματα δέκα ετών που δημοσιεύτηκαν το 1977 πέρασαν απαρατήρητα. Είναι ενδεικτικό, ότι στην διάσκεψη που οργανώθηκε το 1978 από το Εθνικό Ινστιτούτο Έρευνας των ΗΠΑ (ΝΙΗ), με σκοπό να εκτιμήσουν την αποτελεσματικότητα των εμφυτευμάτων που χρησιμοποιούνταν εκείνη την περίοδο, δεν υπάρχει καμιά αναφορά στο έργο του Branemark. Μόλις το 1982 στην επονομαζόμενη διάσκεψη του Toronto δημοσιοποιήθηκαν στο αμερικανικό ερευνητικό κοινό, οι επιτεύξεις των Σουηδών συναδέλφων τους. Οι λόγοι για τους οποίους καθυστέρησε η διάδοση αυτής της τόσο σημαντικής γνώσης, θα μπορούσαν να αποδοθούν στην δυσκολία διάχυσης γνώσης εκείνη την εποχή, αλλά ακόμη και στην δυσπιστία της αμερικανικής επιστημονικής κοινότητας απέναντι στην ευρωπαϊκή. Δηλαδή ο Branemark στερείτο αναγνωσιμότητας!

Ως επίλογος: «Είναι θαυμαστό πως οι ερευνητές στηρίζονται σε μια μη επιστημονική μέθοδο για την εκτίμηση της επιστημονικής ποιότητας ενός άρθρου όπως είναι αυτή με το IF» (Steven Lock, Emeritus Editor of the British Medical Journal).

Αν θέλετε να εμβαθύνετε διαβάστε:

1. Impact factor: Is it dragging science off course? CURRENT 1782 SCIENCE, VOL. 89, NO. 11, 10 DECEMBER 2005, pg. 1782

2. The Journal Impact Factor: Too Much of an Impact? Ann Acad Med Singapore 2006;35:911-6

3. Understanding the Limitations of the Journal Impact Factor. J Bone Joint Surg Am. 2003;85:2449-2454.

4. Factors and indices are one thing, deciding who is scholarly, why they are scholarly, and the relative value of their scholarship is something else entirely. Ethics Sci Environ Polit 8: 1–3, 2008

5. Βιολογία οδοντικών εμφυτευμάτων. Γ. Μακρής. University Studio Press 2005, σελ. 12-14

Single Post Navigation

← Older Entry

Newer Entry →