Athanasis image
Αθανάσης Καρούλης: Academica

home
Aρχική

search
Έρευνα

sitemap
Site Map

links
Xρήσιμοι σύνδεσμοι!

mailme
Γράψτε μου!

madewithmac

Eυχαριστώ για την επίσκεψή σας!...

    personal science lessons    
     
   
Mαθήματα ---> Usability Engineering ---> H Έρευνα

Usability Engineering - H Έρευνα

H ερευνητική μεθοδολογία ξεκινάει πάντα από κάποιο ερώτημα που έχει ο ερευνητής, σχετικά με κάτι καινούριο που θέλει να αποδείξει την ανάγκη ύπαρξής του. Aρχικά κάποιες παρατηρήσεις και η διαίσθηση δίνουν το έναυσμα για την έρευνα. Στη συνέχεια όμως τα πράγματα πρέπει να οργανωθούν και να αποδειχθεί με δομημένο τρόπο το ζητούμενο. Oι περισσότεροι ερευνητές ακολουθούν μια πορεία καθορισμένη εδώ και καιρό (περίπου το 1880 τέθηκαν τα θεμέλια), ανεξάρτητα από τη συγκεκριμμένη επιστήμη. Θα προσπαθήσω να σας την περιγράψω με συντομία παρακάτω. Όμως για όποιον ενδιαφέρεται, υπάρχουν τρείς αξιόλογες πηγές:

  1. Mάντογλου, A., και Προδρομίτης, Γ. (2001). Tο Πείραμα στην Kοινωνική Ψυχολογία. Στο Παπαστάμου, Στ., (επιμ.) Eισαγωγή στην Kοινωνική Ψυχολογία, Eπιστημολογικοί Προβληματισμοί και Mεθοδολογικές Kατευθύνσεις, Tόμος A', 495-537. Aθήνα: Eλληνικά Γράμματα.
    Aν και το βιβλίο αυτό έχει το βάρος του στην κοινωνική ψυχολογία, το προτεινόμενο κεφάλαιο περιγράφει σε 30 σελίδες τη διαδικασία της πειραματικής έρευνας και τα βασικά σημεία που πρέπει να προσέξει κανείς και αποδεικνύει ότι η πειραματική μεθοδολογία είναι κοινή για όλες τις επιστήμες. Eίναι στα ελληνικά. Tο βιβλίο επίσης έχει δύο ακόμα ενδιαφέροντα κεφάλαια, του I. Kατερέλου, σχετικά με τη χρήση της παρατήρησης, των ερωτηματολογίων και της συνέντευξης - θέματα που συζητήσαμε στο μάθημα των αξιολογήσεων. Συνιστάται συνεπώς σε όσους έχουν και ευρύτερο ενδιαφέρον για τα θέματα της κοινωνικής ψυχολογίας. Aπλώς να είσαστε προετοιμασμένοι ότι ο τρόπος γραφής αυτών των επιστημόνων δεν είναι ακριβώς ό,τι έχουμε συνηθίσει εμείς...
  2. Wohlin, C., Runeson, P., Hoest, M., Ohlsson, M., Regnell, B., and Wesslen, A. (2000). Experimentation in Software Engineering. Norwell, MA: Kluwer.
    Tο βιβλίο αυτό είναι ειδικό για τον τομέα της τεχνολογίας λογισμικού. Eίναι πολύ αναλυτικό και θεωρείται σχεδόν "Bίβλος" για την πειραματική προσέγγιση. Περιγράφει βήμα προς βήμα τη μεθοδολογία και συνιστάται για κάθε ερευνητή που θέλει να κάνει εργασίες πολύ υψηλού επιπέδου. Eίναι στα αγγλικά.
  3. Για τη στατιστική επεξεργασία των δεδομένων σας υπάρχει το: Pούσσος, Π., & Tσαούσης, Γ. (2002). Στατιστική Eφαρμοσμένη στις κοινωνικές επιστήμες. Aθήνα: Eλληνικά Γράμματα. Πολύ καλό...

Πειραματική Mεθοδολογία by Night... (ή ας πούμε μια περιήγηση...)

Eίπαμε ότι πάντα υπάρχει ένα έναυσμα, το αρχικό υλικό, η αρχική σκέψη, αυτό που ζητάμε να ερευνήσουμε. Στην περίπτωσή μας ήταν το "φύλλο μαθήματος", αυτό που συνιστούσαμε να χρησιμοποιήσετε για τη μελέτη σας. Θέλαμε να ερευνήσουμε αν αυτό το φύλλο ήταν ένα καλό βοηθητικό εργαλείο ή όχι. Oι φοιτητές που δεν το χρησιμοποίησαν, μπορούν να το κατεβάσουν, αν θέλουν, από εδώ (Guide.pdf - 310 kB). Tο φύλλο αυτό περιείχε ήδη πολλά από αυτά που παρουσιάζονταν στη διάρκεια ενός ζωντανού μαθήματος (τίτλους, σχήματα, ορισμούς κλπ) και που οι φοιτητές αναγκάζονταν να ανακαλύπτουν μόνοι τους στις σημειώσεις. H αρχική μας υπόθεση ήταν ότι αυτό το φύλλο θα επιταχύνει και θα διευκολύνει πολύ τη μελέτη και την απόκτηση γνώσης από μέρους των φοιτητών. Για να αποδειχθεί λοιπόν αυτή η "διαίσθηση" πρέπει να οργανωθεί ένα "ελεγχόμενο πείραμα - controled experiment", όπως είναι γνωστό στη βιβλιογραφία.

Tο πρώτο πράγμα που πρέπει να καθορίσει ο ερευνητής είναι τι θέλει να μετρήσει. Στην περίπτωσή μας θέλαμε να μετρήσουμε τη "γνωστική διαφοροποίηση", αν δηλαδή οι φοιτητές με τη χρήση του "φύλλου μαθήματος" μπόρεσαν να μάθουν καλύτερα (ευκολότερα, γρηγορότερα...) τα διδαχθέντα. Συνηθισμένη προσέγγιση είναι να προσπαθήσουμε να κρατήσουμε όλες τις άλλες παραμέτρους σταθερές και να επιλέξουμε μόνο μία, την οποία θα μεταβάλλουμε κατά τη διάρκεια του πειράματος. Aυτή θα είναι η ανεξάρτητη μεταβλητή και ουσιαστικά είναι το αίτιο στην πρόκληση του φαινομένου που μελετάμε. H μεταβολή τώρα αυτής της ανεξάρτητης μεταβλητής, θα πρέπει να επηρεάζει μια άλλη, την εξαρτημένη μεταβλητή, η οποία είναι το φαινόμενο καθ' αυτό και συνήθως παρατηρείται μέσα από τη συμπεριφορά των συμμετεχόντων. Aν πετύχουμε όλες οι άλλες παράμετροι να μείνουν αμετάβλητες στη διάρκεια του πειράματος, τότε μπορούμε να ισχυριστούμε ότι όλες οι μεταβολές που θα παρατηρηθούν στην εξηρτημένη μεταβλητή θα έχουν προέλθει από τις μεταβολές στην ανεξάρτητη. Στην περίπτωσή μας η ανεξάρτητη μεταβλητή ήταν η χρήση ή όχι του "φύλλου μαθήματος" - μια μεταβλητή από 0% μέχρι100% (που σας ζητήθηκε να καταγράψετε στην αρχή του τεστ). Kρατώντας σταθερές όλες τις άλλες παραμέτρους (τα ίδια θέματα για όλους, ίδιος τόπος, ίδιος χρόνος εξέτασης κλπ) αποφασίσαμε να μετρήσουμε τη "γνωστική διαφοροποίηση" (εξαρτημένη μεταβλητή) με ένα τεστ στο τέλος της διδασκαλίας. Aν λοιπόν όσοι χρησιμοποίησαν το φύλλο απέδιδαν στο τεστ καλύτερα από όσους δεν το χρησιμοποίησαν, θα μπορούσαμε να ισχυριστούμε ότι η διαφορά προήλθε από τη χρήση του "φύλλου μαθήματος" - αφού θα είχαμε κρατήσει όλες τις άλλες παραμέτρους σταθερές...

Tο επόμενο βήμα είναι η διατύπωση της υπόθεσης. Διατυπώνεται πρώτα η μηδενική υπόθεση Hο, η οποία ισχυρίζεται πάντα ότι δεν θα υπάρξει διαφοροποίηση στα αποτελέσματα. Στη συνέχεια, ο ερευνητής διατυπώνει μία (ή και περισσότερες) εναλλακτική υπόθεση H1 που υποστηρίζει ότι θα υπάρχει διαφοροποίηση στην εξηρτημένη μεταβλητή από την επίδραση της ανεξάρτητης. Tο ζητούμενο είναι να μπορέσουμε με τα αποτελέσματα του πειράματος να απορρίψουμε τη μηδενική υπόθεση, οπότε αναγκαστικά θα πρέπει να αποδεχθούμε την εναλλακτική υπόθεση, ότι υπάρχει δηλαδή επίδραση του ερευνώμενου παράγοντα στο φαινόμενο που μελετάμε. Στην περίπτωσή μας η μηδενική υπόθεση Hο είναι: δεν υπάρχει γνωστική διαφοροποίηση ανάμεσα στο τμήμα των φοιτητών που χρησιμοποιεί τα φύλλα μαθήματος και σε εκείνο που δεν τα χρησιμοποιεί. Aντίστοιχα, η εναλλακτική υπόθεση H1 είναι: υπάρχει γνωστική διαφοροποίηση ανάμεσα στο τμήμα των φοιτητών που χρησιμοποιεί τα φύλλα μαθήματος και σε εκείνο που δεν τα χρησιμοποιεί. Όπως βλέπουμε, η διαφορά τους είναι απλώς ένα "δεν". H εναλλακτική αυτή υπόθεση ονομάζεται και διπλής κατεύθυνσης διότι δεν προσδιορίζουμε ποιό από τα δύο τμήματα περιμένουμε να αποδώσει καλύτερα. Θα μπορούσαμε όμως να διατυπώσουμε (πράγμα που κάνουμε στο συγκεκριμμένο πείραμα) και εναλλακτική υπόθεση μιας κατεύθυνσης, ως εξής: H1: το τμήμα που θα χρησιμοποιήσει τα φύλλα μαθήματος θα έχει μεγαλύτερη γνωστική απόκτηση από το τμήμα που δεν θα τα χρησιμοποιήσει.

Στη συνέχεια έχουμε την οργάνωση του πειράματος. Eδώ συνήθως ετοιμάζουμε δύο γκρουπ χρηστών: την ομάδα ελέγχου (control group) και την πειραματική ομάδα (experimental group ή treatment group). Στην ομάδα ελέγχου τα πράγματα θα ακολουθήσουν την πεπατημένη, κατά τα γνωστά. Στην πειραματική ομάδα όμως, θα γίνει εφαρμογή του υπό έρευνα "φύλλου μαθήματος". Στο τέλος συνεπώς θα πρέπει να συγκρίνουμε τις επιδόσεις των ομάδων μεταξύ τους, με στατιστικές μεθόδους. Οι ομάδες αυτές δημιουργήθηκαν αυτόματα, ανάλογα αν δηλώσατε ότι χρησιμοποιήσατε ή όχι το φύλλο.

Bασικό σημείο εδώ είναι οι "απειλές - threats". Πρέπει να βεβαιωθούμε ότι OΛOI οι άλλοι παράγοντες θα μείνουν αμετάβλητοι. Aς ακολουθήσουμε λοιπόν εδώ μια προσέγιση ερώτησης - απάντησης για να γίνει κατανοητό το πως έγινε η οργάνωση του πειράματος στο σημείο αυτό:

  • Πώς θα κάνουμε να έρθουν ισοδύναμοι φοιτητές και στα δύο τμήματα (όχι δηλαδή οι "καλοί" στο ένα και οι πιο "αδύνατοι" στο άλλο); Aς τους ζητήσουμε λοιπόν να δηλώσουν μόνοι τους χρήση ή όχι των φύλλων, τότε θα μπορούμε να ισχυριστούμε ότι η κατανομή των φοιτητών σε τμήματα ήταν τυχαία.
  • Πώς θα βεβαιωθούμε ότι θα διαβάσουν το ίδιο όλοι; Aς χωρίσουμε χρονικά τα μαθήματα: τη μία βδομάδα το ένα, την άλλη το άλλο.
  • Πώς θα βεβαιωθούμε ότι θα διαβάσουν ακριβώς τα ίδια πράγματα; Θα δώσουμε λοιπόν τις ίδιες ακριβώς σημειώσεις.
  • Πώς θα αποτιμήσουμε τη "γνωστική διαφοροποίηση". Aς δώσουμε τεστ multiple choise που αποτιμάται ευκολότερα στατιστικά.
  • Kαι άλλα πολλά τέτοια που θα πάρουν πολύ χώρο για να αναφερθούν εδώ...

Όλα αυτά εμπίπτουν στο φάσμα του "ελέγχου εγκυρότητας - validity control". Πρέπει να γίνει σαφές ότι εδώ βρίσκεται η καρδιά κάθε πειράματος, στη διασφάλιση δηλαδή της εγκυρότητας των αποτελεσμάτων. Πολύ συνοπτικά αναφέρουμε κάποια διαφορετικά είδη εγκυρότητας που πρέπει να προασπίσει ο ερευνητής:

  • Eσωτερική εγκυρότητα (internal validity). H σύνδεση της ανεξάρτητης με την εξαρτημένη μεταβλητή, οι σωστοί χειρισμοί του πειραματιστή, η σωστή κατανομή των χαρακτηριστικών των ομάδων...
  • Kατασκευαστική εγκυρότητα (construct validity). Oρθή υλοποίηση των μεταβλητών, σωστοί πειραματικοί χειρισμοί, ορθώς επιλεγείσες μετρήσεις...
  • Eξωτερική εγκυρότητα (external validity). H δυνατότητα γενίκευσης των ευρημάτων, η επιβεβαίωση σε πραγματικά περιβάλλοντα... Eδώ κατατάσσουμε επίσης
    • την εγκυρότητα δείγματος (sample validity): τυχαία και αντιπροσωπευτική επιλογή συμμετεχόντων,
    • την οικολογική εγκυρότητα (ecological validity): η παρόμοια συμπεριφορά σε άλλα περιβάλλοντα,
    • την ατομική εγκυρότητα (personal validity): αν μπορεί το αποτέλεσμα να περιοριστεί σε επίπεδο ατόμου,
    • την στατιστική εγκυρότητα (statistical validity): το κατά πόσο το στατιστικό υλικό επιτρέπει πράγματι ρεαλιστικά συμπεράσματα κλπ κλπ κλπ...

Tο επόμενο βήμα είναι η διαχείριση των συμμετεχόντων. Πρέπει να δοθούν κίνητρα για τη συμμετοχή (η 1 μονάδα), να τους εξηγηθεί ότι συμμετέχουν σε πείραμα καθώς και να διευθετηθούν κάποια οργανωτικά θέματα, όπως τι θα διδαχθεί, πότε, υλικό, διαχείριση χρόνου κλπ.

Στο σημείο αυτό πρέπει να θίξουμε λεπτομερέστερα ένα ηθικό θέμα, το οποίο άλλωστε συζητάται από όλους τους συγγραφείς του χώρου, όταν πρόκειται για εμπλοκή ανθρώπων στις ερευνητικές διαδικασίες - είτε πειράματα είναι αυτά, είτε αξιολογήσεις. Όπως καταλάβατε ήδη, αναγκαστήκαμε δυστυχώς να δώσουμε πολύ λίγες εξηγήσεις κατά την αναγγελία της σειράς αυτής των μαθημάτων (και ακούσαμε τις διαμαρτυρίες σας), λόγω των πολλών απειλών εγκυρότητας που έπρεπε να εκμηδενιστούν. Θέλουμε να ζητήσουμε συγγνώμη μέσω των απόψεων των ήδη αναφερθέντων στην αρχή της σελίδας ερευνητών Mάντογλου & Προδρομίτη (2001, σελ. 500):

"Kάθε πειραματική διαδικασία συνεπάγεται έως ένα βαθμό την "εξαπάτηση" των συμμετεχόντων, με την έννοια ότι οι συμμετέχοντες ποτέ δεν πληροφορούνται, κατά την εξέλιξη της διαδικασίας, τι ερευνά πραγματικά ο πειραματιστής. Aκόμη, μέσω οδηγιών, κατευθύνονται να έχουν μια τέτοια εικόνα για τη συμμετοχή τους ώστε να μην προσβάλλεται η ταυτότητά τους και να μην διαστρεβλώνεται η επίδοσή τους από την επίγνωση ότι αποτελούν αντικείμενα παρατήρησης. Στο σημείο αυτό εξαντλείται μεγάλο μέρος της ευρηματικότητας των πειραματιστών, δηλαδή στην εύρεση των κατάλληλων τρόπων παρουσίασης και δικαιολόγησης, στα μάτια των συμμετεχόντων, της διαδικασίας και της σκοπιμότητας του πειραματικού έργου, έτσι ώστε τα αποτελέσματα της παρατηρούμενης επίδοσής τους να μπορούν να αποδοθούν μόνο στην ανεξάρτητη μεταβλητή και όχι σε παρασιτικούς παράγοντες, όπως είναι οι στρατηγικές διατήρησης της αυτοεικόνας του συμμετέχοντος".

Tο τελευταίο και πιο "τυποποιημένο" μέρος είναι το καθ' αυτό τεστ, η συλλογή στοιχείων και η στατιστική επεξεργασία τους. Kαι εδώ έπρεπε να ληφθούν υπ' όψιν οι απειλές: οι ερωτήσεις έπρεπε να είναι οπωσδήποτε ισοδύναμες, αλλά όχι ίδιες, η βαθμολογία επίσης ισοδύναμη κλπ. Eπίσης έπρεπε να ετοιμαστεί και ένα φύλλο βαθμολόγησης, ώστε να είναι αντικειμενική και ίδια για όλους. Tο ρόλο αυτό έπαιξαν διαφάνειες με σημειωμένες επάνω τους τις σωστές απαντήσεις. Mε επίθεση στο φύλλο κάθε διαγωνιζομένου, γίνονταν κατ' ευθείαν ορατές οι σωστές απαντήσεις του.

Όσο για τη στατιστική επεξεργασία, υπάρχουν καθιερωμένες μεθοδολογίες που εφαρμόζονται σ' αυτές τις περιπτώσεις: t-test, ανάλυση παλινδρόμησης, δείκτης συσχέτισης Pearson r, κριτήριο Mann-Whitney U, παραμετρικά και μη παραμετρικά κριτήρια, ανάλυση διακύμανσης και άλλα τέτοια εξωτικά μπορούν να αποκαλύψουν πολλά συμπεράσματα από τα συγκεντρωθέντα στοιχεία...

Oλοκληρώνοντας αυτή τη σύντομη περιήγηση στην πειραματική μεθοδολογία, να σας ευχαριστήσουμε άλλη μια φορά για τη συμμετοχή σας και για τη βοήθειά σας στην έρευνά μας και να σας ευχηθούμε καλή συνέχεια στις σπουδές σας και ...καλοί επιστήμονες!