Η Τεχνητή Νοημοσύνη αλλάζει ήδη τον τρόπο με τον οποίο οι οργανισμοί παράγουν, επεξεργάζονται και αξιολογούν πληροφορίες. Ένας manager μπορεί σήμερα, μέσα σε λίγα λεπτά, να ζητήσει από ένα σύστημα να συγκρίνει προμηθευτές, να αξιολογήσει επιχειρηματικά σενάρια, να συνοψίσει εκατοντάδες σελίδες εγγράφων ή να προτείνει μια στρατηγική επιλογή.
Η πρακτική αξία είναι προφανής. Το λιγότερο προφανές πρόβλημα εμφανίζεται όταν η εισήγηση δεν παρουσιάζεται ως απλή πληροφορία, αλλά ως συνεκτική, καλογραμμένη και φαινομενικά βέβαιη απάντηση. Τότε ο άνθρωπος δεν καλείται μόνο να χρησιμοποιήσει ένα νέο εργαλείο. Καλείται να αποφασίσει πόσο μέρος της δικής του κρίσης θα αναθέσει σε αυτό.
Ας υποθέσουμε ότι ένας διευθυντής πρέπει να επιλέξει ανάμεσα σε τρεις προμηθευτές. Έχει περιορισμένο χρόνο, μια σύσκεψη σε είκοσι λεπτά και αρκετές ακόμη εκκρεμότητες. Το σύστημα ΤΝ αναλύει τα δεδομένα και απαντά ότι «ο προμηθευτής Β αποτελεί σαφώς την καλύτερη επιλογή», παραθέτοντας πέντε εύλογους λόγους.
Ο manager διαβάζει την απάντηση, τη βρίσκει συνεπή και εγκρίνει την πρόταση. Μήνες αργότερα, προκύπτει ένα σοβαρό πρόβλημα που το σύστημα δεν είχε ενσωματώσει στην ανάλυσή του. Η εύκολη ερώτηση είναι αν «έκανε λάθος η ΤΝ». Η σημαντικότερη διοικητική ερώτηση είναι διαφορετική: ποιος αποφάσισε ότι το συγκεκριμένο output αποτελούσε επαρκή βάση για δράση;
Αυτό το ερώτημα βρίσκεται στον πυρήνα της έρευνας για την ανθρώπινη αλληλεπίδραση με την αυτοματοποίηση. Η σχετική βιβλιογραφία εδώ και δεκαετίες δεν αντιμετωπίζει την εμπιστοσύνη ως κάτι που πρέπει απλώς να αυξηθεί. Το ζητούμενο είναι η κατάλληλη εξάρτηση, δηλαδή η ανθρώπινη εμπιστοσύνη και συμπεριφορά να αντιστοιχούν όσο γίνεται καλύτερα στις πραγματικές δυνατότητες και στους περιορισμούς του συστήματος (Lee & See, 2004).
Η διάκριση είναι κρίσιμη. Ένας εργαζόμενος που απορρίπτει συστηματικά ένα αξιόπιστο σύστημα δημιουργεί ένα είδος κινδύνου. Ένας εργαζόμενος που ακολουθεί συστηματικά ένα αναξιόπιστο output δημιουργεί ένα άλλο. Στόχος επομένως δεν είναι ούτε η πίστη ούτε η καχυποψία απέναντι στην ΤΝ. Είναι η σωστή βαθμονόμηση της εξάρτησης.
Η γλωσσική αυτοπεποίθηση δεν είναι μέτρο γνώσης
Τα σύγχρονα συστήματα παραγωγικής ΤΝ εισάγουν μια πρόσθετη δυσκολία επειδή επικοινωνούν με τρόπο που μοιάζει ανθρώπινος. Η σαφήνεια, η λεκτική συνοχή και η αποφασιστικότητα μιας απάντησης μπορούν εύκολα να λειτουργήσουν ως ενδείξεις επάρκειας, παρότι δεν αποτελούν άμεσες ενδείξεις ορθότητας. Στην ανθρώπινη επικοινωνία χρησιμοποιούμε συχνά παραγλωσσικά και κοινωνικά σήματα για να αξιολογήσουμε πόσο αξιόπιστος φαίνεται ένας ομιλητής.
Σε ένα σύστημα ΤΝ, όμως, η φράση «αυτή είναι η καλύτερη επιλογή» δεν σημαίνει ότι το σύστημα βιώνει μεγαλύτερη επιστημική βεβαιότητα από όση θα εξέφραζε γράφοντας «πιθανόν αυτή είναι η καλύτερη επιλογή». Η διατύπωση είναι μέρος του παραγόμενου output και δεν πρέπει να συγχέεται αυτομάτως με την ποιότητα των υποκείμενων στοιχείων.
Η διάκριση ανάμεσα στην εμπιστοσύνη και στην πραγματική εξάρτηση είναι επίσης ουσιώδης. Ο άνθρωπος μπορεί να δηλώνει επιφυλακτικός απέναντι στην ΤΝ και παρ’ όλα αυτά να ακολουθεί συστηματικά τις προτάσεις της. Αντίστροφα, μπορεί να δηλώνει ότι εμπιστεύεται ένα σύστημα αλλά να αγνοεί τις συστάσεις του όταν αυτές συγκρούονται με τη δική του αρχική κρίση. Μελέτες για την ανθρώπινη σχέση με τους αλγορίθμους έχουν καταγράψει τόσο algorithm aversion, δηλαδή δυσανάλογη απόρριψη ενός αλγορίθμου μετά την παρατήρηση λάθους του, όσο και algorithm appreciation, δηλαδή αυξημένη βαρύτητα σε συμβουλές που θεωρούνται αλγοριθμικές αντί ανθρώπινες (Dietvorst et al., 2015; Logg et al., 2019).
Συνεπώς, δεν υπάρχει ένας καθολικός «ανθρώπινος φόβος» ή μια καθολική «ανθρώπινη υπακοή» προς την ΤΝ. Η σχέση εξαρτάται από το έργο, την εμπειρία του χρήστη, την προηγούμενη απόδοση του συστήματος και τον τρόπο με τον οποίο παρουσιάζεται η εισήγηση.
Αυτό έχει ιδιαίτερη σημασία για έναν οργανισμό. Η πολιτική «χρησιμοποιήστε την ΤΝ αλλά ελέγχετε τις απαντήσεις της» ακούγεται υπεύθυνη, αλλά είναι επιχειρησιακά ασαφής. Τι σημαίνει «έλεγχος»; Πρέπει ο χρήστης να επαληθεύσει κάθε αριθμό; Να αναζητήσει δεύτερη πηγή; Να συγκρίνει με τη δική του αρχική εκτίμηση; Να ελέγχει μόνο τις αποφάσεις υψηλής συνέπειας; Χωρίς συγκεκριμένο μηχανισμό, η γενική εντολή για ανθρώπινο έλεγχο μεταφέρει την ευθύνη στον χρήστη χωρίς να του δίνει σαφή διαδικασία με την οποία μπορεί να την ασκήσει.
Υπό πίεση χρόνου, η εισήγηση μπορεί να γίνει το σημείο αναφοράς
Το πρόβλημα γίνεται εντονότερο όταν η ΤΝ ενσωματώνεται στις πραγματικές συνθήκες εργασίας. Οι managers δεν αποφασίζουν σε περιβάλλοντα χωρίς πίεση. Διαχειρίζονται πολλαπλά καθήκοντα, χρονικούς περιορισμούς, ανταγωνιστικές προτεραιότητες και ελλιπή δεδομένα. Αυτές είναι ακριβώς οι συνθήκες στις οποίες η αυτοματοποίηση γίνεται πολύτιμη, επειδή μειώνει το γνωστικό φορτίο. Είναι όμως και οι συνθήκες στις οποίες μπορεί να αυξηθεί η υπερβολική εξάρτηση από αυτήν.
Η έρευνα των Parasuraman και Manzey (2010) έδειξε ότι η complacency και το automation bias συνδέονται στενά με τις απαιτήσεις προσοχής και με την πολυδιεργασία. Το φαινόμενο δεν περιορίζεται στους αρχάριους και δεν εξαφανίζεται απλώς με περισσότερη εξοικείωση ή γενικές οδηγίες προσοχής.
Όταν ένα σύστημα παρέχει μια εισήγηση μέσα σε ένα περιβάλλον όπου η ανθρώπινη προσοχή είναι ήδη κατανεμημένη σε πολλά καθήκοντα, η πρόταση του συστήματος μπορεί να αποκτήσει δυσανάλογη βαρύτητα. Αυτό μπορεί να οδηγήσει τόσο σε commission errors, όπου ο άνθρωπος ακολουθεί μια λανθασμένη σύσταση, όσο και σε omission errors, όπου παραλείπει να εντοπίσει κάτι επειδή το σύστημα δεν το επισήμανε (Parasuraman & Manzey, 2010).
Το διοικητικό πρόβλημα εδώ είναι λεπτό. Η ΤΝ δεν χρειάζεται να «πάρει» τυπικά την απόφαση για να διαμορφώσει αποφασιστικά τη διαδικασία. Αν ο manager βλέπει πρώτα την εισήγηση της ΤΝ και μετά εξετάζει αν υπάρχει λόγος να την απορρίψει, η γνωστική ακολουθία έχει ήδη αλλάξει. Το σύστημα έχει παράγει το αρχικό σημείο αναφοράς και ο άνθρωπος μετακινείται από την ανεξάρτητη αξιολόγηση προς την αναζήτηση λόγων για απόκλιση από την πρόταση. Η τελική υπογραφή παραμένει ανθρώπινη, αλλά η αρχιτεκτονική της απόφασης έχει μεταβληθεί.
Η προηγούμενη επιτυχία μπορεί να μειώσει τον έλεγχο
Η επαναλαμβανόμενη σωστή απόδοση ενός συστήματος δημιουργεί ένα ακόμη παράδοξο. Όσο περισσότερο το εργαλείο αποδεικνύεται χρήσιμο, τόσο λιγότερο λογικό γίνεται να επανεξετάζει ο άνθρωπος κάθε απάντηση από το μηδέν. Αυτό είναι λειτουργικά αναγκαίο. Αν ένας χρήστης έπρεπε να επαληθεύει πλήρως κάθε αποτέλεσμα ενός αυτοματοποιημένου συστήματος, μεγάλο μέρος του οφέλους της αυτοματοποίησης θα εξαφανιζόταν. Η αποτελεσματικότητα όμως δημιουργεί σταδιακά προσδοκία αξιοπιστίας και η προσδοκία μπορεί να μεταφερθεί σε περιπτώσεις όπου δεν δικαιολογείται.
Επομένως, δεν αρκεί να γνωρίζουμε τη συνολική ακρίβεια ενός συστήματος. Χρειάζεται να γνωρίζουμε και τις συνθήκες αποτυχίας του. Ένα μοντέλο μπορεί να είναι εξαιρετικό σε τυπικές περιπτώσεις αλλά αδύναμο όταν λείπει συγκεκριμένο context, όταν το πρόβλημα βρίσκεται έξω από τα δεδομένα στα οποία βασίστηκε ή όταν απαιτείται γνώση που δεν έχει ενσωματωθεί στο input. Η εμπιστοσύνη πρέπει επομένως να βαθμονομείται όχι μόνο προς το «σύστημα» γενικά αλλά προς το συγκεκριμένο έργο και τη συγκεκριμένη περίπτωση.
Πρόσφατη πειραματική έρευνα ενισχύει αυτή την ανησυχία. Οι Klingbeil et al. (2024) βρήκαν ότι συμμετέχοντες μπορούσαν να υπερεξαρτηθούν από συμβουλές ΤΝ ακόμη και όταν αυτές συγκρούονταν με διαθέσιμη contextual information και με τα δικά τους συμφέροντα. Η ανθρώπινη εξάρτηση από το σύστημα επομένως δεν ακολουθεί απαραίτητα μια απλή ορθολογική σύγκριση «ποιος έχει καλύτερα δεδομένα». Επηρεάζεται και από την ίδια την παρουσία της ΤΝ ως πηγής συμβουλής.
Αυτό είναι ιδιαίτερα σημαντικό για τα στελέχη που χρησιμοποιούν το ίδιο σύστημα καθημερινά. Η εξοικείωση μπορεί να αυξάνει την επιχειρησιακή αποτελεσματικότητα και ταυτόχρονα να μειώνει το γνωστικό friction που κάποτε προκαλούσε τον έλεγχο. Το ερώτημα επομένως δεν είναι αν ένας manager εμπιστεύεται ή όχι την ΤΝ. Είναι αν η εμπιστοσύνη του παραμένει ευαίσθητη στις πραγματικές μεταβολές της αξιοπιστίας της ανά περίπτωση.
Η εξήγηση δεν είναι αυτόματα προστασία απέναντι στο λάθος
Μια συχνή απάντηση στο πρόβλημα είναι η explainable AI. Η λογική είναι εύλογη: αν το σύστημα εξηγεί πώς κατέληξε σε μια εισήγηση, ο άνθρωπος θα μπορεί να την ελέγξει καλύτερα. Η εμπειρική εικόνα όμως είναι πιο σύνθετη. Οι εξηγήσεις μπορούν να αυξήσουν την αντιλαμβανόμενη διαφάνεια χωρίς να βελτιώνουν απαραίτητα την ικανότητα του χρήστη να διακρίνει μια σωστή από μια λανθασμένη πρόταση. Σε ορισμένες συνθήκες μπορεί μάλιστα να αυξήσουν την υπερβολική εξάρτηση, επειδή μια εύλογη εξήγηση κάνει την πρόταση περισσότερο πειστική ανεξάρτητα από την ορθότητά της (Naiseh et al., 2023; Vered et al., 2023).
Η διαπίστωση αυτή έχει πρακτικό βάρος. Η «διαφάνεια» δεν πρέπει να αξιολογείται με βάση το πόσο καλά καταλαβαίνει ο χρήστης την αφήγηση της ΤΝ, αλλά με βάση το αν η πληροφορία τον βοηθά να αναγνωρίζει τις περιπτώσεις όπου δεν πρέπει να ακολουθήσει την πρότασή της. Μια καλοδιατυπωμένη αιτιολόγηση δεν αποτελεί εγγύηση verifiability. Αν ο χρήστης δεν έχει τρόπο να ελέγξει το κρίσιμο σημείο του reasoning, τότε η εξήγηση μπορεί να μετατραπεί από μηχανισμό εποπτείας σε μηχανισμό πειθούς.
Αυτό εξηγεί γιατί οι απλές παρεμβάσεις τύπου «δείξε περισσότερη πληροφορία» δεν είναι πάντα αρκετές. Η έρευνα των Buçinca et al. (2021), για παράδειγμα, έδειξε ότι παρεμβάσεις που υποχρέωναν τους συμμετέχοντες να εμπλακούν περισσότερο γνωστικά με το πρόβλημα μείωναν την υπερβολική εξάρτηση περισσότερο από απλές μορφές explainable AI. Η παρέμβαση όμως είχε κόστος σε ευκολία χρήσης και υποκειμενική αποδοχή. Αυτό είναι κλασικό Human Factors trade-off: το interface που απαιτεί περισσότερη σκέψη μπορεί να παράγει καλύτερο έλεγχο και ταυτόχρονα να θεωρείται λιγότερο ευχάριστο από τον χρήστη.
Για έναν οργανισμό, συνεπώς, ο στόχος δεν πρέπει να είναι να κάνει κάθε AI recommendation όσο γίνεται πιο εύκολο να αποδεχθεί. Σε αποφάσεις υψηλής συνέπειας, ένα μικρό και σκόπιμο cognitive friction μπορεί να είναι χαρακτηριστικό ασφάλειας και όχι ελάττωμα σχεδιασμού.
Ο άνθρωπος μέσα στον κύκλο δεν αρκεί, αν δεν μπορεί πραγματικά να παρέμβει
Η φράση human in the loop χρησιμοποιείται συχνά ως εγγύηση ότι η τελική ευθύνη παραμένει ανθρώπινη. Αυτό όμως είναι αληθινό μόνο όταν ο άνθρωπος διαθέτει ουσιαστική ικανότητα εποπτείας. Ένας χρήστης που καλείται να εγκρίνει εκατοντάδες προτάσεις, δεν έχει αρκετό χρόνο να τις ελέγξει, δεν διαθέτει ανεξάρτητη πληροφορία και γνωρίζει ότι η απόρριψη της σύστασης θα καθυστερήσει σημαντικά τη διαδικασία μπορεί να βρίσκεται τυπικά «μέσα στον κύκλο» χωρίς να ασκεί πραγματικό έλεγχο.
Για να έχει νόημα η ανθρώπινη εποπτεία, χρειάζονται τουλάχιστον τρεις προϋποθέσεις. Ο decision maker πρέπει να έχει επαρκή ικανότητα να αξιολογήσει το κρίσιμο μέρος της εισήγησης, επαρκή χρόνο και πληροφορία για να το κάνει και πραγματική εξουσία να απορρίψει ή να τροποποιήσει το output. Αν μία από αυτές λείπει, η ανθρώπινη υπογραφή κινδυνεύει να λειτουργήσει ως μηχανισμός μεταφοράς ευθύνης και όχι ως μηχανισμός ελέγχου.
Η πρόσφατη μεταανάλυση των Vaccaro et al. (2024) προσθέτει μια χρήσιμη προειδοποίηση απέναντι στην υπόθεση ότι «άνθρωπος + AI» είναι αυτομάτως καλύτερο από οποιονδήποτε από τους δύο μόνο του. Σε 106 πειραματικές μελέτες και 370 effect sizes, οι συνδυασμοί ανθρώπου και ΤΝ απέδωσαν, κατά μέσο όρο, χειρότερα από τον καλύτερο από τους δύο ανεξάρτητους performers. Το αποτέλεσμα ήταν ιδιαίτερα δυσμενές σε tasks λήψης αποφάσεων, ενώ τα οφέλη ήταν περισσότερο εμφανή σε δημιουργικές εργασίες. Η μεταανάλυση δεν αποδεικνύει ότι η ανθρώπινη συνεργασία με ΤΝ αποτυγχάνει γενικά. Δείχνει όμως ότι η συμπληρωματικότητα δεν εμφανίζεται απλώς επειδή βάζουμε έναν άνθρωπο δίπλα σε έναν αλγόριθμο. Πρέπει να σχεδιαστεί.
Αυτό είναι ίσως το σημαντικότερο μάθημα για τη διοίκηση. Το AI adoption δεν είναι μόνο τεχνολογική εγκατάσταση. Είναι redesign του συστήματος εργασίας.
Η ευθύνη δεν μπορεί να ανατεθεί μαζί με το task
Η ΤΝ μπορεί να αναλάβει μέρος της ανάλυσης. Μπορεί να επεξεργαστεί μεγαλύτερο όγκο δεδομένων από έναν άνθρωπο, να εντοπίσει πρότυπα και να παράγει εναλλακτικές σε ελάχιστο χρόνο. Δεν μπορεί όμως να αναλάβει την οργανωσιακή ευθύνη για την απόφαση με την ίδια έννοια που την αναλαμβάνει ένας manager ή ένας οργανισμός.
Αν ένα σύστημα προτείνει την απόρριψη ενός υποψηφίου, η επιχείρηση εξακολουθεί να πρέπει να μπορεί να υπερασπιστεί τη διαδικασία. Αν ένα AI-supported risk model υποτιμήσει έναν επιχειρηματικό κίνδυνο, ο οργανισμός δεν μπορεί να μεταφέρει τη λογοδοσία στο λογισμικό. Αν ένας manager εγκρίνει μια οικονομική απόφαση επειδή «αυτό πρότεινε η ΤΝ», η φράση περιγράφει την πηγή της εισήγησης, όχι την αιτιολόγηση της διοικητικής επιλογής.
Γι’ αυτό είναι χρήσιμο να διακρίνουμε την εκχώρηση εργασίας από την εκχώρηση ευθύνης. Το πρώτο είναι βασικός λόγος ύπαρξης της αυτοματοποίησης. Το δεύτερο δεν ακολουθεί αυτόματα. Όσο περισσότερο ένα σύστημα μετακινείται από την παραγωγή πληροφορίας προς τη σύσταση ή ακόμη και την εκτέλεση μιας ενέργειας, τόσο περισσότερο χρειάζεται να ορίζονται εκ των προτέρων τα όρια της εξουσιοδότησης και τα σημεία υποχρεωτικής ανθρώπινης παρέμβασης.
Αυτό σημαίνει ότι ένας οργανισμός δεν χρειάζεται μία ενιαία πολιτική «AI approval». Χρειάζεται διαβάθμιση ανάλογη με την επικινδυνότητα της απόφασης. Μια πρόταση μορφοποίησης παρουσίασης και μια απόφαση πρόσληψης δεν ανήκουν στην ίδια κατηγορία. Ούτε μια αναστρέψιμη δοκιμή δύο εβδομάδων και μια πολυετής συμβατική δέσμευση. Η ένταση του ανθρώπινου ελέγχου πρέπει να αυξάνεται όσο αυξάνονται η δυνητική συνέπεια, η αβεβαιότητα και η δυσκολία αναστροφής.
Από το «εμπιστεύομαι την ΤΝ;» στο «τι πρέπει να επαληθεύσω;»
Για τον manager, η πιο χρήσιμη αλλαγή είναι να μετακινηθεί από τη γενική εμπιστοσύνη προς μια συγκεκριμένη διαδικασία επαλήθευσης. Πριν χρησιμοποιηθεί μια εισήγηση ΤΝ σε απόφαση ουσιαστικής συνέπειας, χρειάζεται πρώτα να αποσαφηνιστεί ποιο είναι το κρίσιμο στοιχείο πάνω στο οποίο στηρίζεται η πρόταση.
Στη συνέχεια πρέπει να εξεταστεί ποια σημαντική πληροφορία ενδέχεται να λείπει από το σύστημα, ποια βασική παραδοχή θα ανέτρεπε το συμπέρασμα και αν το συγκεκριμένο σημείο μπορεί να ελεγχθεί από ανεξάρτητη πηγή. Αυτή η διαδικασία είναι περισσότερο αποτελεσματική από μια αόριστη απαίτηση να «ελέγξουμε όλη την απάντηση», διότι επικεντρώνει τους περιορισμένους ανθρώπινους πόρους στο σημείο όπου το λάθος θα άλλαζε πραγματικά την απόφαση.
Το δεύτερο ερώτημα αφορά το decision threshold. Πόση βεβαιότητα χρειαζόμαστε πριν δράσουμε; Δεν απαιτούν όλες οι αποφάσεις το ίδιο επίπεδο τεκμηρίωσης. Αν η επιλογή είναι φθηνή και πλήρως αναστρέψιμη, μπορεί να δικαιολογείται ένα μικρό pilot παρά την αβεβαιότητα. Αν όμως η απόφαση έχει σημαντικές οικονομικές, νομικές, ανθρώπινες ή safety συνέπειες, το threshold πρέπει να είναι υψηλότερο. Η καλή διοίκηση δεν προσπαθεί να εξαφανίσει κάθε αβεβαιότητα. Συνδέει το απαιτούμενο επίπεδο βεβαιότητας με το κόστος του πιθανού λάθους.
Τρίτον, πρέπει να αλλάξει ο τρόπος επικοινωνίας της αβεβαιότητας. Η φράση «η επιλογή Β είναι η καλύτερη» κρύβει πολύ περισσότερα από όσα αποκαλύπτει. Ένας decision maker χρειάζεται να γνωρίζει με ποιες παραδοχές ισχύει το συμπέρασμα, πόσο ευαίσθητο είναι σε αλλαγές των δεδομένων και σε ποιες περιπτώσεις το σύστημα είναι γνωστό ότι αποδίδει χειρότερα. Η έρευνα στην trust calibration υποδεικνύει ακριβώς ότι η εμπιστοσύνη δεν πρέπει να βασίζεται σε γενικά χαρακτηριστικά αξιοπιστίας αλλά σε information cues που επιτρέπουν στον χρήστη να αντιληφθεί πότε το σύστημα είναι και πότε δεν είναι κατάλληλο για την εκάστοτε περίπτωση (Lee & See, 2004; Parasuraman & Manzey, 2010).
Η ΤΝ πρέπει να αυξάνει την ανθρώπινη ικανότητα, όχι να κρύβει την απουσία της
Η επιχειρηματική αξία της ΤΝ είναι πραγματική. Η έρευνα δεν δικαιολογεί ούτε τεχνοφοβία ούτε την αντίληψη ότι ο άνθρωπος πρέπει πάντοτε να υπερισχύει του συστήματος. Υπάρχουν εργασίες στις οποίες η ΤΝ θα είναι καλύτερη από τον άνθρωπο και άλλες στις οποίες η ανθρώπινη contextual knowledge θα παραμένει κρίσιμη. Το διοικητικό ζητούμενο είναι να γίνει σωστή κατανομή εργασίας και όχι να διατηρηθεί τεχνητά ο άνθρωπος σε κάθε task.
Εκεί βρίσκεται η ουσία της προσέγγισης του Ανθρώπινου Παράγοντα. Δεν εξετάζει τον άνθρωπο και την τεχνολογία ως ανταγωνιστές. Εξετάζει το κοινό σύστημα. Ρωτά ποιος πρέπει να κάνει τι, με ποια πληροφορία, υπό ποιο φόρτο εργασίας, με ποια δυνατότητα παρέμβασης και με ποια διαδικασία ανάκτησης όταν κάτι πάει στραβά.
Η ερώτηση λοιπόν «ποιος είναι καλύτερος, ο άνθρωπος ή η ΤΝ;» είναι συχνά λανθασμένη. Η περισσότερο χρήσιμη ερώτηση είναι πώς πρέπει να σχεδιαστεί η μεταξύ τους συνεργασία ώστε ο ένας να μπορεί να αναγνωρίζει και να καλύπτει τις αδυναμίες του άλλου. Η σημερινή εμπειρική βιβλιογραφία δείχνει ότι αυτή η συμπληρωματικότητα είναι εφικτή, αλλά δεν είναι αυτόματη (Vaccaro et al., 2024). Nature
Και εδώ επανερχόμαστε στον manager της αρχής. Αν η απόφαση για τον προμηθευτή Β αποδειχθεί λανθασμένη, το ουσιαστικό ερώτημα δεν είναι αν το μοντέλο έκανε λάθος. Τα μοντέλα θα κάνουν λάθη. Το ίδιο και οι άνθρωποι. Το ερώτημα είναι αν η διαδικασία ήταν σχεδιασμένη ώστε το λάθος να μπορεί να εντοπιστεί πριν μετατραπεί σε συνέπεια.
Αυτό είναι το πραγματικό όριο ανάμεσα στο decision support και στην εκχώρηση της απόφασης.
Η ΤΝ μπορεί να παράγει την εισήγηση. Μπορεί ακόμη και να είναι πιθανότερο να έχει δίκιο από εμάς.
Αλλά πριν πατήσουμε «approve», χρειάζεται να μπορούμε να απαντήσουμε σε μία ερώτηση:
Αν αυτή η απόφαση αποδειχθεί λανθασμένη, μπορώ να εξηγήσω γιατί ήταν εύλογο να την πάρω με βάση τα στοιχεία, τους ελέγχους και τα όρια που γνώριζα εκείνη τη στιγμή;
Αν η μόνη απάντηση είναι «επειδή αυτό πρότεινε η ΤΝ», τότε δεν έχουμε αυτοματοποιήσει μόνο την ανάλυση.
Έχουμε αρχίσει να αυτοματοποιούμε και την ευθύνη χωρίς να έχουμε τρόπο να τη μεταφέρουμε πραγματικά.
Βιβλιογραφία
Dietvorst, B. J., Simmons, J. P., & Massey, C. (2015). Algorithm aversion: People erroneously avoid algorithms after seeing them err. Journal of Experimental Psychology: General, 144(1), 114–126. https://doi.org/10.1037/xge0000033
Klingbeil, A., Grützner, C., & Schreck, P. (2024). Trust and reliance on AI: An experimental study on the extent and costs of overreliance on AI. Computers in Human Behavior, 160, 108352. https://doi.org/10.1016/j.chb.2024.108352
Lee, J. D., & See, K. A. (2004). Trust in automation: Designing for appropriate reliance. Human Factors, 46(1), 50–80. https://doi.org/10.1518/hfes.46.1.50_30392 PubMed
Logg, J. M., Minson, J. A., & Moore, D. A. (2019). Algorithm appreciation: People prefer algorithmic to human judgment. Organizational Behavior and Human Decision Processes, 151, 90–103. https://doi.org/10.1016/j.obhdp.2018.12.005
Naiseh, M., Al-Thani, D., Jiang, N., & Ali, R. (2023). How the different explanation classes impact trust calibration: The case of clinical decision support systems. International Journal of Human-Computer Studies, 169, 102941. https://doi.org/10.1016/j.ijhcs.2022.102941
Parasuraman, R., & Manzey, D. H. (2010). Complacency and bias in human use of automation: An attentional integration. Human Factors, 52(3), 381–410. https://doi.org/10.1177/0018720810376055 PubMed
Vaccaro, M., Almaatouq, A., & Malone, T. W. (2024). When combinations of humans and AI are useful: A systematic review and meta-analysis. Nature Human Behaviour, 8, 2293–2303. https://doi.org/10.1038/s41562-024-02024-1 Nature
Vered, M., Livni, T., Howe, P. D. L., Miller, T., & Sonenberg, L. (2023). The effects of explanations on automation bias. Artificial Intelligence, 322, 103952. https://doi.org/10.1016/j.artint.2023.103952 ScienceDirect
*Στρατιωτικός Ψυχολόγος, Πολεμική Αεροπορία, Ειδικός στον Ανθρώπινο Παράγοντα, MSc Human Factors in Aviation, PhD Psychology.
