Θα εκτοξεύσετε τυχαία τεχνικές συνεντεύξεις. Όλοι το κάνουν. Αυτά είναι τα δεδομένα.

Όταν ακούτε εκατοντάδες τεχνικές συνεντεύξεις καθημερινά, αρχίζετε να παρατηρείτε μοτίβα. Ή σε αυτήν την περίπτωση, η έλλειψη προτύπων.

Βρήκα ένα πράγμα που είναι αρκετά συνεπές, και το χρησιμοποίησα ως βάση ενός παιχνιδιού για ποτό:

  • Κάθε φορά που κάποιος πιστεύει ότι η απάντηση σε μια ερώτηση συνέντευξης είναι ένας πίνακας κατακερματισμού, πάρτε ένα ποτό.
  • Και κάθε φορά που η απάντηση είναι στην πραγματικότητα hash table, πάρτε δύο ποτά.

Αλλά μην δοκιμάσετε αυτό το παιχνίδι. Πέθανε σχεδόν παίζοντας.

Ο λόγος που περνάω τις μέρες μου ακούγοντας τεχνικές συνεντεύξεις είναι επειδή πριν από μερικά χρόνια συνιδρυτήκαμε το interview.io, μια πλατφόρμα συνεντεύξεων όπου οι άνθρωποι μπορούν να εξασκήσουν τεχνικές συνεντεύξεις ανώνυμα και, στη διαδικασία, να βρουν θέσεις εργασίας.

Ως αποτέλεσμα, έχω πρόσβαση σε έναν τόνο δεδομένων σχετικά με την απόδοση των ίδιων ανθρώπων από συνέντευξη σε συνέντευξη. Και ανακάλυψα τόσο μεγάλη μεταβλητότητα που με κάνει να αμφισβητώ την αξιοπιστία των αποτελεσμάτων μιας συνέντευξης συνολικά.

Πώς αποκτήσαμε όλα αυτά τα δεδομένα

Όταν ένας ερευνητής και ένας ερωτώμενος ταιριάζουν στην πλατφόρμα μας, συναντιούνται σε ένα συνεργατικό περιβάλλον κωδικοποίησης με φωνή, συνομιλία κειμένου και έναν πίνακα και μεταβαίνουν απευθείας σε μια τεχνική ερώτηση.

Οι ερωτήσεις συνέντευξης στην πλατφόρμα τείνουν να εμπίπτουν στην κατηγορία αυτού που θα συναντούσατε σε μια οθόνη τηλεφώνου για έναν ρόλο μηχανικής υποστήριξης λογισμικού. Οι συνεντεύκτες προέρχονται συνήθως από ένα μείγμα μεγάλων εταιρειών όπως το Google, το Facebook και το Yelp, καθώς και νεοσύστατες επιχειρήσεις όπως Asana, Mattermark, KeepSafe και άλλα.

Μετά από κάθε συνέντευξη, οι ερευνητές βαθμολογούν τους ερωτηθέντες σε μερικές διαφορετικές διαστάσεις, συμπεριλαμβανομένης της τεχνικής ικανότητας. Η τεχνική ικανότητα βαθμολογείται σε κλίμακα από 1 έως 4, όπου το 1 είναι "meh" και το 4 είναι "καταπληκτικό!" Στην πλατφόρμα μας, το σκορ 3 ή παραπάνω γενικά σήμαινε ότι το άτομο ήταν αρκετά καλό για να προχωρήσει.

Σε αυτό το σημείο, μπορείτε να πείτε, ότι είναι ωραίο και όλα, αλλά ποιο είναι το μεγάλο πράγμα; Πολλές εταιρείες συλλέγουν αυτό το είδος δεδομένων στο πλαίσιο των δικών τους αγωγών.

Εδώ είναι το πράγμα που κάνει τα δεδομένα μας ξεχωριστά: ο ίδιος ερωτώμενος μπορεί να κάνει πολλαπλές συνεντεύξεις, καθεμία από τις οποίες είναι με διαφορετικό συνέντευξη και / ή διαφορετική εταιρεία. Αυτό ανοίγει την πόρτα για κάποια αρκετά ενδιαφέρουσα και κάπως ελεγχόμενη συγκριτική ανάλυση.

Εύρεση # 1: Η απόδοσή σας από συνέντευξη έως συνέντευξη είναι ασταθής

Ας ξεκινήσουμε με μερικά γραφικά. Στο παρακάτω γράφημα, το εικονίδιο κάθε ατόμου αντιπροσωπεύει τη μέση τεχνική βαθμολογία για έναν μεμονωμένο ερωτώμενο που έχει κάνει 2 ή περισσότερες συνεντεύξεις στην πλατφόρμα.

Ένα πράγμα που δεν εμφανίζεται σε αυτό το γράφημα είναι το πέρασμα του χρόνου, ώστε να μπορείτε να βλέπετε την απόδοση των ανθρώπων με την πάροδο του χρόνου. Είναι κάπως καυτό χάος.

Ο άξονας y είναι τυπική απόκλιση της απόδοσης, οπότε όσο πιο ψηλά ανεβαίνετε, τόσο πιο ασταθής απόδοση συνέντευξης γίνεται.

Όπως μπορείτε να δείτε, περίπου το 25% των ερωτηθέντων είναι συνεπείς στην απόδοσή τους και το υπόλοιπο είναι παντού.

Αν κοιτάξετε το παραπάνω γράφημα, παρά τον θόρυβο, πιθανότατα μπορείτε να μαντέψετε ποια άτομα θα θέλατε να συνέντευξη.

Αλλά λάβετε υπόψη ότι το καθένα αντιπροσωπεύει ένα μέσο . Ας προσποιηθούμε ότι, αντ 'αυτού, έπρεπε να λάβετε μια απόφαση βάσει ενός μόνο σημείου δεδομένων. Εκεί τα πράγματα γίνονται δυσάρεστα.

Για να οδηγήσετε πραγματικά αυτό το σημείο στο σπίτι, θα πρέπει να επισκεφθείτε την πραγματικά δροσερή διαδραστική έκδοση αυτού του γραφήματος. Εκεί μπορείτε να επεκτείνετε την απόδοση όλων και να δείτε πώς έκανε κάθε άτομο σε κάθε συνέντευξη. Τα αποτελέσματα μπορεί να σας εκπλήξουν! Για παράδειγμα:

  • Πολλοί άνθρωποι που σημείωσαν τουλάχιστον ένα 4 σημείωσαν επίσης τουλάχιστον ένα 2.
  • Αν κοιτάξουμε με υψηλές επιδόσεις (μέσος όρος 3,3 ή υψηλότερη), εξακολουθούμε να βλέπουμε μια αρκετά μεγάλη ποικιλία.
  • Τα πράγματα γίνονται πολύ σκοτεινά όταν θεωρούμε «μέσους» ερμηνευτές (μέση τιμή μεταξύ 2,6 και 3,3)

; Επισκεφθείτε την πραγματικά δροσερή διαδραστική απεικόνιση;

Ήμασταν περίεργοι να δούμε αν η μεταβλητότητα διέφερε καθόλου με τη μέση βαθμολογία των ανθρώπων. Με άλλα λόγια, οι πιο αδύναμοι παίκτες ήταν πιο ευμετάβλητοι από τους ισχυρούς; Η απάντηση είναι όχι. Όταν κάναμε μια παλινδρόμηση στην τυπική απόκλιση έναντι του μέσου όρου, δεν μπορούσαμε να βρούμε καμία ουσιαστική σχέση (R-τετράγωνο ~ = 0,03), που σημαίνει ότι οι άνθρωποι είναι παντού - ανεξάρτητα από το πόσο δυνατοί είναι κατά μέσο όρο.

Για μένα, κοιτάζοντας αυτά τα δεδομένα - στη συνέχεια προσποιούμενος ότι έπρεπε να λάβω μια απόφαση πρόσληψης με βάση ένα αποτέλεσμα της συνέντευξης - ένιωσα σαν να κοιτάξω ένα όμορφο, πολυτελές δωμάτιο μέσα από μια κλειδαρότρυπα. Μερικές φορές βλέπετε ένα έργο τέχνης στον τοίχο, μερικές φορές βλέπετε την επιλογή ποτού και μερικές φορές βλέπετε μόνο το πίσω μέρος ενός καναπέ.

Έτσι, σε μια πραγματική κατάσταση, όταν προσπαθείτε να αποφασίσετε αν θα προωθήσετε κάποιον στο χώρο του ξενοδοχείου, πιθανότατα προσπαθείτε να αποφύγετε δύο πράγματα - ψευδώς θετικά (φέρνοντας τους ανθρώπους κάτω από τη γραμμή σας κατά λάθος) και ψευδώς αρνητικά (απορρίπτοντας άτομα ποιος θα έπρεπε να έχει καταφέρει).

Το παράδειγμα συνέντευξης των περισσότερων κορυφαίων εταιρειών είναι ότι τα ψεύτικα αρνητικά είναι λιγότερο κακά από τα ψευδώς θετικά. Αυτό έχει νόημα, σωστά; Με έναν αρκετά μεγάλο αγωγό και αρκετούς πόρους, ακόμη και με υψηλό ψευδές αρνητικό ποσοστό, θα εξακολουθείτε να έχετε τα άτομα που θέλετε.

Με υψηλό ψευδώς θετικό ποσοστό, μπορεί να έχετε φθηνότερη πρόσληψη, αλλά ενδέχεται να προκαλέσετε μη αναστρέψιμη ζημιά στο προϊόν, την κουλτούρα και τα μελλοντικά πρότυπα πρόσληψης στη διαδικασία. Και φυσικά, οι εταιρείες που θέτουν τα πρότυπα και τις πρακτικές πρόσληψης για μια ολόκληρη βιομηχανία είναι αυτές με τους μεγάλους αγωγούς και φαινομενικά ανεξάντλητους πόρους.

Η σκοτεινή πλευρά της βελτιστοποίησης για υψηλά ψευδώς αρνητικά ποσοστά, ωστόσο, έχει το κεφάλι με τη μορφή της τρέχουσας κρίσης πρόσληψης μηχανικών. Οι απλές συνεντεύξεις, στην τρέχουσα ενσάρκωσή τους, δίνουν αρκετό μήνυμα; Ή μέσα σε τόση ζήτηση για ταλέντο, απομακρύνουμε τους εξειδικευμένους ανθρώπους γιατί όλοι κοιτάζουμε ένα μεγάλο, ασταθές γράφημα μέσα από μια μικρή κλειδαρότρυπα;

Λοιπόν, υπερβολικά ηθικοποιημένο στην άκρη, δεδομένου του πόσο ασταθής είναι η απόδοση της συνέντευξης, ποιες είναι οι πιθανότητες ότι ένας καλός υποψήφιος θα αποτύχει σε μια μεμονωμένη οθόνη τηλεφώνου;

Εύρεση # 2: Οι πιθανότητες αποτυχίας μίας συνέντευξης βάσει προηγούμενης απόδοσης

Παρακάτω, μπορείτε να δείτε την κατανομή της μέσης απόδοσης σε όλο τον πληθυσμό των ερωτηθέντων.

Για να καταλάβουμε την πιθανότητα ότι ένας υποψήφιος με δεδομένη μέση βαθμολογία θα αποτύχει σε μια συνέντευξη, έπρεπε να κάνουμε κάποια στατιστικά.

Πρώτον, χωρίσαμε τους ερωτηθέντες σε ομάδες σύμφωνα με το μέσο όρο βαθμολογίας τους (στρογγυλοποιημένο στο πλησιέστερο 0,25). Στη συνέχεια, για κάθε κοόρτη, υπολογίσαμε την πιθανότητα αποτυχίας, δηλαδή να έχουμε βαθμολογία 2 ή λιγότερο. Τέλος, για να επιλύσουμε το αρχικό μας σύνολο δεδομένων που δεν είναι τεράστιο, επαναπροσδιορίσαμε τα δεδομένα μας.

Στη διαδικασία δειγματοληψίας, αντιμετωπίζαμε το αποτέλεσμα μιας συνέντευξης ως πολυεθνική διανομή. Με άλλα λόγια, προσποιηθήκαμε ότι κάθε συνέντευξη ήταν ένα ρολό ενός σταθμισμένου τετραπλού τεμαχίου που αντιστοιχεί στην κοόρτη αυτού του υποψηφίου.

Στη συνέχεια, ξανακυλήσαμε τα ζάρια πολλές φορές για να δημιουργήσουμε ένα νέο, «προσομοιωμένο» σύνολο δεδομένων για κάθε κοόρτη και υπολογίσαμε νέες πιθανότητες αποτυχίας για κάθε κοόρτη χρησιμοποιώντας αυτά τα σύνολα δεδομένων. Παρακάτω, μπορείτε να δείτε τα αποτελέσματα της επανάληψης αυτής της διαδικασίας 10.000 φορές:

Όπως μπορείτε να δείτε, πολλές από τις παραπάνω διανομές αλληλεπικαλύπτονται μεταξύ τους. Αυτό είναι σημαντικό επειδή αυτές οι αλληλεπικαλύψεις μας λένε ότι μπορεί να μην υπάρχουν στατιστικά σημαντικές διαφορές μεταξύ αυτών των ομάδων (π.χ. μεταξύ 2,75 και 3).

Σίγουρα, με την εμφάνιση πολύ περισσότερων δεδομένων, οι οριοθετήσεις μεταξύ των ομάδων μπορεί να γίνουν πιο σαφείς. Από την άλλη πλευρά, εάν χρειαζόμαστε τεράστιο όγκο δεδομένων για να εντοπίσουμε διαφορές στο ποσοστό αποτυχίας, μπορεί να υποδηλώνει ότι οι άνθρωποι είναι εγγενώς πολύ μεταβλητές στην απόδοσή τους.

Στο τέλος της ημέρας, ενώ μπορούμε να πούμε με σιγουριά ότι υπάρχει μια σημαντική διαφορά μεταξύ του κάτω άκρου του φάσματος (2,25) έναντι του άνω άκρου (3,75), για τους ανθρώπους στη μέση, τα πράγματα είναι σκοτεινά.

Ωστόσο, χρησιμοποιώντας αυτές τις διανομές, προσπαθήσαμε να υπολογίσουμε την πιθανότητα ότι ένας υποψήφιος με συγκεκριμένη μέση βαθμολογία θα αποτύχει σε μία μόνο συνέντευξη:

Το γεγονός ότι οι άνθρωποι που είναι γενικά αρκετά ισχυροί (π.χ. μέσος όρος ~ = 3) μπορούν να χάσουν τεχνικές συνεντεύξεις έως και το 22% του χρόνου δείχνει ότι υπάρχει σίγουρα περιθώριο βελτίωσης στη διαδικασία. Και αυτό επιδεινώνεται περαιτέρω από τη γενική σκοτεινή στο μέσο του φάσματος.

Οπότε η συνέντευξη είναι καταδικασμένη;

Γενικά, όταν σκεφτόμαστε τη συνέντευξη, σκεφτόμαστε κάτι που θα έπρεπε να έχει επαναλαμβανόμενα αποτελέσματα και να φέρει ένα ισχυρό μήνυμα. Ωστόσο, τα δεδομένα που συλλέξαμε λένε μια διαφορετική ιστορία.

Και αυτή η ιστορία αντηχεί τόσο με την ανέκδοτη εμπειρία μου ως στρατολογητής όσο και με τα συναισθήματα που έχουμε δει αντηχεί στην κοινότητα.

Το Startup Interviewing του Zach Holman είναι F ***** επιτυχίες για την αποσύνδεση μεταξύ της διαδικασίας συνέντευξης και της εργασίας που πρόκειται να καλύψει.

Οι καλοί κύριοι του TripleByte κατέληξαν σε παρόμοια συμπεράσματα εξετάζοντας τα δικά τους δεδομένα.

Μία από τις πιο οδυνηρές εκφράσεις των ασυνεπών αποτελεσμάτων της συνέντευξης προήλθε πρόσφατα από την απόρριψη.

Μπορείτε να στοιχηματίσετε ότι πολλά άτομα που απορρίπτονται μετά από μια οθόνη τηλεφώνου από την Εταιρεία Α - αλλά κάνουν καλύτερα κατά τη διάρκεια μιας διαφορετικής οθόνης τηλεφώνου, και τελικά καταλήγουν κάπου παραδοσιακά αξιόπιστα - χτυπήθηκαν από τους στρατολόγους της εταιρείας Α 6 μήνες αργότερα.

Και παρά τις καλύτερες προσπάθειες του καθενός, ο σκοτεινός, πτητικός και τελικά στοχαστικός κύκλος μασάζ μιας διαδικασίας πρόσληψης συνεχίζει.

Ναι, σίγουρα ένα πιθανό συμπέρασμα είναι ότι η τεχνική συνέντευξη από μόνη της είναι καταδικασμένη και δεν παρέχει ένα αξιόπιστο, ντετερμινιστικό σήμα για μία περίπτωση συνέντευξης. Οι αλγοριθμικές συνεντεύξεις είναι ένα θέμα με έντονη συζήτηση και μας ενδιαφέρει βαθιά να ξεχωρίσουμε.

Ένα πράγμα ιδιαίτερα για το οποίο είμαστε πολύ ενθουσιασμένοι είναι η παρακολούθηση της απόδοσης της συνέντευξης ως συνάρτηση του τύπου της συνέντευξης, καθώς έχουμε όλο και περισσότερους διαφορετικούς τύπους / προσεγγίσεις συνέντευξης που συμβαίνουν στην πλατφόρμα. Πράγματι, ένας από τους μακροπρόθεσμους στόχους μας είναι να σκάψουμε πραγματικά τα δεδομένα μας, να δούμε το τοπίο διαφορετικών στυλ συνέντευξης και να κάνουμε κάποιες σοβαρές δηλώσεις βάσει δεδομένων σχετικά με το τι είδους τεχνικές συνεντεύξεις οδηγούν στο υψηλότερο σήμα.

Εν τω μεταξύ, ωστόσο, κλίνω στην ιδέα ότι η αξιοποίηση της συνολικής απόδοσης είναι πολύ πιο σημαντική από τη λήψη μιας τόσο σημαντικής απόφασης που βασίζεται σε μία και μόνο αυθαίρετη συνέντευξη.

Όχι μόνο μπορεί αθροιστικά βοήθεια απόδοση σωστό για μια αχαρακτήριστα κακή απόδοση, αλλά μπορεί επίσης να εξαλείψουμε τους ανθρώπους που τελικά κάνουν καλά σε μια συνέντευξη με την ευκαιρία ή εκείνοι που, με την πάροδο του χρόνου, να υποβάλει στο θηρίο και να απομνημονεύσετε Σπάσιμο της Κωδικοποίησης Συνέντευξη .

Ξέρω ότι δεν είναι πάντα πρακτικό (ή δυνατό) να συγκεντρώνονται συγκεντρωτικά δεδομένα απόδοσης στο φυσικό περιβάλλον. Ας πούμε όμως ότι η απόδοση ενός υποψηφίου είναι οριακή - ή όπου η απόδοσή τους διαφέρει έντονα από αυτό που θα περίμενε κανείς. Μπορεί να έχει νόημα να τους παίρνετε συνέντευξη για άλλη μια φορά, εστιάζοντας σε διαφορετικό υλικό, πριν λάβετε την τελική απόφαση.

Συλλέξαμε πολλά περισσότερα δεδομένα απόδοσης συνέντευξης που δεν περιλαμβάνονται ακόμη σε αυτήν την ανάλυση, οπότε αν θέλετε να δείτε εάν η απόδοση της συνέντευξης εξακολουθεί να είναι αυθαίρετη, μείνετε συντονισμένοι!

Θέλετε να γίνετε καταπληκτικοί σε τεχνικές συνεντεύξεις και να ξεκινήσετε την επόμενη δουλειά σας στη διαδικασία; Εγγραφείτε στο interviewing.io.