To kandidater får den samme prompt: design en tjeneste, der lader brugerne dele korte videoklip. Den første tegner et rent diagram på ti minutter, navngiver alle populære komponenter og taler med total selvtillid. Den anden starter langsommere, spørger, hvem brugerne er, siger, hvilken del hun er usikker på, og træffer et andet valg for lagring med en klar begrundelse. Interviewer A vurderer den første kandidat som "stærk". Interviewer B, der deltog i den samme session, vurderer den anden som "stærk". Deres noter overlapper næsten ikke hinanden.
Dette er et illustrativt scenarie, ikke en dokumenteret ansættelseshændelse. Det er almindeligt nok til, at de fleste ingeniørteams vil genkende det. Begge designs var forsvarlige. Det, der var forskelligt, var, hvad hver interviewer scorede: flydende formulering, hastighed, fortrolighed med deres egen foretrukne arkitektur eller kvaliteten af ræsonnementet. Denne vejledning er til ingeniørchefer og ledere af tekniske hjælpeprogrammer, der har brug for en interviewrubrik til systemdesign, der scorer seniorkandidater på samme bevismateriale, så to interviewere kan nå frem til den samme konklusion af de samme årsager. Hvert kriterium nedenfor bør valideres af en senioringeniør og gennemgås for retfærdighed, før du bruger det i en reel ansættelsesbeslutning.
Hvad er en rubrik for et systemdesigninterview?
En rubrik til et systemdesigninterview er en scoringsguide, der viser, hvad du leder efter, hvordan hver score ser ud i observerbar adfærd, og hvilke fejl der ikke kan opvejes af styrker andre steder. Den placeres ved siden af spørgsmålet, så hver interviewer indsamler beviser ud fra de samme kriterier. Googles guide til struktureret interview kalder disse scoringsværktøjer for "rubrikker" og bemærker, at forskere kalder dem "adfærdsforankrede vurderingsskalaer". Den rapporterer, at strukturerede interviews giver højere prædiktiv validitet og mindre forskelle mellem demografiske grupper, og at præfabrikerede spørgsmål, guider og rubrikker sparer i gennemsnit 40 minutter pr. interview. Du kan læse hele vejledningen i Google re:Work: En guide til struktureret jobsamtale.
Offentlige eksempler er lette at finde, og de fleste er skrevet til kandidater. Denne vejledning er til den anden side af bordet.
hurtige fakta
| Spørgsmål | Kort svar |
|---|---|
| Hvad vurderer du? | Hvordan en kandidat ræsonnerer om et åbent arkitekturproblem, ikke hvor mange komponenter de kan navngive. |
| Hvad skal der i en rubrik? | Kriterier, forankrede scorer og en liste over kritiske fejl. |
| Hvor mange kriterier? | Tre til fem. Færre kriterier er nemmere at score og kalibrere; behold kun dem, du kan forankre med observerbare beviser. |
| Hvem validerer det? | En ledende ingeniør, der udfører arbejdet, plus dit team af medarbejdere for retfærdighed. |
| Hvordan holder du det konsekvent? | Score uafhængigt først, og sammenlign derefter beviserne i en kalibreringssession. |
| Hvad kan en rubrik ikke gøre? | Ret en uklar rolle, en urepræsentativ opgave eller interviewere, der ikke er trænet til at bruge den. |
| Hvordan ved du, at det virker? | Interviewernes scorer stemmer mere overens på den samme optagelse eller beskrivelse, og scorerne stemmer overens med senere præstationer. |
1. Definer den præstation, du vurderer
Start med arbejdet, ikke emnet. For en senioringeniør er den relevante opgave normalt: givet et tvetydigt problem, træf og forsvar arkitektoniske beslutninger, og forklar, hvad der ville ændre dem. Skriv det som én sætning, og specificér rollen, niveauet og den kontekst, personen ville arbejde i. En senior backend-rolle i et betalingsfirma har andre krav end en senior platform-rolle i et mediefirma.
Skriv også ned, hvad du ikke vurderer. Skrivehastighed, kendskab til en bestemt cloud-leverandør og evnen til at tegne pænt på en delt whiteboard er almindelige tilfældige kriterier. Hvis de ikke er en del af jobbet, bør de ikke ændre scoren.
2. Vælg en repræsentativ, ukendt opgave
Vælg et problem, der er et eksempel på det virkelige arbejde, og som kandidaterne ikke har lært udenad. En velkendt prompt ("design en URL-forkorter") belønner prøve. Brug et problem fra dit eget domæne, hvor de følsomme detaljer er fjernet, og bed en senioringeniør om at løse det uafhængigt, så du ved, hvordan et rimeligt udvalg af svar ser ud.
Accepter, at et enkelt 45-minutters problem kun er et eksempel på en del af, hvad en senioringeniør gør. Det kan vise, hvordan en person håndterer tvetydighed, begrænsninger og afvejninger. Det kan ikke vise, hvordan de er mentorer, kører en migrering over måneder eller håndterer en langvarig hændelse. Skriv det i din ansættelsesdokumentation, så ingen overlæser scoren.
3. Skriv observerbare kriterier og ankre
Byg kriterier omkring evidens, du kan skrive ned. Et kort, brugbart sæt til en runde med systemdesign på seniorniveau:
| Kriterium | Observerbare beviser |
|---|---|
| Problemformulering | Stiller afklarende spørgsmål, angiver antagelser og aftaler omfanget inden tegning. |
| Afvejningsargumentation | Nævn mindst to muligheder for en nøglebeslutning, angiv hvad hver enkelt koster, og begrund valget. |
| Dybde | Går i dybden med en eller to komponenter, når man bliver spurgt, uden at miste hele designet. |
| Håndtering af forandring | Justerer designet, når en begrænsning tilføjes, og forklarer, hvad der nu er svagere. |
| Kommunikation | Gør designet forståeligt for en kollega, der ikke var til stede i rummet. |
Giv hvert kriterium en score fra 0 til 2: 0 er fraværende eller ikke understøttet, 1 er delvis med relevante udeladelser, og 2 er fuldstændig og begrundet i forhold til de aftalte kriterier. Ankrene er vigtigere end skalaen. I forbindelse med afvejningsræsonnement er et 0 f.eks. "navngiver en teknologi uden at sige hvorfor", et 1 er "giver en grund, men ikke omkostningerne ved alternativet", og et 2 er "sammenligner muligheder med de angivne begrænsninger og siger, hvad de ville give afkald på".
Definer kritiske fejl separat, såsom at ignorere et databeskyttelseskrav, som intervieweren har angivet, eller foreslå et design, der ikke kan opfylde en angivet hård begrænsning. En gennemsnitlig score må aldrig skjule en kritisk fejl. Undgå at score på selvtillid eller hastighed; en stille kandidat, der ræsonnerer omhyggeligt, bør ikke straffes for stil. Vores guide til vurdering af dømmekraft og problemløsning dækker, hvordan man skriver kriterier til ræsonnementsopgaver.
4. Kalibrer assessorer og kør et pilotprojekt
En rubrik, som to personer læser forskelligt, er endnu ikke en rubrik. Før du bruger den live:
- Vælg et eksempel. Brug et skriftligt design fra en kollega, der ikke er i ansættelsesprocessen, eller en simuleret interviewoptagelse med personens samtykke.
- Score uafhængigt. Hver bedømmer skriver beviserne for hvert kriterium, før de ser de andres scorer.
- Sammenlign beviser. Hvor scorerne afviger med mere end et point, skal du finde ud af, om ankeret var tvetydigt, eller om bedømmerne bemærkede forskellige ting. Omskriv ankeret.
- Gentag på et andet eksempel. Stop når uenigheder handler om bedømmelse, ikke formulering.
Googles guide kombinerer interviewertræning med kalibrering, så interviewerne er konsekvente og sikre i deres vurderinger, hvilket er den samme idé. Bed en specialist, såsom en teknisk leder fra et nærliggende team, om at gennemgå sagen og interviewerne, og bed dit personaleteam om at gennemgå processen med hensyn til retfærdighed og juridiske krav i jeres ansættelsesregioner.
5. Arbejd dig igennem et realistisk eksempel
Illustrativt. En ledende ingeniør bør validere casen og besvare kriterierne før brug.
Sagen. Kandidater designer en notifikationstjeneste til en leveringsapp: kunder får opdateringer, når en ordre ændrer status. Skala beskrives kun som "et par millioner ordrer om dagen, primært ved måltiderne".
Et første forsøg. "Jeg ville placere en beskedkø mellem ordretjenesten og en notifikationsmedarbejder, gemme alle hændelser i en database og sende push-notifikationer." Strukturen er rimelig, men kandidaten spurgte ikke, hvilke kanaler der er nødvendige, hvad der sker, hvis en notifikation er forsinket eller sendes to gange, eller hvad spidsbelastningen betyder for køen.
Interviewerens feedback og forsøg igen. Intervieweren spørger: "Hvad er værst her: en sen anmeldelse eller en dobbelt anmeldelse?" Interviewere bør have en standard opfølgning for hvert kriterium, så alle kandidater får den samme chance for at vise færdighederne.
Et stærkere forsøg. "En duplikat er værre til push, fordi folk ville holde op med at stole på appen, så jeg ville gøre afsendelse idempotent med en ordre- og statusnøgle. Til SMS ville jeg acceptere lejlighedsvise dubletter, fordi omkostningerne betyder mere. Spidsbelastning ved måltider betyder, at køen skal absorbere byger, og medarbejderne skal skalere efter kødybde. Jeg er usikker på, hvor streng leveringstidsløftet er, så jeg ville spørge produktejeren, før jeg vælger mellem en simpel gentagelsespolitik og en prioriteret bane til tidskritiske opdateringer."
Scoring. I forhold til rubrikken scorer dette svar 2 på afvejningsræsonnement (to muligheder, omkostninger, en begrundelse), 2 på problemformulering (angiver antagelser, stiller et spørgsmål) og 1 på håndtering af forandring, indtil intervieweren tilføjer en begrænsning. Bemærk, at intervieweren scorer beviser og ikke matcher kandidatens design med deres eget foretrukne.
Hvor interaktiv levering hjælper
Den færdighed, du opbygger her, er for interviewere, og interaktiv praksis passer til det. Vis eksempeldesignet i en live kalibreringssession, bed alle assessorer om at score hvert kriterium privat, og afslør spredningen før diskussionen. Folk forpligter sig til en score, før de hører den højeste stemme i rummet, og uenighederne peger på de ankre, der skal omskrives. Det samme eksempel og den samme rubrik kan køre i eget tempo for nye interviewere, der tilmelder sig senere, med en live session til at diskutere de tvetydige cases. AhaSlides understøtter interaktiv læring og skift mellem live og selvstudier. Det er et præsentations- og læringsværktøj, ikke en interviewplatform eller et ansøgersporingssystem, så hold reelle kandidatdata i dine ansættelsesværktøjer. Sammenlign eventuelle specifikke forfatter-, feedback- eller rapporteringsfunktioner, du planlægger at stole på, med din egen arbejdsgang. For hjælp til at vælge formater, se vores guide til Hvornår skal man bruge adaptiv, interaktiv og live læring, og for feedbackdesign se design af interaktiv praksis med nyttig feedback.
Mål hvad der har ændret sig
Beslut på forhånd, hvad der vil vise, at rubrikken fungerer. To målinger er praktiske. For det første, enighed: Ender uafhængige interviewere tættere på hinanden efter kalibrering end før, baseret på det samme optagede eller skriftlige design? Definer, hvem der er inkluderet, nævneren og timingen. For det andet, relevans: Relaterer scorerne sig efter et par måneder til, hvordan nyansatte klarer sig i designgennemgange? Med et lille antal ansættelser vil dette kun være et groft signal, så betragt det som en opfordring til at gennemgå rubrikken, ikke som bevis. Hvis resultaterne forbedres, så tjek, hvad der ellers ændrede sig på samme tid, såsom en ny rolledefinition eller en anden sourcingkanal, før du krediterer rubrikken.
Begrænsninger, der kan forblive
- Repræsentativitet. Én opgave er et eksempel på en del af jobbet. Kombinér den med anden dokumentation, såsom en arbejdsprøve eller en struktureret samtale om tidligere beslutninger.
- Retfærdighed. En rubrik reducerer variation, men den fjerner ikke bias i sig selv. Gennemgå casen og ankrene for antagelser om baggrund, og tjek resultater på tværs af grupper med dit personaleteam.
- Interviewertid. Kalibrering tager timer. Uden den er rubrikken bare en længere form.
- Klarhed over roller. Hvis teamet ikke er enige om, hvad "senior" betyder, vil ingen rubrik afgøre det.
- Juridisk kontekst. Ansættelsesevaluering er reguleret forskelligt fra sted til sted. Tjek lokale krav, før du ændrer en proces.
Ofte stillede spørgsmål
Hvad bør en rubrik for et systemdesigninterview indeholde?
Tre til fem kriterier såsom problemformulering, afvejningsræsonnement, dybde, håndtering af forandringer og kommunikation, en forankret score fra 0 til 2 for hver og en separat liste over kritiske fejl.
Hvordan forhindrer man interviewere i at score på selvtillid?
Få dem til at skrive de observerbare beviser for hvert kriterium, før de giver en score, og forankre hver score til adfærd, såsom "sammenligner to muligheder og angiver omkostningerne ved den, der ikke er valgt".
Hvor langt skal et systemdesigninterview være?
Interviews er ofte planlagt til at vare omkring en time, men den rigtige længde er den, der giver en kandidat mulighed for at vise alle kriterier i din rubrik. Test det med en pilot.
Kan en rubrik gøre ansættelser objektive?
Det gør det mere ensartet og nemmere at revidere, men vurderingen forbliver. Målet er, at interviewerne er enige af de samme grunde, ikke at fjerne folk fra beslutningen.
Hvor skal man begynde
Vælg én ledig rolle, og skriv en præstationserklæring på én sætning. Udarbejd tre kriterier med ankre og en kort liste over kritiske fejl, og få derefter en senioringeniør til at løse din sag uafhængigt. Kør én kalibreringssession med de personer, der skal interviewe, omskriv de ankre, der forårsagede uenighed, og afprøv rubrikken på et lille antal rigtige interviews, før du bruger den bredt.
For at se, hvordan en kalibreringssession kan køre live med dine egne interviewere og genbruges i dit eget tempo bagefter, kan du udforske AhaSlides.
