Hvordan faciliterer du som test manager bedst muligt system- og accepttest med distribuerede teams i forskellige tidszoner? Og med flere testtyper parallelt inden for samme tidszone? I denne artikel deler jeg mine erfaringer med online facilitering af system- og accepttest i de to forskellige setups.
Som test manager faciliterer jeg forskellige testaktiviteter, hvor det ofte er umuligt at sidde på samme lokation – enten fordi involverede teams er distribuerede eller – som tilfældet det sidste halvandet år – at COVID-19 har gjort det umuligt.
Jeg har erfaring med to setups, der har fungeret for mig: Det ene setup var med distribuerede teams i forskellige tidszoner, og det andet var med flere parallelle testtyper inden for samme tidszone.
Rammerne for online facilitering er i begge tilfælde et ”hovedmøde”, som fungerer som en slags reception, og tilhørende ”undermøder” hvor den planlagte test foregår. På hovedmødet er der i løbet af dagen en række checkpoints, som sikrer kontinuerlig kommunikation om testen og adresserer løsninger på udfordringer i fællesskab. Hovedmøderne varer 15 minutter, hvorefter testerne går tilbage til deres specifikke undermøde og fortsætter testen.
Inden testen udarbejdes ”guidelines med gode råd til deltagelse i online-møder” for at sikre den rette ånd og et fælles afsæt. Også artefakter såsom oversigter over mødelinks, vagtordning, kontaktoplysninger og diverse how-to’s er nyttige.
Distribuerede teams i forskellige tidszoner
Her er tre tidszoner involveret, og der er seks timer til rådighed pr. dag til fælles test – øvrig tid foregår lokalt.
I Indien startede testen flere timer før Norge og Rusland – ligeledes fortsatte testen i Norge og Rusland senere end i Indien. Men det tidsrum, hvor alle parter arbejdede på samme tid, blev udnyttet.
Testen blev understøttet af Microsoft Teams, hvor hovedmødet var et Teams-møde, og de tilhørende undermøder foregik i Teams-kanaler. Checkpoints foregik på Teams-mødet og selve testen i relevante Teams-kanaler. Testerne havde mulighed for at returnere til hovedmødet og bede om den hjælp, der var brug for – ligeledes kunne de fra hovedmødet sende hjælpen i den retning, hvor behovet var.
I starten var der en del modstand mod de tre daglige checkpoints, som blev set som et overhead, men der gik ikke længe, før værdien blev tydelig; der var stort set altid emner at tage en kort snak om, og vi var alle løbende informeret og tog fælles ansvar for testen. Kunden deltog også og kunne bidrage konstruktivt med forretningsindsigt. Kunden valgte at gennemføre deres accepttest på samme måde – her deltog vi som leverandør og kunne også bidrage smidigt uden efterfølgende afklaringsmøder.
Flere testtyper parallelt – samme tidszone
I den anden case var der 13 parallelle testtyper involveret, alle med hvert sit fokus. En del testtyper havde afhængigheder til fysisk udstyr, eksterne tredjeparter og specifikke faggrupper – der var omkring 200 interessenter på tværs af alle testtyper. Og så var der selvfølgelig corona, der tilførte yderligere kompleksitet til testgennemførelsen. Testforløbet varede i 5,5 måned, og på trods af omstændighederne færdiggjorde vi testen indenfor tidsrammen og gik live planmæssigt.
Jeg brugte samme setup som ved de distribuerede teams, blot i en lidt større skala. Testen blev understøttet af Webex, hvor hovedmødet var et ”gruppemøde”, og ”undergrupper” fungerede som undermøder.
Der var et hovedmøde for den overordnede testledelse, og her blev alt defect management håndteret. Mødet var bemandet hele dagen, og formålet var at have et forum, hvor testerne hurtigt kunne henvende sig, når de havde behov for assistance fra ledelsen. Whiteboard-funktionalitet blev brugt til forskellig information fra programmet og relevante metrikker.
Den praktiske deltagelse foregik ved at gå frem og tilbage mellem hovedmødet og undergrupperne.
Som program-testmanager kunne jeg let følge med i de parallelle aktiviteter ved på skift at deltage i disse checkpoints. Jeg havde også mulighed for at deltage i enkelte testsessioner i en undergruppe.
Lessons learned
Som afslutning på testen afholdt vi et retrospective på blandt andet de fordele og ulemper, der var ved at gennemføre alt online. Blandt deltagerne var test managers, testkoordinatorer og programledelse.
Nedenstående opsummerer de kommentarer, der var fra parterne. Der var en masse gode refleksioner – både over, hvad der fungerede godt, og hvad der fungerede dårligt.
Der var klart nogle uhensigtsmæssigheder, såsom at det var udfordrende at opfange signaler ved stress og konflikter. Der manglede den der ’i døren snak’, og det var sværere at skabe relationer. Men der var også fordele, som at det faktisk var nemmere og hurtigt at få hjælp, struktur med checkpoints og sparet tid på transport.
Fælles var erkendelsen af, at online møder er kommet for at blive men også at de kræver, at folk kender hinanden i forvejen.
Mine refleksioner
Det lykkedes ikke konsekvent at overholde guidelines ved deltagelse i online møder – for eksempel havde en del af mødedeltagerne det svært med kameraet – forståeligt nok, da vi jo trådte direkte ind i hinandens privatsfære. Uden kameraet er det bare endnu sværere at mærke små signaler og at kunne reagere på dem.
Ofte er energien dér, hvor folk er fysisk sammen. Især tests, der krævede specielt udstyr, havde en fordel i dette setup – alle havde samme forudsætninger, og energien var lige præcis dér, hvor behovet var. Efterhånden som testerne blev rutinerede i at være online, fik de en helt særlig måde at overdrage teststeps til hinanden, og de var meget tålmodige overfor hinanden og delte villigt skærm, så alle kunne følge med.
Generelt var det en succes med setup’et. Alle havde nemt ved at finde ud af det og hoppede uproblematisk mellem hovedmødet og undermøderne. Vi havde arbejdet og testet setup’et grundigt inden testafvikling og fik på den måde gode ambassadører til at videreformidle ideen. Kun få gange var vi udfordret på manglende netværksforbindelse, og det var ikke noget, der påvirkede testforløbet markant. Personligt havde jeg en mikrofon til at stå på skrivebordet. Det kan anbefales for at skåne ørerne – det er hårdt med headset hele dagen.
Jeg forestiller mig ikke, at den næste test, jeg skal facilitere, vil være enten online eller fysisk – men derimod en kombination – måske med de tre checkpoints online suppleret med fysisk test, i tilfælde af at alle testere kan være fysisk sammen, og online, hvis ikke alle kan være til stede.