Monitoring
Skyddsräcken för minsta körtid
Fjorton dagar som standard, och aldrig färre än sju. Under en vecka mäter ni en tisdag snarare än en verksamhet.
Trafiken är inte densamma på en tisdag som på en söndag, och det är avsikten heller inte. Ett experiment stoppat efter fyra dagar har mätt just de dagarna, och effekten det rapporterar överlever inte kontakt med en hel vecka.
Så en minsta körtid tillämpas innan ett automatiskt stopp vid signifikans tillåts. Standarden är fjorton dagar, vilket är två fulla verksamhetscykler, och den kan inte ställas in under sju alls. Det golvet är en hård gräns snarare än en varning, för argumentet för att gå under det är alltid detsamma och alltid fel.
Den spärrar bara signifikansvägen. Ett schemalagt sluttidpunkt avslutar fortfarande experimentet när den infaller, och en människa kan alltid stoppa ett för hand. Skyddsräcket finns för att hindra automatisering från att agera på en avläsning tagen för tidigt, inte för att hindra er från att sköta ert eget program.
Den kontrolleras före ingen-trafik-spärren, avsiktligt. Ett nystartat experiment ser identiskt ut med ett som inte har registrerat något på ett dygn, och att blockera på den avläsningen är slutgiltigt, så att utvärdera den innan ett experiment har fått chansen att ta emot trafik skulle förstöra varje stopp-vid-signifikans-schema inom en minut efter driftsättning.