Per “design of experiments” intendiamo il processo sistematico – eseguito in condizioni controllate – per scoprire un effetto sconosciuto, testare o stabilire un’ipotesi o per illustrare un effetto noto.
Il design of experiments è il processo che ci permette di creare esperimenti in modo sistematico e controllato, mettendo così in moto un processo di innovazione bottom-up e non casuale, cioè che deriva dai ripetuti test che vengono effettuati e non per un classico “lampo di genio”.
In questo articolo scopriremo cosa è il design of experiments, lo scopo degli esperimenti, le fasi più importanti e ti porterò un esempio concreto di design of experiments.
Tutto questo in ottica Full Stack Marketing, che adotta una visione olistica dell’intero business, per apportare crescita sostenibile sul lungo periodo.
Se sei qui per la prima volta, questo è il 1° sito in Italia sul Full Stack Marketing. Condividiamo idee, esperienze e fonti per costruire le tue competenze comb-shaped e prosperare nel disordine del mondo attuale.
Design of experiments: cos’è
Il Design of Experiments è stato inventato nel 1920 dallo uo scienziato inglese R. A. Fisher, come metodo per capitalizzare le informazioni derivanti da dati sperimentali.
Il DOE si è poi evoluto nei successivi 70 anni. La recente diffusione del design of experiments è associata agli studi di Taguchi, un ingegnere giapponese focalizzato sull’uso pratico della teoria matematica applicata alla sperimentazione.
La sperimentazione non è da considerarsi come una mera fase di testing per decidere se implementare o meno una funzionalità o un nuovo prodotto (o qualsiasi altro aspetto nasca dalla fase di ipotesi).
Un esempio di “mero test” è lo smoke test, in cui cerchiamo di validare l’idea che ci sia interesse per ciò che proponiamo, senza averlo realizzato al 100%.
Considerarla sotto questa lente può essere riduttivo.
Come intenderla allora?
La sperimentazione infatti può apportare valore aggiunto se pensata non solo come conferma di quanto previsto ma anche come potenziale fonte di opportunità di miglioramento non intuibili a priori.
Da questo punto di vista, il design of experiments è veicolo di innovazione senza sprechi. Se il design of experiments è il processo che ci porta a innovare senza sprechi, il lean startup è il metodo che utilizziamo per raggiungere questo obiettivo.
Ma per quale scopo possiamo utilizzare il design of experiments per far crescere un business?
Voglio proportene 7!
I 7 Scopi del design of experiments
Il design of experiments ha molti potenziali usi nel miglioramento di processi e prodotti.
In questo paragrafo voglio riportarne sette!
1) Confrontare le alternative
Nel caso in cui volessimo cucinare una piatto di pasta al pomodoro, potremmo valutare i due risultati ottenuti nei due casi, utilizzando pomodori diversi.
Ti servono i giusti consigli per diventare un Full Stack Marketer?
2) Identificare gli input significativi che influenzano l’output
Potremmo porci una domanda: “Quali sono i fattori significativi per il nostro piatto di pasta al pomodoro, oltre a farina, pomodoro, acqua e cottura?”
In questo caso riusciremmo a separare i pochi fattori vitali dal rumore di fondo dei “molto fattori banali”.
3) Raggiungere un output finale desiderato
Ti riporto sempre una domanda (perché sono queste a metterci sulla giusta strada, non le risposte): “Quali sono gli elementi fondamentali, e quali sono i livelli di tali elementi, per ottenere il gusto e la consistenza desiderati della pasta al pomodoro?”
4) Ridurre la variabilità
Con il design of experiments possiamo replicare più volte ipotesi diverse e cercare di ottenere lo stesso risultato.
Quindi la domanda che dobbiamo porci è: “ posso cambiare la ricetta in modo che sia più probabile che esca sempre la stessa?”
5) Minimizzazione, ottimizzazione o targeting di un output
(risposta).
“Come si può rendere la pasta al pomodoro più cremosa possibile senza che essa risulti una zuppa di pasta?”
6) Migliorare la robustezza del prodotto in condizioni di incertezza
Qui ciò che dobbiamo chiederci è: “è possibile modificare i fattori e i loro livelli (ricetta) in modo che la pasta al pomodoro risulti quasi la stessa indipendentemente dal tipo di cottura utilizzata?”
7) Bilanciamento delle opzioni e delle caratteristiche importanti
In sostanza: “come si produce la pasta al pomodoro più gustosa, con la ricetta più semplice (minimo numero di ingredienti) e il minor tempo di cottura?”
Per concludere questo paragrafo sullo scopo del design of experiments, possiamo dire che lo scopo generale è ridurre i costi di progettazione e la creazione di un framework che ci permetta di innovare, non tanto grazie all’idea geniale che può balenarci in testa (o quantomeno, non solo), ma grazie al processo ripetibile e scalabile che adottiamo.
Andiamo a vedere le fasi del design of experiments!
Le fasi del design of experiments ed esempio reale
Eccoci alla parte che preferisco, quella in cui ci si mette in gioco e ci si sporca le mani!
Vediamo insieme quali passi seguire per implementare il processo di design of experiments
Individuazione del problema e formulazione dell’ipotesi
In questa fase, molto semplicemente, dobbiamo partire da un problema che abbiamo riscontrato e vogliamo risolvere.
Per risolvere questo problema utilizziamo la formulazione di un ipotesi che risponda alla domanda: “cosa voglio dimostrare?”
Se dovessi farti un esempio concreto, ecco quale sarebbe…
“Il sito del cliente x ha un problema di tasso di conversione in forte discesa, voglio dimostrare che con alcuni accorgimenti tecnici e di design è possibile invertire la tendenza al ribasso del conversion rate”.
Semplice, no?
Andiamo al secondo passaggio delle fasi di design of experiments.
Definizione delle azioni chiave per mettere in piedi l’esperimento (Action Design)
Il secondo punto è la definizione delle azioni chiave, che mi aiuteranno a validare l’ipotesi che ho fatto e risolvere il problema che ho riscontrato.
Rispondiamo quindi alla domanda “cosa farò per dimostrare l’ipotesi che ho effettuato?”
Continuando l’esempio (è più figo con gli esempi invece che con le definizioni-accademiche-noiose-a-morte, no?)
“Per migliorare il conversion rate della landing del cliente x, faremo un re-design dell’esperienza utente, cambiando colori, font e posizione dei bottoni. Inoltre, per migliorare il sito a livello tecnico, implementeremo una CDN (content delivery network) per migliorare la velocità di caricamento”.
Passo numero 3, sei pronto?
Go!
Individuazione delle risorse e del key performance indicator (KPI) che andremo ad impattare
Se abbiamo individuato il problema, formulata l’ipotesi e definite le azioni chiave da mettere in campo, dobbiamo adesso definire quali metriche andrà ad impattare il nostro processo di design of experiments.
Perché?
Perché altrimenti non sappiamo cosa misurare per capire se l’esperimento sarà o meno un successo!
Quindi, qui, dobbiamo chiederci “quale key performance indicator misurerò per effettuare questo test?”
Sempre nel nostro esempio, la metrica da tenere in considerazione è il tasso di conversione o conversion rate.
Il conversion rate ci permette di misurare quante persone hanno “convertito” – ad esempio lasciando i loro dati – rispetto al numero di visite sul sito.
Andiamo adesso alla fase della linea nella sabbia.
Bel nome eh?
Definizione della linea nella sabbia Line in the sand
Come si dice nel libro Lean Analytics (che ti consiglio!), dobbiamo definire la “linea nella sabbia” o line in the sand.
Cosa si intende?
Definire a che livello deve essere il key performance indicator, per definire l’esperimento un successo?
Nel nostro esempio: per definire l’esperimento un successo, “vogliamo migliorare il conversion rate del +20%”.
Ok, abbiamo attraversato tutte le fasi operative del processo di design of experiments, ma cosa succede adesso?
L’aspetto più importante in assoluto, analizzare i risultati e iterare (ripetere-ripetere-ripetere-ripetere all’infinito).
Interpretazione dei risultati e iterazione
Nella fase fondamentale di interpretazione dei risultati , dobbiamo chiederci.
“Che risultati ho ottenuto?” e “Cosa ho imparato?”
Qui dobbiamo analizzare i dati raccolti, le percentuali ed i grafici per farci un’idea dei risultati.
Questo primo aspetto può ricondursi a quello che viene definito “reportistica”.
Se ci chiediamo invece, “cosa ho imparato?” stiamo facendo analisi, cercando di capire criticamente cosa abbiamo imparato dall’esperimento e come possiamo utilizzare ciò che abbiamo appreso.
Ciò che dobbiamo mettere in atto è un vero e proprio processo di data analytics.
Per concludere l’esempio concreto di cui abbiamo parlato. Analizza tutti i dati delle visite al sito e come (e se) è cambiato il conversion rate.
E’ più alto? più basso o uguale?
Ipotizzando che abbia avuto un incremento del +15% (dove +20% era il nostro target), possiamo dire di non aver avuto successo, ma di aver imparato che:
– il miglioramento della velocità del sito ha aumentato le permanenza media sul medesimo e ridotto la frequenza di rimbalzo degli utenti (visitano più pagine senza uscire alla prima);
– lo spostamento dei bottoni e il miglioramento dell’UX ha incrementato il numero di clic che vengono effettuati sui pulsante e quindi aumentato il numero di persone che si “avvicina alla conversione”.
Potrei continuare scrivendo altri risvolti, che fanno parte di “cosa ho imparato”.
Quindi, sebbene non abbiamo raggiunto l’obiettivo target, abbiamo imparato parecchi aspetti che ci permetteranno di iterare.
Cosa intendo?
Che il design of experiments è un processo e come tale va ripetuto. Partendo dagli aspetti che abbiamo appreso, potremmo lanciare ulteriori esperimenti per migliorare il tasso di conversione.
Un esempio di ulteriore esperimento potrebbe essere:
“Confermando le modifiche a livello di user experience vorrei dimostrare che, aumentando il traffico in target sulla pagina, riusciremo ad incrementare il tasso di conversione”.
Come si integra nell’approccio Full Stack Marketing?
Per un full stack marketer riuscire a costruire un processo di sperimentazione è fondamentale.
Punto cardine dell’approccio Full Stack Marketing è la visione olistica ma, al contempo, un approccio pragmatico ed operativo e riuscire a sperimentare in modo ripetuto creerebbe un circolo virtuoso di innovazione.
All’interno di questo circolo virtuoso può muoversi il full stack marketer, applicando le ulteriori competenze che possiede (sia strategiche o soft che hard).
Conclusioni
In questo articolo abbiamo approfondito l’argomento del design of experiments, il processo iterativo che ci permette di testare, innovare e far crescere un business.
Nello specifico abbiamo imparato cosa è il design of experiments, i 7 scopi, le fasi e come creare un processo ripetuto di sperimentazione.
Il tutto in ottica Full Stack Marketing.
Ti è stato utile questo contenuto? Condividilo con una persona a cui tieni:
