O que é Significância Estatística?
Significância estatística é a probabilidade de que a diferença de conversão entre a variação e o controle NÃO seja acaso. Convenção de mercado: 95%: ou seja, em 100 repetições do teste, o resultado se confirmaria em ~95. É a linha que separa "parece que a variação ganhou" de "podemos decidir". E é por isso que testes encerrados cedo mentem: a significância flutua antes da amostra completa.
Definição rápida
Significância estatística é a probabilidade de que a diferença de conversão entre a variação e o controle NÃO seja acaso.