Transcrição:
Clique na frase para navegar pelo vídeo

Meu argumento simples hoje é que qualquer grande organização, se não estiverem usando ambas técnicas - regressões e aleatorização - então estão presumivelmente errando, que poderia fazer melhor

se mais plenamente explorá-las. Outro dos meus exemplos favoritos de analítica preditiva vem do Pandora.com.

Esse é um website que reuniu os atributos de dezenas de milhares de músicas e é capaz de fazer previsões sobre quais músicas vai gostar. Eu coloquei que gosto de Bruce Springsteen, e eles retornam

com músicas que nunca ouvi antes, mas que gosto. E funciona para minha filha também.

Ambos são exemplos de extração de informação do passado em enormes conjuntos de dados, a informação escondida. Por que está acontecendo agora?

De alguma forma, está escondida nessa camiseta que meu sobrinho Marty está usando. É meio que uma piada, diz, a maioria das pessoas lê isso: "Há 10 tipos de pessoas no mundo";

mas nas costas, deixa claro para o calculador, não está entendendo a camiseta: "Há aqueles que entendem binário e aqueles que não." O que deve ler é que há 1 0, que esse é um mundo de uns e zeros,

da revolução digital. E o que é realmente importante para esse novo surgimento de processamento de números, é que é muito mais barato captar e guardar dados eletrônicos, então de repente temos bancos de dados monstruosamente grandes

de todo tipo de informação, que pela primeira vez podemos expor. Muitos de nós vimos o botão de ligar e desligar nos nossos celulares ou no computador, mas só quero enfatizar, isso é mesmo 'um' e 'zero' estilizados.

Esse botão de liga e desliga que está a nossa volta toda hora. E o que é realmente central hoje, vou falar sobre essas duas técnicas: regressão e aleatorização. Elas existem há um tempo.

Mas o que é revolucionário sobre super processamento é que pode-se aplicar essas técnicas de estatística tradicionais em enormes conjuntos de dados, e pode-se obter resultados que levam a novas decisões que

impactam o mundo não após um ano ou seis meses, mas literalmente após horas. Pode-se às vezes obter resultados e começar a mudar a maneira que se comporta. Eis outro exemplo muito simples de super processamento.

Essa é uma foto de Orley Ashenfelter. Ele é um dos grandes economistas empíricos no mundo.

Mas ele também tem uma paixão por vinhos. E, o que pode ver na tela, é o resultado de uma regressão onde ele procurou pelas correlações estatísticas

que ajudavam a prever a qualidade de vinhos Bordeaux. E os números aqui são os resultados da regressão dele, só queria enfatizar, a terceira variável aqui é a temperatura média de crescimento,

e o fato de que a regressão tem um coeficiente positivo, isso nos diz que vinhos Bordeaux tendem a ser de melhor qualidade se há um verão morno. E algo que os amantes de Bordeaux entenderão é que

o aquecimento global tem sido muito bom para os Bordeaux. Essa é uma verdade conveniente, porque a última década teve muitos verões que foram muito mornos na região de Bordeaux. Mas, uma razão igualmente importante

de se pensar nesse mesmo exemplo; especialistas tradicionais não estão contentes com Orley Ashenfelter.

Especialistas tradicionais tendem a resistir processamento de números quando trata-se disso. Robert Parker

é um dos grandes entusiastas de vinho, e ele disse algumas coisas bem rudes sobre a abordagem de Ashenfelter para estudar a qualidade dos vinhos.

Mas há um segredo muito interessante aqui: se você olhar para as previsões de qualidade de vinho do próprio Robert Parker,

elas melhoraram com o tempo. E já que as previsões de Ashenfelter estavam melhores que as dele, parece que agora Parker está

prestando mais atenção no clima, simplesmente como Orley sugeriria. E uma das coisas que quero realmente enfatizar,

para mim como um processador de números, é uma das coisas mais legais sobre previsões, é que procedimentos estatísticos que fazem previsões simultaneamente estimarão o quão precisa é a previsão.

Vai checar se houve dados o suficiente para fazer uma previsão bem precisa.

Eu fiz, bem eu ainda faço muitas regressões. E é uma técnica incrivelmente valiosa. No fim das contas, é muito mais difícil convencer o cético que um resultado de regressão,

uma análise estatística tradicional de dados históricos, é correta. Eles sempre voltam e dizem: "Oh, você não controlou isso." E é uma ideia muito razoável e tem que continuar procurando mais e mais controles.

A beleza de testes aleatórios é que não tem que controlar nada. Tudo que tem de fazer é jogar a moeda corretamente, e você produz evidência causal muito poderosa do que causa o quê.

Um dos meus exemplos favoritos é o E-Harmony, esse é o website de namoro que eu falei a respeito antes, e o E-Harmony está usando ambas as técnicas. Já lhes falei

que para te parear com outras pessoas eles fazem regressões, mas o E-Harmony também usa muitos testes aleatórios na Internet. E esse é um exemplo onde eles queriam fazer um teste

se dessem aos seus usuários mais informação, levaria a taxas mais altas de inscrições. A ideia básica no E-Harmony, é que quando vai pela primeira vez, não te deixam fazer nada até que se inscreva.

E queriam ver se tivessem um site alternativo onde apenas dessem alguns links extras, dessem só um pouco de informação extra, que pudesse ler antes de se inscrever.

E isso se torna uma pergunta aberta, e pode-se ter grandes debates. E o E-Harmony teve debates sobre, se mais informações produziria melhores resultados, ou menos informações. Se distrairiam com mais informações e clicariam pra fora,

a propósito, é algo que deveriam se perguntar, quem vai ganhar isso? E a resposta é um pouco complicada. Ao todo, menos informação produz melhores resultados.

Mais inscrições. Mas o que faz desse um exemplo tão interessante pra mim, é que o E-Harmony teve resultados muito diferentes quando fez esse mesmo teste no Canadá. Lá, dar mais informação

produziu taxas de inscrição radicalmente mais altas. E a razão, não sabemos ao certo, mas na época, o E-Harmony não tinha nenhuma propaganda na TV.

Bem, eles tinham muitas propagandas nos EUA, então é possível que no Canadá precisava-se dar ao usuário um pouco mais de informação, antes de pedir-lhes para se inscrever. Mas o argumento maior

é que você pode usar aleatorização e regressão em conjunto. Você pode fazer um teste aleatório, e então pode usar sua regressão ou outros tipos de extrações estatísticas para tentar descobrir partes da população,

onde uma estratégia ou a outra pode funcionar. Mesmo que, na média, menos informação funciona, você pode descobrir que há partes onde uma estratégia, outrora perdedora, ainda ganha.

E essa é uma razão adicional muito poderosa para usar testes aleatórios. Se a sua organização não está usando testes aleatórios na Internet e você tem uma presença na Internet substancial, está errando.

É tradicional que consegue-se aumentar em 5% as vendas, ou em acessos à página, o que quer que seja pra você; você pode ao menos conseguir 5% se começar um sistema de testes aleatórios contínuos.

Mas não trata-se só da Internet, não trata-se só de marketing, testes aleatórios é algo que pode ajudá-los a escolher produtos melhores. Um exemplo muito impressionante pra mim é nos esportes. Nos EUA,

os times de esportes profissionais praticam muito o processamento de números. Mas, estão violando a tese central desta palestra. Lembrem a afirmação central que estou fazendo, se não

está usando a regressão e a aleatorização, está presumivelmente errando.

E a preocupação que tenho é que os times de esporte estão somente usando regressões. Enquanto falo aqui, talvez ainda nunca tenham feito um teste aleatório de estratégia de esporte.

E um desafio pra vocês é se conseguem bolar um teste aleatório de estratégia de esporte. E pode ser aplicado virtualmente à qualquer esporte. Essa ideia de se fazer testes aleatórios, tem sido usada agora

em centenas de testes do governo, de políticas públicas; meu favorito na verdade, que muitos nessa audiência já ouviram, vem do México, é o programa progressivo de pagamentos contingentes.

Se crianças pobres vão para a aula, e dos pagamentos para comida contingentes, se famílias pobres fazem exames médicos. E o México estava interessado em descobrir se isso funcionaria ou não. E o que fizeram foi um experimento aleatório

muito simples, tinham 506 aldeias pobres, e aleatoriamente, metade delas começaram a receber o que é agora chamado de benefícios de oportunidade e a outra metade não, 24000 lares foram impactados por isso,

e os resultados após quase três anos foram bem impressionantes; a presença na escola aumentou, doenças sérias diminuíram, e no México, em apenas três anos, as crianças nas aldeias com o PROGRESA

tinham em torno de 1 cm a mais que as das aldeias sem o PROGRESA. E de uma perspectiva de saúde pública, 1 cm é muito, porque crianças saudáveis crescem mais rápido que crianças não saudáveis.

E o que deveria lhes falar, e já deveriam entender, é que antes do experimento as crianças nas duas aldeias tinham exatamente a mesma altura. Porque as aldeias foram escolhidas aleatoriamente,

e claro teriam a mesma altura no começo. Mas acabaram com alturas diferentes após apenas três anos. Esse experimento pra mim é o mais impactante de política pública que já houve.

Agora foi aplicado a outros 31 países, esteve aqui no Brasil sob o programa Bolsa Família. Mas também é uma história de cautela, porque o fato de funcionar

num experimento de pequena escala, não significa que poderá continuá-lo quando for para um país inteiro. E o fato de se pode fazer os pagamentos ainda contingentes a ir pra escola,

é uma questão separada que precisa ser abordada empiricamente. E a noção de testes aleatórios não é faça uma vez e acabou. Tem que desenvolver uma cultura onde se compromete a fazer testes periodicamente

para ver se uma política que funcionou no ano passado ainda funcionará daqui a três anos. Então, no fim, o que me define?

Instituições e organizações grandes devem assegurar que sistematicamente usem as regressões e a aleatorização.

Mas esse não é um mundo onde humanos não têm um papel na história. Eu estava errado em achar que esse livro deveria ter sido chamado de o fim da intuição. O papel da intuição ainda é muito importante.

É a intuição que nos diz o que buscar e testar; mas, cada vez mais, os melhores tomadores de decisões têm que estar dispostos a colocar sua intuição à prova. Os melhores tomadores de decisões

irão de um lado pro outro, entre sua intuição e os dados, e de volta à formação de sua intuição novamente; constantemente, para desenvolver melhores decisões.