La disciplina de Experimentacin de negociosStefan ThomkeJim ManziPoco despus de que Ron Johnson dej Apple para convertirse en el CEO de JC Penney, en 2011, su equipo implement un plan audaz que elimin cupones y bastidores de liquidacin, lleno tiendas con boutiques de marca, y utiliza la tecnologa para eliminar los cajeros, cajas registradoras y cajas registradoras. Sin embargo, slo 17 meses despus de que Johnson se uni a Penney, las ventas haban cado, las prdidas se haban disparado, y Johnson haban perdido su trabajo. El minorista entonces hizo un cambio radical de postura.Cmo podra Penney haber ido tan mal? No se tiene un montn de datos de transacciones que revelan los gustos y preferencias de los clientes?Es de suponer que lo hizo, pero el problema es que los datos grandes pueden proporcionar pistas slo sobre el comportamiento pasado de los clientes, y no por cmo van a reaccionar a los cambios audaces. Cuando se trata de la innovacin, a continuacin, la mayora de los gerentes deben operar en un mundo donde carecen de datos suficientes para fundamentar sus decisiones. En consecuencia, a menudo se basan en su experiencia o la intuicin. Pero las ideas que son realmente innovador, es decir, los que pueden cambiar la forma de las industrias suelen ir a contrapelo de la experiencia ejecutiva y la sabidura convencional.Los gerentes pueden, sin embargo, descubrir si un nuevo programa de producto o negocio tendr xito sometindolo a una prueba rigurosa. Pinsalo de esta manera: Una compaa farmacutica nunca introducir un medicamento sin antes llevar a cabo una ronda de experimentos basados en protocolos cientficos establecidos. (De hecho, la Food and Drug Administration de los Estados Unidos requiere extensos ensayos clnicos.) Sin embargo, eso es esencialmente lo que muchas empresas hacen cuando se despliegan nuevos modelos de negocio y otros conceptos novedosos. JC Penney haba hecho experimentos minuciosos sobre los cambios propuestos por su CEO, la compaa podra haber descubierto que los clientes probablemente rechazarlas.

Por qu no hay ms empresas llevan a cabo pruebas rigurosas de sus reparaciones de riesgo y propuestas caros? Porque la mayora de las organizaciones se resisten a financiar experimentos empresariales adecuadas y tienen una dificultad considerable ejecutarlas. Aunque el proceso de experimentacin parece sencillo, es sorprendentemente difcil en la prctica, debido a la multitud de retos organizativos y tcnicos. Esa es la conclusin general de nuestros ms de 40 aos de experiencia colectiva y estudiar la realizacin de experimentos de negocio en docenas de compaas, incluyendo a Bank of America, BMW, Hilton, Kraft, Petco, Staples, Subway, y Walmart.

Experimento: KohlEl minorista se dispuso a probar la hiptesis de que la apertura de tiendas de una hora ms tarde no dara lugar a una disminucin significativa en las ventas.

Ejecucin de una prueba estndar A/B lo largo de un canal directo como Internet-comparando, por ejemplo, la tasa de respuesta a la versin A de una pgina web con la tasa de respuesta a la versin B-es un ejercicio relativamente sencillo usando las matemticas desarrollado hace un siglo. Pero la gran mayora (ms del 90%) del negocio de consumo se lleva a cabo a travs de sistemas de distribucin ms complejas, como las redes de tiendas, zonas de venta, sucursales bancarias, franquicias de comida rpida, y as sucesivamente. La experimentacin de negocios en estos entornos sufre de una variedad de complejidades analticas, el ms importante de los cuales es que los tamaos de las muestras son tpicamente demasiado pequeo para generar resultados vlidos. Considerando que un gran minorista en lnea, simplemente puede seleccionar 50.000 consumidores de una manera aleatoria y determinar sus reacciones a una oferta experimental, incluso los ms grandes minoristas de ladrillo y mortero no pueden asignar al azar a 50.000 tiendas para probar una nueva promocin. Para ellos, un grupo de prueba realista por lo general los nmeros en las decenas, no los miles. De hecho, hemos encontrado que la mayora de las pruebas de nuevos programas de consumo son demasiado informal. No se basan en mtodos cientficos y estadsticos probados, y as los ejecutivos terminan interpretando mal el ruido estadstico como malas decisiones de causalidad y que hacen.En un experimento ideal, el probador separa una variable independiente (la causa supuesta) de una variable dependiente (el efecto observado) mientras mantiene todas las dems causas potenciales constante, y luego manipula la antigua para estudiar los cambios en el segundo. La manipulacin, seguida de observacin cuidadosa y el anlisis, los rendimientos de visin de las relaciones entre causa y efecto, que idealmente se pueden aplicar para y probados en otros entornos.Para obtener ese tipo de conocimiento y garantizar que la experimentacin negocio vale la pena el gasto y esfuerzo-empresas deben preguntarse varias preguntas cruciales: El experimento tiene un propsito claro? Haga que las partes interesadas se comprometieron a respetar los resultados? Es el experimento factible? Cmo podemos garantizar resultados fiables? Hemos conseguido el mximo valor de la experiencia? Aunque estas preguntas parecen obvias, muchas empresas comienzan la realizacin de pruebas sin abordar plenamente.El Experimento tener un propsito claro?Las empresas deben realizar experimentos si son la nica forma prctica para responder a preguntas especficas sobre las acciones de manejo propuestas.Considere Kohl, la gran distribucin, que en 2013 estaba buscando maneras de reducir sus costos de operacin. Una de ellas fue la apertura de tiendas de una hora ms tarde de lunes a sbado. Ejecutivos de la compaa estaban divididos sobre el asunto. Algunos argumentaron que la reduccin de horas de las tiendas se traducira en una cada significativa de las ventas; otros afirmaban que el impacto en las ventas sera mnimo. La nica manera de resolver el debate con certeza era llevar a cabo un experimento riguroso. Una prueba de la participacin de 100 de las tiendas de la compaa demostr que el retraso en la apertura no dara lugar a ninguna disminucin de ventas significativo.

IDEA EN BREVEEl problemaEn ausencia de datos suficientes para informar decisiones sobre innovaciones propuestas, manangers menudo se basan en su experiencia, la intuicin, o ninguna sabidura convencional de los cuales es necesariamente relevante.La solucin De una prueba cientfica rigurosa, en el que compaas separadas una variable independiente (la causa supuesta) de una variable independiente (el efecto observado) mientras mantiene todas las dems causas potenciales constante, y luego manipular la antigua para estudiar cambios en este ltimo.La orientacinHacer la mayor parte de sus experimentos, las empresas deben preguntarse: el experimento tiene un propsito claro? tienen las partes interesadas se comprometieron a respetar los resultados?, es el experimento factible? Cmo podemos garantizar resultados fiables? hemos conseguido el mximo valor de la experiencia?.

Para determinar si se necesita un experimento, los gerentes deben primero saber exactamente lo que quieren aprender. Slo entonces podrn decidir si la prueba es el mejor enfoque y, si lo es, el alcance del experimento. En el caso de Kohl, la hiptesis a comprobar fue sencilla: la apertura de tiendas de una hora ms tarde para reducir los costos de operacin no dar lugar a una disminucin significativa en las ventas. Con demasiada frecuencia, sin embargo, las empresas carecen de la disciplina para perfeccionar sus hiptesis, lo que lleva a las pruebas que son ineficientes, innecesariamente costosa, o, peor, ineficaces para responder a la cuestin que nos ocupa. Una hiptesis dbil (como "Podemos extender nuestra marca de lujo") no presenta una variable independiente especfica para probar en una variable dependiente especfica, por lo que es difcil para apoyar o rechazar. Una buena hiptesis ayuda a delinear esas variables.En muchas situaciones los ejecutivos tienen que ir ms all de los efectos directos de una iniciativa e investigar sus efectos secundarios. Por ejemplo, cuando Family Dollar quera determinar si invertir en unidades de refrigeracin para que pudiera vender los huevos, la leche y otros productos perecederos, se descubri que un efecto de la cara aumento de las ventas de bienes tradicionales secos para los clientes adicionales atrado por las tiendas de los artculos refrigerados-seran en realidad tener un mayor impacto sobre los beneficios. Efectos auxiliares tambin pueden ser negativos. Hace unos aos, Wawa, la cadena de tiendas de conveniencia en el medio del Atlntico de Estados Unidos, quiso introducir un elemento de desayuno pan plano que haba hecho bien en pruebas puntuales. Pero la iniciativa fue asesinado antes del lanzamiento, cuando un experimento completo con grupos de prueba y control seguido de regresin riguroso anlisis, mostr que el nuevo producto probablemente canibalizar otros artculos ms rentables.Las partes interesadas han asumido el compromiso de respetar los resultados?Antes de realizar cualquier prueba, las partes interesadas deben acordar cmo van a proceder una vez que los resultados estn en. Deben prometer que sopesar todos los resultados en lugar de datos cherry-picking que apoya el punto de vista particular. Tal vez lo ms importante, tienen que estar dispuestos a alejarse de un proyecto si no est apoyada por los datos.Cuando Kohl estaba considerando la adicin de una nueva categora de producto, muebles, muchos ejecutivos eran tremendamente entusiasta, anticipando importantes ingresos adicionales. Una prueba en 70 tiendas de ms de seis meses, sin embargo, mostr una disminucin neta de ingresos. Los productos que ahora tenan menos espacio (para hacer espacio para los muebles) experimentaron una cada de las ventas, y Kohl fue realmente perdiendo clientes en general. Esos resultados negativos fueron una gran decepcin para los que haban abogado por la iniciativa, pero el programa fue, sin embargo, desguazados. El ejemplo del Kohl destaca el hecho de que los experimentos son a menudo necesarios para efectuar evaluaciones objetivas de las iniciativas respaldadas por las personas con influencia de la organizacin.

Por supuesto, puede haber buenas razones para el despliegue de una iniciativa an cuando los beneficios esperados no son compatibles con la datos, por ejemplo, un programa que los experimentos han demostrado no aumentar sustancialmente las ventas an podra ser necesario para construir la lealtad del cliente. Pero si la iniciativa propuesta se hace una cosa, por qu ir a travs del tiempo y el costo de la realizacin de una prueba?Lista de verificacin para un experimento de negociospropsitoSe centra el experimento en una accin de gestin especfica en cuestin?Qu la gente la esperanza de aprender de la experiencia?Buy-InQu cambios especficos se haran sobre la base de los resultados?Cmo va la organizacin asegurar que los resultados no se tienen en cuenta?Cmo funciona el experimento encaja en la agenda de aprendizaje global de la organizacin y las prioridades estratgicas?factibilidadEl experimento tiene una prediccin comprobable?Cul es el tamao de la muestra requerida? Nota: El tamao de la muestra depender del efecto previsto (por ejemplo, un aumento del 5% en las ventas).Puede la organizacin factible realizar el experimento en los lugares de ensayo para la duracin requerida?confiabilidadQu medidas se utilizarn para explicar el sesgo sistmico, ya sea consciente o inconsciente?Las caractersticas del grupo de control coinciden con los del grupo de prueba?Puede llevar a cabo el experimento, ya sea en "ciego" o "doble ciego" de la moda?Algn sesgos restantes han eliminado a travs de anlisis estadsticos u otras tcnicas?Seran otros que realizan la misma prueba obtener resultados similares?valorLa organizacin ha considerado un objetivo despliegue, es decir, uno que toma en cuenta el efecto de una propuesta de iniciativa sobre diferentes clientes, mercados y segmentos de concentrar las inversiones en las zonas donde el retorno de la inversin potencial es ms alto?La organizacin ha implementado slo los componentes de una iniciativa con el ms alto retorno de la inversin?Tiene la organizacin una mejor comprensin de las variables que estn causando qu efectos?

Un proceso debe instituirse para garantizar que los resultados de las pruebas no son ignorados, incluso cuando contradicen los supuestos o la intuicin de los altos ejecutivos. En Publix Super Markets, una cadena en el sureste de Estados Unidos, prcticamente todos los grandes proyectos comerciales, especialmente aquellos que requieren considerables inversiones de capital, deben someterse a experimentos formales para recibir la luz verde. Las propuestas pasan por un proceso de filtrado en el que el primer paso es que la financiacin para llevar a cabo un anlisis para determinar si un experimento es la pena realizar.

Para los proyectos que conforman la corte, profesionales de la analtica a desarrollar diseos de prueba, y someterlos a un comit que incluye al vicepresidente de finanzas. Los experimentos aprobados por el comit de entonces se llevaron a cabo y supervisados por un grupo de prueba interna. Hacienda aprobar los gastos significativos slo para las iniciativas propuestas que se han adherido a este proceso y cuyos resultados experimento son positivos. "Los proyectos consiguen revisados y aprobados mucho ms rpidamente y con menos escrutinio-cuando tienen resultados que nuestros prueba para respaldarlos", dice Frank Maggio, el gerente senior de anlisis de negocio en Publix.

Al construir e implementar un proceso de este tipo de filtrado, es importante recordar que los experimentos deberan ser parte de una agenda de aprendizaje que apoya prioridades de la organizacin de una empresa. En Petco cada solicitud de prueba debe abordar cmo ese experimento en particular podra contribuir a la estrategia global de la empresa a ser ms innovadoras. En el pasado, la compaa lleva a cabo alrededor de 100 pruebas al ao, pero ese nmero se ha recortado a 75. Muchas de las solicitudes de prueba se les niega porque la empresa ha hecho una prueba similar en el pasado; otros son rechazados porque los cambios bajo consideracin no son lo suficientemente radical como para justificar el gasto de las pruebas (por ejemplo, un aumento de precios de un solo elemento de $ 2.79 a $ 2.89). "Queremos probar cosas que harn crecer el negocio", dice John Rhoades, ex director de anlisis de venta de la compaa. "Queremos probar nuevos conceptos o nuevas ideas."

Es el Experimento Factible?Los experimentos deben tener predicciones comprobables. Pero la "densidad de causalidad" del entorno que el negocio es, la complejidad de las variables y sus interacciones puede hacer que sea muy difcil determinar las relaciones de causa y efecto. Aprender de un experimento de negocios no es necesariamente tan fcil como aislar una variable independiente, manipulndolo, y la observacin de los cambios en la variable dependiente. Ambientes estn en constante cambio, las causas potenciales de los resultados del negocio son a menudo incierto o desconocido, y as vnculos entre ellos son frecuentemente complejas y poco entendidas.

Considere una cadena minorista hipottica que tiene 10.000 tiendas de conveniencia, 8.000 de los cuales son nombrados QwikMart y 2000 FastMart. Las tiendas QwikMart han sido un promedio de $ 1 milln en ventas anuales y las tiendas FastMart 1.100.000 dlares. Un alto ejecutivo hace una pregunta aparentemente simple: Quieres cambiar el nombre de las tiendas QwikMart a plomo FastMart a un aumento de los ingresos 800 millones de dlares? Obviamente, numerosos factores afectan las ventas de tiendas, incluyendo el tamao fsico de la tienda, el nmero de personas que viven en un radio determinado y sus ingresos promedio, el nmero de horas que la tienda est abierta a la semana, la experiencia de la gerente de la tienda, la nmero de competidores cercanos, y as sucesivamente. Pero el ejecutivo est interesado en una sola variable: nombre de las tiendas (QwikMart frente FastMart).

La solucin obvia es llevar a cabo un experimento cambiando el nombre de un puado de tiendas QwikMart (digamos, 10) para ver qu pasa. Pero incluso determinar el efecto del cambio de nombre en las tiendas resulta ser difcil, porque muchas otras variables pueden haber cambiado al mismo tiempo. Por ejemplo, el tiempo era muy malo en cuatro de los lugares, un gerente fue sustituido en uno, un gran edificio residencial inaugurado cerca de otra, y un competidor inicia una promocin publicitaria agresiva cerca de otro. A menos que la compaa puede aislar el efecto del cambio de nombre de esas y otras variables, el ejecutivo no sabr con certeza si el cambio de nombre ha ayudado (o dao) negocio.

Para hacer frente a entornos de alta densidad causal, las empresas deben considerar si es factible el uso de una muestra lo suficientemente grande como para promediar los efectos de todas las variables, excepto los que estn siendo estudiadas. Por desgracia, ese tipo de experimento no siempre es factible. El costo de una prueba que implica un tamao de muestra adecuado puede ser prohibitivo, o el cambio en las operaciones podra ser demasiado perjudicial. En tales casos, como veremos ms adelante, los ejecutivos pueden a veces emplear tcnicas analticas sofisticadas, algunas grandes datos que implican, para aumentar la validez estadstica de los resultados.

Dicho esto, cabe sealar que los gerentes a menudo asumen equivocadamente que una muestra ms grande conducir automticamente a mejores datos. De hecho, un experimento puede implicar una gran cantidad de observaciones, pero si son muy agrupadas, o correlacionadas entre s, entonces el verdadero tamao de la muestra podra ser en realidad bastante pequea. Cuando una empresa utiliza un distribuidor en lugar de vender directamente a los clientes, por ejemplo, que el punto de distribucin podra conducir fcilmente a las correlaciones entre los datos de los clientes.

El tamao requerido de la muestra depende en gran parte de la magnitud del efecto esperado. Si una empresa espera que la causa (por ejemplo, un cambio en el nombre de la tienda) para tener un gran efecto (un aumento sustancial en las ventas), la muestra puede ser ms pequeo. Si el efecto esperado es pequeo, la muestra debe ser ms grande. Esto puede parecer contradictorio, pero creo que de esta manera: Cuanto menor sea el efecto esperado, mayor es el nmero de observaciones que se requieren para detectarlo del ruido circundante con la confianza estadstica deseada.

Seleccin del tamao de la muestra a la derecha hace ms que asegurar que los resultados sean estadsticamente vlidas; sino que tambin puede permitir a una empresa para disminuir los costos de prueba y aumentar la innovacin. Fcilmente programas de software disponibles pueden ayudar a las empresas eligen el tamao ptimo de la muestra. (La revelacin completa: firma de Jim Manzi, Applied Predictive Technologies, vende uno, Prueba y Aprender.)

Cmo podemos garantizar resultados fiables?En la seccin anterior hemos descrito los fundamentos para la realizacin de un experimento. Sin embargo, la verdad es que las empresas suelen tener que hacer concesiones entre fiabilidad, coste, tiempo y otras consideraciones prcticas. Tres mtodos pueden ayudar a reducir las compensaciones, lo que aumenta la fiabilidad de los resultados.

Ensayos de campo aleatorios.El concepto de la asignacin al azar en la investigacin mdica es simple: Tome un gran grupo de personas con las mismas caractersticas y afliccin, y al azar dividirlas en dos subgrupos. Administrar el tratamiento a un solo subgrupo y vigilar de cerca la salud de todos. Si el grupo (o prueba) tratada hace estadsticamente mejor que el grupo sin tratamiento (o control), entonces la terapia se considera para ser eficaz. Del mismo modo, los ensayos de campo aleatorios pueden ayudar a las empresas a determinar si los cambios especficos conducirn a un mejor desempeo.

La compaa de servicios financieros Capital One ha utilizado durante mucho tiempo experimentos rigurosos para probar incluso los cambios ms aparentemente triviales. A travs de ensayos de campo aleatorizados, por ejemplo, la compaa podra probar el color de los sobres utilizados para ofertas de productos mediante el envo de dos lotes (uno en el color de prueba y la otra en blanco) para determinar las diferencias en la respuesta.

La asignacin al azar juega un papel importante: Ayuda a prevenir el sesgo sistmico, introducido consciente o inconscientemente, de afectar a un experimento, y se extiende de manera uniforme las restantes (y posiblemente desconocidos) causas potenciales de los resultados entre los grupos de prueba y control. Pero las pruebas de campo aleatorios no estn exentos de dificultades. Para que los resultados sean vlidos, los ensayos de campo deben llevarse a cabo de una manera estadsticamente rigurosa.

En lugar de identificar una poblacin de sujetos de prueba con las mismas caractersticas y luego al azar dividindolo en dos grupos, los gerentes a veces cometen el error de la seleccin de un grupo de prueba (por ejemplo, un grupo de tiendas de una cadena) y luego asumiendo que todo lo dems (el resto de las tiendas) debe ser el grupo control. O seleccionar los grupos de prueba y control de manera que introducen inadvertidamente sesgos en el experimento. Petco utiliza para seleccionar sus 30 mejores tiendas para probar una nueva iniciativa (como grupo de prueba) y compararlos con sus 30 peores tiendas (como el grupo de control). Iniciativas probadas de esta manera seran a menudo un aspecto muy prometedor pero fallan cuando se desplegaron.

Ahora Petco considera una amplia gama de tamaos de los parmetros de la tienda, demografa de los clientes, la presencia de competidores cercanos, y as sucesivamente, para que coincida con las caractersticas de los grupos de control y de prueba. (Publix hace lo mismo.) Los resultados de estos experimentos han sido mucho ms fiable.

Pruebas a ciegas.Para minimizar los sesgos y aumentar la fiabilidad adicional, Petco y Publix han llevado a cabo pruebas "ciegas", que ayudan a prevenir el efecto Hawthorne: la tendencia de los participantes del estudio a modificar su comportamiento, consciente o inconscientemente, cuando son conscientes de que son parte de un experimento . En Petco ninguno de los empleados de las tiendas de prueba 'saber cuando los experimentos estn en marcha, y Publix realiza pruebas a ciegas siempre que puede. Para las pruebas simples que involucran cambios de precios, Publix puede utilizar procedimientos de ciego porque las tiendas estn rodando continuamente nuevos precios, por lo que las pruebas no se distinguen de las prcticas normales de funcionamiento.

Experimento: WawaUn nuevo pan plano hizo bien en pruebas puntuales, pero la cadena lo mat despus de los experimentos rigurosos revelaron que canibalizado otros productos.Qu tan grande de datos puede ayudarPara filtrar el ruido estadstico e identificar las relaciones causa-efecto, los experimentos de negocio ideal sera emplear muestras de numeracin en los miles. Pero esto puede ser prohibitivamente costoso o imposible. Un nuevo enfoque de surtido de mercanca puede tener que ser probado en slo 25 tiendas, un programa de ventas de entrenamiento con 32 vendedores, y una remodelacin propuesto en 10 de las propiedades hoteleras. En tales situaciones, los grandes datos y otras tcnicas de computacin sofisticada, tales como "la mquina de aprendizaje," puede ayudar. He aqu cmo:

EmpezandoSi un minorista quiere poner a prueba un nuevo diseo de la tienda, se debe recopilar datos detallados (como 'proximidad, empleados competidores tenencia, y la demografa del cliente) sobre cada unidad de anlisis (cada tienda y su rea de comercio, cada vendedor y sus cuentas, etctera). Esto se convertir en parte de un conjunto de datos grande. Determinar cuntos y cules tiendas, clientes o empleados deben ser parte de la prueba y la duracin de la prueba debe ejecutar depende de la volatilidad en los datos y la precisin requerida para las estimaciones de impacto.

La construccin de un grupo de control

En experimentos con muestras pequeas, sujetos de prueba a juego correctamente (como las tiendas individuales o clientes) con los sujetos control es fundamental y depende de la habilidad del experimentador para identificar plenamente a decenas o incluso cientos de variables que caracterizan a los sujetos de prueba. Alimentaciones grandes de datos (registros de transacciones completos por cliente, datos meteorolgicos detallados, flujos de medios sociales, etc.) pueden ayudar en esto. Una vez que se determinan las caractersticas, un grupo de control puede ser construido que contiene todos los elementos del grupo de prueba a excepcin de lo que se est probando. Esto permite al minorista para determinar si los resultados de las pruebas fueron influenciados solamente por que uno de los elementos-el nuevo diseo, o por otros factores (variaciones demogrficas, mejores condiciones econmicas, climticas ms clidas).

Targeting las mejores oportunidades

Las mismas fuentes de datos pueden ser utilizados para identificar situaciones en las que el programa de prueba es eficaz. Por ejemplo, el nuevo diseo de la tienda puede funcionar mejor en zonas urbanas altamente competitivos, pero puede ser slo un xito moderado en otros mercados. Al identificar con precisin estos patrones, el experimentador puede implementar el programa en situaciones en las que trabaja y evitar inversiones en que el programa no puede generar el mejor retorno de la inversin.

Adaptar el programa

Grandes alimentaciones adicionales de datos pueden ser utilizados para caracterizar los componentes del programa que son ms o menos eficaces. Por ejemplo, un minorista de probar los efectos de un nuevo diseo de la tienda se pueden usar datos capturados de secuencias de vdeo en la tienda para determinar si el nuevo diseo est animando a los clientes a moverse a travs de ms de la tienda o est generando ms trfico cerca de productos de alto margen. O el experimentador puede encontrar que los elementos en movimiento en la parte delantera de la tienda y poner en nuevos estantes tienen un impacto positivo, pero moviendo los registros de ventas interrumpe cajas y perjudica a las ganancias.Pero los procedimientos ciegos no siempre son prcticos. Para las pruebas de los equipos de trabajo o nuevas prcticas, Publix normalmente informa a las tiendas que han sido seleccionados por el grupo de prueba. (Nota: Una tpica experimental ms alto es el uso de pruebas de "doble ciego", en el que ni los experimentadores ni los sujetos de prueba son conscientes de que los participantes se encuentran en el grupo de prueba y que estn en el control de las pruebas de doble ciego son ampliamente. utilizado en la investigacin mdica, pero no son comunes en la experimentacin de negocios.)Big data.En los entornos de canal directo en lnea y otros, los clculos necesarios para llevar a cabo un experimento aleatorio rigurosa es bien conocida. Pero, como hemos comentado anteriormente, la gran mayora de las transacciones de consumo se producen en otros canales, como tiendas al por menor. En las pruebas en este tipo de entornos, los tamaos de muestra son a menudo inferiores a 100, debido a que viola los supuestos tpicos de muchos mtodos estadsticos estndar. Para minimizar los efectos de esta limitacin, las empresas pueden utilizar algoritmos especializados en combinacin con varios conjuntos de datos grandes.

Considere la posibilidad de un gran minorista contemplando un rediseo tienda que iba a costar dlares al medio billn de desplegar a 1.300 localidades. Para probar la idea, el minorista rediseado 20 tiendas y un seguimiento de los resultados. El equipo de finanzas analiz los datos y lleg a la conclusin de que la mejora sera aumentar las ventas en un magro 0,5%, resultando en un rendimiento negativo de la inversin. El equipo de marketing llev a cabo un anlisis por separado y pronostic que el rediseo llevara a un 5% de aumento de las ventas saludable.

Al final result que, el equipo de finanzas haba comparado los sitios de prueba con otras tiendas de la cadena que eran de tamao similar, el ingreso demogrfica, y otras variables, pero no eran necesariamente en el mismo mercado geogrfico. Tambin haba utilizado datos de seis meses antes y despus del rediseo. Por el contrario, el equipo de marketing haba comparado tiendas dentro de la misma regin geogrfica y haba examinado los datos 12 meses antes y despus del rediseo. Para determinar lo que se traduce a la confianza, la empresa contaba con grandes volmenes de datos, incluyendo los datos de operaciones (artculos de la tienda, los momentos del da en que se produjo la venta, precios), atributos de la tienda, y los datos sobre los entornos alrededor de los almacenes (competencia, la demografa, tiempo). De esta manera, la empresa seleccionada tiendas para el grupo de control que fuera un partido ms estrecha con aquellos en los que se ensay el rediseo, que hizo que el pequeo tamao de muestra estadsticamente vlida. Es objetivo entonces utilizada, mtodos estadsticos para revisar ambos anlisis. Los resultados: Los hallazgos del equipo de marketing fueron el ms preciso de los dos.

Incluso cuando una empresa no puede seguir un protocolo de pruebas rigurosas, los analistas pueden ayudar a identificar y corregir ciertos sesgos, fallas de asignacin al azar y otras imperfecciones experimentales. Una situacin comn es cuando la funcin de prueba de una organizacin se presenta con experimentos -el naturales no aleatorizados vicepresidente de operaciones, por ejemplo, podran querer saber si el nuevo programa de formacin de los empleados de la compaa, que se introdujo en el 10% de los mercados de la compaa, es ms eficaz que el anterior. Pues resulta que, en tales situaciones los mismos algoritmos y conjuntos de datos grandes que se pueden utilizar para tratar el problema de los pequeos o correlacionados muestras pueden tambin ser desplegados para desentraar ideas valiosas y minimizar la incertidumbre en los resultados. El anlisis a continuacin, puede ayudar a los experimentadores disear un ensayo de campo aleatorio verdadero para confirmar y refinar los resultados, sobre todo cuando son poco intuitivo o son necesarios para informar una decisin con grandes intereses econmicos.

Para cualquier experimento, el estndar de oro es la repetitividad; es decir, otros que realizan la misma prueba deben obtener resultados similares. Repeticin de una prueba costosa es generalmente poco prctico, pero las empresas puede verificar los resultados de otras maneras. Petco veces despliega una implementacin por fases para las grandes iniciativas para confirmar los resultados antes de proceder con una implementacin en toda la compaa. Y Publix tiene un proceso para el seguimiento de los resultados de un despliegue y su comparacin con el beneficio previsto.

Hemos conseguido el mayor provecho del experimento?Muchas empresas pasan por la costa de la realizacin de experimentos, pero luego no hacen la mayora de ellos. Para evitar ese error, los ejecutivos deben tener en cuenta el efecto de una propuesta de iniciativa de varios clientes, mercados y segmentos y concentrar las inversiones en las zonas donde los reembolsos potenciales son ms altos. Generalmente La pregunta correcta no es, Qu funciona? pero, Qu funciona dnde?

Petco rollos con frecuencia a cabo un programa slo en las tiendas que son ms similares a las tiendas de las pruebas que tuvieron los mejores resultados. Al hacerlo, el Petco no slo ahorra en costos de implementacin, sino tambin evita que implica tiendas donde el nuevo programa podra no ofrecer beneficios o incluso podra tener consecuencias negativas. Gracias a este tipo de implementaciones especficas, Petco ha sido siempre capaz de duplicar los beneficios previstos de nuevas iniciativas.

Otra tctica til es "ingeniera de valor." La mayora de los programas tienen algunos componentes que crean beneficios superiores a los costos y otros que no lo hacen. El truco, entonces, es poner en prctica slo los componentes con un atractivo retorno de la inversin (ROI). Como un simple ejemplo, digamos que las pruebas de un minorista de una promocin -off 20% muestran una elevacin de 5% en las ventas. Qu parte de ese aumento se debi a la propia oferta y lo que result de la publicidad de acompaamiento y capacitacin de personal de la tienda, los cuales dirige a los clientes a los productos particulares de venta? En tales casos, las empresas pueden llevar a cabo experimentos para investigar varias combinaciones de componentes (por ejemplo, la oferta promocional con publicidad, pero sin formacin de personal adicional). Un anlisis de los resultados se puede separar los efectos, lo que permite a los ejecutivos a soltar los componentes (digamos, la capacitacin de personal adicional) que tienen un ROI bajo o negativo.

Por otra parte, un anlisis cuidadoso de los datos generados por los experimentos puede permitir a las empresas a entender mejor sus operaciones y poner a prueba sus hiptesis de que las variables que causan efectos. Con grandes datos, el nfasis est en correlacin-descubrir, por ejemplo, que las ventas de determinados productos tienden a coincidir con las ventas de los dems. Pero la experimentacin empresa puede permitir a las empresas miran ms all de la correlacin y causalidad investigan-descubrimiento, por ejemplo, los factores que causan el aumento (o disminucin) de las compras. Tal conocimiento fundamental de la causalidad puede ser crucial. Sin ella, los ejecutivos tienen una comprensin fragmentaria de sus negocios, y las decisiones que toman puede ser contraproducente.

Mejor Prctica: PetcoLa cadena de tiendas especializadas garantiza resultados fiables de sus experimentos, haciendo coincidir las caractersticas de los grupos de control y de prueba.Cuando Cracker Barrel Old Country Store, la cadena de restaurantes de temtica Sur, llev a cabo un experimento para determinar si debe cambiar de incandescentes a lmparas LED en sus restaurantes, los ejecutivos se sorprendieron al enterarse de que el trfico de clientes en realidad disminuido en los lugares que instalaron luces LED. La iniciativa iluminacin podra haber quedado ah, pero la compaa cavado ms profundo para comprender las causas subyacentes. Al final result que, la nueva iluminacin hizo los porches de los restaurantes parece ms tenue, y muchos clientes pens equivocadamente que los restaurantes estaban cerrados. Esto fue desconcertante-los LEDs deberan haber hecho los porches brillante. Tras realizar investigaciones adicionales, los ejecutivos se enteraron de que los gerentes de las tiendas no haban sido previamente siguiendo los estndares de iluminacin de la compaa; que haban estado haciendo sus propios ajustes, a menudo aadiendo iluminacin adicional en los porches delanteros. Y as, la luminosidad se redujo cuando las tiendas adheridas a la nueva poltica de LED. El punto aqu es que la correlacin solo habra dejado a la empresa con la equivocada impresin-que los LEDs son malas para los negocios. Tom la experimentacin para descubrir la relacin causal real.

De hecho, sin comprender plenamente la causalidad, las empresas se exponen a cometer grandes errores. Recuerda el experimento Kohl hicieron para investigar los efectos de retrasar la apertura de sus tiendas? Durante esa prueba, la compaa sufri una cada inicial en las ventas. En ese momento, los ejecutivos podran haber tirado del enchufe en la iniciativa. Sin embargo, un anlisis mostr que el nmero de transacciones de los clientes haba permanecido igual; la cuestin era una gota en unidades por transaccin. Con el tiempo, las unidades por transaccin recuperados y las ventas totales volvieron a los niveles anteriores. Kohl no podan explicar plenamente la disminucin inicial, pero los ejecutivos resistido la tentacin de culpar a las horas de operatividad. Ellos no se apresuran a equiparar correlacin con causalidad.

Lo importante aqu es que muchas empresas estn descubriendo que la realizacin de un experimento es slo el comienzo. Valor proviene de analizar y luego la explotacin de los datos. En el pasado, Publix gast el 80% de sus recopilacin de datos de tiempo de prueba y 20% analizarla. El objetivo actual de la empresa es invertir esa relacin.

La sabidura convencional DesafianteAl prestar atencin a los tamaos de muestra, grupos de control, la asignacin al azar, y otros factores, las empresas pueden asegurarse de la validez de sus resultados de la prueba. Cuanto ms vlida y repetible los resultados, mejor se va a sostener en el rostro de la resistencia interna, que puede ser especialmente fuerte cuando las prcticas de la industria y la sabidura convencional el reto resultados de larga data.Cuando los ejecutivos Petco investigaron nuevos precios para un producto vendido por peso, los resultados fueron inequvocos. De lejos, el mejor precio fue para un cuarto de libra de producto, y que el precio era por un monto que termin en $ 0,25. Ese resultado fue bruscamente contra la corriente de la sabidura convencional, que requiere normalmente para los precios que terminan en 9, como $ 4.99 o $ 2.49. "Esto rompi una regla en el comercio minorista que no se puede tener un precio" feo "," toma nota de Rhoades. En un primer momento, los ejecutivos de Petco se mostraron escpticos de los resultados, sino porque el experimento se haba realizado de manera rigurosa, que finalmente estaban dispuestos a dar la nueva fijacin de precios de un intento. Un despliegue dirigido confirm los resultados, lo que lleva a un aumento de ventas de ms de 24% despus de seis meses.

La leccin es no slo que la experimentacin de negocios puede llevar a mejores formas de hacer las cosas. Tambin se puede dar a las empresas la confianza necesaria para volcar la sabidura convencional equivocada y la intuicin empresarial defectuoso que incluso los ejecutivos experimentados pueden mostrar. Y la toma de decisiones ms inteligentes en ltima instancia conduce a un mejor desempeo.

Podra JC Penney haber evitado el desastre probando rigurosamente los componentes de su revisin? En este punto, es imposible saberlo. Pero una cosa es cierta: Antes de tratar de implementar un programa de este tipo en negrita, la empresa necesitaba para asegurarse de que el conocimiento no slo intuicin fue guiando la decisin.