La Ley de Goodhart

Data Analytics parte de una idea bastante simple y, al mismo tiempo, fundamental para cualquier organización: Para mejorar algo, primero necesitamos poder medirlo.

Medir permite entender qué está ocurriendo, comparar períodos, detectar cambios, identificar problemas y evaluar si una decisión produjo el resultado esperado. Por eso los indicadores ocupan un lugar central en el análisis de datos. Transforman aspectos del negocio en variables que podemos seguir, comparar e interpretar.

Dentro de ese sistema, los KPI tienen una función especialmente importante. Un KPI, o Key Performance Indicator, busca representar mediante una medida concreta algún aspecto relevante del desempeño. Puede ser la tasa de conversión de ventas, el tiempo de respuesta al cliente, la retención, el margen, la cantidad de defectos o cualquier otra variable vinculada con un objetivo importante para la organización.

Y, por supuesto, tiene sentido querer mejorarlos.

Si una empresa tarda demasiado en responder a sus clientes, reducir ese tiempo puede ser una mejora real. Si una fábrica tiene una tasa elevada de productos defectuosos, disminuirla es un objetivo razonable. Si un negocio convierte pocas oportunidades en ventas, trabajar sobre su tasa de conversión también puede aportar valor.

Medir, fijar objetivos y buscar mejores resultados forman parte natural de una gestión basada en datos.

El punto interesante aparece cuando una métrica deja de servir solamente para observar una realidad y comienza también a dirigir el comportamiento de las personas que participan en ella. En determinadas condiciones, el esfuerzo por mejorar un indicador puede hacer que ese número evolucione de una forma distinta a aquello que originalmente pretendía representar.

• Podemos conseguir respuestas más rápidas sin resolver mejor los problemas.
• Podemos aumentar las ventas a costa del margen.
• Podemos cerrar más tickets sin mejorar realmente el servicio.

El KPI mejora, pero la realidad que queríamos mejorar puede avanzar mucho menos, mantenerse igual o incluso deteriorarse.

Ese fenómeno está en el centro de una de las ideas más importantes para entender cómo funcionan las métricas y los incentivos.

La Ley de Goodhart.

Qué dice la Ley de Goodhart

Charles Goodhart, economista británico, formuló en 1975 una observación vinculada con la política monetaria. Su planteo original era más técnico que la frase con la que hoy suele resumirse su idea, pero el principio central es muy claro. Una relación estadística que resulta útil para observar un sistema puede cambiar cuando empezamos a utilizarla deliberadamente para controlarlo.

Con el tiempo, esa idea se popularizó mediante una formulación sencilla

“Cuando una medida se convierte en un objetivo, deja de ser una buena medida.”

La frase no es una cita textual de Goodhart, sino una reformulación posterior de su planteo, pero expresa muy bien el problema.

Pensemos nuevamente en el tiempo de respuesta de un equipo de atención al cliente. Si al analizar los datos descubrimos que los clientes que reciben respuestas más rápidas suelen estar más satisfechos, podemos considerar al tiempo de respuesta como un indicador útil. Existe una relación razonable entre la métrica que observamos y la experiencia que queremos mejorar.

Ahora imaginemos que la empresa fija como objetivo responder todas las consultas en menos de cuatro horas y que, además, parte de la evaluación del equipo depende de cumplir esa meta.

La situación cambia porque el indicador empieza a influir sobre el comportamiento. El equipo puede mejorar realmente el proceso, organizar mejor los turnos y resolver las consultas con mayor rapidez. En ese caso, el KPI mejora y también mejora el servicio. Pero también puede aparecer otra estrategia, como enviar una respuesta rápida y genérica para cumplir con el tiempo establecido y resolver el problema varias horas después.

El sistema seguirá registrando una excelente mejora en el tiempo de primera respuesta. Sin embargo, esa mejora ya no representa necesariamente una mejor atención.

Ese es el punto central de Goodhart. El problema no está en medir ni en establecer objetivos. Aparece cuando el esfuerzo por mejorar una métrica encuentra caminos que hacen subir el indicador sin producir una mejora equivalente en aquello que originalmente queríamos conseguir.

Una forma útil de pensarlo es entender al KPI como un proxy. Es una variable observable que utilizamos para representar algo más complejo. El tiempo de respuesta puede representar una parte de la calidad del servicio, pero la calidad también depende de si el problema fue resuelto, de la precisión de la respuesta y de la experiencia del cliente. La tasa de conversión puede representar parte del desempeño comercial, aunque también importan el margen, la retención y el valor de los clientes adquiridos.

Mientras la relación entre el KPI y el objetivo real se mantiene, la métrica funciona bien. La dificultad aparece cuando el sistema aprende a mejorar el proxy por un camino diferente al que nosotros esperábamos.

Un caso real muy conocido, Wells Fargo

Un ejemplo especialmente claro ocurrió en Wells Fargo, uno de los grandes bancos de Estados Unidos.

Durante años, el banco impulsó una estrategia de cross selling, es decir, vender varios productos financieros a un mismo cliente. La lógica empresarial era razonable. Un cliente que utilizaba una cuenta corriente, una tarjeta de crédito, una cuenta de ahorro y otros productos podía interpretarse como un cliente con una relación más profunda con el banco.

La cantidad de productos vendidos por cliente se convirtió entonces en una métrica comercial importante y la organización estableció objetivos de ventas muy exigentes.

Ahí comenzó la distorsión.

Según el Departamento de Justicia de Estados Unidos, la presión por alcanzar esas metas llevó a miles de empleados a abrir millones de cuentas y productos sin autorización de los clientes o bajo falsas premisas entre 2002 y 2016. Entre las prácticas detectadas hubo apertura de cuentas, emisión de tarjetas y activación de otros servicios que los clientes no habían solicitado.

El indicador podía mostrar más productos vendidos por cliente y, desde la perspectiva del dashboard, parecer una señal de mayor éxito comercial. Pero el objetivo empresarial original era construir relaciones más profundas y valiosas con los clientes. En algunos casos ocurrió exactamente lo contrario.

La métrica seguía creciendo, pero había dejado de representar de manera confiable aquello que la empresa quería conseguir.

En 2020, Wells Fargo acordó pagar 3.000 millones de dólares para resolver investigaciones criminales y civiles relacionadas con estas prácticas. El propio Departamento de Justicia señaló que los objetivos de ventas excesivos y la presión de la dirección contribuyeron directamente al comportamiento de los empleados.

El caso es extremo, pero resulta muy útil para entender Goodhart porque muestra algo que también puede ocurrir en situaciones mucho más cotidianas. Una métrica puede haber sido perfectamente razonable al principio. El problema aparece cuando su importancia crece tanto que las personas empiezan a optimizar el número en lugar del resultado que ese número pretendía representar.

Por eso, frente a cualquier KPI, hay una pregunta que conviene mantener siempre presente

Si este indicador mejora, qué evidencia tenemos de que también está mejorando aquello que realmente nos importa.