Cómo la IA ayuda al mejor y perjudica al resto.

Mark Shaver/theispot.com

La IA generativa puede aumentar el rendimiento de los dueños de negocios más fuertes, pero perjudica a aquellos que ya tienen dificultades. La diferencia se debe al juicio humano.

Nicholas Otis, Rowan Clarke, Solène Delecourt, David Holtz y Rembrandt Koning

RESUMEN: ¿Puede la IA generativa servir como asesor empresarial bajo demanda? Un experimento de campo con cientos de propietarios de pequeñas empresas en Kenia encontró que el acceso a la IA aumentó los ingresos y las ganancias en un 15% para los de alto rendimiento, pero causó una disminución de casi el 10% para aquellos que ya habían estado luchando.

El culpable: Los intérpretes más débiles siguieron consejos genéricos o engañosos de IA porque carecían del juicio para filtrarlo. Los líderes que implementan la IA a escala deben diseñar sus lanzamientos cuidadosamente para evitar ampliar las brechas de rendimiento.

¿Puede la IA generativa servir como un asesor efectivo para dueños de negocios y empresarios?

Las interfaces intuitivas de lenguaje natural basadas en chat significan que cualquier persona que pueda leer y escribir puede usar las herramientas GenAI para una amplia gama de tareas, incluso si carecen de habilidades técnicas. Esto tiene un atractivo obvio para los empresarios y propietarios de pequeñas empresas, muchos de los cuales podrían beneficiarse de un asesor bajo demanda capaz de ayudar con el marketing, los precios, las operaciones y la estrategia.

Mejorar el rendimiento de los empresarios a escala ha demostrado ser un desafío. Las intervenciones más efectivas tienden a ser de alto contacto, como la consulta práctica, la tutoría individualizada y la creación de redes en persona; sin embargo, son caros de entregar y difíciles de escalar. En los mercados emergentes específicamente, esta restricción suele ser aún más estricta: el apoyo empresarial de alta calidad puede ser escaso, y su costo puede ser prohibitivo en relación con los recursos de la organización. Un mentor de IA de bajo costo y siempre disponible podría ofrecer potencialmente, a escala, el tipo de orientación empresarial que históricamente ha estado limitada por la disponibilidad y el costo de expertos humanos.

Para probar si el acceso a la IA generativa realmente puede ayudar a las pequeñas empresas, realizamos un experimento de campo con cientos de propietarios de pequeñas empresas en Kenia. Le dimos acceso al azar a la mitad de ellos a un contacto de WhatsApp que los conectó a una versión del GPT-4 de OpenAI que habíamos solicitado que actuaran como asesor comercial keniano, y luego rastreamos el rendimiento comercial a lo largo del tiempo.

¿El factor clave que impulsa un aumento o una disminución en las ganancias e ingresos? Si un empresario tuvo el juicio para distinguir los buenos consejos de IA de los malos.

Pruebas de asesoramiento sobre IA en el mundo real.

Muchos estudios previos de IA generativa se han centrado en tareas estrechas y bien definidas, como redactar correos electrónicos, desarrollar una estrategia comercial o generar anuncios de marketing. Para tales tareas, la salida de la herramienta a menudo se puede utilizar con poca modificación, lo que permite que incluso los usuarios menos calificados se beneficien de la asistencia de IA. De acuerdo con esta idea, los estudios han encontrado que los trabajadores que más luchaban antes de usar la IA se beneficiaron más del uso de tales herramientas.

Sin embargo, la gestión de un negocio no es una tarea restringida o bien definida. Los empresarios a menudo se enfrentan a problemas vagos y ambiguos. No solo necesitan ayuda para escribir un correo electrónico; necesitan ayuda para decidir qué problema abordar, qué estrategia seguir y qué consejo se aplica a su contexto específico y luego elegir qué implementar bajo restricciones reales. Por sí sola, la IA no suele manejar bien este tipo de problemas. Cuando Anthropic le dio a su modelo de lenguaje grande Claude Sonnet 3.7 el control total de un pequeño negocio de venta en su oficina de San Francisco, el LLM vendió artículos con pérdidas, regaló productos gratuitos y rápidamente convirtió la tienda en rojo.

Pero, ¿qué sucede cuando, en lugar de dejar la IA para dirigir un negocio por su cuenta, aconseja a un empresario humano que luego puede decidir cuándo implementar o ignorar sus ideas?

Para probar cómo la IA afecta una tarea amplia como dirigir un negocio, diseñamos un estudio para evaluarlo en la confusa realidad a la que se enfrentan los empresarios. Reclutamos a 640 propietarios de pequeñas empresas en Kenia de una variedad de sectores, incluidos alimentos y bebidas, agricultura y servicios de lavado de autos, y realizamos un ensayo controlado aleatorio de mayo a noviembre de 2023. Dado que la mayoría de la población del país se comunica a través del teléfono móvil, la mitad de los participantes tuvo acceso a un asesor comercial de IA impulsado por GPT-4 entregado a través de WhatsApp, la plataforma de mensajería dominante en Kenia. El 80% nunca había utilizado ChatGPT ni ninguna otra herramienta de IA generativa. Ambos grupos recibieron una breve capacitación de incorporación, pero el grupo de control recibió una guía de capacitación empresarial en línea en lugar de acceso a IA.

En contextos donde los problemas son amplios y difusos, la IA generativa amplifica el papel del juicio humano.

Los dueños de negocios en el grupo experimental podían hacer cualquier pregunta relacionada con los negocios de su elección y usar al asistente tanto o tan poco como quisieran. Rastreamos las ventas y las ganancias a lo largo del tiempo, comparando a los empresarios que obtuvieron el asistente de IA con el grupo de control, que no lo hicieron. En promedio, la diferencia entre el rendimiento empresarial del grupo de control y el del grupo experimental fue cercana a cero y no fue estadísticamente significativa. Pero el promedio del grupo experimental enmascaraba una división sorprendente: tener acceso a la IA generativa aumentó los ingresos y las ganancias en un 15% entre los propietarios de negocios que ya lo habían estado haciendo bien (es decir, estaban en el 50% superior del rendimiento antes del experimento), pero entre los que estaban en el 50% inferior, el uso de la IA llevó a una disminución de casi el 10% en los ingresos y ganancias.

El mismo consejo, diferentes opciones.

¿Por qué una herramienta capaz de producir sugerencias comerciales de alta calidad perjudicaría a los empresarios a los que se suponía que debía ayudar? Descubrimos que tanto los empresarios de alto como los de bajo rendimiento hicieron un número similar de preguntas, hicieron tipos similares de preguntas e incluso recibieron consejos similares de la herramienta de IA. La diferencia estaba en lo que eligieron actuar.

En nuestros datos, vimos que cada emprendedor, independientemente del rendimiento de referencia, recibió sugerencias genéricas como "baje sus precios" o "invierta en publicidad" junto con ideas más personalizadas y específicas del contexto. Los bajos intérpretes actuaron de manera desproporcionada sobre el asesoramiento genérico, reduciendo los precios y aumentando el gasto en publicidad. Estos movimientos de talla única a menudo erosionaban los márgenes y aumentaban los costos sin generar suficientes negocios nuevos para compensar los costos.

Los altos rendimientos, por el contrario, utilizaron GenAI para descubrir e implementar cambios específicos en su situación: el propietario de un cibercafé comenzó a alquilar accesorios de juego a los clientes; el propietario de un lavado de autos introdujo un nuevo detergente en demanda y comenzó a vender refrescos fríos a los clientes que esperaban; y otro empresario encontró fuentes de energía alternativas para soportar los apagones de electricidad. Ambos grupos tuvieron acceso a la misma calidad de asesoramiento sobre IA. La diferencia era si los empresarios tenían el juicio de tomar las sugerencias generadas por la IA, elegir las ideas que se ajustaran a su negocio e ignorar el resto.

Nuestra conclusión del estudio es que en contextos donde los problemas son amplios y difusos, la IA generativa amplifica el papel del juicio humano. El valor creado por un asesor de IA abierta depende críticamente del juicio humano que guía su uso y aplicación. En contextos abiertos, un efecto positivo de la IA en el rendimiento depende de hacer buenas preguntas, interpretar sugerencias y elegir qué acciones implementar. Para los usuarios con un fuerte juicio, la herramienta ayuda a sacar a la luz nuevas ideas y a pensar en las compensaciones. Los usuarios con un juicio débil pueden terminar siguiendo consejos plausibles pero engañosos que conducen a peores resultados.

Para los gerentes y los responsables políticos, reconocer este matiz es esencial. Sin él, las implementaciones de IA bien intencionadas corren el riesgo de ampliar las brechas de rendimiento, porque las personas que a menudo necesitan más ayuda también son las menos equipadas para filtrar y aplicar consejos.

Cómo los líderes deben implementar los consejos de IA para problemas abiertos.

Nuestra experiencia en la creación de prototipos y lanzamiento de un asesor de IA basado en WhatsApp muestra lo rápida y económica con la que se pueden implementar herramientas de IA generativas y hacerlas ampliamente accesibles. Pero una implementación rápida de una herramienta GenAI también puede plantear el riesgo de que las organizaciones implementen herramientas de IA abiertas sin barandillas o evaluación sólidas. A medida que el costo de implementación disminuye, la IA se está aplicando a una gama cada vez más amplia de tareas abiertas. Por ejemplo, los ingenieros de Google ahora usan herramientas de codificación de IA en su trabajo diario, y hay evidencia de que los desarrolladores más experimentados se benefician más de estas herramientas. En la publicación de libros, los autores establecidos han podido aumentar su producción con IA, mientras que los participantes asistidos por IA han inundado el mercado con prosas mediocres. Para los líderes que gestionan la IA dentro de sus organizaciones, estos hallazgos refuerzan la importancia de un diseño cuidadoso y una medición rigurosa para garantizar que la IA no conduzca inadvertidamente a un peor rendimiento.

¿Qué pueden hacer los líderes? Primero, cultiva la conciencia.

Los líderes no deben asumir que la IA aumentará el rendimiento de todos. Las evaluaciones que se centran solo en los efectos promedio pueden ser engañosas, porque la media puede ocultar daños significativos para grupos específicos.

A continuación, los líderes pueden diseñar para la heterogeneidad. Para los trabajadores con experiencia y juicio, las herramientas de IA abiertas pueden tener rendimientos reales. Los jóvenes o más débiles podrían necesitar barandillas más ajustadas para evitar seguir sugerencias dañinas. Una dirección prometedora es alimentar a la herramienta de IA con más contexto sobre la situación específica del usuario, sus datos comerciales, finanzas o entorno competitivo, para que pueda filtrar mejor los consejos genéricos que no se ajustan a su situación. Construir ese tipo de conciencia contextual en las herramientas de IA sigue siendo un desafío abierto que los proveedores de GenAI están explorando activamente.

Las evaluaciones que se centran solo en los efectos promedio pueden ser engañosas, porque la media puede ocultar daños significativos para grupos específicos.

Mientras tanto, es más probable que la mayoría de la gente encuentre la IA generativa útil para tareas específicas y estrechas, como resumir documentos, escribir con más claridad o revisar el código para su eficiencia, en lugar de tareas que requieren una gran cantidad de conocimiento contextual para determinar la aplicabilidad de su resultado y habilidad para implementarlo bien.

Las organizaciones también deberían invertir en el juicio humano y en andamios en torno al uso de la IA. Para las decisiones de alto riesgo, la escalada al apoyo humano es una salvaguardia crítica, especialmente cuando el asesoramiento es abierto, depende del contexto o es difícil de evaluar de antemano. Las organizaciones pueden crear apoyos que hagan que estas herramientas sean más seguras, como la incorporación estructurada que provoca contexto, listas de verificación de decisiones o advertencias sobre tácticas que destruyen el margen.

El tercer paso es auditar los efectos desiguales haciendo preguntas en tres áreas:

1. Adopción: ¿Algos grupos están evitando la herramienta por completo o usándola mucho menos que otros?

2. Las interacciones en sí: ¿Los diferentes usuarios están haciendo diferentes tipos de preguntas, proporcionando diferentes cantidades de contexto o recibiendo resultados significativamente diferentes?

3. Qué sucede a continuación: ¿La herramienta está cambiando las decisiones del mundo real, y esas decisiones están produciendo mejores resultados para algunos usuarios que para otros?

Hacer esas preguntas puede ayudar a los líderes a identificar dónde puede surgir la desigualdad, lo que permite la intervención a través de una capacitación específica, el rediseño del flujo de trabajo o controles más estrictos.

La IA muestra un potencial real para aumentar el rendimiento empresarial a escala, pero los beneficios no están garantizados. Los resultados de nuestra investigación sugieren que GenAI puede aumentar inadvertidamente la desigualdad en el rendimiento empresarial ayudando a los mayores rendimientos más que otros y, potencialmente, perjudicando activamente a los menores. Al implementar herramientas de IA a escala, un desafío de diseño central no es simplemente hacer que la IA esté disponible, sino hacer que su uso sea efectivo para que el escalado de la IA no escale la desigualdad.

Fuente: MIT Sloan Management Review, una iniciativa SMR del MIT que explora cómo la tecnología está remodelando la práctica de la gestión.

ACERCA DE LOS AUTORES

• Nicholas Otis es candidato a doctorado en la Escuela de Negocios Haas de la Universidad de California, Berkeley.

• Rowan Clarke es candidato a doctorado en la Escuela de Negocios de Harvard. Solène Delecourt es profesora asistente en el grupo de Gestión de Organizaciones en la Escuela de Negocios Haas.

• David Holtz es profesor asistente en la división de Decisiones, Riesgos y Operaciones de la Escuela de Negocios de Columbia, profesor afiliado del Instituto de Ciencia de Datos de la Universidad de Columbia y afiliado a la investigación de la Iniciativa del MIT sobre la Economía Digital.

• Rembrand Koning es Profesor Asociado en la Escuela de Negocios de Harvard y codirector del Laboratorio de Tecnología para Todos en el Instituto de Diseño de Datos Digitales (D³) de Harvard.