Cloudflare ha lanzado Pay per crawl, una función que permitirá a los creadores cobrar a los bots de inteligencia artificial (IA) que accedan a sus contenidos en línea. Este sistema, actualmente en fase beta privada, representa un cambio significativo en la economía de la inteligencia artificial, introduciendo un modelo de cobro por consulta que podría convertirse en el nuevo estándar para monetizar el acceso de agentes automatizados, como ChatGPT de OpenAI o Gemini de Google.
El Desafío de la Extracción Masiva de Datos
Actualmente, los desarrolladores de modelos de IA extraen masivamente información de sitios web públicos, a menudo sin ofrecer ninguna compensación a los autores o medios originales. Esto ha generado una gran preocupación entre los creadores de contenido, quienes se enfrentan a una difícil decisión: permitir acceso irrestricto o bloquear por completo a los bots. Pay per crawl plantea una tercera vía: cobrar por el acceso.
El Código HTTP 402: Una Solución Revivida
La arquitectura de este nuevo modelo se basa en un viejo conocido del protocolo HTTP: el código de respuesta 402, Payment Required (Pago requerido), que hasta ahora había sido relegado por falta de casos de uso claros. Con Pay per crawl, Cloudflare propone revivir este código como mecanismo para negociar, en tiempo real, el acceso de crawlers automatizados a contenidos en línea.
Flexibilidad y Control para los Editores
Pay per crawl ofrece flexibilidad total a los editores. Por ahora, estos pueden establecer un precio único por solicitud para todo su sitio web. Sin embargo, Cloudflare anticipa que en el futuro será posible definir precios diferenciados por sección, por tipo de contenido o incluso según la popularidad de cada recurso. El sistema permite a los editores controlar el acceso, permitiendo que los bots accedan solo si pagan o registran su intención de pago.
Web Bot Auth: Autenticidad y Seguridad
Para garantizar la autenticidad de los bots que se registran para pagar, Cloudflare implementó un protocolo denominado Web Bot Auth, que requiere el uso de firmas criptográficas y llaves públicas validadas. Esto busca impedir que crawlers maliciosos o impersonadores accedan al contenido sin autorización o sin pagar.
Un Nuevo Modelo de Negocio para el Contenido
El nuevo modelo también redefine la manera en que se liquida el pago por los contenidos accedidos. Cloudflare actúa como Merchant of Record (Comerciante registrado), al registrar cada evento de acceso y agregar los cargos correspondientes para facturar al operador del bot y repartir las ganancias al editor. Esto significa que Cloudflare se convierte en el intermediario financiero, facilitando las transacciones y garantizando que los creadores reciban su compensación.
El Futuro de la Inteligencia Artificial y el Contenido
Cloudflare vislumbra un futuro en el que agentes inteligentes, como asistentes personales o buscadores contextuales, negocien automáticamente acceso a bases de datos especializadas, investigaciones científicas o contenido periodístico de calidad, todo en tiempo real y bajo esquemas de pago claro. Este modelo podría dar pie a nuevos tipos de licencias y mercados de contenidos, donde se cobre distinto por entrenamiento de modelos, generación de respuestas, indexación o uso comercial.
Preguntas y Respuestas Clave
- ¿Qué es Pay per crawl? Es una función de Cloudflare que permite a los creadores cobrar a los bots de inteligencia artificial por acceder a sus contenidos en línea.
- ¿Por qué es importante este sistema? Porque actualmente los modelos de IA extraen datos masivamente sin compensación, y Pay per crawl ofrece una forma de monetizar ese acceso.
- ¿Cómo funciona el sistema? Los bots deben registrarse y pagar por cada solicitud de acceso, o bien, se les niega el acceso.
- ¿Quién se beneficia de este sistema? Los creadores de contenido y Cloudflare.
- ¿Qué tipo de bots están involucrados? Bots de inteligencia artificial que se utilizan para tareas como búsqueda, análisis y generación de contenido.
- ¿Cómo se garantiza la autenticidad de los bots? A través del protocolo Web Bot Auth, que utiliza firmas criptográficas y llaves públicas.
