El proyecto iniciado por Cloudflare y OpenAI en julio tiene como objetivo incorporar al índice de búsqueda de ChatGPT aquellas páginas web que los motores de búsqueda clásicos pueden pasar por alto. El núcleo de este enfoque no es seguir los enlaces entre sitios, sino aprovechar las señales obtenidas del tráfico real de los usuarios en la red de Cloudflare.
Los rastreadores web tradicionales encuentran nuevas páginas principalmente siguiendo los enlaces proporcionados desde otras páginas. Aunque este método cubre la mayor parte del contenido visible en Internet, algunas páginas que no reciben enlaces pueden quedar fuera de los resultados de búsqueda. Por ejemplo, el manual de usuario de un producto, el menú de un pequeño negocio o contenidos locales que responden a una necesidad específica pueden no ser descubiertos si no son señalados por otros sitios.
El nuevo método se centra en los patrones de tráfico relacionados con las páginas que los usuarios visitan realmente. Las señales provenientes de la red de Cloudflare ayudan a detectar cientos de millones de páginas a las que los rastreadores tradicionales no pueden acceder. De esta manera, se busca crear un índice de contenido más amplio y diverso para la búsqueda de ChatGPT.
RASTREO MÁS EFICIENTE CON SEÑALES DE TRÁFICO
Uno de los posibles beneficios de este modelo es la reducción del uso de recursos por parte de los rastreadores automáticos. Los rastreadores a veces envían solicitudes a páginas que ya no existen, a contenidos duplicados o a direcciones de bajo valor. El uso de señales de tráfico puede contribuir a un uso más eficiente de los recursos de rastreo, ya que muestra qué páginas son realmente visitadas.
El proyecto también destaca en términos de evaluaciones de seguridad. El hecho de que una sola página dentro de un dominio sea problemática no significa necesariamente que todo el sitio sea malicioso. Realizar una evaluación a nivel de página puede ayudar a preservar la visibilidad de búsqueda del resto del contenido del sitio. Sin embargo, los detalles sobre cómo se aplican técnicamente estas distinciones dentro del proyecto aún deben aclararse.
La inclusión de más páginas en el índice podría significar un nuevo canal de descubrimiento para editores y propietarios de sitios. No obstante, entrar en el índice no significa automáticamente ganar más visitantes. El tráfico dirigido a los sitios web a través de ChatGPT, las tasas de clics y cómo se gestionará el acceso de los rastreadores de inteligencia artificial a los contenidos se encuentran entre los temas que determinarán el impacto del proyecto.
Fuente de la noticia: 12punto
