Proyectos de robots.txt en Google

Robots.txt de Google

Google nos muestra lo que algunas personas pueden lograr, aun si no han terminado su tiempo como estudiantes.

Dos pasantes en Google ayudaron a desarrollar más allá un proyecto open source de Google, y Google se lo deja saber al mundo. Aquí les dejamos el mensaje.

Nuevos proyectos de robots.txt de código abierto

El año pasado lanzamos el parser y matcher de robots.txt, que utilizamos en nuestros sistemas de producción para el mundo de código abierto. Desde entonces, hemos visto a personas construir nuevas herramientas con él, contribuir a la biblioteca de código abierto (mejorando efectivamente nuestros sistemas de producción, ¡gracias!), y lanzar nuevas versiones en otros lenguajes como golang y rust, que hacen que sea más fácil para los desarrolladores construir nuevas herramientas.

Con la temporada de pasantías terminando aquí en Google, queríamos destacar dos nuevos lanzamientos relacionados con robots.txt que fueron posibles gracias a dos internos que trabajan en el equipo de Search Open Sourcing, Andreea Dutulescu e Ian Dolzhanskii.

Te puede interesar: El ascenso, la caída y el ascenso de nuevo de “ahora más que nunca”

Prueba de especificación de robots.txt

Primero, estamos lanzando un framework de pruebas para desarrolladores del parser de robots.txt, creado por Andreea. El proyecto proporciona una herramienta de prueba que puede validar si un parser de robot.txt sigue el protocolo de exclusión de robots, o hasta qué medida. Actualmente no existe una forma oficial y completa de evaluar que tan correcto es el parser, por lo que Andreea construyó una herramienta que se puede usar para crear parsers de robots.txt que siguen el protocolo.

Parser y matcher de robots.txt en Java

En segundo lugar, estamos lanzando una versión oficial del parser de robots.txt de C++ en Java, creado por Ian. Java es el tercer lenguaje de programación más popular en GitHub y también se usa bastante en Google, por lo que no es de extrañar que haya sido el lenguaje más solicitado. El parser es una traducción exacta del parser de C++ en términos de funciones y comportamiento, y ha sido probado meticulosamente para la paridad con un grupo de reglas de robots.txt bastante extensas. Los equipos ya están planeando usar el parser de robots.txt en Java en los sistemas de producción de Google, y esperamos que les resulte útil a ustedes, también.

Te puede interesar: Consejos para aprovechar Google Meet

Como de costumbre, agradecemos sus contribuciones a estos proyectos. ¡Si construiste algo con el parser de robots.txt de C++ o con estas nuevas versiones, déjanos saber para que podamos ayudarte a difundir la palabra! Si encuentras un error, ayúdanos a solucionarlo abriendo un problema en GitHub o contribuyendo directamente con una solicitud de extracción. Si tienes preguntas o comentarios sobre estos proyectos, ¡háblanos en Twitter!

Fue un verdadero placer recibir a Andreea e Ian, y estamos tristes de que su pasantía esté terminando. Sus contribuciones ayudan a hacer del Internet un lugar mejor y esperamos que podamos darles la bienvenida de nuevo a Google en el futuro.