En ocasiones podemos desear que los motores de búsqueda no indexen determinados contenidos de nuestro blog (la indexación de contenidos en los motores de búsqueda se realiza mediante el rastreo a través de Internet realizado por rastreadores del tipo Googlebot) que por las razones que estimemos, ya sea contenido de tipo más personal o simplemente no perteneciente a la temática general del blog, preferiríamos no fomentar. Para poder especificar cualquier tipo de restricción sobre el contenido a indexar por los motores de búsqueda tenemos el archivo robots.txt.
