Fácil seguro que es, pero el concepto detrás de robots.txt está basado en la honestidad y ética de los web crawlers, lo cual roza la ingenuidad más enternecedora.

No merece la pena.

CC: @astrojuanlu@social.juanlu.space