Archive.org ignoriert robots.txt
Archive.org hat sich der Archivierung des Internets verschrieben. Und zwar in unregelmäßigen Abständen vom Internet in der derzeit gültigen Form der Speicherung. Es wird dabei praktisch alles archiviert, was Websites so hergeben.