Mit der Datei robots.txt Seiten vor Robots schützen

https://www.bjoernsworld.de/suchmaschinen/robots-txt.html

Wie funktioniert die robots.txt und wozu ist sie da? Wie schützt man Seiten vor der Indexierung und vor Robots?