Smf fórum motor fórumjában olvastam, hogy a legtöbben a következő beállítást használják a robot.txt-ben. Mivel teljesen amatőr vagyok. Segítségeteket kérném a következőben, hogy minek mi a hatása. Az első sorokra rájöttem, hogy az adott könyvtárakhoz való hozzáférést tiltja. De többit nem igazán tudom.


Disallow: /forum//Sources/*
Disallow: /forum//Smileys/*
Disallow: /forum//Packages/*
Disallow: /forum//avatars/*
Disallow: /forum//attachments/*
Disallow: /forum//Themes/*
Disallow: /forum/*action*
Disallow: /forum/*sort*
Disallow: /forum/*msg*
Disallow: /forum/*prev_next*
Disallow: /forum/*;all
Disallow: /forum/*;wap
Disallow: /forum/*;wap2
Disallow: /forum/*;imode