Bocs tudom, hogy már ez volt téma. El is olvastam, de én nagyon amatőr vagyok!
A kérdésem csak ennyi volna:
Szerintetek ez korrekt robots.txt bejegyzés?
# /robtots.txt

# no exclusion at all
User-agent: *
Disallow: /test/
Disallow: /web/test/

Ezt találtam a lapomon nekem furcsa.

És nem is tudom értelmezni.