User-agent: Yandex
Allow: / # блокирует доступ ко всему сайту

User-agent: Yandex
Allow: /cgi-bin # блокирует доступ к страницам 
                   #начинающимся с '/cgi-bin'