İnternette bazı sayfalarını hatta bazen bütün siteyi arama motorlarına kapatan siteler vardır. Bunu robots.txt dosyasını kullanarak yaparlar ve biz de aynı dosyayı kullanarak onların engellediği yazılara ve de bilgilere ulaşabiliriz.

1. Google yi açıyoruz ve  “robots.txt” “disallow:” filetype:txt yazarak aratıyoruz.

2. Burada sitelerinde disallow komutunu kullanarak sayfalarını arama motorlarına kapatan siteleri göreceğiz.

3. İlk sırada whitehouse.org sitesi çıkıyor. Robots.txt dosyasında disallow konutuyla arama motorlarına kapatılmış yüzlerce sayfa görüyorsunuz. Yapmanız gereken görmek istediğiniz sayfanın adresini kopyalamak ve adres çubuğunda robots.txt yerine yapıştırmak. Ve enter a basmak.

kaynak: http://howto.helpero.com/howto/Find-Secret-Sites-And-Articles_134.html

İlgili Yazılar

• Microsoft’un Yahoo teklifine Google’nin cevabı! (0)
• Microsoft’tan Google’ye cevap! (0)
• Kendi iGoogle Temanızı Yapın (4)
• Google’dan gerçek zamanlı arama! (0)
• Google’da Şehir Sıralaması (Eğitim) (0)