İnternette bazı sayfalarını hatta bazen bütün siteyi arama motorlarına kapatan siteler vardır. Bunu robots.txt dosyasını kullanarak yaparlar ve biz de aynı dosyayı kullanarak onların engellediği yazılara ve de bilgilere ulaşabiliriz.
1. Google yi açıyoruz ve “robots.txt” “disallow:” filetype:txt yazarak aratıyoruz.
2. Burada sitelerinde disallow komutunu kullanarak sayfalarını arama motorlarına kapatan siteleri göreceğiz.
3. İlk sırada whitehouse.org sitesi çıkıyor. Robots.txt dosyasında disallow konutuyla arama motorlarına kapatılmış yüzlerce sayfa görüyorsunuz. Yapmanız gereken görmek istediğiniz sayfanın adresini kopyalamak ve adres çubuğunda robots.txt yerine yapıştırmak. Ve enter a basmak.
kaynak: http://howto.helpero.com/howto/Find-Secret-Sites-And-Articles_134.html
İlgili Yazılar:
Yasal mı ? Pek yasal gibi gelmedi de
@Taha, işin yasal boyutunu bilmiyorum ama robots.txt hakkında yasa çıkaracaklarını da sanmıyorum doğrusu
[...] Haziran 7, 2008 @ 2:00 am } · { internet } { Tags: internet, Ubuntu } Bu blogda “İnternette gizli site ve belgelere ulaşmak” adındaki yazı ilgimi çekti. Her blogda olduğu gibi burada da farklı ilgi çekici konulara [...]
Çok gizli yazıları oraya koyacaklarını sanmıyorum. :S yoksa koyarlar mı ?
@taha Hiç belli olmaz