İnternette bazı sayfalarını hatta bazen bütün siteyi arama motorlarına kapatan siteler vardır. Bunu robots.txt dosyasını kullanarak yaparlar ve biz de aynı dosyayı kullanarak onların engellediği yazılara ve de bilgilere ulaşabiliriz.

1. Google yi açıyoruz ve  “robots.txt” “disallow:” filetype:txt yazarak aratıyoruz.

2. Burada sitelerinde disallow komutunu kullanarak sayfalarını arama motorlarına kapatan siteleri göreceğiz.

3. İlk sırada whitehouse.org sitesi çıkıyor. Robots.txt dosyasında disallow konutuyla arama motorlarına kapatılmış yüzlerce sayfa görüyorsunuz. Yapmanız gereken görmek istediğiniz sayfanın adresini kopyalamak ve adres çubuğunda robots.txt yerine yapıştırmak. Ve enter a basmak.

kaynak: http://howto.helpero.com/howto/Find-Secret-Sites-And-Articles_134.html

İlgili Yazılar:

1. Türkiyeden hulu’yu izlemek
2. Google’da sizden önce ne aranmış?
3. Bir site tasarımında hangi renklerin kullanıldığını bulmak!
4. Pahalı İnternette İkinciyiz
5. Arama motorları sitenizi nasıl görüyor, kontrol edin!

5 Responses to “İnternette gizli site ve belgelere ulaşmak!”

1. Taha diyor ki:

   03 Haziran 2008, 04:20

   Yasal mı ? Pek yasal gibi gelmedi de
2. Ümit diyor ki:

   03 Haziran 2008, 04:55

   @Taha, işin yasal boyutunu bilmiyorum ama robots.txt hakkında yasa çıkaracaklarını da sanmıyorum doğrusu
3. Teknoloji Haberleri « TEKNOBLOG REHBERİ diyor ki:

   06 Haziran 2008, 20:01

   [...] Haziran 7, 2008 @ 2:00 am } · { internet } { Tags: internet, Ubuntu } Bu blogda “İnternette gizli site ve belgelere ulaşmak” adındaki yazı ilgimi çekti. Her blogda olduğu gibi burada da farklı ilgi çekici konulara [...]
4. Taha diyor ki:

   07 Haziran 2008, 05:55

   Çok gizli yazıları oraya koyacaklarını sanmıyorum. :S yoksa koyarlar mı ?
5. Ümit diyor ki:

   07 Haziran 2008, 07:27

   @taha Hiç belli olmaz