Robots.txt Rehberi

[BenKral]

Robots.txt sitemiz için kesinlikle önemli bir terimdir. Web sunucularına yerleştirilen basit bir metin dosyası olarak görünse de sağladığı birçok yarar bulunmaktadır. Örneğin bu dosya sizlerin sitenize veya bilgilerinize ulaşmak isteyen kişi yâda kişilerin ağ örümcekleri eşliğinde dosyalarınıza ulaşmak için sizlerden izin talep etmektedir. Eğer sizler izin verirseniz dosyalarınıza ve bilgilerinize ulaşılacaktır. Fakat sizler izin vermezseniz kesinlikle böyle durum olmayacaktır.


Bireysel veya kurumsal olarak yönetmiş olduğumuz web sitelerde bazı yapmamız gereken işlemler bulunmaktadır. Genel bir inceleme yaptığımız zaman teknik olarak birçok konuda bilgi sahibi olmamız her zaman için bizlerin yararına olacaktır. Aksi takdirde yaşanacak sorunlara veya problemlere karşı müdahale edemeyeceğimiz gibi sitemizin kalitesiz bir alan içerisinde varlığını devam ettirmesine neden olacağız.

Robots.txt Hakkında Bilgi Edinmenin Yararları​

Robots.txt rehberi ile birlikte bu alan içerisinde olan bütün noktaları kolaylıkla öğrenebileceksiniz. Tabiki bunu neden öğrenmeniz gerektiği hakkında kafanızda soru işaretleri olabilir. Bu konuda öncelikle hepimizin ortak amacından başlamalıyız. Bu dosya türü yanlış kullanıldığı takdirde sıralama üzerinde ciddi olumsuzluk yaratmaktadır. Bu alan içerisinde sadece sıralama olarak düşünmeniz yeterli olmayacaktır. SEO çalışması yaparken ince eleyip sık dokuduğunuz reklam çalışmaları, backlink projeleri gibi noktalarda da engellemeler yapabilirsiniz.


Robots.txt dosyasının sağlamış olduğu en önemli yararlardan biride sitenize yapılan ziyaretleri tamamen iyileştirmesidir. Sitenizin nasıl göründüğü örümceklerin sayfanızda nasıl etkileşimlere girdiği gibi konularda sizlerin beklentilerini daima karşılamaktadır. Bu nedenle de kesinlikle bilgi edinmeniz ve öğrenmeniz gereken önemli alanlardan biridir. Temel olarak bilmeniz gerektiği gibi genel bilgilerini de öğrendiğiniz zaman sitenizin daha iyi bir konuma gelmesini sağlayabilirsiniz. Nitekim sadece SEO çalışması veya farklı iyileştirmeler yapmak sitenize yarar sağlamamaktadır. Ufak hamleler bile sitenizden kaliteli sonuçlar elde etmenizi sağlayacaktır.

Robots.txt Örnekleri​

Yaygın kullanılan örnekleri aşağıda yer almaktadır. Bunlara göz gezdirerek sizlerde bilgi sahibi olabilirsiniz.

• Tam erişime izin verme: User-agent: *Disallow:
• Tüm erişimleri engelleme: User-agent: *Disallow: /
• Belirlenen klasöre erişim engeli: User-agent: *Disallow: /folder/
• Belirlenen dosyaya erişim engeli: User-agent: *Disallow: /file.html

Robots.txt Dosyasına Sahip Miyim?​

Genel olarak baktığımız zaman kurumsal veya bireysel olarak site sahibi olan yada yöneticiliğini yapan kişiler sürekli olarak bu tür dosyaların olup olmadığını merak etmektedir. Bunun için yapmanız gereken basit bir yöntem bulunmaktadır.

• Alan adınızın sonuna ‘/robots.txt’ yazmalısınız

Yukarıda belirtmiş olduğumuz şekilde site içerisinde bu tür bir dosya olup olmadığını kısa bir süre içerisinde öğrenebilirsiniz. Bütün sitelerde bu dosya türü tek bir yerde toplanmaktadır. Bu nedenle de her sitenin bu dosya türünü kullanıp kullanmadığına bakabilirsiniz.

Robots.txt Dosyasını Kullanma Nedenleri​

Teknik anlamda bu kadar bilgi edindikten sonra genel olarak bu dosyayı neden kurmanız gerektiğini inceleyelim. İnsanların neden sürekli bu tip dosyalar oluşturduğunu görmeniz sizlerin daima yararına olacaktır.

• Arama motorları üzerinde bazı durumlarda engellenmesi gereken noktalar bulunmaktadır. Rakiplerinizin yapacağı bazı kötü yazılımlar veya çalışmalar sizleri fazlasıyla etkileyebilir. Fakat bu dosya türü ile bunları tamamen engelleyebilirsiniz. Google tarafından da ceza almaktan kurtulacaksınız.
• Bağlantıların birçoğu ücretlidir. Fakat bu doysa türü ile ücretli bağlantıları bile kullanabilirsiniz. Robotlar için özel talimat gerektiren konularda da kesinlikle sizlere yardımcı olacaktır.
• Arama motorları üzerinde ciddi anlamda etkisi bulunan arama örümceklerinin görülmek istemesi de sizleri bu dosya türüne sürükleyecektir.
• Henüz gelişme veya yapım aşamasında olan sitelerin arama motoru dizinlerine girmesi için katkı sağlayacaktır.

Tabiki genel olarak baktığımız zaman bu tür yararları bulunmaktadır. Bunun dışında da birçok yararının olduğunu unutmamalısınız. Kullanmaya başladığınız andan itibaren kesinlikle sizlerin beklentisini başarılı bir şekilde karşılayacaktır. Sitenizin gelişmesine ve büyümesine de doğrudan katkısı olacaktır.

Robots.txt Dosyası Oluşturma​

Sizlerde vermiş olduğumuz bilgiler ile robots.txt oluşturma işlemi yapmaya karar verdiyseniz kısa bir süre içerisinde oluşturabileceğinizi unutmamalısınız. Kesinlikle bir yazılım veya program gerektirmemektedir. Kısa bir süre içerisinde arzu ettiğiniz şekilde yapabilirsiniz. Not defteri gibi basit araçlar ile de arzu ettiğiniz dosyayı tamamlayabilirsiniz. Teknik bilgiye sahip olmamasınız bile internet üzerinden kodları kopyalayarak tamamlayabilirsiniz.