WordPress Robots.txt yapımı

WordPress Robots.txt yapımı 3.5 224

WordPress Robots.txt yapımı Google Konumu

Bu maRobots.txt yapımıkalemde Robots.txt yapımını siz değerli bilgisever okurlarına anlatacağım. İnternet sitesinin ana dizininde yer alan ismi değişmeyen, Google Botları için rehber bir dosyadır. Yani Google Botları internet sitenize uğradığında dosyanız varsa ilk Robots.txt dosyasına bakacaktır, yoksa işiniz .çok zor, Robots.txt dosya içinde birtakım kodlar görecektir ve bu kodların isteğiyle hangi sayfaları  indexleyeceğini, hangi sayfaları indexlemeyeceğini öğrenecektir. Netice olarak Robots.txt Google botları için bir mecburiyettir. Şimdi biz de Robots.txt nasıl yapılır birlikte görelim..

Not defterinizie açın kaydedin adını ise Robots.txt koyun. Robots.txt dosyamız içinde iki farklı değişkenimiz bulunacaktır.Bu değişkenler ve eş anlamları işte bu şekildedir.

robots txt Robots.txt yapımı

User-agent: Google Botu’nun ismi yazılacak
Disallow: Botların nereye girip girmeyeceğinin komutları yazılacak.

Örnek 1:
User-agent: *
Disallow

Kodlarımızı açıklayalım. ilk satırdaki User-agent kısmına da Google Botları’nın adları gelecekti fakat şuan “*” işareti yazılı. Bu işaretin mana sı, internet siteniz bütün Google Botları’nca koşsulsuz indexlenmesini kabul etmişsiniz demektir.

Örnek 2:
User-agent: *
Disallow: /

İlk satırdaki user-agent kodunun mana sı bütün Google Botları’na internet sitenizi indexlemesini kabul ettiğinizdi. Amat ikinci satırda “/” bu karakter bulunmaktadır. Bu karakterin mana sı internet sitesi içerisindeki bütün dosyaların indexlenmemesi google ve benzeri botların siteye girmemesidir.

Kısacası bu Robots.txt kod birliğinden de göreceğimiz şey, tüm Google Botları’nca internet sitemizin hiçbir dosyası index almayacak..

Örnek 2:
User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /tmp/
Disallow: /private/

Bütün google botları, bu 4 dosyayı indexlemeyecektir.

Örnek 3:
User-agent: DeepCrawl
Disallow: /private/

DeepCrawl, google ın bir botudur. Bu botun görevi ise; internet sitenizi uzun mesafelerle ziyaret ederek, index alması için gereken malumat ları toplar. Bu kodların mana sı ise, adı verilen botun ilgili özel klasörü  indexlememesi.

Örnek 4:
User-agent: *
Disallow: /directory/bilgisever.html

Bütün botlar, ilgili dosyayı görmezden gelecektir. Fakat directory klasöründeki bilgisever.html müstesna diğer bütün dosyaları görür ve indexler.

Örnek 5:
User-agent: *
Allow: /dosya1/bilgisever.html
Disallow: /dosya1/

Bu yazdığımız kodların mana sı ise, bütün Google Botları dosya klasöründe yer alan bilgisever.html dosyası hariç diğer bütün dosyaları görmezden gelecek ve kesinlikle indexlemeyecektir.

robots Robots.txt yapımı

User-agent: Googlebot

Disallow: /index.php
Disallow: /*.css$
Disallow: */feed/
Disallow: /wp-content/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /archives/
Disallow: */trackback/
Disallow: /*.php$
Disallow: /*.js$

User-agent: Googlebot-Image
Disallow: /wp-includes/

User-agent: ia_archiver
Disallow: /

User-agent: duggmirror
Disallow: /

20 Mayıs 2011
Okunma 224

Kaan Sever
http://www.bilgisever.net
Türkiye'nin en gelişmiş bilgi kaynaklarından biri olan Bilgisever.net'in kurucusuyum. Uzun zamandır bilgisever.net'de yazarlık yapıyorum. Web tasarımı, arayüz tasarımı ve programlama alanlarında bir hayli tecrübeliyim.
WordPress Robots.txt yapımı için 1 Yorum Yapılmış.

  1. web tasarım dedi ki:

    I’m definitely influenced and your way with words-at all and also together with the data format for your website. Is this a compensated subject theme and also can you alter that by yourself? In any case keep in the outstanding premium quality creating, it can be exceptional to look a terrific website like this one right now.

Yorumlarınız Bizim İçin Değerlidir.



Friendfeed
Delicious