Site Audit Sorun Giderme

Robots.txt dosyası, botlara bir web sitesinin sayfalarını nasıl tarayacakları (veya taramayacakları) hakkında alimatlar verir. Allow, Disallow ve Crawl Delay gibi komutları kullanarak Googlebot veya Semrushbot gibi botların sitenizin tamamını veya belirli alanlarını taramasına izin verebilir veya yasaklayabilirsiniz. 

Robots.txt dosyanız botumuzun sitenizi taramasına izin vermiyorsa, Site Audit aracımız sitenizi kontrol edemeyecektir. 

Robots.txt dosyanızda bizimki gibi tarayıcıların web sitenize erişmesini engelleyecek herhangi bir disallow komutu olup olmadığını inceleyebilirsiniz. 

Semrush Site Audit botunun (SiteAuditBot) sitenizi taramasına izin vermek için robots.txt dosyanıza aşağıdakileri ekleyin:

Kullanıcı aracısı: SiteAuditBot

Disallow:   

("Disallow:" ifadesinden sonra bir boşluk bırakın)

Robots.txt dosyasının nasıl görünebileceğine dair bir örnek:

Dosyanın hedeflediği kullanıcı aracısına (tarayıcı) bağlı olarak çeşitli komutlara dikkat edin.

Bu dosyalar herkese açıktır ve bulunabilmeleri için bir sitenin en üst seviyesinde barındırılmaları gerekir. Bir web sitesinin robots.txt dosyasını bulmak için web tarayıcınıza sitenin kök alan adını ve ardından /robots.txt yazın. Örneğin, Semrush.com'daki robots.txt dosyası https://sr02.devserver.cv/robots.txt adresinde bulunur.

Bir robots.txt dosyasında görebileceğiniz bazı terimler şunlardır:

• User-Agent = talimat verdiğiniz web tarayıcısı. 
  • Örn: SiteAuditBot, Googlebot
• Allow = bota, üst sayfa veya klasöre izin verilmemiş olsa bile bir sitenin belirli bir sayfasını veya alanını tarayabileceğini söyleyen bir komut (yalnızca Googlebot için).
• Disallow = bota, bir sitenin belirli bir URL'sini veya alt klasörünü taramamasını söyleyen bir komut. 
  • Örn: Disallow: /admin/
• Crawl Delay = botlara başka bir sayfayı yüklemeden ve taramadan önce kaç saniye bekleyeceklerini söyleyen bir komut. 
• Sitemap = belirli bir URL için sitemap.xml dosyasının nerede olduğunu gösterir.
• / = bota sitenizin tamamını taramamasını söylemek için bir disallow komutundan sonra "/" sembolünü kullanın 
• * = bir URL'deki herhangi bir olası karakter dizisini temsil eden, bir sitenin bir alanını veya tüm kullanıcı aracılarını belirtmek için kullanılan bir joker sembol. 
  • Örn: Disallow: /blog/* bir sitenin blog alt klasöründeki tüm URL'leri gösterir
  • Örn: User-agent: * tüm botlar için talimatlar belirtir

Robots.txt özellikleri hakkında daha fazla bilgiyi Google'dan veya Semrush blogundan öğrenebilirsiniz.

Bir web sitesinin ana sayfasında aşağıdaki kodu görürseniz bu bize o sayfadaki linkleri dizine eklememize/takip etmemize izin verilmediğini ve erişimimizin engellendiğini söyler.



Ya da aşağıdakilerden en az birini içeren bir sayfa: "noindex", "nofollow" ve "none", tarama hatasına yol açacaktır.

Botumuzun böyle bir sayfayı taramasına izin vermek için bu "noindex" etiketlerini sayfanızın kodundan kaldırın. Noindex etiketi hakkında daha fazla bilgi için lütfen bu Google Destek makalesini inceleyin.

Botu beyaz listeye eklemek için web uzmanınızla veya barındırma sağlayıcınızla iletişime geçin ve SiteAuditBot'u beyaz listeye eklemesini isteyin.

Botun IP adresleri şunlardır: 85.208.98.128/25 (yalnızca Site Audit tarafından kullanılan bir alt ağ)

Bot, bağlanmak için standart 80 HTTP ve 443 HTTPS bağlantı noktalarını kullanır.

Sitenizi yönetmek için herhangi bir eklenti (örneğin Wordpress) veya CDN (içerik dağıtım ağı) kullanıyorsanız bunlarda da bot IP'sini beyaz listeye eklemeniz gerekecektir.

Wordpress'te beyaz listeye eklemek için Wordpress desteği ile iletişime geçin.

Tarayıcımızı engelleyen yaygın CDN'ler şunlardır:

• Cloudflare - beyaz listeye nasıl alınacağını buradan okuyun
• Imperva - beyaz listeye nasıl alınacağını buradan okuyun
• ModSecurity - beyaz listeye nasıl alınacağını buradan okuyun
• Sucuri - beyaz listeye nasıl alınacağını buradan okuyun

Lütfen dikkat: Paylaşımlı barındırma hizmeti kullanıyorsanız barındırma sağlayıcınız botları beyaz listeye eklemenize veya Robots.txt dosyasını düzenlemenize izin vermeyebilir.

Barındırma Sağlayıcıları

Aşağıda, webdeki en popüler barındırma sağlayıcılarından bazılarının bir listesi ve her birinde bir botun nasıl beyaz listeye alınacağı veya yardım için destek ekiplerine nasıl ulaşılacağı yer almaktadır: 

1. Siteground - beyaz listeye ekleme talimatları 
2. 1&1 IONOS - beyaz listeye ekleme talimatları 
3. Bluehost* - beyaz listeye ekleme talimatları 
4. Hostgator* - beyaz listeye ekleme talimatları 
5. Hostinger - beyaz listeye ekleme talimatları 
6. GoDaddy - beyaz listeye ekleme talimatları 
7. GreenGeeks - beyaz listeye ekleme talimatları 
8. Big Commerce - Destek ile iletişime geçmelisiniz 
9. Liquid Web - Destek ile iletişime geçmelisiniz 
10. iPage - Destek ile iletişime geçmelisiniz
11. InMotion - Destek ile iletişime geçmelisiniz
12. Glowhost - Destek ile iletişime geçmelisiniz
13. Hosting - Destek ile iletişime geçmelisiniz
14. DreamHost - Destek ile iletişime geçmelisiniz

* Lütfen dikkat: Bu talimatlar, VPS veya özel barındırmada bir web siteniz varsa HostGator ve Bluehost için geçerlidir.

Açılış sayfanızın boyutu veya JavaScript/CSS dosyalarınızın toplam boyutu 2 MB'ı aşarsa aracın teknik sınırlamaları nedeniyle tarayıcılarımız bunu işleyemeyecektir.

Boyut artışına neyin sebep olabileceği ve bu sorunun nasıl çözüleceği hakkında daha fazla bilgi edinmek için blogumuzdaki bu makaleyi inceleyebilirsiniz.

Mevcut tarama bütçenizin ne kadarının kullanıldığını görmek için Profil—Abonelik Bilgileri bölümüne gidin ve "SEO Araç Takımı" altında "Taranacak sayfalar"ı arayın.

Abonelik düzeyinize bağlı olarak, bir ayda tarayabileceğiniz sayfa sayısı sınırı belirlenmiştir (aylık tarama bütçesi). Aboneliğinizde izin verilen sayfa sayısını aşarsanız ek limitler satın almanız veya limitlerinizin yenileneceği bir sonraki aya kadar beklemeniz gerekir.

Ayrıca, kurulum sırasında "Eş zamanlı olarak yürütülen kampanyalar için sınıra ulaştınız" hata mesajıyla karşılaşırsanız abonelik seviyeniz için aynı anda yapılmasına izin verilen maksimum site denetimi sayısına ulaşmışsınız demektir.

Her abonelik kademesi farklı limitler içerir:

• Ücretsiz hesap: Her seferinde 1 site denetimi
• Pro SEO Araç Takımı: 2 adede kadar eş zamanlı site denetimi
• Guru SEO Araç Takımı: 2 adede kadar eş zamanlı site denetimi
• Business SEO Araç Takımı: 5 adede kadar eş zamanlı site denetimi

Alan adı DNS tarafından çözümlenemediyse bu muhtemelen yapılandırma sırasında girdiğiniz alan adının çevrimdışı olduğu anlamına gelir. Genellikle, kullanıcılar kök alan adını (example.com) girerken, sitelerinin kök alan adı sürümünün mevcut olmadığını ve bunun yerine sitelerinin WWW sürümünün (www.example.com) girilmesi gerektiğini fark etmedikleri için bu sorunla karşılaşırlar.  

Web sitesi sahibi, bu sorunu önlemek için güvenli olmayan "example.com" adresinden sunucuda bulunan güvenli "www.example.com" adresine bir yönlendirme ekleyebilir. Bu sorun, birinin kök alan adının güvenli olması ancak WWW sürümünün güvenli olmaması durumunda tam tersi şekilde de ortaya çıkabilir. Bu durumda, WWW sürümünü kök alan adına yönlendirmeniz yeterli olacaktır.

Ana sayfanızda sitenizin JavaScript öğelerinde gizlenmiş kalan kısmına linkler varsa JS oluşturmayı etkinleştirmeniz gerekir. Böylece bu linkleri okuyabilir ve bu sayfaları tarayabiliriz. Bu özellik, SEO Araç Takımı aboneliğinin Guru ve Business kademelerinde mevcuttur.

Taramamızla web sitenizdeki en önemli sayfaları kaçırmamamız için tarama kaynağınızı web sitesinden site haritasına değiştirebilirsiniz. Böylece, tarayıcılar denetim sırasında web sitesinde doğal olarak bulunması zor olan sayfaları kaçırmaz.

Ayrıca bazı JS öğeleri içeren bir sayfanın HTML'sini tarayabilir ve Performans kontrollerimizle JS ve CSS dosyalarınızın parametrelerini inceleyebiliriz.

Web siteniz robots.txt dosyanızda SemrushBot'u engelliyor olabilir. Kullanıcı Aracısını SemrushBot'tan GoogleBot'a değiştirebilirsiniz; web siteniz muhtemelen Google'ın Kullanıcı Aracısının taramasına izin verecektir. Bu değişikliği yapmak için Projenizdeki ayarlar dişlisini bulun ve Kullanıcı Aracısı'nı seçin.

Bu seçenek etkinleştirildiğinde tarayıcı robots.txt dosyasındaki disallow kurallarını atlayacak, böylece normalde engellenen sayfalar ve dahili kaynaklar yine de taranacaktır. Bunu kullanmak için site sahipliğinin doğrulanması gerektiğini unutmayın.

Bu, şu anda bakım altında olan siteler için kullanışlıdır. Site sahibinin robots.txt dosyasını değiştirmek istememesi durumunda da faydalıdır.

Web sitesinin şifre korumalı özel alanlarını denetlemek için ayarlar dişlisi altındaki "Kimlik bilgilerinizle tarayın" seçeneğine kimlik bilgilerinizi girin.

Bu, hâlâ geliştirme aşamasında olan veya özel ve tamamen şifre korumalı siteler için önemle tavsiye edilir.

Shopify gibi bazı web siteleri ve barındırma platformları, güvenlik veya performans nedenleriyle bilinmeyen botları varsayılan olarak engelleyebilir. Bu platformlarda denetiminiz başarısız olursa Web Bot Auth imzası eklemek, Semrush tarayıcısının kendisini tanımlamasına ve web sitenize erişmek için yetkili olduğunu kanıtlamasına olanak tanır.

İlk kurulum sırasında bir imza sağlamadıysanız ve siteniz engellendiyse Semrush bu kısıtlamayı algılar ve bunu doğrudan aracın arayüzünden düzeltmeniz için sizi yönlendirir.

"Tarayıcı ayarlarınız önceki denetiminizden bu yana değişti. Bu durum mevcut denetim sonuçlarınızı ve tespit edilen sorunların sayısını etkileyebilir."

Bu bildirim, herhangi bir ayarı güncelledikten ve denetimi tekrarladıktan sonra Site Audit'te görünür. Bu, bir sorunun göstergesi değil, tarama sonuçları beklenmedik bir şekilde değiştiyse nedenin muhtemelen bu olduğuna dair bir nottur.