Veb saytların axtarış motorları (Google, Bing və s.) tərəfindən necə taranacağını idarə edən ən təməl texniki SEO elementlərindən biri Robots.txt faylıdır. Saytınızın infrastrukturu nə qədər böyük və ya kiçik olmasından asılı olmayaraq, axtarış botları ilə ilk ünsiyyət məhz bu fayl vasitəsilə qurulur. Yanlış konfiqurasiya edilmiş bir Robots.txt faylı saytın tamamilə indeksdən silinməsinə səbəb ola bilər, doğru tənzimlənmiş bir fayl isə tarama səmərəliliyini (crawl efficiency) kəskin şəkildə artırır.
Robots.txt Nədir?
Robots.txt, veb saytın kök qovluğunda (root directory) yerləşən və axtarış motoru botlarına (hörümçəklərə) saytın hansı səhifələrini və ya qovluqlarını taraya biləcəklərini, hansılarına isə girməyin qadağan olduğunu bildirən sadə bir mətn (.txt) faylıdır.
Bu sistem “Robots Exclusion Protocol” (Robotları Kənarlaşdırma Protokolu) olaraq adlandırılan qlobal bir standarta əsaslanır. Hər hansı bir axtarış botu veb saytınıza daxil olduqda ilk olaraq [saytiniz.com/robots.txt](https://saytiniz.com/robots.txt) ünvanına müraciət edir. Bot bu fayldakı təlimatları oxuyur və yalnız icazə verilən URL-ləri taramağa davam edir.
Robots.txt SEO Üçün Nə Üçün Vacibdir?
Axtarış motorları saytınızdakı hər səhifəni indeksləməməlidir). Robots.txt faylının tətbiqi aşağıdakı kritik SEO ehtiyaclarını qarşılayır:)
- Tarama Büdcəsinin (Crawl Budget) İdarə Edilməsi: Axtarış motorları hər sayt üçün məhdud sayda səhifəni daramaq üçün vaxt ayırır. Dəyərsiz, SEO məqsədi daşımayan (məsələn, daxili axtarış nəticələri, etiket səhifələri) URL-lərin taranmasını bloklayaraq, botların vaxtını birbaşa əsas məqalələrə və məhsullara sərf etməsini təmin edirsiniz.
- İnzibati Səhifələrin Gizlədilməsi: Saytın idarəetmə paneli (/wp-admin/), istifadəçi hesabları və ya ödəniş səhifələri kimi bölmələrin axtarış nəticələrində görünməsinin qarşısını alır.
- Server Yükünün Azaldılması: Yüzlərlə fərqli axtarış botunun (təkcə Google deyil, digər xarici xidmətlərin də) eyni anda saytın bütün səhifələrinə daxil olub serveri yormasını (və ya çökdürməsini) məhdudlaşdırır.
Robots.txt Faylında İstifadə Olunan Əsas Komandalar
Robots.txt faylı müəyyən edilmiş texniki sintaksisə (yazılış qaydasına) malikdir. Təlimatları düzgün vermək üçün aşağıdakı dörd əsas termin istifadə edilir:
User-agent
Təlimatın hansı axtarış botuna aid olduğunu müəyyən edən komandadır. Təlimatı bütün botlara şamil etmək üçün User-agent: * yazılır (buradakı * işarəsi “hamısı” deməkdir). Təlimatı yalnız Google-a aid etmək üçün isə User-agent: Googlebot yazılır.
Disallow (Qadağa)
Göstərilən botun taramasını istəmədiyiniz URL və ya qovluq ünvanını bildirən komandadır. Məsələn, Disallow: /admin/ yazıldıqda, botlar “admin” qovluğunun daxilinə girməyəcək.
Allow (İcazə)
Əsasən qadağan edilmiş (Disallow) bir qovluğun daxilindəki hər hansı spesifik bir səhifəyə və ya fayla icazə vermək üçün istifadə olunur. Məsələn, bütün /media/ qovluğunu qadağan edib, yalnız o qovluqdakı bir şəklə Allow: vasitəsilə icazə vermək mümkündür.
Sitemap (Sayt xəritəsi)
Axtarış botlarına veb saytınızın XML sayt xəritəsinin tam URL ünvanını göstərmək üçün istifadə olunur. Faylın ən alt hissəsinə əlavə edilir və botların səhifələrinizi daha sürətli kəşf etməsinə kömək edir (Məsələn, Sitemap: [https://saytiniz.com/sitemap_index.xml](https://saytiniz.com/sitemap_index.xml)).
Robots.txt Faylı Necə Yaradılır?
Robots.txt faylını yaratmaq və sayta əlavə etmək üçün kodlama biliyinə ehtiyac yoxdur. Bu prosesi üç sadə addımda həyata keçirə bilərsiniz.
Addım 1: Faylın Formatlaşdırılması və Yaradılması
Kompüterinizdə standart bir mətn redaktoru (Notepad, TextEdit və s.) açın. Heç bir HTML və ya xüsusi formatlama tətbiq etmədən təlimatlarınızı yazın. Mətn redaktorunda hazırladığınız sənədi mütləq robots.txt adı ilə və “UTF-8” formatında yadda saxlayın.
Addım 2: Faylın Saytın Kök Qovluğuna Yüklənməsi
Yaratdığınız robots.txt faylını veb saytınızın kök qovluğuna (root directory) yükləməlisiniz. Bunu iki yolla edə bilərsiniz:
- FTP/SFTP vasitəsilə: FileZilla kimi proqramlarla serverinizə qoşulun və faylı birbaşa public_html (və ya saytın ana qovluğu) bölməsinə yükləyin.
- CPanel/DirectAdmin vasitəsilə: Hostinq panelinizə daxil olun, “File Manager” (Fayl İdarəedicisi) bölməsini açın və faylı ana qovluğa “Upload” edin.
- Plaginlər vasitəsilə (WordPress üçün): Əgər WordPress istifadə edirsinizsə, Yoast SEO və ya Rank Math kimi plaginlərin “Tools” bölməsindən faylı birbaşa panel üzərindən yaradıb redaktə edə bilərsiniz.
Addım 3: Robots.txt Faylının Test Edilməsi
Faylı yüklədikdən sonra brauzerinizdə [https://saytiniz.com/robots.txt](https://saytiniz.com/robots.txt) ünvanını açaraq qaydaların görünüb-görünmədiyini yoxlayın. Daha peşəkar və xətasız yoxlanış üçün Google Search Console platformasına daxil olun. “Robots.txt Tester” alətindən istifadə edərək Googlebot-un bu faylı oxuya bildiyini və hər hansı sintaksis xətasının olmadığını təsdiqləyin.
Ən Çox İstifadə Olunan Robots.txt Nümunələri
Veb saytınızın ehtiyacına görə istifadə edə biləcəyiniz standart texniki şablonlar aşağıdakılardır:
Bütün Botlara Tam İcazə Verilməsi
Saytdakı heç bir səhifənin taramasına qadağa qoyulmur. User-agent: * Disallow:
Bütün Botlara Tam Qadağa Qoyulması
Sayt test mərhələsindədirsə və heç bir şəkildə indekslənməsini istəmirsinizsə istifadə edilir (Diqqətli olun, bu kod saytı Google-dan silir). User-agent: * Disallow: /
Konkret Bir Qovluğun Qadağan Edilməsi
Bütün botlara icazə verilir, yalnız müəyyən bir qovluğun taranması bloklanır. User-agent: * Disallow: /wp-admin/ Disallow: /axtaris/
Dinamik Parametrlərin Qadağan Edilməsi
URL-in sonuna əlavə edilən filtrləmə (sort, order) parametrlərinin tarama büdcəsini israf etməməsi üçün istifadə edilir. User-agent: * Disallow: /*?
Robots.txt Faylı Yaradarkən Diqqət Edilməli Texniki Qaydalar
Robots.txt tətbiq edərkən bəzi xətalar saytın arxitekturasına ciddi zərbə vura bilər. Aşağıdakı qaydalara mütləq riayət edilməlidir:
- Hərf həssaslığı (Case Sensitivity): Robots.txt faylı böyük və kiçik hərflərə qarşı həssasdır. Disallow: /Fayl/ komandası ilə Disallow: /fayl/ eyni deyil. Qovluq adları serverdə necədirsə, o cür yazılmalıdır.
- Məxfi məlumatları gizlətmək üçün istifadə etməyin: Robots.txt faylı ictimaiyyətə açıqdır (hər kəs saytiniz.com/robots.txt yazaraq oxuya bilər). Şifrələrin, istifadəçi məlumatlarının yerləşdiyi həssas URL-ləri burada qeyd etmək təhlükəsizlik riski yaradır. Bu cür səhifələr server tərəfindən parolla qorunmalıdır.
- CSS və JS fayllarını bloklamayın: Saytın dizaynını və işləmə mexanizmini təmin edən CSS, JavaScript fayllarını və ya şəkil qovluqlarını bloklamaq Googlebot-un səhifəni düzgün render etməsinə (ekran görüntüsünü almasına) mane olur və sıralamanı aşağı salır.
- “Noindex” əvəzinə istifadə etməyin: Disallow səhifənin indekslənməsinin qarşısını qəti şəkildə almır, sadəcə taranmasını bloklayır. Əgər həmin səhifəyə başqa bir saytdan link (backlink) gələrsə, Google o səhifəni taramasa belə indeksə əlavə edə bilər. Səhifənin Google-da çıxmasını qətiyyətlə istəmirsinizsə, Robots.txt deyil, səhifənin HTML koduna <meta name=”robots” content=”noindex”> etiketi əlavə edilməlidir.
Nəticə
Robots.txt, axtarış motoru botlarının veb saytınızı necə kəşf edəcəyini müəyyənləşdirən ilk və ən kritik texniki sənəddir. Bu faylı doğru yaratmaqla axtarış motorlarının diqqətini dəyərsiz qovluqlardan ayıraraq ən vacib, orqanik trafik gətirən məzmunlarınıza yönləndirə bilərsiniz. Yuxarıda göstərilən texniki standartlara riayət etmək və dəyişikliklər etdikdən sonra Google Search Console vasitəsilə faylı mütəmadi test etmək, texniki SEO arxitekturasını sağlam saxlamağın ən vacib addımıdır.