baktımda ilk yazdığımda olurmuş
sitemiz/bugun-gunlerden-pazar.html/2 den sonra devam etmiyorsa url bir sıkıntı olmaz yani misal sitemiz/bugun-gunlerden-pazar.html/2/123 gibi bir url de oluşuyorsa ve bu indexlenirken, sitemiz/bugun-gunlerden-pazar.html/2/ bunun indexlenmemesini istiyosanız şu şekilde;
User-Agent: *
Disallow: /*.html/2/$
Disallow: /*.html/3/$
Disallow: /*.html/4/$
Eğer sitemiz/bugun-gunlerden-pazar.html/2/ den sonra url yapınız uzamıyorsa ve devamına eklenen bir url yoksa ilk yazdığım gibi robots.txt'de
User-Agent: *
Disallow: /*/1
Disallow: /*/2
Disallow: /*/3
Disallow: /*/4
kullansanızda olur..
Sizde bir göz gezdirin isterseniz, işinizi görür umarım, iyi geceler;
https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt?csw=1#rnek-path-elemeleri
Google, Bing, Yahoo ve Ask, path değerleri için sınırlı bir "joker karakter" biçimini destekler. Desteklenen biçimler şunlardır:
* işareti, geçerli herhangi bir karakterin 0 veya daha fazla örneğini belirtir
$ işareti, URL'nin sonunu belirtir
Kullanım:
/*.php
Eşleşir:
/filename.php
/folder/filename.php
/folder/filename.php?parametreler
/folder/any.php.file.html
/filename.php/
Eşleşmez:
/ (/index.php ile eşleşse bile)
/windows.PHP
Kullanım:
/*.php$
Eşleşir:
/filename.php
/folder/filename.php
Eşleşmez:
/filename.php?parametreler
/filename.php/
/filename.php5
/windows.PHP