robots.txt nasıl olmalı?

Teknik olarak bir robots.txt dosyası nasıl oluşturulur biliyorum. Ancak takıldığım kısım ise "nasıl olmalı?" kısmı. Örneğin kök dizinim şöyle olsun;

cgi-bin
img (jpg dosyaları)
styles(favicon, banner vs bulunan klasör)
index.html
result.html
script.js
result.js
server.php
calculation.php

Mesela server.php kullanıcının hiçbir zaman kullanmayacağı bir sayfa. result.js içinden get request yolluyorum, o da veritabanından gerekli şeyleri response olarak gönderiyor. calculation.php de yine böyle bir sayfa. Şimdi ben bunları Disallow mu etmeliyim? Eğer etmezsem siteadi.com/server.php olarak mı indexlenecek? Ayrıca google dökümanlarında image klasörlerine erişim verilmesi gerektiği yazıyor (yanlış anlamış olabilirim) ama siteadi.com/img/ diye bir şeyin indexlenmesini de istemiyorum? Sizce ne yapmalıyım?

Eğer indexlenmemesini istiyorsanız robots.txt üzerinden bir işlem yapmaya gerek yok. Doğrudan noindex meta etiketini kullanırsanız garanti olarak o sayfalar/dizinler indexlenmez. Noindex nofollow şeklinde meta etiketi kullanacaksınız.