新的unavailable_after元標籤與新的X-Robots-Tag指令

新的unavailable_after元標籤，該標籤由Dan Crow數周前在Google官方博客中宣布。該標籤可增加你的站點和谷歌的googlebot間的互動。試想，對www.example.com，有時你有一個臨時性的新聞故事，限時公司促銷，或一個宣傳頁，你可以對特定頁面指定確切的日期和時間，來阻止被抓取和索引。



讓我們假設你的一個促銷活動有效期截至2007年年底。在www.example.com/2007promotion.html的源碼開始，你可以使用以下行:


<META NAME="GOOGLEBOT"
CONTENT="unavailable_after: 31-Dec-2007 23:59:59 EST">

另一個令人振奮的消息是新的X-Robots-Tag指令。它增加了機器人排除協議(REP) META標籤，該標籤為非HTML網頁提供支持！你終於可以控制對你的錄像，電子表格，及其他索引文件類型的索引，就像控制對HTML頁面的索引一樣。還是上面的例子，比方說你的宣傳頁面是PDF格式。在文件www.example.com/2007promotion.pdf 中，你可以增加以下行:

X-Robots-Tag: unavailable_after: 31 Dec
2007 23:59:59 EST

請記住，REP META標籤可用於實現針對頁面索引控制的noarchive，nosnippet，及現在的unavailable_after標籤。這和robots.txt不同，robots.txt是對整個域名進行控制的。