Googleには、webスパイダーでインデックスを作成できないすべてのパスのリストを含むrobots.txtファイルがあります 。 しかし、Googleがボットとアルゴリズムだけではないことを示しようとしているhumans.txtファイルもあります。
「Googleは多数の開発者、デザイナー、研究者、ロボットなどによって構築されています。 世界中のさまざまな場所で。 多数のツールとテクノロジーを使用して継続的に更新および構築されます。 サポートをご希望の場合は、google.com / jobsをご覧ください。
GoogleのTim Brayは、このテキストファイルをGoogle Jobsのtwitterアカウントにリンクして、人気を高めました。
Youtubeのrobots.txtファイルに、ユーモラスなコメントが最近追加されました。