最近は「＊＊専用検索エンジン」というのが増えてますが、ショッピングサーチ「Become.com」の日本語版がサービス開始するそうです。
・米ショッピングサーチ「Become.com」の日本語ベータ版が公開(INTERNET Watch)
このボット、うちにもきてて「英語サービスのくせして日本語ページをクロールしてんなや」とrobots.txtで蹴っておいたのだが、もしかして日本語サイトのための予備クロールだったんだろうか？
まぁ日本語サイトができたなら弾く理由もないので解除しとこうかな。
・Become Japan
ちなみに日本語サイトのヘルプが未整備ですが、英語版と同じ仕様なら（同じボットなら）、
User-agent: BecomeBot
で、Disallow指定してやれば弾けます。Becomeのボットはお行儀がいいです。
・Become: Site Owners(英語のヘルプページ)
しかし、ここにもトランスコスモスが一枚噛んでるんだなー。
RSS feed
