WEBクローラ「Clipper」について

「Clipper」は株式会社エレクトロニック・ライブラリーが2017年9月から運用しているWEBクローラの名称です。Clipperが収集したWEBページはモーニングクリッピング®での検索サービスに使用させて頂きます。

Clipperが収集するのはHTMLページのみで、画像、動画は収集致しません。Clipperは、皆様の WEBサーバに負担をかけないために、以下のルールに従います。

ルール

1.robots.txt に従います

認識するのは、”User-agent:”、“Disallow:”、“Allow:”です。robots.txt の書き方については、こちら（http://www.robotstxt.org/orig.html#robotstxt）を参照してください。

2. META TAG による収集制限に従います

認識するのは、”NOINDEX”、”NOFOLLOW”、 “NOARCHIVE”、 “NOIMAGEINDEX”、 “NONE”、 “FOLLOW”、 “INDEX”、 “ALL”、 “NOSERVE”、 “SERVE”、 “ARCHIVE”、 “NOIMAGECLICK”です。META TAG の書き方については、こちら（http://www.robotstxt.org/meta.html）を参照して下さい。

3. 同一の WEBサーバに対しては、一度に 1ページしか WEBページを収集しません

これは、複数のドメイン名を持つ WEBサーバに対しても同様です。ある WEBサーバがA と B という二つのドメイン名を持っていても、A と B に同時に接続する事は致しません。

4. 適切な間隔で収集します

収集間隔は状況によって変更されますが、サーバに負荷を掛けないよう一定の間隔をあける等の制御を行っています。

お問い合わせについて

「Clipper」に関するお問い合わせの際は、件名または本文に「Clipperについて」とお書き添えの上、下記までお問い合わせください。

ご連絡先はこちら