Search Engine Verification Crawlerについて
目的
このクローラは，検索エンジンの信頼性を検証をするための実験，またそれに付随する研究室内での実験を目的として，Webページを収集しております．
エージェント名
SearchEngineVerificationCrawler稼働クローラのIP一覧
| 133.9.84.80 |
| 133.9.84.81 |
| 133.9.84.82 |
| 133.9.84.83 |
| 133.9.84.84 |
| 133.9.84.85 |
| 133.9.84.86 |
| 133.9.84.87 |
| 133.9.84.88 |
| 133.9.84.89 |
| 133.9.84.90 |
| 133.9.84.91 |
| 133.9.84.92 |
| 133.9.84.93 |
| 133.9.84.94 |
| 133.9.84.95 |
| 133.9.84.96 |
| 133.9.84.97 |
| 133.9.84.98 |
| 133.9.84.99 |
| 133.9.84.100 |
我々のクローラは上記IPからのみ収集を行っております.
起点URLリスト
ダウンロードクローリングの対象から除外するには
クローリングの対象外とするためには，下記の２つの方法がございます．- robots.txtを設定する
- クローラ管理者に連絡を行う
- robots.txtを設定する robots.txtと名付けたファイルをドメインの
- クローラ管理者に連絡を行う 下記連絡先まで，収集禁止の旨をご連絡ください．
トップディレクトリ以下に設置することによって
クローラのアクセスを禁止するすることができます．
アクセスを拒否するためにはドメインのトップディレクトリに
以下のファイルを設置ください．
ファイル名 : robots.txt
User-Agent: SearchEngineVerificationCrawler
Disallow: /
Disallow: /
システムに反映されるまで，robots.txtの更新から，
最大で2日ほどお時間をいただく場合がございます．
２日経過後も，アクセスがありましたら
お手数ですが，下記連絡先までご連絡ください．
以後，収集を行わないよう，クローラの設定を変更させていただきます．
メールをお送りいただく際には，収集停止をするサーバのアドレスを
本文中に含めてくださいますよう，よろしくお願いいたします.
管理者
早稲田大学大学院 情報理工学研究科 情報理工学専攻 舟橋卓也連絡先
クロールに関しまして疑問点，問題点がございましたら， srvc@yama.info.waseda.ac.jp までメールでご連絡ください．お問い合わせの際には，差し支えなければ以下の情報を添えて頂きますよう，
よろしくお願いいたします．
- お名前
- 返信先メールアドレス
- お問い合わせ内容
- （もしお持ちでしたら）お問い合わせをされている方のHP