robotstxt-parser 0.1.1

Robotstxt-Parser allows you to the check the accessibility of URLs and get other data. Full support for the robots.txt RFC, wildcards and Sitemap: rules.

Gemfile:
=

インストール:
=

バージョン履歴:

0.1.1 September 18, 2014 (15KB)
0.1.0 September 18, 2014 (15KB)

Development依存関係 (2):

fakeweb ~> 1.3

rake >= 0

全ての推移的な依存関係を表示

所有者:

作者:

Garen Torikian

SHA 256チェックサム:

=

累計ダウンロード数 164,312

このバージョンのみ 161,950

このバージョンがリリースされたのは:
September 18, 2014 12:46am

ライセンス:
MIT

必要なRubyのバージョン: >= 0

リンク:

ホームページドキュメントダウンロード差分をレビューバッジ RSS 悪用報告被依存関係