robotstxt-parser 0.1.1

Robotstxt-Parser allows you to the check the accessibility of URLs and get other data. Full support for the robots.txt RFC, wildcards and Sitemap: rules.

Gemfile:
=

installation:
=

Versions:

0.1.1 September 18, 2014 (15 ko)
0.1.0 September 18, 2014 (15 ko)

Dépendances de Development (2):

fakeweb ~> 1.3

rake >= 0

Show all transitive dependencies

Propriétaires:

Auteurs:

Garen Torikian

Total de contrôle SHA 256:

=

Total de téléchargements 164 313

Pour cette version 161 951

Version publiée:
September 18, 2014 12:46am

License:
MIT

Version de Ruby requise: >= 0

Liens:

Page d'accueil Documentation Télécharger Review changes Badge RSS Signaler un abus Reverse dependencies