]> git.ipfire.org Git - thirdparty/Python/cpython.git/commitdiff
SF patch #911431: robot.txt must be robots.txt
authorRaymond Hettinger <python@rcn.com>
Sat, 13 Mar 2004 20:31:33 +0000 (20:31 +0000)
committerRaymond Hettinger <python@rcn.com>
Sat, 13 Mar 2004 20:31:33 +0000 (20:31 +0000)
(Contributed by George Yoshida.)

Lib/robotparser.py

index e2af545848b0029517f12cfe46c2f45b2dbec31c..6b23188f196e0e9420ed8d1d15c2e82bc9d45a48 100644 (file)
@@ -83,7 +83,7 @@ class RobotFileParser:
             self.entries.append(entry)
 
     def parse(self, lines):
-        """parse the input lines from a robot.txt file.
+        """parse the input lines from a robots.txt file.
            We allow that a user-agent: line is not preceded by
            one or more blank lines."""
         state = 0
@@ -148,7 +148,7 @@ class RobotFileParser:
 
     def can_fetch(self, useragent, url):
         """using the parsed robots.txt decide if useragent can fetch url"""
-        _debug("Checking robot.txt allowance for:\n  user agent: %s\n  url: %s" %
+        _debug("Checking robots.txt allowance for:\n  user agent: %s\n  url: %s" %
                (useragent, url))
         if self.disallow_all:
             return False