随着互联网技术的普及Web应用程序的增加，如何保证Web网站的安全性成了一个不可被忽视的问题。而Web路径扫描工具是在渗透测试和安全审计中一个比较常见的工具，它可以帮助开发者或者时候安全人员快速的识别到Web应用程序中可能存在漏洞的路径。

路径扫描器的作用就是对目标网站上的文件和目录进行遍历扫描，找到存在敏感信息和敏感资源的路径目录，下面我们就来详细介绍一下如何通过Python开发一个简单的网站路径扫描工具。

需求分析

在开发之前，首先明确需求，首先需要根据用户提供的网站的URL，我们需要构建出不同的网站路径组合，然后通过发送HTTP请求来检查这些路径是否存在并且是否存在可疑信息，另外就是由于扫描的路径会很多，所以需要用到多线程相关的知识点来提高扫描的速度避免单线程扫描导致的时间过长问题。

环境搭建

根据需求分析，我们可以知道，需要用到如下的一些Python第三方开发库。

• requests：用于发送HTTP请求，检查路径是否存在。
• threading：实现多线程，提高扫描效率。
• argparse：解析命令行参数，方便用户配置扫描任务。
• os：用于处理文件路径和创建文件。

我们可以通过pip命令来安装对应的第三方开发库。

pip install requests

基本实现流程

构建URL

根据给定的域名和路径字典构建URL，进行路径扫描，如下所示。

url = f"{self.base_url}/{path}"

发送HTTP请求

通过requests提供的get()方法向构建的URL发送请求，检查路径是否存在，如下所示。

response = requests.get(url)

响应判断

根据HTTP状态码判断路径是否存在。常见的判断标准如下：

• 200：路径存在。
• 301/302：路径被重定向。
• 403：禁止访问，但路径存在。
• 404：路径不存在。

if response.status_code == 200:
    self._add_to_results(url)
elif response.status_code == 301 or response.status_code == 302:
    self._add_to_results(url, "Redirect")
elif response.status_code == 403:
    self._add_to_results(url, "Forbidden")
elif response.status_code == 404:
    pass  # 路径不存在，不做任何处理

多线程扫描

为了加快扫描的速度，我们可以通过Python的threading库来并发发送请求。

   def scan(self):
        """开始路径扫描"""
        threads = []
        for path in self.wordlist:
            t = threading.Thread(target=self.scan_path, args=(path,))
            threads.append(t)
            if len(threads) >= self.threads:
                for t in threads:
                    t.start()
                for t in threads:
                    t.join()
                threads = []

        # 等待剩余线程完成
        for t in threads:
            t.start()
        for t in threads:
            t.join()

最终将扫描结果保存到文件或终端，如下所示将扫描的结果保存到文件中以便后续分析使用。

    def save_results(self, filename="scan_results.txt"):
        """保存扫描结果到文件"""
        with open(filename, "w") as f:
            for path, status in self.found_paths:
                f.write(f"{path} - {status}\n")
        print(f"Results saved to {filename}")

完整代码

import requests
import threading
import argparse
import os

# 定义扫描类
class PathScanner:
    def __init__(self, base_url, wordlist, threads=10):
        self.base_url = base_url
        self.wordlist = wordlist
        self.threads = threads
        self.lock = threading.Lock()
        self.found_paths = []

    def scan_path(self, path):
        """扫描单个路径，检查路径是否存在"""
        url = f"{self.base_url}/{path}"
        try:
            response = requests.get(url)
            if response.status_code == 200:
                self._add_to_results(url)
            elif response.status_code == 301 or response.status_code == 302:
                self._add_to_results(url, "Redirect")
            elif response.status_code == 403:
                self._add_to_results(url, "Forbidden")
            elif response.status_code == 404:
                pass  # 路径不存在，不做任何处理
        except requests.exceptions.RequestException as e:
            print(f"Error scanning {url}: {e}")

    def _add_to_results(self, url, status="Found"):
        """添加扫描结果"""
        with self.lock:
            self.found_paths.append((url, status))

    def scan(self):
        """开始路径扫描"""
        threads = []
        for path in self.wordlist:
            t = threading.Thread(target=self.scan_path, args=(path,))
            threads.append(t)
            if len(threads) >= self.threads:
                for t in threads:
                    t.start()
                for t in threads:
                    t.join()
                threads = []

        # 等待剩余线程完成
        for t in threads:
            t.start()
        for t in threads:
            t.join()

    def save_results(self, filename="scan_results.txt"):
        """保存扫描结果到文件"""
        with open(filename, "w") as f:
            for path, status in self.found_paths:
                f.write(f"{path} - {status}\n")
        print(f"Results saved to {filename}")

# 解析命令行参数
def parse_args():
    parser = argparse.ArgumentParser(description="Web Path Scanner")
    parser.add_argument("url", help="Base URL of the target website")
    parser.add_argument("wordlist", help="Path to the wordlist file")
    parser.add_argument("-t", "--threads", type=int, default=10, help="Number of threads (default: 10)")
    return parser.parse_args()

# 主函数
def main():
    args = parse_args()

    # 读取字典文件
    if not os.path.exists(args.wordlist):
        print(f"Wordlist file {args.wordlist} not found.")
        return

    with open(args.wordlist, "r") as f:
        wordlist = [line.strip() for line in f.readlines()]

    # 创建PathScanner对象并执行扫描
    scanner = PathScanner(args.url, wordlist, args.threads)
    scanner.scan()
    scanner.save_results()

if __name__ == "__main__":
    main()

这里需要注意，由于需要扫描字典，所以我们需要提前利用爬虫技术获取到路径扫描的字典，例如比较常用的一些路径字典如下所示，当然还有很多篇幅有限不做展示。

admin
login
uploads
images
config.php
test.php

最终我们可以通过如下的的命令来运行上面的代码并且实现路径扫描操作。

python path_scanner.py http://example.com wordlist.txt -t 20

其中-t 20表示使用20个线程进行扫描，http://example.com是目标网站的URL，wordlist.txt是路径字典文件。工具会扫描目标站点上是否存在字典文件中的路径，并将结果保存到scan_results.txt文件中。

扩展功能

为了增加扫描的隐蔽性，可以在requests.get()方法中添加代理支持，我们可以通过通过设置proxies参数使用代理。

proxies = {
    "http": "http://10.10.1.10:8080",
    "https": "http://10.10.1.10:8080",
}
response = requests.get(url, proxies=proxies)

可以根据不同的状态码更精确地判断路径的可用性。例如，某些路径可能返回403但实际上是有效的，具体判断可以根据项目需求进一步调整。

总结

本文介绍了如何利用Python开发一个简单的Web路径扫描工具，通过构建URL、发送HTTP请求、并发扫描、结果保存等功能，快速实现了一个基本的扫描工具在实际使用中，用户可以根据自己的需求进一步优化字典文件、代理设置以及扫描策略，使工具更符合特定的渗透测试或安全审计需求。