• 功能：获取当前工作目录的路径。
• 示例：

  import os
  current_dir = os.getcwd()
  print(current_dir)
  

• 用途：在网络爬虫中，当你要确定数据存储位置或者加载配置文件时，需要知道当前的工作路径。例如，你可以将爬取到的数据存储在当前工作目录下的一个特定文件夹中。

• 功能：os.mkdir()用于创建单个新目录；os.makedirs()可以递归地创建目录，即可以创建多层嵌套的目录。
• 示例：

  # 创建单个目录
  import os
  new_dir = "data"
  os.mkdir(new_dir)
  # 创建多层目录
  nested_dir = "data/subdata"
  os.makedirs(nested_dir)
  

• 用途：在网络爬虫中，用于创建存储爬取数据的文件夹。比如，你可以根据日期或者网站名称来创建不同的文件夹，将爬取的数据分类存储。

• 功能：将多个路径组合成一个完整的路径。
• 示例：

  import os
  base_dir = "data"
  file_name = "result.txt"
  full_path = os.path.join(base_dir, file_name)
  print(full_path)
  

• 用途：在网络爬虫中，用于构建存储文件的完整路径。这样可以确保在不同操作系统下（因为不同操作系统的路径分隔符不同，如Windows是’\‘，Linux是’/'）路径的正确性。

• 功能：返回指定目录下的所有文件和目录的名称列表。
• 示例：

  import os
  dir_path = "."
  file_list = os.listdir(dir_path)
  print(file_list)
  

• 用途：在网络爬虫中，可以用于检查存储爬取数据的文件夹中的内容，或者获取某个目录下的所有网页文件列表，以便后续进行处理。

创建数据存储目录并保存爬取数据

• 案例描述：假设你要编写一个简单的网络爬虫来爬取网页内容，并将内容保存到本地文件中。首先，你需要创建一个合适的目录来存储数据，然后将爬取到的数据保存到该目录下的文件中。
• 代码示例：

  import os
  import requests
  
  # 创建存储数据的目录
  data_dir = "web_data"
  try:
      os.makedirs(data_dir)
  except FileExistsError:
      print("目录已存在")
  
  # 爬取网页内容并保存
  url = "https://www.example.com"
  response = requests.get(url)
  file_path = os.path.join(data_dir, "example.html")
  with open(file_path, "w", encoding="utf - 8") as f:
      f.write(response.text)
  

• 解释：
  • 首先使用os.makedirs()尝试创建一个名为“web_data”的目录来存储爬取的数据。如果目录已经存在，会捕获FileExistsError异常并打印提示信息。
  • 然后使用requests库（这里假设已经安装）爬取指定网页（这里是“https://www.example.com”）的内容。
  • 通过os.path.join()构建保存文件的完整路径，将爬取的内容保存到“web_data”目录下的“example.html”文件中。

遍历目录下的所有网页文件进行处理

• 案例描述：假设你已经有一个存储了多个网页文件的目录，你想要遍历这个目录下的所有网页文件，读取文件内容并进行一些文本处理，比如提取其中的链接。
• 代码示例：

  import os
  
  dir_path = "web_pages"
  for file_name in os.listdir(dir_path):
      file_path = os.path.join(dir_path, file_name)
      if os.path.isfile(file_path):
          with open(file_path, "r", encoding="utf - 8") as f:
              content = f.read()
              # 在这里可以添加对内容提取链接等文本处理的代码
              print("正在处理文件:", file_path)
  

• 解释：
  • 首先指定要遍历的目录“web_pages”。
  • 使用os.listdir()获取目录下所有文件和目录的名称列表，然后通过循环遍历这些名称。
  • 对于每个名称，使用os.path.join()构建完整的文件路径，并通过os.path.isfile()判断是否为文件（而不是目录）。
  • 如果是文件，就打开文件读取内容，在这里可以添加具体的文本处理代码，如使用正则表达式提取链接等，同时打印出正在处理的文件路径。

案例9：【Python网络爬虫笔记】9- 抓取优美图库2024年最新高清壁纸

链接：【Python网络爬虫笔记】9- 抓取优美图库2024年最新高清壁纸

• 案例描述：抓取优美图库2024年最新高清壁纸，并存储在本地文件夹。
• 代码示例：
  -新建文件夹
  
  -存储图片