从云班课平台中导出的学生作业为zip文件，解压后是一个作业文件夹，在其中的学生子目录（按学号+姓名命名）中有.html文件。希望将所有学生的答案以csv格式保存、方便对比批阅。正好复习《Python爬虫开发 从入门到实战（微课版）》，稍微改改第3章正则表达式与文件操作的案例代码完成了作业汇总的任务。
import os
import re
# import csv
import pandas as pd
t_dir=r'D:\Users\yuanyujie\Documents\Downloads\旅管本19（1）-旅游研究方法-专业兴趣与问题调查' #指定文件夹
result_list= [] #提取所需到包含字典的列表
for root, dirs, files in os.walk(t_dir):
for s_dir in dirs:
for sub_root, sub_dirs, sub_files in os.walk(os.path.join(root,s_dir)): #遍历子目录与文件
for f_list in sub_files:
if f_list[-4:]=="html":
print(s_dir, f_list)
url=os.path.join(root,s_dir,f_list) #文件绝对路径
print(url)
htmlf = open(url,'r',encoding='utf-8') #打开文件
htmlcont = htmlf.read() #读取文件内容
content_list=re.findall('<span>(.*?)<',htmlcont,re.S) #正则表达式
name_list=s_dir[13:]
num_list=s_dir[:12]
result = {'num':num_list,
'name':name_list,
'content':content_list
}
result_list.append(result) #列表追加元素字典
print(result_list)
df = pd.DataFrame(result_list) #包含字典的列表直接转Dataframe
print(df)
os.chdir(t_dir) #指定工作目录
df.to_csv('test.csv',encoding='ansi') #保存csv文件
# with open('test01.csv','w',encoding='utf-8') as f:
# writer=csv.DictWriter(f,fieldnames=['num','name','content'])
# writer.writeheader()
# writer.writerows(result_list)
if os.path.exists('test.csv'):
print('Done')
else:
print('Try Again')
写代码时碰到两个问题，一是.html文件直接用open命令打开后，还需要read命令读取内容，二是文件默认保存到工作目录，需要指定目录时要用os.chdir()。此外，发现包含字典的列转成Dataframe用一行代码就行，用pandas保存csv也是直接一行代码就行。保存时注意事项是编码需要设为ANSI，用utf-8保存再用Excel打开时中文会显示乱码。
