何使用python将大量数据导出到Excel中的小技巧。
(1) 问题描述:为了更好地展示数据,Excel格式的数据文件往往比文本文件更具有优势,但是具体到python中,该如何导出数据到Excel呢?如果碰到需要导出大量数据又该如何操作呢?本文主要解决以上两个问题。
(2)具体步骤如下:
1.第一步,安装openpyxl,。
使用pip install openpyxl即可,但是在windows下安装的是2.2.6版本,但是centos自动安装的是4.1版本,(多谢海哥的提醒)。
写的代码在windows下运行没问题,但centos上却报错了,说是ew=ExcelWriter(workbook=wb)少提供一个参数,于是果断在 237服务器上我已安装2.2.6版本的,问题解决。
pip install openpyxl==2.2.6。
2.第二步,哈哈,没有啦,废话不说了,直接上代码,ps,代码中包含xlwt和openpyxl的两个实现版本。
(3)扩展阅读:通过查阅资料,发现网上众说纷纭,总结起来有如下几点:
python Excel相关的操作的module lib有两组,一组是xlrd、xlwt、xlutils,另一组是openpyxl,。
但是前一组(xlrd,xlwt)比较老,只能处理由Excel 97-2003 或者Excel 97 以前版本生成的xls格式的excel文件,xlwt甚至不支持07版以后的excel ,这个格式excel文件一般来说,最大只能支持256列或者65536行的excel文件。
因此面对需要导出大量数据到excel的情况,你将有如下三种选择,(1)换一种存储格式,如保存为CSV文件 (2)使用openpyxl—,因为它支持对Excel 2007+ xlsx/xlsm format的处理 (3) win32 COM (Windows only)。
当然,我们要直面困难了,为了更好地展示数据给产品和用户,我们依然选择的第二种。
ps,非常lucky,一番搜索后我找到了openpyxl,支持07+的excel,一直有人在维护,文档清晰易读,参照Tutorial和API文档很快就能上手,就是它了~。
(4)闲话少说,直接上代码,敬请参考。
# coding:utf-8
'''
# 希望对大家有帮助哈,请多提问题。
create by yaoyz。
date: 2017/01/24。
'''
import xlrd
import xlwt
# workbook相关
from openpyxl.workbook import Workbook。
# ExcelWriter,封装了很强大的excel写的功能。
from openpyxl.writer.excel import ExcelWriter。
# 一个eggache的数字转为列字母的方法。
from openpyxl.utils import get_column_letter。
from openpyxl.reader.excel import load_workbook。
class HandleExcel():。
'''Excel相关操作类'''。
def __init__(self):。
self. head_row_labels = [u'学生ID',u'学生姓名',u'联系方式',u'知识点ID',u'知识点名称']。
"""
function:
读出txt文件中的每一条记录,把它保存在list中。
Param:
filename: 要读出的文件名。
Return:
res_list: 返回的记录的list。
"""
def read_from_file(self,filename):。
res_list=[]
file_obj=open(filename,"r")。
for line in file_obj.readlines():。
res_list.append(line)。
file_obj.close()。
return res_list。
"""
function:
读出*.xlsx中的每一条记录,把它保存在data_dic中返回。
Param:
excel_name: 要读出的文件名。
Return:
data_dic: 返回的记录的dict。
"""
def read_excel_with_openpyxl(self, excel_name="testexcel2007.xlsx"):。
# 读取excel2007文件。
wb = load_workbook(filename=excel_name)。
# 显示有多少张表
print "Worksheet range(s):" , wb.get_named_ranges()。
print "Worksheet name(s):" , wb.get_sheet_names()。
# 取第一张表
sheetnames = wb.get_sheet_names()。
ws = wb.get_sheet_by_name(sheetnames[0])。
# 显示表名,表行数,表列数
print "Work Sheet Titile:" ,ws.title。
print "Work Sheet Rows:" ,ws.get_highest_row()。
print "Work Sheet Cols:" ,ws.get_highest_column()。
# 获取读入的excel表格的有多少行,有多少列。
row_num=ws.get_highest_row()。
col_num=ws.get_highest_column()。
print "row_num: ",row_num," col_num: ",col_num。
# 建立存储数据的字典
data_dic = {}
sign=1
# 把数据存到字典中
for row in ws.rows:。
temp_list=[]
# print "row",row。
for cell in row:。
print cell.value,。
temp_list.append(cell.value)。
print ""
data_dic[sign]=temp_list。
sign+=1
print data_dic
return data_dic。
"""
function:
读出*.xlsx中的每一条记录,把它保存在data_dic中返回。
Param:
records: 要保存的,一个包含每一条记录的list。
save_excel_name: 保存为的文件名。
head_row_stu_arrive_star:。
Return:
data_dic: 返回的记录的dict。
"""
def write_to_excel_with_openpyxl(self,records,head_row,save_excel_name="save.xlsx"):。
# 新建一个workbook
wb = Workbook()。
# 新建一个excelWriter。
ew = ExcelWriter(workbook=wb)。
# 设置文件输出路径与名称
dest_filename = save_excel_name.decode('utf-8')。
# 第一个sheet是ws
ws = wb.worksheets[0]。
# 设置ws的名称
ws.title = "range names"。
# 写第一行,标题行
for h_x in range(1,len(head_row)+1):。
h_col=get_column_letter(h_x)。
#print h_col
ws.cell('%s%s' % (h_col, 1)).value = '%s' % (head_row[h_x-1])。
# 写第二行及其以后的那些行
i = 2
for record in records:。
record_list=str(record).strip().split("\t")。
for x in range(1,len(record_list)+1):。
col = get_column_letter(x)。
ws.cell('%s%s' % (col, i)).value = '%s' % (record_list[x-1].decode('utf-8'))。
i += 1
# 写文件
ew.save(filename=dest_filename)。
"""
function:
测试输出Excel内容
读出Excel文件
Param:
excel_name: 要读出的Excel文件名。
Return:
无
"""
def read_excel(self,excel_name):。
workbook=xlrd.open_workbook(excel_name)。
print workbook.sheet_names()。
# 获取所有sheet
print workbook.sheet_names() # [u'sheet1', u'sheet2']。
sheet2_name = workbook.sheet_names()[1]。
# 根据sheet索引或者名称获取sheet内容。
sheet2 = workbook.sheet_by_index(1) # sheet索引从0开始。
sheet2 = workbook.sheet_by_name('Sheet1')。
# sheet的名称,行数,列数。
print sheet2.name,sheet2.nrows,sheet2.ncols。
# 获取整行和整列的值(数组)
rows = sheet2.row_values(3) # 获取第四行内容。
cols = sheet2.col_values(2) # 获取第三列内容。
print rows
print cols
# 获取单元格内容
print sheet2.cell(1,0).value。
print sheet2.cell_value(1,0)。
print sheet2.row(1)[0].value。
# 获取单元格内容的数据类型
print sheet2.cell(1,0).ctype。
# 通过名称获取
return workbook.sheet_by_name(u'Sheet1')。
"""
function:
设置单元格样式
Param:
name: 字体名字
height: 字体高度
bold: 是否大写
Return:
style: 返回设置好的格式对象。
"""
def set_style(self,name,height,bold=False):。
style = xlwt.XFStyle() # 初始化样式。
font = xlwt.Font() # 为样式创建字体。
font.name = name # 'Times New Roman'。
font.bold = bold。
font.color_index = 4。
font.height = height。
borders= xlwt.Borders()。
borders.left= 6。
borders.right= 6。
borders.top= 6
borders.bottom= 6。
style.font = font。
style.borders = borders。
return style
"""
function:
按照 设置单元格样式 把计算结果由txt转变为Excel存储。
Param:
dataset:要保存的结果数据,list存储。
Return:
将结果保存为 excel对象中。
"""
def write_to_excel(self, dataset,save_excel_name,head_row):。
f = xlwt.Workbook() # 创建工作簿。
# 创建第一个sheet:
# sheet1
count=1
sheet1 = f.add_sheet(u'sheet1', cell_overwrite_ok=True) # 创建sheet。
# 首行标题:
for p in range(len(head_row)):。
sheet1.write(0,p,head_row[p],self.set_style('Times New Roman',250,True))。
default=self.set_style('Times New Roman',200,False) # define style out the loop will work。
for line in dataset:。
row_list=str(line).strip("\n").split("\t")。
for pp in range(len(str(line).strip("\n").split("\t"))):。
sheet1.write(count,pp,row_list[pp].decode('utf-8'),default)。
count+=1
f.save(save_excel_name) # 保存文件。
def run_main_save_to_excel_with_openpyxl(self):。
print "测试读写2007及以后的excel文件xlsx,以方便写入文件更多数据"。
print "1. 把txt文件读入到内存中,以list对象存储"。
dataset_list=self.read_from_file("test_excel.txt")。
'''test use openpyxl to handle EXCEL 2007'''。
print "2. 把文件写入到Excel表格中"。
head_row_label=self.head_row_labels。
save_name="test_openpyxl.xlsx"。
self.write_to_excel_with_openpyxl(dataset_list,head_row_label,save_name)。
print "3. 执行完毕,由txt格式文件保存为Excel文件的任务"。
def run_main_save_to_excel_with_xlwt(self):。
print " 4. 把txt文件读入到内存中,以list对象存储"。
dataset_list=self.read_from_file("test_excel.txt")。
'''test use xlwt to handle EXCEL 97-2003'''。
print " 5. 把文件写入到Excel表格中"。
head_row_label=self.head_row_labels。
save_name="test_xlwt.xls"。
self.write_to_excel_with_openpyxl(dataset_list,head_row_label,save_name)。
print "6. 执行完毕,由txt格式文件保存为Excel文件的任务"。
if __name__ == '__main__':。
print "create handle Excel Object"。
obj_handle_excel=HandleExcel()。
# 分别使用openpyxl和xlwt将数据写入文件。
obj_handle_excel.run_main_save_to_excel_with_openpyxl()。
obj_handle_excel.run_main_save_to_excel_with_xlwt()。
'''测试读出文件,注意openpyxl不可以读取xls的文件,xlrd不可以读取xlsx格式的文件'''。
#obj_handle_excel.read_excel_with_openpyxl("testexcel2003.xls") # 错误写法。
#obj_handle_excel.read_excel_with_openpyxl("testexcel2003.xls") # 错误写法。
obj_handle_excel.read_excel("testexcel2003.xls")。
obj_handle_excel.read_excel_with_openpyxl("testexcel2007.xlsx")。
假如你还没有数据,手动敲进去一个frame。
当然 你也可以用别的方式,导入的,网上抓的,都可以。
data={'name':['zhangssan','lisi','wangwu','zhaoliu'],'salary':[3000,3400,4000,5000]}。
import pandas as pd。
frame=pd.DataFrame(data)。
frame
Out[4]:
name salary。
0 zhangssan 3000。
1 lisi 3400。
2 wangwu 4000。
3 zhaoliu 5000。
然后转成Excel(用csv也一样),只需要敲一行to_csv。
frame.to_csv('filename1.csv')。
结果就有了
利用第三方库:openpyxl 可以实现,示例代码如下:
from openpyxl import Workbook 。
wb = Workbook()。
ws = wb['sheet1']。
ws['C2'].value = 100。
1、安装openpyxl模块
2、调用openpyxl模块,将变量中的数据写入excel。
具体的操作流程需要根据您的需求和数据格式。
可以使用 Python 的第三方库 pandas 将列表转换成 excel 表格。
首先需要安装 pandas 库,在命令行中输入:
pip install pandas。
然后可以使用 pandas 库中的 DataFrame 函数将列表转换成 DataFrame 数据结构,再使用 to_excel 函数将 DataFrame 保存为 excel 文件。
示例代码:
import pandas as pd。
# 假设你有一个名为 data 的列表。
data = [['Tom', 10], ['Dick', 15], ['Harry', 20]]。
# 使用 pandas 将列表转换成 DataFrame。
df = pd.DataFrame(data, columns=['Name', 'Age'])。
# 使用 to_excel 函数将 DataFrame 保存为 excel 文件。
df.to_excel("data.xlsx")。
这样就可以在当前目录下生成一个名为 data.xlsx 的 excel 文件,里面包含了你的列表数据。