https://www.cnblogs.com/longbigbeard/p/9309180.html
- 因为需要对数据处理,将excel数据导入到数据库,记录一下过程。
- 使用到的库:xlrd 和 pymysql (如果需要写到excel可以使用xlwt)
- 直接丢代码,使用python3,注释比较清楚。
-
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
importxlrdimportpymysql# import importlib# importlib.reload(sys) #出现呢reload错误使用defopen_excel():try:book=xlrd.open_workbook("XX.xlsx")#文件名,把文件与py文件放在同一目录下except:print("open excel file failed!")try:sheet=book.sheet_by_name("sheet名称")#execl里面的worksheet1returnsheetexcept:print("locate worksheet in excel failed!")#连接数据库try:db=pymysql.connect(host="127.0.0.1",user="root",passwd="XXX",db="XXX",charset='utf8')except:print("could not connect to mysql server")defsearch_count():cursor=db.cursor()select="select count(id) from XXXX"#获取表中xxxxx记录数cursor.execute(select)#执行sql语句line_count=cursor.fetchone()print(line_count[0])definsert_deta():sheet=open_excel()cursor=db.cursor()foriinrange(1, sheet.nrows):#第一行是标题名,对应表中的字段名所以应该从第二行开始,计算机以0开始计数,所以值是1name=sheet.cell(i,0).value#取第i行第0列data=sheet.cell(i,1).value#取第i行第1列,下面依次类推print(name)print(data)value=(name,data)print(value)sql="INSERT INTO XXX(name,data)VALUES(%s,%s)"cursor.execute(sql,value)#执行sql语句db.commit()cursor.close()#关闭连接insert_deta()db.close()#关闭数据print("ok ")XXX里自行修改自己的名称。
- 说明:对于不规则的单元格,例如合并过的单元格会取到空值。
- 有机会把数据库写到excel贴上来。
- 优化了一下这个程序
-
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
importpymysqlimportxlrd# 连接数据库try:db=pymysql.connect(host="127.0.0.1", user="root",passwd="XXX",db="XXX",charset='utf8')except:print("could not connect to mysql server")defopen_excel():try:book=xlrd.open_workbook("XXX.xlsx")#文件名,把文件与py文件放在同一目录下except:print("open excel file failed!")try:sheet=book.sheet_by_name("XXX")#execl里面的worksheet1returnsheetexcept:print("locate worksheet in excel failed!")definsert_deta():sheet=open_excel()cursor=db.cursor()row_num=sheet.nrowsforiinrange(1, row_num):# 第一行是标题名,对应表中的字段名所以应该从第二行开始,计算机以0开始计数,所以值是1row_data=sheet.row_values(i)value=(row_data[0],row_data[1],row_data[2],row_data[3])print(i)sql="INSERT INTO demo_yangben(xxx,xxxx,xxxx,xxxx)VALUES(%s,%s,%s,%s)"cursor.execute(sql, value)# 执行sql语句db.commit()cursor.close()# 关闭连接open_excel()insert_deta() - 再改一下,每一万条数据写入到数据库一次
-
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
importpymysqlimportxlrdimportsys'''连接数据库args:db_name(数据库名称)returns:db'''defmysql_link(de_name):try:db=pymysql.connect(host="127.0.0.1", user="xxx",passwd="xxx",db=xxx,charset='utf8')returndbexcept:print("could not connect to mysql server")'''读取excel函数args:excel_file(excel文件,目录在py文件同目录)returns:book'''defopen_excel(excel_file):try:book=xlrd.open_workbook(excel_file)# 文件名,把文件与py文件放在同一目录下print(sys.getsizeof(book))returnbookexcept:print("open excel file failed!")'''执行插入操作args:db_name(数据库名称)table_name(表名称)excel_file(excel文件名,把文件与py文件放在同一目录下)'''defstore_to(db_name, table_name, excel_file):db=mysql_link(db_name)# 打开数据库连接cursor=db.cursor()# 使用 cursor() 方法创建一个游标对象 cursorbook=open_excel(excel_file)# 打开excel文件sheets=book.sheet_names()# 获取所有sheet表名forsheetinsheets:sh=book.sheet_by_name(sheet)# 打开每一张表row_num=sh.nrowsprint(row_num)list=[]# 定义列表用来存放数据num=0# 用来控制每次插入的数量foriinrange(1, row_num):# 第一行是标题名,对应表中的字段名所以应该从第二行开始,计算机以0开始计数,所以值是1row_data=sh.row_values(i)# 按行获取excel的值value=(row_data[0], row_data[1], row_data[2], row_data[3], row_data[4], row_data[5], \row_data[6], row_data[7], row_data[8], row_data[9], row_data[10], row_data[11], row_data[12],row_data[13], row_data[14])list.append(value)# 将数据暂存在列表num+=1if( num>=10000):# 每一万条数据执行一次插入print(sys.getsizeof(list))sql="INSERT INTO "+table_name+" (time, xingbie, afdd, xzb, yzb, cfbj, jjlbmc, \bjlbmc, bjlxmc, bjlxxlmc, gxqymc,gxdwmc, afql, afxqxx, cjdwmc)\VALUES(%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s)"cursor.executemany(sql,list)# 执行sql语句num=0# 计数归零list.clear()# 清空listprint("worksheets: "+sheet+" has been inserted 10000 datas!")print("worksheets: "+sheet+" has been inserted "+str(row_num)+" datas!")db.commit()# 提交cursor.close()# 关闭连接db.close()if__name__=='__main__':store_to('demo','demo_yangben','xxx.xlsx') - 思考,如果数据插入有错误,怎么解决,
- 其实有很多数据库工具可以直接来解决这个问题,注意字符转换的格式就好。
- 上面这个程序在当数据不足10000的时候会出现问题,下面的一篇文章里进行了更正。
- 批量插入数据请看: https://www.cnblogs.com/longbigbeard/p/9317141.html
- 以上。