摘要

时代在飞速进步，每个行业都在努力发展现在先进技术，通过这些先进的技术来提高自己的水平和优势，各品牌手机销量数据可视化分析系统当然不能排除在外。基于大数据的各品牌手机销量数据可视化分析系统是在实际应用和软件工程的开发原理之上，运用Python语言、爬虫技术以及Django框架进行开发，可以让用户实现在线进行浏览手机信息、手机资讯、管理个人信息等操作。在系统开发之前首先要进行需求分析，分析出基于大数据的各品牌手机销量数据可视化分析系统的主要功能，然后设计了系统结构。整体设计包括系统的功能、系统总体结构、系统数据结构和对系统安全性进行设计；最后要对系统进行测试，还要对测试的结果进行总结和分析，为以后系统的维护提供方便，也为以后类似系统的开发提供参考和帮助。这种个性化的网络系统管理更重视相互协调和管理合作,能激发管理者的创造性和主动性,这对各品牌手机销量数据可视化分析的管理来说非常有益。

绪 论

1.1 课题的研究背景 基于大数据的各品牌手机销量数据可视化分析系统主要通过计算机网络，对所需的信息进行统一管理，方便用户随时随地浏览手机信息，管理员可以点击数据爬取的按钮，一键获得手机信息料及各品牌手机销售数据，减少了新增时输入的时间和繁琐程序。本系统极大的促进了系统与数据库管理系统软件之间的配合，满足了绝大部分用户的需求，给用户带来了很大的便利。以现在计算机的技术的应用，使计算机成为人们使用现代发达技术的桥梁。计算机可以有效的解决信息，十分方便的获取信息，从而提高工作的效率。

1.2 课题研究目的 全球经济在快速的发展，中国更是进步飞速，这使得国内的互联网技术进入了发展的高峰时期，这让中外资本不断转向互联网这个大市场。在这个信息高度发达的现在，利用网络进行信息管理改革已经成为了人们追捧的一种趋势。“基于大数据的各品牌手机销量数据可视化分析系统”是运用Python语言、爬虫技术、数据可视化技术和Django框架，以MySQL数据库为基础而发出来的。可以实现用户在线进行浏览手机信息，手机资讯等。为保证我国经济的持续性发展，必须要让互联网信息时代在我国日益壮大，蓬勃发展。伴随着信息社会的飞速发展，基于大数据的各品牌手机销量数据可视化分析系统所面临的问题也一个接一个的出现，所以现在最该解决的问题就是信息的实时查询和访问需求的问题，以及如何利用快捷便利的方式让访问者在广大信息系统中进行查询、分享、储存和管理。这对我们的现实生活中具有非常重要的意义，所以基于大数据的各品牌手机销量数据可视化分析系统诞生了。

1.3 课题的研究意义 大数据时代已经到来，网络爬虫技术已成为这个时代不可或缺的一项技术，企业需要数据来分析用户行为、产品的不足之处以及竞争对手的信息等，而这一切的首要条件就是数据的采集。在互联网社会中，数据是无价之宝，一切皆为数据，谁拥有了大量有用的数据，谁就拥有了决策的主动权。如何有效地采集并利用这些信息成了一个巨大的挑战，而网络爬虫是自动采集数据的有效手段。网络爬虫是一种按照一定的规则，自动抓取互联网海量信息的程序或脚本。网络爬虫的应用领域很广泛，如搜索引擎、数据采集、广告过滤、大数据分析等。本次使用Python技术加网络爬虫技术，可以实现管理员对手机信息的快速管理，对手机行业的发展来说，是一个非常有意义的创新。

相关技术

本基于大数据的各品牌手机销量数据可视化分析系统的数据库采用的是MySQL数据库，并且选择了Python语言、网络爬虫技术、数据可视化技术、和Django框架进行开发项目，在项目开发过程中，实现了系统功能模块的安全性、实用性、稳定性、易维护和页面简单等特点。

2.1 Python简介 Python是由荷兰数学和计算机研究学会的吉多·范罗苏姆于20世纪90年代设计的一款高级语言。Python优雅的语法和动态类型，以及解释型语言的本质，使它成为许多领域脚本编写和快速开发应用的首选语言。Python相比与其他高级语言，开发代码量较小，代码风格简洁优雅，拥有丰富的第三方库。Python的代码风格导致其可读性好，便于维护人员阅读维护，程序更加健壮。Python能够轻松地调用其他语言编写的模块，因此也被成为“胶水语言”[3]。 Python的应用场合非常广泛，在科研领域中，可以用Python训练人工智能模型，也可以对实验数据进行数据分析。在生活中，Python提供了很多优秀的、开源的Web开发框架，例如Django、Flask、Pyramid、Tornado等。知乎、豆瓣网、Youtube等知名应用都是由Python为基础进行开发的。相比于其他框架，Django有着更加丰富的插件，作为企业级框架也很好上手，适合本次开发。此次基于大数据的各品牌手机销量数据可视化分析系统是开发一个Web应用，采用Django框架，将在下一节进行具体介绍。本次开发选用的是Python3.6.4版本。

2.2  Django框架 Django被官方称之为“完美主义者框架”，只需要很少的代码就能更快的完成一个优秀的Web应用[4]。Django采用了MTV框架模式，此模式根据MVC进行改进形成了更适于Django的设计模式。M为模型（Model）、T为模板（Template）、V为视图（View）。下面介绍部分Django的核心与优点： （1）对象关系映射（ORM，Object-Relation-Mapping）：ORM的方法论有着三个核心原则： ①简单：以最基本的形式构建数据。 ②传达性：数据库结构被任何人都能理解的语言文档化。 ③精确性：基于数据模型创建正确标准化的结构。 用于Python之中即是以Python类形式定义数据模型，类中的每一个属性对应着数据库中的一列。引入ORM后，无需编写原生SQL语句，使用基于面向对象的思想去编写类、对象、调用方法等，ORM会将其映射成SQL语句通过pymysql执行。 （2）路由配置（URLConf）：Django的URL设置更加灵活优雅，看似复杂难懂，但使用的都是简单的正则表达式，你可以随心所欲的创造优美的、简洁的、专业的地址。

（3）模板（Template）：模板可以理解为承载数据的工具，为了将数据从视图中分离出来，通过各种各样的标签来进行数据的传输。Django的模板融入了面向对象中继承的思想，提高了复用减少冗余代码。 （4）视图（View）：视图就是views.py中的函数，也就是逻辑代码，为了将URL和视图关联起来，用到了上述的URLConfs，URLConfs将URL模式映射到视图中，每个视图有两件事是必须要做的：返回一个包含被请求页面的HttpResponse对象，或者抛出一个异常。 （5）后台管理系统（Django-Admin）：Django提供的一个基于Web的管理工具。 Django-Admin来自django.contrib也就是Django的标准库，默认被配置好，只需要激活启用即可，它的优势在于可以快速对数据库的各个表进行增删改查，一行代码即可管理一张数据库表，相比于手动后台1个模型一般需要4个urls，4个视图函数和4个模板，可以说Django完成了一个程序编写的大部分重复工作，并且对于图书管理这种以管理工作为重系统来说，极度契合。 （6）应用（Application）：当项目规模过大时，难免会产生目录过长，文件过多的问题，Django理念中的App可以将项目相对独立的进行开发，插拔的工作方式和独立性让开发者废弃的App即使删除也不会影响整体，是一种不可多得的理念。 因为本次使用的Python版本为3.6.4，低版本的Django不支持Python3，故此次使用的Django版本为3.2.12。

2.3 网络爬虫简介   网络爬虫是一种很好的自动采集数据的通用手段。它主要分为4种类型，分别是：聚焦网络爬虫、增量抓取、表层网页、深层网页。 ①聚焦网络爬虫是“面向特定主题需求”的一种爬虫程序，而通用网络爬虫则是捜索引擎抓取系统（Baidu、Google、Yahoo等）的重要组成部分，主要目的是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。 ②增量抓取意即针对某个站点的数据进行抓取，当网站的新增数据或者该站点的数据发生变化后，自动地抓取它新增的或者变化后的数据。 Web页面按存在方式可以分为表层网页（surface Web）和深层网页（deep Web，也称invisible Web pages或hidden Web）。 ③表层网页是指传统搜索引擎可以索引的页面，即以超链接可以到达的静态网页为主来构成的Web页面。 ④深层网页是那些大部分内容不能通过静态链接获取的、隐藏在搜索表单后的，只有用户提交一些关键词才能获得的Web页面。 本次使用的爬虫技术是聚焦网络爬虫，通过搜索引擎，抓取相关电影信息，下载到本地，形成互联网内容的镜像备份，提供用户浏览、查看。

2.4 MySQL简介 MySQL是一款小型关系型数据库管理系统（Relational Database Management System)，开发商为瑞典MySQLAB公司。关系型数据库将数据存放在不同的表中，使数据更加规范化。MySQL因其体积小、速度快、源码开放的特点，很多网站开发都将MySQL作为首选[5]。由于Python3不再支持MySQLdb模块，此次开发采用pymysql模块连接MySQL数据库。 2.5小结 本章详细的介绍了开发基于大数据的各品牌手机销量数据可视化分析系统所需要的技术与工具，工欲善其事必先利其器，对于技术和工具了解的越多越清晰，才会在开发过程中如鱼得水。

系统整体功能图

用户注册界面图

用户登录界面图

前台功能界面图

手机详情界面图

后台登录界面图

管理员功能界面图

看板界面图

看板界面图

部分数据库表

字段名称	类型	长度	字段说明	主键	默认值
id	bigint		主键	主键
addtime	timestamp		创建时间		CURRENT_TIMESTAMP
laiyuan	varchar	200	来源
biaoti	varchar	200	标题
fengmian	longtext	4294967295	封面
jiage	varchar	200	价格
pinpai	varchar	200	品牌
spcd	varchar	200	商品产地
yxnc	varchar	200	运行内存
jsys	varchar	200	机身颜色
jsnc	varchar	200	机身内存
hszxs	varchar	200	后摄主像素
fengge	varchar	200	风格

结论

本系统是采用Python语言、爬虫技术、数据可视化技术、Django框架构建的一个操作管理系统，选择的数据库是MySQL。整个过程先是通过整体的系统分析，来确定本系统的可行性是否达标。为了满足用户的需求以及提高管理员的工作效率，通过系统所要实现的功能分析，决定了用户和管理员要实现的功能。之后就是精细各个模块的具体功能，定义用户和管理员们的权限，分割成管理员功能模块和用户功能模块。之后通过系统测试来确保数据的准确性和操作的准确性，发现错误并立即做出了改正。 系统本身就是共享信息的存在，管理员可以发布信息来分享资源，通过加入关键词检索，让用户和管理员更方便的使用系统。同时通过分类以便用户查找信息可以进一步的对号入座，极大的节省了查找信息的时间。通过加入信息的评论功能，加深了用户与用户之间的交流，使其构造出更良好的网络环境。