作业1:
要求：熟练掌握 Selenium 查找 HTML 元素、爬取 Ajax 网页数据、等待 HTML 元素等内容。使用 Selenium 框架+ MySQL 数据库存储技术路线爬取“沪深 A 股”、“上证 A 股”、“深证 A 股”3 个板块的股票数据信息。
候选网站：东方财富网：
http://quote.eastmoney.com/center/gridlist.html#hs_a_board
输出信息：MYSQL 数据库存储和输出格式如下，表头应是英文命名例如：序号，id，股票代码：bStockNo……，由同学们自行定义设计表头：
| 序号 | 股票代码 | 股票名称 | 最新报价 | 涨跌幅 | 涨跌额 | 成交量 | 成交额 | 振幅 | 最高 | 最低 | 今开 | 昨收 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | 688093 | N世华 | 28.47 | % | 62.22 | 10.92 | 26.13万 | 7.6亿 | 22.34 | 32.08 | 28.02 | 30.25 |
核心代码设计逻辑：
因为之前爬过很多次，所以用大模型设计了反爬驱动初始化伪装浏览器环境，去防止东方财富网的反爬机制；爬取的时候利用XPath定位表格元素，清洗数据转化为结构化字典；然后把数据存储到MySQL里面。
爬取的核心代码：
点击查看代码
# 反爬配置初始化Chrome驱动
options = Options()
options.add_argument('--no-sandbox')
options.add_argument('--disable-dev-shm-usage')
options.add_argument('--disable-blink-features=AutomationControlled')
options.add_argument('--start-maximized')
options.add_experimental_option("excludeSwitches", ["enable-automation"])
options.add_experimental_option('useAutomationExtension', False)
driver = webdriver.Chrome(options=options)
# 隐藏webdriver指纹（核心反爬）
driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {"source": "Object.defineProperty(navigator, 'webdriver', {get: () => undefined})"
})
driver.implicitly_wait(15)
# 数据爬取解析
market_urls = {"上证A股": "http://quote.eastmoney.com/center/gridlist.html#sh_a_board","深证A股": "http://quote.eastmoney.com/center/gridlist.html#sz_a_board","沪深A股": "http://quote.eastmoney.com/center/gridlist.html#hs_a_board"
}
stocks_data = []
# 遍历爬取三大板块
for market_type in ["沪深A股", "上证A股", "深证A股"]:driver.get(market_urls[market_type])time.sleep(5)driver.execute_script("window.scrollTo(0, document.body.scrollHeight/2);")time.sleep(3)# 解析前20条数据for row in rows[:20]:cells = row.find_elements(By.TAG_NAME, "td")if len(cells) < 14: continuetry:stock_data = {'stock_code': cells[1].text.strip(),'stock_name': cells[2].text.strip(),'latest_price': float(cells[4].text.strip().replace(',', '')) if cells[4].text.strip() not in ['-','--'] else None,'change_percent': float(cells[5].text.strip().replace('%', '').replace(',', '')) if cells[5].text.strip() not in ['-','--'] else None,'change_amount': float(cells[6].text.strip().replace(',', '')) if cells[6].text.strip() not in ['-','--'] else None,'volume': int(float(cells[7].text.strip().replace('万', '').replace('亿', '0000').replace(',', '')) * 10000) if cells[7].text.strip() not in ['-', '--'] else None,'turnover': float(cells[8].text.strip().replace('万', '').replace('亿', '0000').replace(',', '')) * 10000 if cells[8].text.strip() not in ['-', '--'] else None,'market_type': market_type}if stock_data['stock_code'] and stock_data['stock_name']:stocks_data.append(stock_data)except:continue
存储在MySQL的核心代码：
点击查看代码
DB_CONFIG = {'host': 'localhost', 'user': 'root', 'password': 'qazplm2580', 'database': 'stock_market'}
# 插入/更新数据
insert_sql = """INSERT INTO stock_data (stock_code, stock_name, latest_price, change_percent, change_amount, volume, turnover, market_type)VALUES (%s, %s, %s, %s, %s, %s, %s, %s)ON DUPLICATE KEY UPDATE latest_price=VALUES(latest_price), change_percent=VALUES(change_percent), change_amount=VALUES(change_amount), volume=VALUES(volume), turnover=VALUES(turnover);
"""
for stock in stocks_data:cursor.execute(insert_sql, (stock['stock_code'], stock['stock_name'], stock['latest_price'],stock['change_percent'], stock['change_amount'], stock['volume'],stock['turnover'], stock['market_type']))
db.commit()
print(f"成功存储 {len(stocks_data)} 条数据")
cursor.close()
db.close()
运行结果：
Gitee文件夹链接：https://gitee.com/liuxuannn/data-acquistion-and-fusion-practice_-project1/blob/master/作业4/4.1.py
心得体会：
爬取太多次后面就爬不出来有效数据了：先更换网络，然后问了一下大模型怎么样解决反爬的情况，重新添加反爬代码解决这个问题。
数据库表里面无法查看数据：查看时选择了数据筛选窗口，对stock_market.stock_data表的数据进行条件过滤。但筛选条件中的id =后未填写具体数值，导致 SQL 语句不完整查看不了；取消筛选直接查看表数据。
作业2:
要求：熟练掌握 Selenium 查找 HTML 元素、实现用户模拟登录、爬取 Ajax 网页数据、等待 HTML 元素等内容。使用 Selenium 框架+MySQL 爬取中国 mooc 网课程资源信息（课程号、课程名称、学校名称、主讲教师、团队成员、参加人数、课程进度、课程简介）
候选网站：中国 mooc 网：https://www.icourse163.org
输出信息：MYSQL 数据库存储和输出格式
| Id | cCourse | cCollege | cTeacher | cTeam | cCount | cProcess | cBrief |
|---|---|---|---|---|---|---|---|
| 1 | Python数据分析与展示 | 北京理工大学 | 曹天 | 曹天 | 470 | 2020年11月17日 ~ 2020年12月29日 | "我们正步入一个数据或许比软件更重要的新时代。-Tim O'Reilly"…… |
首先根据网页提取每一个需要课程信息的Xpath
核心代码设计逻辑：
核心思路就是手动完成MOOC登录避免反爬问题后，批量遍历课程URL，通过之前提取的Xpath解析每个课程的名称、学校、教师、报名人数等关键信息，然后把这些数据存入MySQL数据库。
核心代码：
点击查看代码
def get_all_teachers():all_teachers = []def get_teachers_from_page():page_teachers = []try:# 定位教师头像元素（通过alt属性获取教师姓名）teacher_items = driver.find_elements(By.XPATH,"//div[@class='m-teachers_teacher-list']//img")for img in teacher_items:name = img.get_attribute("alt") # 从alt属性提取教师姓名if name:page_teachers.append(name)except:passreturn page_teachers
……………………# 课程名称course_name = safe_text('//*[@id="g-body"]/div[1]/div/div/div/div[2]/div[2]/div/div[2]/div[1]/span[1]')# 开课学校名称（从学校logo的alt属性提取）try:school_img = driver.find_element(By.XPATH, '//*[@id="j-teacher"]/div/a/img')school_name = school_img.get_attribute("alt") or ""except:school_name = ""# 教师信息（拆分主讲教师和团队）teacher_list = get_all_teachers()teacher_main = teacher_list[0] if teacher_list else "" # 主讲教师（第一个）teacher_team = "；".join(teacher_list[1:]) if len(teacher_list) > 1 else "" # 教师团队（其余）# 课程简介、进度、报名人数intro = safe_text('//*[@id="j-rectxt2"]') # 课程简介progress = safe_text('//*[@id="course-enroll-info"]/div/div[1]/div[2]/div/span[2]') # 课程进度enroll_num = safe_text('//*[@id="course-enroll-info"]/div/div[1]/div[4]/span[2]') # 报名人数# 课程ID（从URL拆分唯一标识）course_id = url.split("/")[-1]
运行结果：
Gitee文件夹链接：https://gitee.com/liuxuannn/data-acquistion-and-fusion-practice_-project1/blob/master/作业4/4.2.py
心得体会：
最开始爬取的时候没有找到school_name和teacher_term，后来发现学校名字是来自老师头像![]()
的链接，用教室里面的第一位作为teacher_main，剩下的作为teacher_term。
作业3:
要求：（1）掌握大数据相关服务，熟悉 Xshell 的使用.（2）完成文档 华为云_大数据实时分析处理实验手册-Flume 日志采集实验(部分)v2.docx 中的任务。
输出信息：实验关键步骤或结果截图。
一.环境搭建
1.开通mapreduce服务
2.绑定的弹性IP
3.添加安全组规则
二.实时分析开发实战
（一）Python 脚本生成测试数据
（二）配置 Kafka
（三）安装 Flume 客户端
1.安装Flume客户端
2.安装Flume运行环境
3.重启Flume服务
（四）配置 Flume 采集数据
