学习进度 10

DataFrame 进阶操作与 WordCount 重构
一、DataFrame 核心进阶操作实操
先拿 “姓名、年龄、城市、薪资” 的 CSV 数据练手，把常用操作过了一遍：
聚合统计：用groupBy("城市").agg(count("*").alias("人数"), avg("薪资").alias("平均薪资"))统计各城市人数和平均薪资，不用像 RDD 那样手动写reduceByKey，函数名直观，还能直接给结果列起别名；
多表关联：新建了一张 “城市 - 省份” 的小表，用df1.join(df2, df1("城市") == df2("城市"), "left")做左关联，和 SQL 的 join 逻辑完全一致，新手不用额外记语法；
排序与去重：df.orderBy(df("薪资").desc()).dropDuplicates(["城市"])按薪资降序排列，再按城市去重，一行代码搞定，比 RDD 的sortBy+distinct组合简洁太多。
试下来发现，DataFrame 的函数封装得特别全，基本的业务统计需求不用手写底层逻辑，效率提升不少。
二、用 DataFrame 重构 WordCount
核心目标是把 RDD 版的 WordCount 改成 DataFrame 版，步骤比想象中简单：
读取文本文件：val df = spark.read.text("file:///D:/Spark/words.txt")，先把文本读成只有一列（value）的 DataFrame；
分词处理：用split函数拆分单词，再用explode扁平化，val wordDF = df.select(explode(split(col("value"), " ")).alias("word"))，这一步替代了 RDD 的flatMap；
过滤空值 + 统计：wordDF.filter(col("word").nonEmpty).groupBy("word").count().orderBy(col("count").desc())，过滤空单词后按单词分组计数，再降序排列。
整个过程没写一行map/flatMap，全靠 DataFrame 的内置函数，代码行数少了一半，可读性也高。跑出来的结果和 RDD 版一致，但写代码的速度快了很多，就是第一次用explode函数时卡了下，查了文档才知道它能把数组拆成多行。
三、今日总结
今天的核心收获是掌握了 DataFrame 的进阶操作，能用它完成常见的结构化数据处理，还重构了经典案例，验证了 DataFrame 的便捷性。