又是一年 1024

    今天是 1024 程序员节,现在是一名大数据讲师,我和往常一样,依旧在讲课中度过。对于很多程序员来说,这一天也许是属于代码、调试和无数行 SQL 查询的,而对于我来说,虽然工作内容不同,却也和数据、代码息息相关。

    今天的课堂上,我带学生们讨论了数据处理中的几个常见问题,比如kettle 循环 ,kettle 变量 , 比如 kettle 怎么连接  hive 处理。

还学习的hive 元数据的作用

SELECT * FROM metastore  .DBS---存数据库
SELECT * FROM metastore.TBLS    ---存数据库的表
SELECT * FROM metastore.COLUMNS_V2 cv  ---表字段
SELECT * FROM metastore.SDS s ---表字段 存在哪里 
-----------------------------------------------------------------
SELECT * FROM metastore.PARTITIONS p --分区的基本信息
SELECT * FROM metastore.PARTITION_KEYS pk --分区的字段信息
SELECT * FROM metastore.PARTITION_KEY_VALS pkv ---分区的字段的值
SELECT * FROM metastore.PARTITION_PARAMS pp ---分区的属性
-----------------------------------------------------------------

看着学生们在操作台上自行操作、解决问题我不禁想起自己当初作为程序员时的经历——那种面对成千上万行数据的挑战,偶尔的卡顿和偶尔的PUA,和经常加班。也让我想起来了曾经看过的一本书《疯狂的程序员》 ,2008 出版 也是曾经的 CSDN 明星博主,可惜了有一些事情是一辈子都不能干,大家有空还是可以看看挺有意思。比如:“DOS”就是“Disk Operating System”,磁盘操作系统。“TMD”是“战区导弹防御系统”,“NMD”是“国家导弹防御系统”。比如:什么程序优化啊,都抵不上有钱,有钱就是最好的优化。说什么“效率就是金钱”,其实“金钱就是效率”。

这本书让我想起的以前在京东的日子 ,那些没日没夜的加班也是没啥了。所以有的时候痛并快乐着。程序员已经是构建现代数字社会的基石,编写的代码、设计的系统,影响着亿万人的生活。从数据隐私到人工智能决策,从自动驾驶技术到医疗诊断系统,小到蓝牙耳机,大到火箭飞机都有程序员的心情付出。但除了技术的提升, 思想品德,道德伦理更重要。我也经常和学生们说了数据隐私的重要性。因为每天处理着大量的用户数据,这些数据可能涉及个人身份、财务信息,甚至隐私敏感信息。如何在开发应用时确保用户的隐私得到保护,是开发人员,数据工程师必须面对的伦理挑战。我们不仅要遵守法律法规,更要在设计和开发阶段主动思考如何加强安全措施,避免数据泄露。如 《网络安全法》,《数据安全法》《个人信息保护法》,建议大家都需要学习,也可以少走很多弯路 。

另外 有幸参加了 10 月 19 日上海 CSDN 举办的程序员节活动,收获满满。活动中,我学习了关于 RAG(Retrieval-Augmented Generation)以及产品经理的一些最新技术知识,这些内容不仅让我对新技术的应用有了更深入的理解,也让我看到了技术创新的广阔前景。

让我感触最深的,除了学习到的新知识,还有现场那些大一新生们的激情和努力。我们在活动中实操了一个嵌入式蓝牙耳机的项目,感觉已经更不上大学生的节奏了,真的都很厉害,他们虽然刚刚步入大学,却展现出对编程和技术强烈的好奇心,令我钦佩。在这个充满机遇与挑战的时代,看到这些年轻人奋发图强,不禁让我回想起自己刚入行时的那份激情。

在活动中,我也认识了其他的 CSDN 博主,作为一名大数据讲师,这样的机会让我不仅可以分享自己的教学经验,还能从其他技术人身上获得新的启发。

总的来说,这次活动不仅让我拓宽了视野,还加深了我对行业发展的理解,也让我更加坚信,无论是讲师还是程序员,都要不断学习和进步,紧跟技术的脚步。

最后分享一张1024程序员节图 

最后,愿每一位程序员都能在职业生涯中找到热爱与使命,创造出改变世界的作品!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/57587.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Python 实现日期计算与日历格式化输出

目录 一、引言 二、需求分析 三、实现思路 四、代码实现 五、代码分析 六、测试与验证 七、总结与展望 在日常的编程中,我们经常会遇到与日期相关的问题,比如计算两个日期之间的天数差、确定某个特定日期是星期几以及格式化输出日历等。本文将详细…

内存映射实例

mmap()函数可以将内存的一块地址空间映射到进程空间的指定地址中。 同样的也可以利用其开启一块共享的内存空间。&#xff08;与malloc类似&#xff09; 开启一个子进程&#xff0c;与父进程利用mmap共同管理一块内存空间。 #include<stdlib.h> #include<sys/mman.h&…

软考算法——线性表、栈和队列、串、数组、矩阵和广义表

软考算法&#xff08;一&#xff09; 线性表定义顺序表单链表循环链表双向链表 性能分析线性表插入删除操作 栈和队列栈队列循环队列 串、数组、矩阵和广义表串串的基本操作串的存储结构 数组数组的存储地址计算 矩阵——稀疏矩阵上三角矩阵下三角矩阵 广义表 线性表 定义 线性…

设置K8s管理节点异常容忍时间

说明 每个节点上的 kubelet 需要定时向 apiserver 上报当前节点状态&#xff0c;如果两者间网络异常导致心跳终端&#xff0c;kube-controller-manager 中的 NodeController 会将该节点标记为 Unknown 或 Unhealthy&#xff0c;持续一段时间异常状态后 kube-controller-manage…

centos7安装升级cmake

一&#xff0c;移除旧版本 yum remove cmake -y 二&#xff0c;下载安装 wget https://cmake.org/files/v3.25/cmake-3.25.3.tar.gz tar xvf cmake-3.25.3.tar.gz cd cmake-3.25.3 ./bootstrap --prefix/usr/local/cmake make make install 三&#xff0c;创建软连接 ln -s …

软考——计算机网络概论

文章目录 &#x1f550;计算机网络分类1️⃣通信子网和资源子网2️⃣网络拓扑结构3️⃣ 计算机网络分类3&#xff1a;LAN MAN WAN4️⃣其他分类方式 &#x1f551;OSI 和 TCP/IP 参考模型1️⃣OSI2️⃣TCP/IP&#x1f534;TCP/IP 参考模型对应协议 3️⃣OSI 和 TCP/IP 模型对应…

AUTOSAR_EXP_ARAComAPI的6章笔记(4)

☞返回总目录 相关总结&#xff1a;《AUTOSAR 自适应应用中原始数据流传输的使用方法》总结 6.4 原始数据流传输的使用方法 本章描述了原始数据流&#xff08;RawDataStreams&#xff09;在 AUTOSAR 自适应应用程序中的使用方法。 目前&#xff0c;原始数据流传输在单播 / …

WSL2-轻量级AI训练场景最佳生产环境

WSL2 只适用于 Win 10 、Win11 在运行 AI 软件、AI 模型训练&#xff0c;Linux 是最佳的操作系统。 在运行各种软件&#xff0c;如&#xff1a;Stable Diffusion Web UI 等&#xff0c;使用 Docker 容器运行也更方便后期的快速复用&#xff0c;同样的 Docker 容器在 Linux 中…

基于springboot的网上服装商城推荐系统的设计与实现

基于springboot的网上服装商城推荐系统的设计与实现 开发语言&#xff1a;Java 框架&#xff1a;springboot JDK版本&#xff1a;JDK1.8 服务器&#xff1a;tomcat7 数据库&#xff1a;mysql 5.7 数据库工具&#xff1a;Navicat11 开发软件&#xff1a;idea 源码获取&#xf…

安灯系统助力汽车零部件工厂快速解决生产异常

在汽车零部件制造领域&#xff0c;高效的生产管理和快速解决异常情况是确保产品质量和生产进度的关键。而安灯系统的应用&#xff0c;正为汽车零部件工厂带来了全新的变革&#xff0c;助力其快速解决生产异常。 汽车零部件工厂的生产报工产线看板直观地反映出生产的各项关键数据…

富格林:曝光有利追损操作方式

富格林指出&#xff0c;现货黄金交易从曝光其交易时间灵活、可双向交易等交易优势以来便深受投资者的关注&#xff0c;但其交易风险也不容小觑。与大多数投资交易相似&#xff0c;现货黄金交易也同样会面临要追损的情况。事实上&#xff0c;追损的最好方式学会正确交易合理止损…

基于SpringBoot的“心灵治愈交流平台”的设计与实现(源码+数据库+文档+PPT)

基于SpringBoot的“心灵治愈交流平台”的设计与实现&#xff08;源码数据库文档PPT) 开发语言&#xff1a;Java 数据库&#xff1a;MySQL 技术&#xff1a;SpringBoot 工具&#xff1a;IDEA/Ecilpse、Navicat、Maven 系统展示 系统功能界面图 登录、用户注册界面图 心灵专…

Dockerfile + docker-compose 构建java镜像并运行服务

&#x1f3dd;️ 博主介绍 大家好&#xff0c;我是一个搬砖的农民工&#xff0c;很高兴认识大家 &#x1f60a; ~ &#x1f468;‍&#x1f393; 个人介绍&#xff1a;本人是一名后端Java开发工程师&#xff0c;坐标北京 ~ &#x1f389; 感谢关注 &#x1f4d6; 一起学习 &…

使用flask构建一个简单的文件同步系统

使用Python构建文件同步系统&#xff1a;步骤指南 在当今互联网时代&#xff0c;能够在本地机器和远程服务器之间同步文件的能力变得至关重要。无论是备份重要文档、与团队成员共享大文件&#xff0c;还是在多个设备间保持数据一致性&#xff0c;一个强大的文件同步系统都能发…

【有啥问啥】智能座舱中的儿童遗留检测(CPD,Child Presence Detection)技术详解

智能座舱中的儿童遗留检测&#xff08;CPD&#xff0c;Child Presence Detection&#xff09;技术详解 引言 儿童遗留检测&#xff08;CPD&#xff0c;Child Presence Detection&#xff09;系统是一项旨在保护儿童免受因被遗忘在车内而导致的热中暑危险的重要安全技术。近年…

HCIP-HarmonyOS Application Developer 习题(十五)

&#xff08;判断&#xff09;1、在HarmonyOs中发布带权限公共事件&#xff0c;发布者首先要在config.json中申请所需的权限。 答案&#xff1a;正确 分析&#xff1a;发布携带权限的公共事件&#xff1a;构造CommonEventPublishInfo对象&#xff0c;设置订阅者的权限。 &#…

基于pytorch搭建CNN

先上代码 import torch import torch.nn as nn import torch.optim as optim import torch.nn.functional as F from torchvision import datasets, transforms import matplotlib.pyplot as plt import numpy as np import pandas as pd import matplotlibmatplotlib.use(tkA…

书生营 L0G4000 玩转HF/魔搭/魔乐社区

模型下载 在codespace上给环境装包&#xff0c;按照教材即可 运行后下载成功 建立下载json文件 新建下载internlm2_5-chat-1_8b的json文件 运行结果 基本上没啥问题&#xff0c;照着教程来就行 模型上传&#xff08;可选&#xff09; push的时候需要先认证token 最后的…

代码随想录:59. 螺旋矩阵 II

59. 螺旋矩阵 II x,y记录当前位置&#xff0c;b记录外层有多宽走完了。 接着模拟就行。向右向下向左向上四个方向一直走&#xff0c;直到不能走为止换方向。 注意换方向之间调整一下x,y的位置 class Solution {public int[][] generateMatrix(int n) {int answer[][]new int[…

vue使用 jsplumb 生成流程图

1、安装jsPlumb&#xff1a; npm install jsplumb 2、 在使用的 .vue 文件中引入 import { jsPlumb } from "jsplumb"; 简单示例&#xff1a; 注意&#xff1a;注意看 id 为"item-3"和"item-9"那条数据的连线配置 其中有几个小图片&#x…