10.14日学习笔记

news/2025/10/14 23:20:15/文章来源:https://www.cnblogs.com/wenbushi-dream/p/19142312
  1. HBase 高级操作
    预分区(Pre-splitting)
    避免初始数据热点,用 HexStringSplit 或自定义算法:
    bash

hbase org.apache.hadoop.hbase.util.RegionSplitter test_table
HexStringSplit -c 10 -f cf1
生成 10 个 Region,起始键 00000000 → ffffffff 均匀分布。
BulkLoad 导入
绕开 WAL 与 MemStore,直接生成 HFile:
bash
hbase org.apache.hadoop.hbase.mapreduce.ImportTsv
-Dimporttsv.columns=HBASE_ROW_KEY,cf1:val
-Dimporttsv.bulk.output=/tmp/hfiles
test_table /user/data.tsv
随后 completebulkload 将 HFile 移交 RegionServer,速率比 Put 高 5–10×。
Filter 组合实战
需求:扫描最近 1 小时内、列 cf1:status=200 且行键前缀 uid_123 的数据。
Java 代码:
java

FilterList fl = new FilterList(MUST_PASS_ALL);
fl.addFilter(new PrefixFilter(Bytes.toBytes("uid_123")));
fl.addFilter(new SingleColumnValueFilter(cf, status, EQUAL, Bytes.toBytes("200")));
fl.addFilter(new TimestampsFilter(Collections.singletonList(
System.currentTimeMillis() - 3600_000)));
scan.setFilter(fl);
注意:TimestampsFilter 只影响返回版本,不减少磁盘扫描;需搭配行键设计把时间放高位才能剪枝。
2. VM 嵌套虚拟化
KVM in VMware
物理机 → VMware Workstation 17 → Ubuntu 22.04 → 再启 KVM 虚拟机。
关键勾选:
处理器设置 → 虚拟化引擎 → Virtualize Intel VT-x/EPT
固件类型 → UEFI(若需 KVM 的 Secure Boot 测试)
性能验证
在第二层 VM 内执行:
bash

egrep -c '(vmx|svm)' /proc/cpuinfo # 输出 ≥1 即成功透传
sudo kvm-ok # 显示 "KVM acceleration can be used"
用 stress-ng 压测:
宿主机 8C16G,第一层 VM 给 4C8G,第二层 KVM 给 2C4G,CPU 损耗约 8%,内存额外开销 3%(EPT 页表)。
快照脚本化
定时备份嵌套环境,PowerShell 批量执行:
powershell

$vms = Get-VM | Where-Object {$_.Name -like "kvm-*"}
foreach ($vm in $vms) {
$snap = "$($vm.Name)-$(Get-Date -Format HHmm)"
New-Snapshot -VM $vm -Name $snap -Quiescent:$true
# 保留最近 3 个快照
Get-Snapshot -VM $vm | Sort-Object -Property Created -Descending |
Select-Object -Skip 3 | Remove-Snapshot -Confirm:$false
}
计划任务每小时一次,磁盘占用 ≈ 增量 2–3 GB/次。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/937148.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

SpringDataElasticsearch聚合实现过滤搜索

SpringDataElasticsearch聚合实现过滤搜索过滤功能分析 整个过滤部分有3块:顶部的导航,已经选择的过滤条件展示:商品分类面包屑 其它已选择过滤参数过滤条件展示,又包含3部分商品分类展示 品牌展示 其它规格参数展…

全局解释器锁(GIL)

2025.10.14 1.全局解释器锁(GIL)在Python中主要影响多线程应用程序的性能,具体表现为限制CPU密集型任务的并行执行能力,因为GIL只允许一个线程同时执行Python字节码,导致无法充分利用多核CPU进行真正并行计算。

How to Speak English with Only 50 Sentences

How to Speak English with Only 50 SentencesWelcome to my channel, Bookish English 2. Today I will show you something real. Last week I met a student who spoke English with only 50 sentences. Sh…

Python 并发编程:concurrent.futures

一、模块简介 concurrent.futures 是 Python 标准库提供的 高级并发接口,用来执行多线程或多进程任务。 特点:简化线程/进程管理;提供统一接口 Executor;支持异步结果 Future 对象;支持任务异常捕获和超时控制。核…

2025/10/14 模拟赛总结 - sb

2025/10/14 模拟赛总结 A. 好冷好热好冷好热 期望得分:100pts 实际得分:100pts 时间分配:10min 简单题 B. 杀戮尖塔 期望得分:100pts 实际得分:100pts 时间分配:50min 树剖是简单的,但是考虑有没有更优秀的做法…

HEAD以及分离头指针

HEAD 是一个对当前检出记录的符号引用 —— 也就是指向你正在其基础上进行工作的提交记录。HEAD 总是指向当前分支上最近一次提交记录。大多数修改提交树的 Git 命令都是从改变 HEAD 的指向开始的。 HEAD 通常情况下是…

git思维导图总结

导图有笔记 https://www.processon.com/view/link/60ab180a5653bb690f73a0fa新建仓库 新建的时候最好有文件 合并分支 merge dev和master分支都有修改的话,使用git log只能看到自己的分支的log git merge dev 当前是在…

Python 并发编程:`concurrent.futures` 模块

一、模块简介 concurrent.futures 是 Python 标准库提供的 高级并发接口,用来执行多线程或多进程任务。 特点:简化线程/进程管理;提供统一接口 Executor;支持异步结果 Future 对象;支持任务异常捕获和超时控制。核…

ZR3365

Sol 不要忽略看上去没用的东西。 不要忽略看上去没用的东西。 不要忽略看上去没用的东西。 显然暴力 \(f_{i}=\sum_{j=1}^i[j*(i-j+1)\le i]f_{j-1}f_{i-j}\binom{i-1}{j-1}\)。 假设 \(j-1\le i-j\),\(j-1>i-j\) …

记一次因对象构造顺序引发的踩内存问题

记一次因对象构造顺序引发的踩内存问题 背景与现象 template<typename T> struct range_reader {range_reader(const T &low_bound, const T &upper_bound): low_(low_bound), high_(upper_bound){}T op…

恒流电路的震荡问题

背景:需要设计一个300mA内可调恒流源用于LED灯的驱动,最高工作电压6V;PCB空间非常有限。 以现成物料搭建恒流电路,用单级运放加MOS管3400,反馈回路直连。项目选用的MCU自带DAC输出,给设计上带来很大的方便。如下…

六维力传感器材质选择:影响性能与精度的关键因素 - 实践

六维力传感器材质选择:影响性能与精度的关键因素 - 实践pre { white-space: pre !important; word-wrap: normal !important; overflow-x: auto !important; display: block !important; font-family: "Consolas…

CSharp: Aspose.CAD 25.10 Convert DWG and DXF to PDF

/// <summary>/// geovindu, Geovin Du,塗聚文,涂聚文/// </summary>/// <param name="sender"></param>/// <param name="e"></param>protected void Pag…

vtk学习——Pipeline

Pipeline 可视化管线是指用于获取或创建数据、处理数据以及把数据写入文件或者把数据传递给渲染引擎进行显示,这样的一种结构在 VTK 里就称为可视化管线。数据对象(Data Object)、处理对象(Process Object)和数据…

长沙四大名校x东方project

本人(KK_SpongeBob)蒟蒻,写不出好文章,但转载请注明原文链接:https://www.cnblogs.com/OIer-QAQ/p/19142154

Rust 的英文数字验证码识别系统设计与实现

一、引言 验证码(Completely Automated Public Turing test to tell Computers and Humans Apart, CAPTCHA)是区分人类与自动程序的重要技术手段。 随着 OCR 与深度学习的普及,传统验证码逐渐面临被机器识别的风险。…

IOS开发 - UIViewController 界面控制基类解析

UIViewController 是什么UIViewController 就是 iPhone 每个界面的“总管”,它负责这个界面怎么显示、怎么动、点按钮后干啥。类比解析:假设开一个演唱会演唱会元素 在 iOS 中对应舞台(观众能看到的地方) UIView(…

SpringBoot运维实用篇(YW-1.SpringBoot程序的打包与运行,YW-2.配置高级,YW-3.多环境开发,YW-4.日志) - a

SpringBoot运维实用篇 目录SpringBoot运维实用篇YW-1.SpringBoot程序的打包与运行程序打包程序运行SpringBoot程序打包失败处理命令行启动常见问题及解决方案SpringBoot项目快速启动(Linux版)YW-2.配置高级YW-2-1.临…

CSP-S模拟31

CSP-S模拟31 A. 远征 (expedition) 简单题,直接大力 \(O(nV)\) 预处理 对于每个数每个位置 记录这个数下一个会被更改的位置。 查询直接跳即可,复杂度是 \(O(\log V)\) Code: #include<bits/stdc++.h>using n…

matlab 2025b + adalm-pluto 链接测试

matlab 2025b + adalm-pluto 链接测试1、matlab 菜单栏 → 获取硬件支持包→搜索 pluto , 点进去进行安装,并安装驱动, 我这里已安装 2、点击 上面 截图 中的 已安装 对应 的图标, 进入界面, 点击 管理 3、 …