doris:异常数据处理

在导入过程中，源数据列与目标列的数据类型可能存在不一致的情况。导入过程会对这些类型不一致的数据进行转换，但在转换过程中可能会出现字段类型不匹配、字段超长、精度不匹配等问题，从而导致转换失败。

为了处理这些异常情况，Doris 提供了两个重要的控制参数：

  • 严格模式 (strict_mode)：用于控制是否过滤转换失败的数据行。
  • 最大过滤比例 (max_filter_ratio)：用于设置可容忍的异常数据所占总数据的最大比例。

严格模式​

严格模式具有两个主要功能：

  1. 对导入过程中发生列类型转换失败的数据行进行过滤。
  2. 在部分列更新场景中，限制只能更新已存在的列。

列类型转换失败的过滤策略​

根据严格模式的设置，系统会采取不同的处理策略：

  • 关闭严格模式时：转换失败的字段将被设置为 NULL 值，包含这些 NULL 值的异常数据行会与正确的数据行一起导入。

  • 开启严格模式时：系统会过滤掉转换失败的数据行，仅导入正确的数据行。这里的"转换失败"特指：原始数据非 NULL，但在列类型转换后结果为 NULL 的情况。需要注意的是，这里的列类型转换不包括使用函数计算得到的 NULL 值。

  • 对于 NULL 值的处理：无论是正确的数据行还是异常的数据行都可能包含 NULL 值。如果目标列被定义为不允许 NULL 值，则包含 NULL 值的数据行都会被过滤掉。

1. 以列类型为 TinyInt 来举例：

原始数据类型原始数据举例转换为 TinyInt 后的值严格模式结果
空值\NNULL开启或关闭NULL
非空值"abc" or 2000NULL开启非法值（被过滤）
非空值"abc"NULL关闭NULL
非空值11开启或关闭正确导入

提示

  1. 表中的列允许导入空值

  2. abc 及 2000 在转换为 TinyInt 后，会因类型或精度问题变为 NULL。在严格模式开启的情况下，这类数据将会被过滤。而如果是关闭状态，则会导入 null。

2. 以列类型为 Decimal(1,0) 举例

原始数据类型原始数据举例转换为 Decimal 后的值严格模式结果
空值\Nnull开启或关闭NULL
非空值aaaNULL开启非法值（被过滤）
非空值aaaNULL关闭NULL
非空值1 or 101 or 10开启或关闭正确导入

提示

  1. 表中的列允许导入空值

  2. abc 在转换为 Decimal 后，会因类型问题变为 NULL。在严格模式开启的情况下，这类数据将会被过滤。而如果是关闭状态，则会导入 null。

  3. 10 虽然是一个超过范围的值，但是因为其类型符合 decimal 的要求，所以严格模式对其不产生影响。

限定部分列更新只能更新已有的列​

在严格模式下，部分列更新插入的每一行数据必须满足该行数据的 Key 在表中已经存在。而在非严格模式下，进行部分列更新时可以更新 Key 已经存在的行，也可以插入 Key 不存在的新行。

例如有表结构如下：

CREATE TABLE user_profile
(id               INT,name             VARCHAR(10),age              INT,city             VARCHAR(10),balance          DECIMAL(9, 0),last_access_time DATETIME
) ENGINE=OLAP
UNIQUE KEY(id)
DISTRIBUTED BY HASH(id) BUCKETS 1
PROPERTIES ("enable_unique_key_merge_on_write" = "true"
);

表中有一条数据如下：

mysql> select * from user_profile;
+------+-------+------+----------+---------+---------------------+
| id   | name  | age  | city     | balance | last_access_time   |
+------+-------+------+----------+---------+---------------------+
|    1 | kevin |   18 | shenzhen |     400 | 2023-07-01 12:00:00|
+------+-------+------+----------+---------+---------------------+

当用户使用严格模式的 Insert Into 部分列更新向表中插入上述数据时，由于开启了严格模式且第二、三行的数据的 key((3), (18)) 不在原表中，所以本次插入会失败：

SET enable_unique_key_partial_update=true;
SET enable_insert_strict = true;
INSERT INTO user_profile (id, balance, last_access_time) VALUES
(1, 500, '2023-07-03 12:00:01'),
(3, 23, '2023-07-03 12:00:02'),
(18, 9999999, '2023-07-03 12:00:03');
ERROR 1105 (HY000): errCode = 2, detailMessage = Insert has filtered data in strict mode

当用户使用非严格模式的 Insert Into 部分列更新向表中插入如下数据时：

SET enable_unique_key_partial_update=true;
SET enable_insert_strict = false;
INSERT INTO user_profile (id, balance, last_access_time) VALUES 
(1, 500, '2023-07-03 12:00:01'),
(3, 23, '2023-07-03 12:00:02'),
(18, 9999999, '2023-07-03 12:00:03');

表中原有的一条数据将会被更新，此外还向表中插入了两条新数据。对于插入的数据中用户没有指定的列，如果该列有默认值，则会以默认值填充；否则，如果该列可以为 NULL，则将以 NULL 值填充；否则本次插入不成功。

查询结果如下：

mysql> select * from user_profile;
+------+-------+------+----------+---------+---------------------+
| id   | name  | age  | city     | balance | last_access_time    |
+------+-------+------+----------+---------+---------------------+
|    1 | kevin |   18 | shenzhen |     500 | 2023-07-03 12:00:01 |
|    3 | NULL  | NULL | NULL     |      23 | 2023-07-03 12:00:02 |
|   18 | NULL  | NULL | NULL     | 9999999 | 2023-07-03 12:00:03 |
+------+-------+------+----------+---------+---------------------+

开启严格模式​

严格模式（strict_mode）默认为 False，以下是各种导入方式的设置方法：

Stream Load

curl --location-trusted -u user:passwd \
-H "strict_mode: true" \
-T data.txt \
http://host:port/api/example_db/test_table/_stream_load

Broker Load

LOAD LABEL example_db.label_1
(DATA INFILE("s3://bucket/data.txt")INTO TABLE test_table
)
WITH S3 (...)
PROPERTIES
("strict_mode" = "true"
);

Routine Load

CREATE ROUTINE LOAD example_db.job1 ON test_table
PROPERTIES
("strict_mode" = "true"
)
FROM KAFKA (...);

MySQL Load

LOAD DATA LOCAL INFILE 'data.txt'
INTO TABLE test_table
PROPERTIES
("strict_mode" = "true"
);

Insert Into

SET enable_insert_strict = true;
INSERT INTO test_table ...;

最大过滤比例​

最大过滤比例（max_filter_ratio）是一个重要的导入控制参数，它定义了导入过程中可以容忍的异常数据所占总数据的最大比例。如果实际过滤比例低于设定的最大过滤比例，导入任务将继续执行，异常数据会被忽略；如果超过这个比例，导入任务将失败。

过滤比例计算方法​

  • Filtered Rows 因数据质量不合格而被过滤掉的数据。数据质量不合格包括类型错误、精度错误、字符串长度超长、文件列数不匹配等数据格式问题，以及因没有对应的分区而被过滤掉的数据行。

  • Unselected Rows 这部分为因 前置过滤 或 后置过滤 条件而被过滤掉的数据行。

  • Loaded Rows 被正确导入的数据行。

过滤比例的计算公式为：

#Filtered Rows / (#Filtered Rows + #Loaded Rows)

也就是说 Unselected Rows 不会参与过滤比例的计算。

最大过滤比例设置​

最大过滤比例（max_filter_ratio）默认为 0，表示不允许任何异常数据。以下是各种导入方式的设置方法：

Stream Load

curl --location-trusted -u user:passwd \
-H "max_filter_ratio: 0.1" \
-T data.txt \
http://host:port/api/example_db/my_table/_stream_load

Broker Load

LOAD LABEL example_db.label_1
(DATA INFILE("s3://bucket/data.txt")INTO TABLE test_table
)
WITH S3 (...)
PROPERTIES
("max_filter_ratio" = "0.1"
);

Routine Load

CREATE ROUTINE LOAD example_db.job1 ON test_table
PROPERTIES
("max_filter_ratio" = "0.1"
)
FROM KAFKA (...);

MySQL Load

LOAD DATA LOCAL INFILE 'data.txt'
INTO TABLE test_table
PROPERTIES
("max_filter_ratio" = "0.1"
);

Insert Into

SET insert_max_filter_ratio = 0.1;
INSERT INTO test_table FROM S3/HDFS/LOCAL();

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/pingmian/68590.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

小白爬虫冒险之反“反爬”：无限debugger、禁用开发者工具、干扰控制台...（持续更新）

小白爬虫冒险之反“反爬”：无限debugger、禁用开发者工具、干扰控制台...（持续更新）

背景浅谈 小白踏足JS逆向领域也有一年了，对于逆向这个需求呢主要要求就是让我们去破解**“反爬机制”**，即反“反爬”，脚本处理层面一般都是decipher网站对request设置的cipher，比如破解一个DES/AES加密拿到key。这篇文章先不去谈…
阅读更多...
【Elasticsearch】中数据流需要配置索引模板吗？

【Elasticsearch】中数据流需要配置索引模板吗？

是的，数据流需要配置索引模板。在Elasticsearch中，数据流（Data Streams）是一种用于处理时间序列数据的高级结构，它背后由多个隐藏的索引组成，这些索引被称为后备索引（Backing Indices&#xff0…
阅读更多...
babylon.js-3：了解STL网格模型

babylon.js-3：了解STL网格模型

网格模型上色 本篇文章主要介绍如何在 BabylonJS 中实现STL网格模型上色。 文章目录 网格模型上色运用场景概要延申正文加载器库的支持认识 OBJ 和 STL 文件GUI 色板选择器网格模型异步加载加载动画网格模型上色官方即将弃用 ImportMesh 而推荐使用 ImportMeshAsync 说明OBJ …
阅读更多...
大数据治理实战：架构、方法与最佳实践

大数据治理实战：架构、方法与最佳实践

📝个人主页🌹：一ge科研小菜鸡-CSDN博客 🌹🌹期待您的关注 🌹🌹 1. 引言 大数据治理是确保数据质量、合规性和安全性的重要手段，尤其在数据驱动决策和人工智能应用日益普及的背景下&…
阅读更多...
【时时三省】(C语言基础）文件的随机读写

【时时三省】(C语言基础）文件的随机读写

山不在高，有仙则名。水不在深，有龙则灵。 ----CSDN 时时三省 fseek 根据文件指针的位置和偏移量来定位文件指针 示例： 这个输出的就是ade seek＿cur的意思是从当前偏移量 2就是从a往后偏移两个就是d 偏移量 SEEK＿CUR…
阅读更多...
均方误差（MSE）揭秘：预测模型的“真面目”

均方误差（MSE）揭秘：预测模型的“真面目”

前言 在这个充满数据的世界里，我们需要各种方式来衡量一个模型的表现，尤其在回归问题中，均方误差（MSE）是我们非常常见的“好朋友”。它就像一位忠诚的侦探，默默为我们揭示预测值与实际值之间的真相。今天，让我们一起进入均方误差的世界，看看它是如何用简单却有效的方式…
阅读更多...
yolov5错误更改与相关参数详解（train.py）

yolov5错误更改与相关参数详解（train.py）

1.错误更改 main中相关参数 if __name__ __main__:parser argparse.ArgumentParser()parser.add_argument(--weights, typestr, default, helpinitial weights path)parser.add_argument(--cfg, typestr, defaultmodels/yolov5s.yaml, helpmodel.yaml path)parser.add_arg…
阅读更多...
第4章 基于中点电流的NPC逆变器中点电压平衡策略

第4章 基于中点电流的NPC逆变器中点电压平衡策略

1. 工作原理 1.1 NPC型三电平逆变器工作原理 NPC型三相三电平逆变器有A、B、C三个桥臂，其组成结构是相同的，本章以A相为例，对其工作原理进行分析。开关器件SA1和SA3、SA2和SA4为互补器件，通过控制开关器件的导通和关断状态&#…
阅读更多...
【C++】内联函数inline、关键字auto与新式for

【C++】内联函数inline、关键字auto与新式for

内联函数 内联函数背景 我们在使用C语言中我们都学过函数，我们知道函数在调用的过程中需要开辟栈帧。如果我们需要频繁的调用一个函数，假设我们调用10次Add()函数，那我们就需要建立10次栈帧。我们都知道在栈帧中要做很多事情，例如…
阅读更多...
【深度学习】图像分类数据集

【深度学习】图像分类数据集

图像分类数据集 MNIST数据集是图像分类中广泛使用的数据集之一，但作为基准数据集过于简单。 我们将使用类似但更复杂的Fashion-MNIST数据集。 %matplotlib inline import torch import torchvision from torch.utils import data from torchvision import transfo…
阅读更多...
DeepSeek-R1：多阶段训练提升推理能力

DeepSeek-R1：多阶段训练提升推理能力

标题：DeepSeek-R1：多阶段训练提升推理能力 文章信息摘要： DeepSeek-R1通过结合监督学习与强化学习的多阶段训练方法，显著提升了大型语言模型的推理能力，尤其在处理复杂数学问题时表现优异。该方法克服了纯强化学习模型…
阅读更多...
以创新芯片技术助力科技发展

以创新芯片技术助力科技发展

在当今数字化与智能化浪潮中，芯片作为现代科技的核心，正悄然推动着各个行业的变革。厦门国科安芯科技有限公司专注于高性能芯片的研发与创新，致力于为工业、汽车和商业航天等领域提供高效、可靠的解决方案。以下是国科安芯推出的几款具有代表…
阅读更多...
【MySQL — 数据库增删改查操作】深入解析MySQL的 Retrieve 检索操作

【MySQL — 数据库增删改查操作】深入解析MySQL的 Retrieve 检索操作

Retrieve 检索 示例 1. 构造数据 创建表结构 create table exam1(id bigint, name varchar(20) comment同学姓名, Chinesedecimal(3,1) comment 语文成绩, Math decimal(3,1) comment 数学成绩, English decimal(3,1) comment 英语成绩 ); 插入测试数据 insert into ex…
阅读更多...
Ansible自动化运维实战--通过role远程部署nginx并配置（8/8）

Ansible自动化运维实战--通过role远程部署nginx并配置（8/8）

文章目录 1、准备工作2、创建角色结构3、编写任务4、准备配置文件（金甲模板）5、编写变量6、编写处理程序7、编写剧本8、执行剧本Playbook9、验证-游览器访问每台主机的nginx页面 在 Ansible 中，使用角色（Role）来远程部…
阅读更多...
RNN实现阿尔茨海默症的诊断识别

RNN实现阿尔茨海默症的诊断识别

本文为为🔗365天深度学习训练营内部文章 原作者：K同学啊 一 导入数据 import torch.nn as nn import torch.nn.functional as F import torchvision,torch from sklearn.preprocessing import StandardScaler from torch.utils.data import TensorDatase…
阅读更多...
【新春特辑】2025年春节技术展望：蛇年里的科技创新与趋势预测

【新春特辑】2025年春节技术展望：蛇年里的科技创新与趋势预测

🔥【新春特辑】2025年春节技术展望：蛇年里的科技创新与趋势预测 📅 发布日期：2025年01月29日（大年初一） 在这个辞旧迎新的美好时刻，我们迎来了充满希望的2025年，也是十二生肖中的蛇…
阅读更多...
使用 Docker + Nginx + Certbot 实现自动化管理 SSL 证书

使用 Docker + Nginx + Certbot 实现自动化管理 SSL 证书

使用 Docker Nginx Certbot 实现自动化管理 SSL 证书 在互联网安全环境日益重要的今天，为站点或应用部署 HTTPS 已经成为一种常态。然而，手动申请并续期证书既繁琐又容易出错。本文将以 Nginx Certbot 为示例，基于 Docker 容器来搭建一个…
阅读更多...
C++11新特性之使用using（代替typedef）定义别名

C++11新特性之使用using（代替typedef）定义别名

1.介绍 传统的C使用typedef重定义一个类型存在一些限制&#xff0c;例如无法直接重定义一个模版。如下所示。 template <typename Val> struct str_map {typedef std::map<std::string, Val> type; };str_map<int>::type map1; 需要添加额外的类来实现&…
阅读更多...
编程题-最长的回文子串（中等）

编程题-最长的回文子串（中等）

题目&#xff1a; 给你一个字符串 s&#xff0c;找到 s 中最长的回文子串。 示例 1&#xff1a; 输入&#xff1a;s "babad" 输出&#xff1a;"bab" 解释&#xff1a;"aba" 同样是符合题意的答案。示例 2&#xff1a; 输入&#xff1a;s &…
阅读更多...
maven、npm、pip、yum官方镜像修改文档

maven、npm、pip、yum官方镜像修改文档

文章目录 Maven阿里云网易华为腾讯云 Npm淘宝腾讯云 pip清华源阿里中科大华科 Yum 由于各博客繁杂&#xff0c;本文旨在记录各常见镜像官网&#xff0c;及其配置文档。常用镜像及配置可评论后加入 Maven 阿里云 官方文档 setting.xml <mirror><id>aliyunmaven&l…
阅读更多...
最新文章

Copyright @ 2022~2023