数据结构课程设计（三）构建决策树

3 决策树

3.1 需求规格说明

【问题描述】

ID3算法是一种贪心算法，用来构造决策树。ID3算法起源于概念学习系统（CLS），以信息熵的下降速度为选取测试属性的标准，即在每个节点选取还尚未被用来划分的具有最高信息增益的属性作为划分标准，然后继续这个过程，直到生成的决策树能完美分类训练样例。

具体方法是：从根结点开始，对结点计算所有可能的特征的信息增益，选择信息增益最大的特征作为结点的特征，由该特征的不同取值建立子结点；再对子结点递归的调用以上方法，构建决策树；知道所以特征的信息增益均很小或没有特征可以选择为止。

参考论文：Quinlan J R. Induction of Decision Trees[J]. Machine Learning, 1986, 1(1): 81-106.

参考资料：决策树—ID3、C4.5、CART_决策树流程图-CSDN博客

【数据说明】

DT_data.csv为样本数据，共14条记录。每一条记录共4维特征，分别为Weather（天气）, Temperature（温度）,Humidity（湿度）,Wind（风力）;其中Date（约会）为标签列。

【基本要求】（60%）

（1）根据样本数据，建立决策树。

（2）输入测试数据，得到预测是否约会（yes/no）。

【提高要求】（40%）

（1）对决策树（ID3）中特征节点分类选择指标（信息增益）进行优化，选择信息增益率作为决策树(C4.5)中特征节点分类指标，。

决策树(C4.5)及信息增益率参考资料：数据挖掘--决策树C4.5算法（例题）_c4.5算法例题-CSDN博客

3.2 总体分析与设计

（1）设计思想

①存储结构

在决策树的实现中，我采用了以下存储结构：

样本数据结构（Sample）：定义了一个结构体Sample来存储每个样本的特征和标签。特征包括天气（Weather）、温度（Temperature）、湿度（Humidity）和风力（Wind），标签为约会结果（Date），表示为yes或no。

决策树节点结构（TreeNode）：定义了结构体TreeNode来表示决策树的节点。每个节点包含一个属性（attribute），用于分裂的属性名；一个分支映射（branches），存储该属性不同取值对应的子节点；以及一个标签（label），表示叶子节点的分类结果。

决策树类（DecisionTree）：定义了一个类DecisionTree，包含根节点（root）和算法类型（algorithmType）。该类提供构建决策树（buildTree）、预测（predict）和可视化（visualizeTree）等方法。

②主要算法思想

决策树的构建主要基于ID3和C4.5算法。这两种算法都是利用信息增益或信息增益率作为属性选择的标准，递归地构建决策树，直到所有样本都能被正确分类或者没有更多的属性可以用来进一步分裂。

ID3算法：以信息熵的下降速度为选取测试属性的标准，选择信息增益最大的属性进行分裂。

C4.5算法：在ID3的基础上进行了优化，使用信息增益率来选择属性，以减少属性值中某个类别占比过大时的影响。

（2）设计表示

决策树构建的UML类图如图3.2-1所示。

图3.2-1 程序UML类图

这里Question_3类主要是为了读取数据并预生成标签列，而Decision类则主要进行的是决策树的构建以及其可视化的工作。

（3）详细设计表示

决策树构建的程序流程图如图3.2-2所示。

图3.2-2 决策时实现流程图

该程序的流程步骤如下所示：

1.初始化：构造函数中初始化根节点和算法类型。

2.属性选择：计算每个属性的信息增益或信息增益率，并选择最佳属性。

3.节点分裂：根据选择的属性值分裂节点，递归构建子树。

4.叶子节点生成：当所有样本属于同一类别或没有更多属性时，生成叶子节点。

5.预测：从根节点开始，根据样本的特征值递归查找对应的分支，直到到达叶子节点，得到预测结果。

6.可视化：递归遍历决策树，使用QT的GraphicsView控件实现绘制节点和分支，展示决策树结构。

由于本题中，采取了两种不同的算法，故这里我还绘制了构建决策树的流程图，如图3.2-3所示。

图3.2-3 构建决策树流程图

3.3 编码

【问题1】：在生成决策树和剪枝的时候指针容易丢失的问题

【解决方法】：在解决生成决策树中指针容易丢失的问题时，首先需要确保正确管理内存。动态分配内存时，使用new关键字进行分配，而在不再需要时使用delete进行释放。此外，释放内存后，将指针设置为nullptr，以避免野指针问题。另一方面，在实际调试过程中，通过手动绘图，监控指针指向，保证生成决策树和剪枝时要逻辑合理。反复调试保证代码正确。

【问题2】：树的结点只记录了属性，无法获取结点的特征属性，可视化效果较差

【解决方法】：使用map存储该结点的特征属性和特征属性取值，每个结点存储上一层分类的值以及下一层分类的最优属性，通过存储上一层分类的值，我们可以了解节点的父节点是什么，从而构建出完整的树形结构。而下一层分类的最优属性则可以帮助我们了解节点的子节点应该具备哪些特征，以便进一步展开子节点。在此基础上，完成树结构的绘制，实现可视化，能清晰明了的告诉用户在哪种情况下最有可能去约会。

3.4 程序及算法分析

①使用说明

打开程序后，即可出现初始化程序样式，如图3.4-1所示。

图3.4-1 初始化程序

接下来，可以点击相应的算法，并点击“选择CSV文件”将提供的测试CSV输入并进行训练，此时程序会调用visualizeTree函数会将训练结果同步可视化到界面中显示，如图3.4-2所示。

图3.4-2 选择决策树训练集文件

这里我应用了ID3算法为例子，选择不同的选项后，再点击“分析结果”即可得到相应的输出结果，如图3.4-3所示。

图3.4-3 输出结果

同样，如果选择“C45”算法则会调用C45算法进行决策树的构建，这里需要说明的是C4.5算法和ID3算法的一个显著差异就是应用了信息熵增益率来取代信息熵增益，这样可以显著消除众数分布的影响，并且C45算法所构建的决策树样式也是和ID3算法有较大差异的，如图3.4-4所示。

图3.4-4 决策树构建差别

而应用C4.5算法进行预测时显然会得到更加精确的预测结果，如图3.4-5所示。

图3.4-5 C4.5算法预测结果

3.5 小结

决策树是一种常用的监督学习算法，主要用于分类和回归问题。它的每个内部节点代表一个属性或特征，每个分支代表一个决策规则，每个叶节点则代表一个结果或决策。决策树的优点在于它的模型结果易于理解和解释，因为决策过程类似于人类的决策过程。此外，它需要的数据预处理较少，不需要进行归一化或标准化，且可以处理数值和分类数据。

在ID3算法中，我通过计算信息增益来选择最佳属性进行节点分裂。信息增益是衡量属性对于分类结果的信息量的增加程度，它帮助我们确定哪个属性最能减少分类的不确定性。然而，我发现单一地使用信息增益作为分裂标准有时会导致选择偏向于那些值较多的属性。为了改进这一问题，我在C4.5算法中引入了信息增益率。这一改进让我更加全面地考虑了属性的选择。信息增益率不仅考虑了信息增益的大小，还考虑了分裂信息值的大小。这样，算法在选择分裂属性时，能够更准确地衡量分裂后的信息量变化。而在实现ID3和C4.5决策树算法的过程中，我遇到了许多困难。决策树的复杂性不在算法逻辑上，而是涉及到对数据结构的深入理解。指针的正确使用对于决策树的构建至关重要，一旦出错，可能会导致树的结构混乱或内存泄漏。最棘手的是指针丢失问题。在动态构建决策树时，我经常遇到指针指向无效内存地址或未初始化的情况。为了解决这个问题，我仔细检查了内存管理代码，并确保在使用指针之前进行了正确的初始化。同时，我也加强了对new和delete操作符的使用，确保正确地分配和释放内存。

但是本题程序还有待改进，比如绘制时的标记与结点图案重合的情况，我还需要进一步详细的处理。而且未讨论如何处理连续数值型数据以构建更精确的决策树，例如引入CART算法更好地处理连续属性。当然，算法都是有缺陷的，需要针对不同的问题选择最适用的算法才能将问题解决，同时优化算法的工作也需要继续努力完成。

3.6 附录

//决策树构建
// 构造函数
DecisionTree::DecisionTree(AlgorithmType algoType) : root(nullptr), algorithmType(algoType) {}
// 析构函数
DecisionTree::~DecisionTree() {freeTree(root);
}
// 释放内存
void DecisionTree::freeTree(TreeNode* node) {if (!node) return;for (auto& branch : node->branches) {freeTree(branch.second);}delete node;
}
// 计算信息熵
double DecisionTree::calculateEntropy(const std::vector<Sample>& samples) const {std::map<std::string, int> labelCount;for (const auto& sample : samples) {labelCount[sample.date]++;}double entropy = 0.0;int total = samples.size();for (const auto& pair : labelCount) {double p = static_cast<double>(pair.second) / total;entropy -= p * log2(p);}return entropy;
}
// 按属性分组
std::map<std::string, std::vector<Sample>> DecisionTree::splitByAttribute(const std::vector<Sample>& samples, const std::string& attribute) const {std::map<std::string, std::vector<Sample>> groups;for (const auto& sample : samples) {std::string value;if (attribute == "Weather") value = sample.weather;if (attribute == "Temperature") value = sample.temperature;if (attribute == "Humidity") value = sample.humidity;if (attribute == "Wind") value = sample.wind;groups[value].push_back(sample);}return groups;
}
// 计算信息增益
double DecisionTree::calculateGain(const std::vector<Sample>& samples, const std::string& attribute) const {auto groups = splitByAttribute(samples, attribute);double totalEntropy = calculateEntropy(samples);double weightedEntropy = 0.0;int totalSamples = samples.size();for (const auto& pair : groups) {double p = static_cast<double>(pair.second.size()) / totalSamples;weightedEntropy += p * calculateEntropy(pair.second);}return totalEntropy - weightedEntropy;
}
//计算分裂信息
double DecisionTree::calculateSplitInfo(const std::vector<Sample>& samples, const std::string& attribute) const {auto groups = splitByAttribute(samples, attribute);double splitInfo = 0.0;int totalSamples = samples.size();for (const auto& pair : groups) {double p = static_cast<double>(pair.second.size()) / totalSamples;if (p > 0) {splitInfo -= p * log2(p);}}return splitInfo;
}
//计算信息增益率
double DecisionTree::calculateGainRatio(const std::vector<Sample>& samples, const std::string& attribute) const {double gain = calculateGain(samples, attribute);double splitInfo = calculateSplitInfo(samples, attribute);// 避免分母为0if (splitInfo == 0) return 0.0;return gain / splitInfo;
}
// 构建决策树
TreeNode* DecisionTree::buildTree(const std::vector<Sample>& samples, const std::set<std::string>& attributes) {// 如果样本全属于一个类别std::string firstLabel = samples.front().date;bool allSame = std::all_of(samples.begin(), samples.end(), [&firstLabel](const Sample& s) {return s.date == firstLabel;});if (allSame) {TreeNode* leaf = new TreeNode();leaf->label = firstLabel;return leaf;}// 如果没有剩余属性if (attributes.empty()) {TreeNode* leaf = new TreeNode();std::map<std::string, int> labelCount;for (const auto& sample : samples) {labelCount[sample.date]++;}leaf->label = std::max_element(labelCount.begin(), labelCount.end(),[](const auto& a, const auto& b) {return a.second < b.second;})->first;return leaf;}// 选择最佳属性double maxMetric = -1;std::string bestAttribute;for (const auto& attr : attributes) {double metric;if (algorithmType == ID3) {metric = calculateGain(samples, attr); // ID3 使用信息增益}else {metric = calculateGainRatio(samples, attr); // C4.5 使用信息增益率}if (metric > maxMetric) {maxMetric = metric;bestAttribute = attr;}}// 创建当前节点TreeNode* node = new TreeNode();node->attribute = bestAttribute;// 按最佳属性划分auto groups = splitByAttribute(samples, bestAttribute);std::set<std::string> remainingAttributes = attributes;remainingAttributes.erase(bestAttribute);for (const auto& pair : groups) {node->branches[pair.first] = buildTree(pair.second, remainingAttributes);}return node;
}
// 预测
std::string DecisionTree::predict(const Sample& sample, TreeNode* node) const {if (node->label != "") return node->label;std::string value;if (node->attribute == "Weather") value = sample.weather;if (node->attribute == "Temperature") value = sample.temperature;if (node->attribute == "Humidity") value = sample.humidity;if (node->attribute == "Wind") value = sample.wind;auto it = node->branches.find(value);if (it != node->branches.end()) {return predict(sample, it->second);}return "Unknown";
}
// 可视化决策树
void DecisionTree::visualizeTree(QGraphicsScene* scene, TreeNode* node, int x, int y, int dx, int dy) const {if (!node) return;// 节点样式int nodeRadius = 20; // 节点半径QColor nodeColor = node->label.empty() ? Qt::yellow : Qt::green; // 叶子节点用绿色，非叶子用黄色QGraphicsEllipseItem* ellipse = scene->addEllipse(x - nodeRadius, y - nodeRadius, nodeRadius * 2, nodeRadius * 2, QPen(Qt::black), QBrush(nodeColor));// 节点文字QGraphicsTextItem* text = scene->addText(QString::fromStdString(node->label.empty() ? node->attribute : node->label));text->setDefaultTextColor(Qt::black);text->setFont(QFont("Arial", 10, QFont::Bold));text->setPos(x - text->boundingRect().width() / 2, y - text->boundingRect().height() / 2);// 如果是叶子节点，终止递归if (!node->label.empty()) return;// 动态调整分支间距int childCount = static_cast<int>(node->branches.size());if (childCount == 0) return;int totalWidth = (childCount - 1) * dx; // 子节点总宽度int startX = x - totalWidth / 2;       // 子节点起始位置// 遍历子节点，绘制分支线和递归调用int index = 0;for (const auto& branch : node->branches) {int childX = startX + index * dx; // 子节点X坐标int childY = y + dy;              // 子节点Y坐标// 绘制分支线QGraphicsLineItem* line = scene->addLine(x, y + nodeRadius, childX, childY - nodeRadius, QPen(Qt::black, 2));// 绘制分支文字QGraphicsTextItem* branchText = scene->addText(QString::fromStdString(branch.first));branchText->setDefaultTextColor(Qt::darkGray);branchText->setFont(QFont("Arial", 10));branchText->setPos((x + childX) / 2 - branchText->boundingRect().width() / 2,(y + childY) / 2 - branchText->boundingRect().height() + 30);// 递归绘制子节点visualizeTree(scene, branch.second, childX, childY, dx / 2, dy);++index;}
}

项目源代码：Data-structure-coursework/3/Question_3 at main · CUGLin/Data-structure-courseworkhttps://github.com/CUGLin/Data-structure-coursework/tree/main/3/Question_3https://github.com/CUGLin/Data-structure-coursework/tree/main/3/Question_3

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/894520.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Vue3学习笔记-事件-4

Vue3学习笔记-事件-4

一、事件处理 使用v-on或者后面加事件&#xff1a; <template><button v-on:click"addCount()">{{count}}</button> </template> 二、事件传参 传event&#xff1a; 不传参时&#xff0c;默认自动接收 event 传自定义参数时&#xff0c…
阅读更多...
Node.js下载安装及环境配置

Node.js下载安装及环境配置

目录 一、下载 1. 查看电脑版本&#xff0c;下载对应的安装包 2. 下载路径下载 | Node.js 中文网 二、安装步骤 1. 双击安装包 2. 点击Next下一步 3. 选择安装路径 4. 这里我选择默认配置&#xff0c;继续Next下一步&#xff08;大家按需选择&#xff09; 5. 最后inst…
阅读更多...
k8s二进制集群之ETCD集群证书生成

k8s二进制集群之ETCD集群证书生成

安装cfssl工具配置CA证书请求文件创建CA证书创建CA证书策略配置etcd证书请求文件生成etcd证书 继续上一篇文章《负载均衡器高可用部署》下面介绍一下etcd证书生成配置。其中涉及到的ip地址和证书基本信息请替换成你自己的信息。 安装cfssl工具 下载cfssl安装包 https://github…
阅读更多...
使用python实现与本地ollama部署的deepseek对话

使用python实现与本地ollama部署的deepseek对话

专栏总目录 按照ollama官方doc的example操作&#xff0c;没有成功与本地ollama上的deepseek-r1:1.5b通讯后&#xff0c;发现vscode可以调用本地ollama上的deepseek模型。 为了实现与ollama上的deepseek模型通讯&#xff0c;我使用wireshark对本地回环地址进行侦听后&#xff0c…
阅读更多...
【大模型理论篇】最近大火的DeepSeek-R1初探系列1

【大模型理论篇】最近大火的DeepSeek-R1初探系列1

1. 背景介绍 这一整个春节&#xff0c;被DeepSeek-R1刷屏。各种铺天盖地的新闻以及老板发的相关信息&#xff0c;着实感受到DeepSeek-R1在国外出圈的震撼。 DeepSeek推出了新的推理模型&#xff1a;DeepSeek-R1-Zero 和 DeepSeek-R1。DeepSeek-R1-Zero 是一个在没有经过监督微调…
阅读更多...
C++哈希表深度解析：从原理到实现，全面掌握高效键值对存储

C++哈希表深度解析：从原理到实现，全面掌握高效键值对存储

目录 一、核心组件与原理 1. 哈希函数&#xff08;Hash Function&#xff09; 2. 冲突解决&#xff08;Collision Resolution&#xff09; 3. 负载因子&#xff08;Load Factor&#xff09;与扩容 二、C实现&#xff1a;std::unordered_map 1. 模板参数 2. 关键操作与复…
阅读更多...
Pandoc, Zotero, JabRef 管理论文引用，生成参考文献 | 撰写论文 paper

Pandoc, Zotero, JabRef 管理论文引用，生成参考文献 | 撰写论文 paper

书接上回&#xff0c;使用 Obsidian, Zotero, JabRef, Pandoc, Markup-Markdown | 撰写论文 paper 管理论文引用&#xff0c;生成参考文献 TL; DR导出 bibliography 文件JabRefZotero 参考文献引用语法reference-docLinks TL; DR 安装 pandoc v3.6.2. 使用一下命令&#xff0c…
阅读更多...
为AI聊天工具添加一个知识系统 之85 详细设计之26 批流一体式 与数据提取器

为AI聊天工具添加一个知识系统 之85 详细设计之26 批流一体式 与数据提取器

Q843、批流一体式 统一数据处理框架 "批流一体式统一数据处理框架" 这一概念通常指的是一种将批处理&#xff08;Batch Processing&#xff09;和流处理&#xff08;Stream Processing&#xff09;结合在一起的数据处理架构。它的目标是提供一个统一的框架&#xff…
阅读更多...
深入理解 `box-sizing: border-box；`：CSS 布局的利器

深入理解 `box-sizing: border-box；`：CSS 布局的利器

深入理解 box-sizing: border-box;&#xff1a;CSS 布局的利器 默认行为示例代码 使用 box-sizing: border-box;示例代码 全局应用 box-sizing: border-box;示例代码 实际应用场景1. 表单布局2. 网格布局 总结 在 CSS 中&#xff0c;box-sizing 属性决定了元素的总宽度和高度是…
阅读更多...
CSDN原力值提升秘籍：解锁社区活跃新姿势

CSDN原力值提升秘籍：解锁社区活跃新姿势

在 CSDN 这个技术交流的大舞台上&#xff0c;原力值不仅是个人活跃度的象征&#xff0c;更是开启更多权益与福利的钥匙。最近&#xff0c;我出于自身需求&#xff0c;一头扎进了提升原力值的研究中&#xff0c;经过多方探索与资料整理&#xff0c;现在就迫不及待地把这些干货分…
阅读更多...
计算机网络——流量控制

计算机网络——流量控制

流量控制的基本方法是确保发送方不会以超过接收方处理能力的速度发送数据包。 通常的做法是接收方会向发送方提供某种反馈&#xff0c;如&#xff1a; &#xff08;1&#xff09;停止&等待 在任何时候只有一个数据包在传输&#xff0c;发送方发送一个数据包&#xff0c;…
阅读更多...
2024美团春招硬件开发笔试真题及答案解析

2024美团春招硬件开发笔试真题及答案解析

目录 一、选择题 1、在 Linux，有一个名为 file 的文件，内容如下所示： 2、在 Linux 中，关于虚拟内存相关的说法正确的是（） 3、AT89S52单片机中，在外部中断响应的期间，中断请求标志位查询占用了（）。 4、下列关于8051单片机的结构与功能，说法不正确的是（）？ 5、…
阅读更多...
【C语言入门】解锁核心关键字的终极奥秘与实战应用（三）

【C语言入门】解锁核心关键字的终极奥秘与实战应用（三）

目录 一、auto 1.1. 作用 1.2. 特性 1.3. 代码示例 二、register 2.1. 作用 2.2. 特性 2.3. 代码示例 三、static 3.1. 修饰局部变量 3.2. 修饰全局变量 3.3. 修饰函数 四、extern 4.1. 作用 4.2. 特性 4.3. 代码示例 五、volatile 5.1. 作用 5.2. 代码示例…
阅读更多...
Kafka分区策略实现

Kafka分区策略实现

引言 Kafka 的分区策略决定了生产者发送的消息会被分配到哪个分区中&#xff0c;合理的分区策略有助于实现负载均衡、提高消息处理效率以及满足特定的业务需求。 轮询策略&#xff08;默认&#xff09; 轮询策略是 Kafka 默认的分区策略&#xff08;当消息没有指定键时&…
阅读更多...
c++ stl 遍历算法和查找算法

c++ stl 遍历算法和查找算法

概述&#xff1a; 算法主要由头文件<algorithm> <functional> <numeric> 提供 <algorithm> 是所有 STL 头文件中最大的一个&#xff0c;提供了超过 90 个支持各种各样算法的函数&#xff0c;包括排序、合并、搜索、去重、分解、遍历、数值交换、拷贝和…
阅读更多...
2.2 实现双向链表的快速排序

2.2 实现双向链表的快速排序

实现一个双向链表的快速排序。 1>程序代码 #include <stdio.h> #include <string.h> #include <unistd.h> #include <stdlib.h> #include <sys/types.h> #include <sys/stat.h> #include <fcntl.h> #include <pthread.h>…
阅读更多...
力扣动态规划-19【算法学习day.113】

力扣动态规划-19【算法学习day.113】

前言 ###我做这类文章一个重要的目的还是记录自己的学习过程&#xff0c;我的解析也不会做的非常详细&#xff0c;只会提供思路和一些关键点&#xff0c;力扣上的大佬们的题解质量是非常非常高滴&#xff01;&#xff01;&#xff01; 习题 1.矩形中移动的最大次数 题目链接…
阅读更多...
Gurobi基础语法之 addConstr, addConstrs, addQConstr, addMQConstr

Gurobi基础语法之 addConstr, addConstrs, addQConstr, addMQConstr

在新版本的 Gurobi 中&#xff0c;向 addConstr 这个方法中传入一个 TempConstr 对象&#xff0c;在模型中就会根据这个对象生成一个约束。更重要的是&#xff1a;TempConstr 对象可以传给所有addConstr系列方法&#xff0c;所以下面先介绍 TempConstr 对象 TempConstr TempC…
阅读更多...
五子棋对弈

五子棋对弈

问题描述 "在五子棋的对弈中&#xff0c;友谊的小船说翻就翻&#xff1f;" 不&#xff01;对小蓝和小桥来说&#xff0c;五子棋不仅是棋盘上的较量&#xff0c;更是心与心之间的沟通。这两位挚友秉承着"友谊第一&#xff0c;比赛第二"的宗旨&#xff0c;决…
阅读更多...
使用 HTTP::Server::Simple 实现轻量级 HTTP 服务器

使用 HTTP::Server::Simple 实现轻量级 HTTP 服务器

在Perl中&#xff0c;HTTP::Server::Simple 模块提供了一种轻量级的方式来实现HTTP服务器。该模块简单易用&#xff0c;适合快速开发和测试HTTP服务。本文将详细介绍如何使用 HTTP::Server::Simple 模块创建和配置一个轻量级HTTP服务器。 安装 HTTP::Server::Simple 首先&…
阅读更多...
最新文章

Copyright @ 2022~2023