航空总医院医院网站建设招标网站,全国企业公示网查询官网,南宁论坛,电销做网站的话术目录 1. 数据采集 2. 图像标注 3. 开源已标记数据集 4. 数据集划分 参考#xff1a; 1. 数据采集 数据采集是深度学习和人工智能任务中至关重要的一步#xff0c;它为模型提供了必要的训练样本和测试数据。在实际应用中#xff0c;数据采集的方法多种多样#xff0c;每…目录 1. 数据采集 2. 图像标注 3. 开源已标记数据集 4. 数据集划分 参考 1. 数据采集 数据采集是深度学习和人工智能任务中至关重要的一步它为模型提供了必要的训练样本和测试数据。在实际应用中数据采集的方法多种多样每种方法都有其独特的优势和适用场景。本次将介绍如何标记数据集、 一、什么是数据标注 数据标注即通过分类、画框、标注、注释等对图片、语 音、文本、视频等数据进行处理标记对象的特征以作为机器学习基础 素材的过程。机器学习需要反复学习以训练模型和提高精度同时自动驾驶、语言大模型、AI医疗、等各大应用场景都需要标注数据。 二、数据标注的分类 对于数据标注按照不同的分类标准可以有不同划分。以标注对象作为分类基础可将数据标注划分为图像标注、语音标注、文本标注以及视频标注。 2. 图像标注 图像标注是一个将标签添加到图像上的过程。图像标注类型包括拉框、语义分割、实例分割、 目标检测、图像分类、关键点、线段标注、文字识别转写、点云标注、属性判断等。图像标注在人工智能与各行各业应用相结合的研究过程中扮演着重要的角色通过对路况图片中的汽车和行人进行筛选、分类、标框 可以提高安防摄像头以及无人驾驶系统的识别能力。 通过LabelImg来标注矩形框通过LabelMe来进行多边形框的标定通过PPOCRLabel来完成文本识别标注任务通过roLabelImg来解决旋转目标检测的功能通过DarkLabel来完成视频文件的标注及对象的跟踪功能通过ELAN完成对视频序列中人物动作的识别以及对应字幕的捕捉 简单的使用在线标注数据集的工具Make Sense。 开始标注 打开Make Sense点击Get Start即可开始标注。 进入下一个页面点击Drop images并选中所有数据集。 点击 Object Detection 并添加标签笔者这里以安全帽为例所以创建标签Helmet。然后手动画出安全帽对应的矩形。 标注完成后点击Action-Export Annotation即可导出Yolo格式的标签。 导出的文件如下所示 、 object-class x y width height 其中object-class为类别xywidth和height是指目标的中心点坐标及宽高信息。 3. 开源已标记数据集 使用开源数据集是一种常见且有效的数据采集方法。开源数据集通常已经过标记和验证可大大节省数据采集和标注的时间和资源成本。例如ImageNet数据集包含超过1400万张图像可用于深度学习模型训练。此外还有像Coco、DOTA数据集等笔者在这里为大家整理了常见的深度学习开源数据集地址具体如下以供参考。 coco数据集https://cocodataset.org Pascal Voc数据集https://pjreddie.com/projects/pascal-voc-dataset-mirror/ 猫咪数据集http://m6z.cn/5TAgbw 宠物图像数据集http://m6z.cn/5TAgdC HMDB人类动作识别数据集http://m6z.cn/6gGlzF KITTI道路数据集http://m6z.cn/5xz4OW MPII人体模型数据集http://m6z.cn/69aaIe 天池铝型材表面缺陷数据集http://m6z.cn/61EksR 防护装备-头盔和背心检测http://m6z.cn/61zarT Linkopings交通标志数据集http://m6z.cn/68ldS0 RMFD口罩遮挡人脸数据集http://m6z.cn/61z9Fv 生活垃圾数据集http://m6z.cn/6n5Adu 火焰和烟雾图像数据集http://m6z.cn/6fzn0f MTFL人脸识别数据集http://m6z.cn/6fHmaT 4. 数据集划分 有了数据集之后对齐划分分别分为train,val,test三块。 创建helmet_dataset/images保存图像文件创建helmet_dataset/labels保存标记文件。 分割脚本如下 import os import shutil import zipfile from sklearn.model_selection import train_test_split# 定义目录路径 dataset_directory rhelmet_dataset images_directory os.path.join(dataset_directory, images) labels_directory os.path.join(dataset_directory, labels)# 定义备份 zip 文件路径 backup_zip_path os.path.join(dataset_directory, helmet_dataset.zip)# 将整个数据集目录压缩备份 with zipfile.ZipFile(backup_zip_path, w) as backup_zip:for folder in [images_directory, labels_directory]:for root, dirs, files in os.walk(folder):for file in files:file_path os.path.join(root, file)backup_zip.write(file_path, os.path.relpath(file_path, dataset_directory))# 所有图像文件名不带扩展名的列表 image_filenames [os.path.splitext(filename)[0] for filename in os.listdir(images_directory) if filename.endswith(.jpg)]# 定义拆分比例 train_ratio 0.7 validation_ratio 0.2 test_ratio 0.1# 执行拆分 train_filenames, test_filenames train_test_split(image_filenames, test_size1 - train_ratio) validation_filenames, test_filenames train_test_split(test_filenames, test_sizetest_ratio/(test_ratio validation_ratio))# 创建目录并移动文件的函数 def create_and_move_files(file_list, source_folder, destination_folder, file_extension):os.makedirs(destination_folder, exist_okTrue)for filename in file_list:shutil.move(os.path.join(source_folder, filename file_extension),os.path.join(destination_folder, filename file_extension))# 为每个集创建目录并移动文件 sets_directories {train: os.path.join(dataset_directory, train),val: os.path.join(dataset_directory, val),test: os.path.join(dataset_directory, test) }for set_name, file_list in zip([train, val, test], [train_filenames, validation_filenames, test_filenames]):images_set_directory os.path.join(sets_directories[set_name], images)labels_set_directory os.path.join(sets_directories[set_name], labels)create_and_move_files(file_list, images_directory, images_set_directory, .jpg)create_and_move_files(file_list, labels_directory, labels_set_directory, .txt)# 删除空的images和labels文件夹 for folder in [images_directory, labels_directory]:if os.path.exists(folder) and not os.listdir(folder):os.rmdir(folder)# 返回备份文件路径和已创建目录的路径 print(backup_zip_path, sets_directories) 创建好的数据集留待使用下一次学习如何利用数据集训练。 参考 目标检测1预备知识