目录

1--datasets的使用

1-1--加载数据集

1-2--查看数据集

1-3--打乱和排序数据集

1-4--选择和筛选数据集

1-5--划分数据集

1-6--修改数据集

1-7--导出数据集

---

1--datasets的使用

1-1--加载数据集

代码：

from datasets import load_dataset, load_from_diskif __name__ == "__main__":# 加载数据集dataset = load_dataset(path = 'lansinuote/ChnSentiCorp')# 保存数据集dataset.save_to_disk(dataset_dict_path = './data/ChnSentiCorp')# 从本地加载数据集dataset = load_from_disk('./data/ChnSentiCorp')print(dataset)

输出结果：

DatasetDict({train: Dataset({features: ['text', 'label'],num_rows: 9600})validation: Dataset({features: ['text', 'label'],num_rows: 1200})test: Dataset({features: ['text', 'label'],num_rows: 1200})
})

1-2--查看数据集

代码：

from datasets import load_from_diskif __name__ == "__main__":# 从本地加载数据集dataset = load_from_disk('./data/ChnSentiCorp')# 取出训练集dataset = dataset['train']print(dataset)print(dataset[0]) # 查看单个样本

输出结果：

Dataset({features: ['text', 'label'],num_rows: 9600
})
{'text': '选择珠江花园的原因就是方便，有电动扶梯直接到达海边，周围餐馆、食廊、商场、超市、摊位一应俱全。酒店装修一般，但还算整洁。 泳池在大堂的屋顶，因此很小，不过女儿倒是喜欢。 包的早餐是西式的，还算丰富。 服务吗，一般', 'label': 1}

1-3--打乱和排序数据集

代码：

from datasets import load_from_diskif __name__ == "__main__":# 从本地加载数据集dataset = load_from_disk('./data/ChnSentiCorp')# 取出训练集dataset = dataset['train']print(dataset['label'][:10]) # 未排序前是乱序的# 排序sorted_dataset = dataset.sort('label')print("sort: ", sorted_dataset['label'][:10])print("sort: ", sorted_dataset['label'][-10:])# 打乱shuffled_dataset = sorted_dataset.shuffle(seed = 1) # 设置随机种子打乱print("shuffle: ", shuffled_dataset['label'][:10])

输出结果：

[1, 1, 0, 0, 1, 0, 0, 0, 1, 1]
sort:  [0, 0, 0, 0, 0, 0, 0, 0, 0, 0]
sort:  [1, 1, 1, 1, 1, 1, 1, 1, 1, 1]
shuffle:  [0, 1, 0, 0, 0, 0, 0, 1, 0, 1]

1-4--选择和筛选数据集

代码：

from datasets import load_dataset, load_from_diskif __name__ == "__main__":# 从本地加载数据集dataset = load_from_disk('./data/ChnSentiCorp')# 取出训练集dataset = dataset['train']sel_data = dataset.select([0, 10, 20, 30, 40, 50]) # 根据索引选取数据集print(sel_data)# 筛选数据集def f(data):return data['text'].startswith('选择') # 筛选以选择开头的start_with_ar = dataset.filter(f)print(len(start_with_ar))print(start_with_ar['text'])

输出结果：

Dataset({features: ['text', 'label'],num_rows: 6
})
Filter: 100%|█████████████████████████████████████████████████████████████████| 9600/9600 [00:00<00:00, 231601.55 examples/s]
2
['选择珠江花园的原因就是方便，有电动扶梯直接到达海边，周围餐馆、食廊、商场、超市、摊位一应俱全。酒店装修一般，但还算整洁。 泳池在大堂的屋顶，因此很小，不过女儿倒是喜欢。 包的早餐是西式的，还算丰富。 服务吗，一般', '选择的事例太离奇了，夸大了心理咨询的现实意义，让人失去了信任感！如果说这样写的效果能在一开始抓住读者的眼球，但是看到案例主人公心理问题的原因解释时就逐渐失去了兴趣，反正有点拣了芝麻丢了西瓜的感觉。']

1-5--划分数据集

代码：

from datasets import load_from_diskif __name__ == "__main__":# 从本地加载数据集dataset = load_from_disk('./data/ChnSentiCorp')# 取出训练集dataset = dataset['train']print(dataset)# 划分数据集new_dataset1 = dataset.train_test_split(test_size = 0.1)print(new_dataset1)# 数据集均分到四个桶里，并取第一个桶new_dataset2 = dataset.shard(num_shards = 4, index = 0)print(new_dataset2)

输出结果：

# 训练集
Dataset({features: ['text', 'label'],num_rows: 9600
})
# 训练集按比例划分
DatasetDict({train: Dataset({features: ['text', 'label'],num_rows: 8640})test: Dataset({features: ['text', 'label'],num_rows: 960})
})
# 第一桶的数据
Dataset({features: ['text', 'label'],num_rows: 2400
})

1-6--修改数据集

代码：

from datasets import load_from_diskif __name__ == "__main__":# 从本地加载数据集dataset = load_from_disk('./data/ChnSentiCorp')# 取出训练集dataset = dataset['train']# 修改列名，将text更改为mytextnew_dataset1 = dataset.rename_column('text', 'mytext')print(new_dataset1)# 删除列名new_dataset2 = dataset.remove_columns(['text'])print(new_dataset2)# 修改数据def f(data):data['text'] = 'My sentence: ' + data['text'] # 每一个句子都增加前缀return datadatatset_map = dataset.map(f)print(datatset_map['text'][:5]) # 修改类型dataset.set_format(type = 'torch', columns = ['label'])print(dataset[0])

输出结果：

# 更改列名
Dataset({features: ['mytext', 'label'],num_rows: 9600
})
# 删除列
Dataset({features: ['label'],num_rows: 9600
})
# 修改数据
['My sentence: 选择珠江花园的原因就是方便，有电动扶梯直接到达海边，周围餐馆、食廊、商场、超市、摊位一应俱全。酒店装修一般，但还算整洁。 泳池在大堂的屋顶，因此很小，不过女儿倒是喜欢。 包的早餐是西式的，还算丰富。 服务吗，一般', 
'My sentence: 15.4寸笔记本的键盘确实爽，基本跟台式机差不多了，蛮喜欢数字小键盘，输数字特方便，样子也很美观，做工也相当不错', 
'My sentence: 房间太小。其他的都一般。。。。。。。。。', 
'My sentence: 1.接电源没有几分钟,电源适配器热的不行. 2.摄像头用不起来. 3.机盖的钢琴漆，手不能摸，一摸一个印. 4.硬盘分区不好办.', 
'My sentence: 今天才知道这书还有第6卷,真有点郁闷:为什么同一套书有两种版本呢?当当网是不是该跟出版社商量商量,单独出个第6卷,让我们的孩子不会有所遗憾。']
# 修改类型
{'label': tensor(1)}

1-7--导出数据集

代码：

from datasets import load_from_diskif __name__ == "__main__":# 从本地加载数据集dataset = load_from_disk('./data/ChnSentiCorp')# 取出训练集dataset = dataset['train']# 保存为csv格式dataset.to_csv(path_or_buf = './data/ChnSentiCorp.csv')# 加载csv格式数据csv_dataset = load_dataset(path='csv', data_files='./data/ChnSentiCorp.csv', split='train')print(dataset[0])print(csv_dataset[0])# 保存为json格式dataset.to_json(path_or_buf = './data/ChnSentiCorp.json')# 加载json格式数据json_dataset = load_dataset(path='json', data_files='./data/ChnSentiCorp.json', split='train')print(dataset[1])print(json_dataset[1])

输出结果：

{'text': '选择珠江花园的原因就是方便，有电动扶梯直接到达海边，周围餐馆、食廊、商场、超市、摊位一应俱全。酒店装修一般，但还算整洁。 泳池在大堂的屋顶，因此很小，不过女儿倒是喜欢。 包的早餐是西式的，还算丰富。 服务吗，一般', 'label': 1}
{'text': '选择珠江花园的原因就是方便，有电动扶梯直接到达海边，周围餐馆、食廊、商场、超市、摊位一应俱全。酒店装修一般，但还算整洁。 泳池在大堂的屋顶，因此很小，不过女儿倒是喜欢。 包的早餐是西式的，还算丰富。 服务吗，一般', 'label': 1}{'text': '15.4寸笔记本的键盘确实爽，基本跟台式机差不多了，蛮喜欢数字小键盘，输数字特方便，样子也很美观，做工也相当不错', 'label': 1}
{'text': '15.4寸笔记本的键盘确实爽，基本跟台式机差不多了，蛮喜欢数字小键盘，输数字特方便，样子也很美观，做工也相当不错', 'label': 1}