obsidian dataviewjs查找冗余文件

news/2025/12/6 23:13:54/文章来源:https://www.cnblogs.com/liqinglucky/p/19316814/datavewjs

一、介绍

1.1 提出问题

起因我在整理网盘时，发现网盘的文件清理功能可以找出冗余的文件。然后扫描出我很多以前照片，pdf文档都是复制到了多个目录里。不过网盘上去删除这些重复的文件并没有本地的文件夹操作方便。

1.2 确定目标

于是我的目标就是：在本地用程序找出重复的文件。
因为obsidian已经成为了我的一个文件管理工具，而不仅仅只是markdown的笔记管理软件。我的一个更具体的目标就是能否在obsidian中实现冗余文件的查找。

二、调查方案

网上找了很多方案。对比如下：

方案1：专门的软件进行磁盘扫描。
优点：现成解决方案。
缺点：需要额外安装软件。不好集成到obsidian，因为我的文件管理是用obsidian所以还是希望找一个可以集成到obsidian。

方案2：用python程序自己实现。
优点：可以自己定制功能，自动化处理。
缺点：不好集成。

方案3：obsidian插件。
Local Images Plus插件，可以使用md5算法找出相同的照片。
awesome-image插件
unique-attachments：可以对照片一个hash值作为文件名。缺点：自动化命名文件导致文件名失去了可读性，为此我不得不又花了整天时间去恢复文件名，还是谨慎使用。
awesome-obsidian插件：不在插件市场里，需要自己手动安装。

目前遇到的插件的缺点：不能定制，不可控，照片名重命名后导致文档库需要重新整理。而且这些插件并不完全符合我清除冗余文件的目的。

方案4：obsidian用dataview的js语法实现。
优点：写程序逻辑，理论上可以实现很复杂的功能。
缺点：要编程技能，得益于AI时代可以帮助写代码。

三、实现方法

开发者文档： https://docs.obsidian.md/Home
经过调查所有的方案后我决定采用dataview的js程序实现。关于dataview的介绍我在另一个分享文档曾经介绍使用过，本文直接列举不同的解决方法。

3.1 方法1：找出所有重名md文件

效果：遍历dv.pages() 主要获取的是被视为页面（通常是 Markdown 文件）的数据。将文件名加入数组/hash表，遇到同名md文件就统计加1。最后展示数组/hash表中统计大于1的md文件。
js代码如下，这段代码来自obsidian论坛：

//dataviewjs
// 假设您的对象数组为 data
const data = dv.pages();let countMap = {}; // 用于存储计数的对象
let duplicates = []; // 用于存储重复元素的数组// 遍历对象数组
data.forEach((element) => {let fileName = element.file.name;let filePath = element.file.path;// 计数if (countMap[fileName]) {countMap[fileName].count++;countMap[fileName].paths.push(filePath);} else {countMap[fileName] = { count: 1, paths: [filePath] };}
});let dup=0//这是发现了几个dup的name
let flag =0//有重名文件的标志
for (const key in countMap) {const element = countMap[key];if (element.count > 1) {dup++;if(dup>0&&flag==0){dv.paragraph("==有重名文件==");flag=1}dv.span(`《${key}.md》出现了${element.count}次`);const pathstolink = element.paths.map(path => `[[${path}]]`);dv.list(pathstolink);}
}
if(dup==0){
dv.span("没有重名文件")
}

3.2 方法2：找出所有重名非md文件

3.1节方法存在只能找md文件，但往往大文件都是一些压缩包，pdf，照片文件。所以反而应该排除掉md文件，md文件很容易在自己写笔记的过程就能发现。要解决数据范围问题‌：对于一些非 Markdown 的文件，可能不在 dv.pages() 所涵盖的范围内。如果要获取所有文件（包括非 Markdown 文件），可以考虑使用 app.vault.getFiles() 等方式先获取所有文件，再进行过滤。

效果：过滤排除掉markdown文件的代码。

//dataviewjs
// 获取所有文件
const allFiles = app.vault.getFiles();
// 过滤出非md文件
const nonMdFiles = allFiles.filter(file => file.extension!== "md");
// 展示结果
dv.table(["文件名", "文件扩展名"],nonMdFiles.map(file => [file.name, file.extension])
);

3.2.1 列表展示同名非md文件

js代码如下

// 假设您的对象数组为 data
//const data = dv.pages();// 过滤非 Markdown 文件
const allFiles = app.vault.getFiles();
const nonMdFiles = allFiles.filter(file => !file.path.endsWith('.md'));let countMap = {}; // 用于存储计数的对象
let duplicates = []; // 用于存储重复元素的数组//const data = dv.pages().where(p => !p.file.path.endsWith(".md"));
//    .sort(p => p.file.name);// 遍历对象数组
for (let file of nonMdFiles){let fileName = file.name;let filePath = file.path;// 计数if (countMap[fileName]) {countMap[fileName].count++;countMap[fileName].paths.push(filePath);} else {countMap[fileName] = { count: 1, paths: [filePath] };}
}let dup=0//这是发现了几个dup的name
let flag =0//有重名文件的标志
const MAX_DUPLICATE_GROUPS = 2;for (const key in countMap) {if (dup >= MAX_DUPLICATE_GROUPS) {break;}const element = countMap[key];if (element.count > 1) {dup++;if(dup>0&&flag==0){dv.paragraph("==有重名文件==");flag=1}dv.span(`${key}出现了${element.count}次`);const pathstolink = element.paths.map(path => `[[${path}]]`);dv.list(pathstolink); //列表格式//dv.table(pathstolink);dv.table(['文件名', '文件类型', '文件大小', 'MD5值'],[key,element.paths,element.paths,element.paths,]);}
}
if(dup==0){
dv.span("没有重名文件")
}

3.2.2 表格展示文件名+文件大小

不但要比较文件名，还要比较大小。

AI提问：obsidian dataview优化这段代码，表格展示文件路径名和文件大小
用file name作为key记录hash表，然后统计出现次数
应该以md5作为key

js代码如下

//dataviewjs
// 过滤非 Markdown 文件
const allFiles = app.vault.getFiles();
const nonMdFiles = allFiles.filter(file =>!file.path.endsWith('.md'));// 用于存储计数的对象
const countMap = {};
// 用于存储重复元素的数组
const duplicates = [];// 遍历对象数组，统计文件出现次数和路径
for (let file of nonMdFiles) {const fileName = file.name;if (!countMap[fileName]) {countMap[fileName] = {count: 1,paths: [file.path],size: file.stat.size // 记录文件大小};} else {countMap[fileName].count++;countMap[fileName].paths.push(file.path);}
}let dupCount = 0; // 发现的重名文件数量
const MAX_DUPLICATE_GROUPS = 20;// 遍历统计结果，处理重名文件
for (const key in countMap) {if (dupCount >= MAX_DUPLICATE_GROUPS) {break;}const element = countMap[key];if (element.count > 1) {dupCount++;if (dupCount === 1) {dv.paragraph("==有重名文件==");}dv.span(`${key}出现了${element.count}次`);const tableData = element.paths.map(path => {const file = app.vault.getAbstractFileByPath(path);return [`[[${path}]]`, file.stat.size + ' bytes']; // 准备表格数据，包含路径和大小});dv.table(['文件路径', '文件大小'], tableData); // 展示表格}
}if (dupCount === 0) {dv.span("没有重名文件");
}

3.2.3 表格展示过滤出相等的文件名+文件大小

效果：查找性能高。原理：用文件名+文件大小作为key。
js代码如下

//dataviewjs
// 过滤非 Markdown 文件
const allFiles = app.vault.getFiles();
const nonMdFiles = allFiles.filter(file =>!file.path.endsWith('.md'));// 用于存储计数的对象
const countMap = {};
// 用于存储重复元素的数组
const duplicates = [];// 遍历对象数组，统计文件出现次数和路径
for (let file of nonMdFiles) {const fileName = file.name;const fileSize = file.stat.size;// 构建唯一键（文件名+文件大小，确保仅文件名和大小完全相同时匹配）const key = `${fileName}-${fileSize}`;if (!countMap[key]) {countMap[key] = {count: 1,paths: [file.path],size: file.stat.size // 记录文件大小};} else {countMap[key].count++;countMap[key].paths.push(file.path);}
}let dupCount = 0; // 发现的重名文件数量
const MAX_DUPLICATE_GROUPS = 200;// 遍历统计结果，处理重名文件
for (const key in countMap) {if (dupCount >= MAX_DUPLICATE_GROUPS) {break;}const element = countMap[key];if (element.count > 1) {dupCount++;if (dupCount === 1) {dv.paragraph("==有重名文件==");}dv.span(`${key}出现了${element.count}次`);const tableData = element.paths.map(path => {const file = app.vault.getAbstractFileByPath(path);return [`[[${path}]]`, file.stat.size + ' bytes']; // 准备表格数据，包含路径和大小});dv.table(['文件路径', '文件大小'], tableData); // 展示表格}
}if (dupCount === 0) {dv.span("扫描完成，没有重名文件!");
}

3.3 方法3：文件唯一性MD5值

文件的唯一确定其实是用文件的MD5值标识。只要两个文件的内容完全一样那MD5值也一样。文件名可以重命名成不同命，但MD5不会骗人。

3.3.1 表格展示所有文件的MD5值

AI提问： obsidian dataview展示每个文件（不仅仅是markdown文件）的md5值

// 统计所有类型文件
const files = app.vault.getAllLoadedFiles();

js代码如下

//dataviewjs
// 引入crypto模块用于计算MD5
const crypto = require('crypto');// 获取所有文件，并过滤掉Markdown文件
const files = app.vault.getFiles().filter(file => file.extension !== "md");// 创建表格数据
const tableData = await Promise.all(files.map(async (file) => {try {// 读取文件内容const content = await app.vault.read(file);// 计算MD5哈希值const hash = crypto.createHash('md5');hash.update(content);const md5Hash = hash.digest('hex');return {文件: file.link,文件名: file.name,文件夹: file.path,MD5值: md5Hash,文件大小: file.stat.size,修改时间: file.stat.mtime};} catch (error) {console.error(`计算文件 ${file.name} 的MD5时出错:`, error);return null;}
}));// 过滤掉计算失败的文件
const validData = tableData.filter(item => item !== null);// 生成表格
dv.table(["文件", "文件名", "MD5值", "文件大小", "修改时间"], validData.map(item => [item.文件,item.文件名,item.MD5值,`${(item.文件大小 / 1024).toFixed(2)} KB`,new Date(item.修改时间).toLocaleString()
]));

3.3.2 用MD5作为hash key

效果：通过使用MD5值作为hash表的key存储文件信息。我的仓库有5000个文件，使用后查找时间过长，我分析是因为计算MD5值消耗时间太多。实际时我只保留前几个查找结果。

js代码如下

//dataviewjs
// 过滤非 Markdown 文件
const allFiles = app.vault.getFiles();
const nonMdFiles = allFiles.filter(file =>!file.path.endsWith('.md'));// 引入CryptoJS库用于计算MD5
const crypto = require('crypto');// 用于存储计数的对象
const countMap = {};
// 用于存储重复元素的数组
const duplicates = [];// 遍历对象数组，统计文件出现次数和路径
for (let file of nonMdFiles) {const fileName = file.name;// 读取文件内容const fileContent = await app.vault.read(file);// 计算MD5值const hash = crypto.createHash('md5');hash.update(fileContent);const md5 = hash.digest('hex');if (!countMap[md5]) {countMap[md5] = {count: 1,paths: [file.path],size: file.stat.size // 记录文件大小};} else {countMap[md5].count++;countMap[md5].paths.push(file.path);}
}let dupCount = 0; // 发现的重名文件数量
const MAX_DUPLICATE_GROUPS = 2;// 遍历统计结果，处理重名文件
for (const key in countMap) {if (dupCount >= MAX_DUPLICATE_GROUPS) {break;}const element = countMap[key];if (element.count > 1) {dupCount++;if (dupCount === 1) {dv.paragraph("==有重名文件==");}dv.span(`${key}出现了${element.count}次`);const tableData = element.paths.map(path => {const file = app.vault.getAbstractFileByPath(path);return [path, file.stat.size + ' bytes']; // 准备表格数据，包含路径和大小});dv.table(['文件路径', '文件大小'], tableData); // 展示表格}
}if (dupCount === 0) {dv.span("没有重名文件");
}

3.3.3 表格显示前两组MD5相同文件

AI提问：代码是dataview中统计同名文件并展示。请将这段代码改造为： obsidian dataview中展示每个文件（不仅仅是markdown文件）的md5值。需要过滤并展示出具有相同md5的文件，以列表格式展示，列表应该包含文件完整路径名，md5值。

js代码如下

//dataviewjs
// 引入CryptoJS库用于计算MD5
const crypto = require('crypto');// 获取所有非markdown文件
const files = app.vault.getFiles().filter(file => file.extension !== "md");// 存储MD5值和对应文件信息的对象
const md5Map = {};
const fileInfoMap = {};
let duplicateGroups = 0;
const MAX_DUPLICATE_GROUPS = 2;// 异步计算每个文件的MD5值
for (const file of files) {if (duplicateGroups >= MAX_DUPLICATE_GROUPS) {break;}try {// 读取文件内容const fileContent = await app.vault.read(file);// 计算MD5值const hash = crypto.createHash('md5');hash.update(fileContent);const md5 = hash.digest('hex');// 存储文件信息const fileInfo = {name: file.name,path: file.path,extension: file.extension,size: file.stat.size,mtime: file.stat.mtime};// 存储到映射中if (md5Map[md5]) {md5Map[md5].push(fileInfo);duplicateGroups++;} else {md5Map[md5] = [fileInfo];}fileInfoMap[file.path] = {md5: md5,...fileInfo};} catch (error) {console.log(`无法读取文件 ${file.path}: ${error}`);// 对于无法读取的文件，使用文件路径和大小计算MD5const fallbackContent = file.path + file.stat.size;//const fallbackMD5 = crypto.MD5(fallbackContent).toString();const fallbackhash = crypto.createHash('md5');fallbackhash.update(fallbackContent);const fallbackMD5 = hash.digest('hex');const fileInfo = {name: file.name,path: file.path,extension: file.extension,size: file.stat.size,mtime: file.stat.mtime,error: true};if (md5Map[fallbackMD5]) {md5Map[fallbackMD5].push(fileInfo);} else {md5Map[fallbackMD5] = [fileInfo];}fileInfoMap[file.path] = {md5: fallbackMD5,...fileInfo};}
}// 过滤出有重复MD5的文件组
const duplicates = {};
let hasDuplicates = false;for (const [md5, fileInfos] of Object.entries(md5Map)) {if (fileInfos.length > 1) {duplicates[md5] = fileInfos;hasDuplicates = true;}
}// 展示重复文件表格
if (hasDuplicates) {dv.paragraph("##  MD5重复文件检测结果");dv.paragraph(`共发现 **${Object.keys(duplicates).length}** 组重复文件`);// 为每个重复组创建表格let groupCount = 1;for (const [md5, fileInfos] of Object.entries(duplicates)) {dv.paragraph(`### 重复文件组 ${groupCount} (MD5: \`${md5.substring(0, 16)}...\`)`);// 创建表格头部const headers = ["文件名", "文件路径", "类型", "大小", "修改时间", "操作"];// 创建表格数据const tableData = fileInfos.map(info => [info.name,info.path,info.extension,`${(info.size / 1024).toFixed(2)} KB`,new Date(info.mtime).toLocaleString(),`[[${info.path}]]`]);// 渲染表格dv.table(headers, tableData);groupCount++;}
} else {dv.paragraph("## Y 未发现MD5重复文件");dv.paragraph("所有文件的MD5值都是唯一的。");
}// 显示统计信息
dv.paragraph("---");
dv.paragraph("##  文件MD5统计信息");const statsData = [["总文件数", files.length],["唯一MD5值数", Object.keys(md5Map).length],["重复文件组数", Object.keys(duplicates).length],["重复文件总数", Object.values(duplicates).reduce((sum, group) => sum + group.length, 0)]
];dv.table(["统计项", "数量"], statsData);// 可选：显示所有文件的MD5值（前20个作为示例）
dv.paragraph("---");
dv.paragraph("##  文件MD5值示例（前20个）");const sampleFiles = files.slice(0, 20);
const sampleTableData = sampleFiles.map(file => {const info = fileInfoMap[file.path];return [file.name,file.extension,`${(file.stat.size / 1024).toFixed(2)} KB`,info ? `\`${info.md5.substring(0, 16)}...\`` : "计算失败",info?.error ? "N" : "Y"];
});dv.table(["文件名", "类型", "大小", "MD5(前16位)", "状态"], sampleTableData);

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/990637.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！