Windows用户必看在Win10/11系统编译运行tkDNN的详细指南【免费下载链接】tkDNNDeep neural network library and toolkit to do high performace inference on NVIDIA jetson platforms项目地址: https://gitcode.com/gh_mirrors/tk/tkDNNtkDNN是一个基于cuDNN和TensorRT原语构建的深度神经网络库专门为NVIDIA Jetson平台设计但同样可以在Windows 10/11系统上运行。这个强大的工具库能够充分利用NVIDIA显卡的硬件加速能力实现高性能的深度学习推理。对于Windows用户来说虽然主要面向Jetson平台但通过正确的配置和编译同样可以在Windows系统上体验tkDNN的强大功能。 系统要求与环境准备硬件要求操作系统Windows 10 1803版本或更高Windows 11显卡支持CUDA的NVIDIA显卡建议GTX 1060或更高内存至少8GB RAM存储空间至少10GB可用空间软件依赖安装在Windows上编译tkDNN需要以下关键组件CUDA 11.2- NVIDIA的并行计算平台cuDNN 8.1.1- NVIDIA的深度神经网络库TensorRT 7.2.3- NVIDIA的高性能推理优化器OpenCV 4.2- 计算机视觉库MSVC 16.9- Microsoft Visual C编译器CMake 3.15- 跨平台构建工具Ninja 1.10- 小型快速构建系统yaml-cpp- YAML解析库eigen3- 线性代数库7-Zip- 压缩工具需添加到PATH️ 使用VCPKG简化依赖管理Microsoft的VCPKG是管理这些依赖的最佳选择。安装完VCPKG后使用以下命令安装所有必需的包# 普通OpenCV版本 vcpkg.exe install opencv4[tbb,jpeg,tiff,opengl,openmp,png,ffmpeg,eigen]:x64-windows yaml-cpp:x64-windows eigen3:x64-windows --x-install-rootC:\opt --x-buildtrees-rootC:\temp_vcpkg_build # 带CUDA支持的OpenCV版本 vcpkg.exe install opencv4[cuda,nonfree,contrib,eigen,tbb,jpeg,tiff,opengl,openmp,png,ffmpeg]:x64-windows yaml-cpp:x64-windows eigen3:x64-windows --x-install-rootC:\opt --x-buildtrees-rootC:\temp_vcpkg_build重要提示如果需要构建带CUDA支持的OpenCV需要修改VCPKG的cuDNN端口文件在第16和17行添加$ENV{CUDA_PATH}。安装完成后将以下路径添加到系统PATH环境变量C:\opt\x64-windows\binC:\opt\x64-windows\debug\bin 编译tkDNN完整步骤步骤1获取源代码首先克隆tkDNN仓库到本地git clone https://gitcode.com/gh_mirrors/tk/tkDNN cd tkDNN步骤2创建构建目录mkdir build cd build步骤3配置CMake使用Ninja作为构建系统可以显著提高编译速度cmake -DCMAKE_BUILD_TYPERelease -GNinja ..步骤4开始编译ninja -j4编译时间根据系统配置完整编译可能需要15-30分钟。使用-j4参数可以并行编译充分利用多核CPU。 运行第一个tkDNN示例生成TensorRT引擎文件以yolo4_tiny模型为例首先需要生成TensorRT引擎文件.\test_yolo4tiny.exe这个命令会加载预训练的yolo4_tiny模型权重进行TensorRT优化生成yolo4_fp32.rt引擎文件运行目标检测演示生成引擎文件后可以运行演示程序.\demo.exe yolo4_fp32.rt ..\demo\yolo_test.mp4 y 80 ..\tests\darknet\cfg\yolo4.cfg ..\tests\darknet\names\coco.names参数说明yolo4_fp32.rtTensorRT引擎文件..\demo\yolo_test.mp4输入视频文件y显示可视化结果80类别数量COCO数据集..\tests\darknet\cfg\yolo4.cfg网络配置文件..\tests\darknet\names\coco.names类别名称文件⚡ 性能优化技巧FP16推理加速对于支持FP16的NVIDIA显卡可以使用半精度浮点数加速推理set TKDNN_MODEFP16 del /f yolo4tiny_fp16.rt .\test_yolo4tiny.exe .\demo.exe yolo4tiny_fp16.rt ..\demo\yolo_test.mp4INT8量化推理INT8量化可以进一步减少内存占用并提高推理速度set TKDNN_MODEINT8 set TKDNN_CALIB_LABEL_PATH..\demo\COCO_val2017\all_labels.txt set TKDNN_CALIB_IMG_PATH..\demo\COCO_val2017\all_images.txt del /f yolo4tiny_int8.rt .\test_yolo4tiny.exe .\demo.exe yolo4tiny_int8.rt ..\demo\yolo_test.mp4 y性能提升INT8模式通常比FP32快2-3倍内存占用减少约75%。 WSL2上的tkDNN运行启用CUDA支持的WSL2Windows Subsystem for Linux 2WSL2现在支持CUDA为tkDNN提供了另一种运行环境安装WSL2和NVIDIA CUDA on WSL驱动在WSL2中安装必要的Linux依赖按照Linux指南编译tkDNN常见WSL2问题解决如果遇到驱动问题可以尝试cp /usr/lib/wsl/lib/lib* /usr/lib/x86_64-linux-gnu/注意在WSL2上部分网络如CenterNet、MobileNet可能无法正常工作。 常见问题与解决方案问题1编译时找不到CUDA解决方案确保CUDA正确安装且版本为11.2检查环境变量CUDA_PATH是否正确设置重启命令行窗口使环境变量生效问题2TensorRT版本不兼容解决方案使用TensorRT 7.2.3版本检查TensorRT库路径是否在系统PATH中确保CUDA、cuDNN和TensorRT版本匹配问题3OpenCV链接错误解决方案使用VCPKG安装的OpenCV版本确保OpenCV的bin目录在PATH中检查CMake是否正确找到OpenCV问题4Pascal架构显卡问题已知问题Pascal架构SM 6.x显卡在NVIDIA CUDA WSL驱动510.06版本上可能存在问题。解决方案使用465到500之间的驱动程序版本或升级到更新的显卡架构 支持的神经网络模型tkDNN支持多种先进的深度学习模型模型类型示例网络输入尺寸适用场景YOLO系列YOLOv4, YOLOv3320x320 到 608x608实时目标检测CenterNetDLA-34, ResNet-101512x512目标检测与定位MobileNetMobileNetV2 SSD300x300, 512x512移动端目标检测CenterTrackDLA-34512x512多目标跟踪ShelfNetShelfNet181024x1024语义分割MonoDepth2单目深度估计640x192深度估计️ 配置文件说明tkDNN使用YAML格式的配置文件主要参数包括classes类别数量COCO数据集为80map_points召回点数COCO为101IoU_threshIoU阈值通常为0.5conf_thresh置信度阈值通常为0.001配置文件位于demo/config.yaml可以根据具体需求调整这些参数。 自定义模型部署导出权重文件要使用自定义模型需要从训练框架导出权重从PyTorch、TensorFlow或Darknet导出权重将权重转换为tkDNN支持的二进制格式创建对应的网络配置文件创建自定义测试参考tests/darknet/目录中的示例创建自己的测试文件// 示例自定义YOLO网络测试 #include tkDNN/tkdnn.h #include tkDNN/Yolo3Detection.h int main() { // 网络定义 tk::dnn::Network *net new tk::dnn::Network(); // 添加层定义 // ... // 加载权重 net-loadWeights(custom_weights.bin); // 运行推理 net-inference(); return 0; } 性能基准测试在Windows系统上tkDNN的性能表现取决于硬件配置。以下是在RTX 2080 Ti上的参考性能网络模型输入尺寸FP32 FPSFP16 FPSINT8 FPSYOLOv4320x320118.59207.81262.37YOLOv4416x416104.81169.06206.93YOLOv4512x51292.98140.36165.35提示实际性能可能因系统配置和驱动程序版本而异。 调试与优化建议编译选项优化在CMake配置时可以添加以下选项优化性能cmake -DCMAKE_BUILD_TYPERelease -DENABLE_OPENCV_CUDA_CONTRIBON -GNinja ..内存使用监控使用Windows任务管理器监控GPU内存使用情况确保有足够的内存运行大型模型。批处理大小调整通过调整批处理大小batch size平衡性能和内存使用// 在demo.cpp中调整批处理大小 const int BATCH_SIZE 4; // 根据GPU内存调整 成功运行标志当一切配置正确时你将看到成功编译所有目标文件生成.rt引擎文件演示程序正常运行并显示检测结果控制台输出推理时间和FPS信息 进一步学习资源官方文档docs/windows.md - Windows特定配置指南演示说明docs/demo.md - 演示程序详细说明模型导出docs/exporting_weights.md - 权重导出指南分割模型docs/README_seg.md - 语义分割支持深度估计docs/README_depth.md - 单目深度估计 实用技巧总结版本一致性确保CUDA、cuDNN、TensorRT版本完全匹配环境变量正确设置所有必要的环境变量PATH设置将VCPKG和CUDA的bin目录添加到PATH清理构建遇到问题时删除build目录重新构建逐步调试先运行简单示例再尝试复杂模型通过本指南你应该能够在Windows 10/11系统上成功编译和运行tkDNN。这个强大的工具库为Windows用户提供了在NVIDIA GPU上进行高性能深度学习推理的能力无论是用于研究、开发还是生产部署都能发挥出色的性能。【免费下载链接】tkDNNDeep neural network library and toolkit to do high performace inference on NVIDIA jetson platforms项目地址: https://gitcode.com/gh_mirrors/tk/tkDNN创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考