C多线程数据共享用无锁并发队列 moodycamel::ConcurrentQueue【免费下载链接】concurrentqueueA fast multi-producer, multi-consumer lock-free concurrent queue for C11项目地址: https://gitcode.com/GitHub_Trending/co/concurrentqueue线程数一多std::queuestd::mutex的吞吐量就会明显下滑——所有入队、出队线程都要在锁上串行化。moodycamel::ConcurrentQueue 是一个面向多生产者多消费者MPMC场景的 C11 无锁并发队列核心实现只有一个头文件 concurrentqueue.h它用原子操作和内存序替代独占锁代价是放弃线性化等少数强保证。什么时候考虑无锁队列线程池、对象池与批量数据交接有三个场景值得考虑引入这个队列。一是线程池任务分发多个业务线程提交任务worker 线程阻塞等待任务samples.md 里的 Threadpool task queue 示例就是这个模式。二是跨线程对象池对象的 get/recycle 语义天然对应出队/入队省掉一层容器加锁。三是批量数据交接例如每帧收集一批动画数据交给渲染线程enqueue_bulk/try_dequeue_bulk这类批量接口把单次调用的分摊压到很低这类场景收益最明显。与最常见的方案相比差异集中在这几项维度std::queue std::mutexmoodycamel::ConcurrentQueue同步机制独占锁争用时排队等待无锁原子操作生产者/消费者并行推进元素处理锁内赋值尽可能移动而非拷贝阻塞语义需自行写 condition_variable直接提供 BlockingConcurrentQueue 变体顺序保证全局 FIFO单生产者内部有序跨生产者之间无顺序保证核心用法速览ConcurrentQueue 最小入队出队代码基本 API 和常见模板队列接近#include concurrentqueue.h #include thread moodycamel::ConcurrentQueueint q; std::thread producer([] { for (int i 0; i ! 1000; i) q.enqueue(i); }); std::thread consumer([] { int item; for (int i 0; i ! 1000; i) while (!q.try_dequeue(item)) {} }); producer.join(); consumer.join();每个操作都刻意提供了带 token 与不带 token 两版不带 token 最省事但每个线程会动态分配一个线程局部子队列使用ProducerToken/ConsumerToken则把子队列固定下来在典型并发负载下开销更低。一句话的选择建议消费者能容忍自旋就用基础版需要阻塞等待时换用 blockingconcurrentqueue.h依赖 lightweightsemaphore.h。性能数据怎么读ConcurrentQueue benchmarks 目录解读基准测试源码在 benchmarks/ 目录除了本队列外还测了 std::queuemutex、boost::lockfree::queue、TBBconcurrent_queue、dlib 队列和一个简易无锁实现。看数据时有三点值得注意优势在多线程争用 批量操作bulk token组合下最明显单线程低争用场景与加锁实现的差距不大。作者在 benchmarks/benchmarks.cpp 的注释里自己说明测试属于高度人为构造的场景。如果真实业务逻辑占时间大头队列通常不是瓶颈。无锁代码的性能对 CPU 型号、缓存结构和争用模式敏感数值应理解为相对量级而不是绝对指标。最稳的做法是自己跑一遍Linux 下按 benchmarks/makefile 构建后即可运行基准程序。工程集成要点单头文件包含、CMake 与 vcpkg 引入引入方式有三种直接包含把concurrentqueue.h拷进工程阻塞版另需blockingconcurrentqueue.h与lightweightsemaphore.h两个文件。CMake项目自带 CMakeLists.txt目标是纯 INTERFACE 库。包管理器vcpkg install concurrentqueue。CMake 侧的集成find_package(concurrentqueue CONFIG REQUIRED) target_link_libraries(myapp PRIVATE concurrentqueue::concurrentqueue)实际项目里容易踩的坑有三个生命周期可见性由使用者负责队列必须完整构造后才允许其他线程使用销毁前所有线程必须已停止使用库本身不会替你把关。token 不是线程安全的惯例是一线程一个短命线程场景建议显式传 token因为隐式生产者子队列的回收机制在各平台支持并不一致。try_enqueue承诺不分配内存但需要按块大小默认 32预估初始容量README 里给出了预分配公式且即使容量算对争用下仍有小概率失败失败分支必须处理。质量保障单元测试、模糊测试与模型检查测试体系覆盖四层tests/unittests/ 的单元测试覆盖核心功能路径tests/fuzztests/ 做长时间随机模糊测试核心队列算法跑过 CDSChecker 这个 C11 内存模型的模型检查器tests/CDSChecker/内部算法与完整集成场景又用 Relacy 模型检查器验证过tests/relacy/。值得注意的是README 里作者仍坦承无锁代码可能存在残留 bug。这个项目的可信度主要来自多种相互独立的验证手段叠加尤其模型检查而不是单一测试集。边界与选型建议ConcurrentQueue 不适合哪些场景诚实的边界比特性列表更有参考价值。以下情况不建议用或需要格外小心需要全局顺序队列不是线性化的。单个生产者自身的入队顺序会保持但多个生产者之间哪怕你自己在生产者之间加了额外同步不保证出队顺序与总顺序一致。需要顺序一致性语义它不是顺序一致的泵空队列这类操作需要显式注意内存序作者自述有时难以用对。NUMA 多路机器队列不感知 NUMA且内部大量复用内存跨 socket 扩展性通常一般这是已知局限。单生产者单消费者SPSCMPMC 设计带来了 SPSC 不需要的复杂度专用 SPSC 队列通常更轻量。本可避免共享最快的同步是根本不发生的同步能避免跨线程共享数据时不必支付无锁结构的成本。建议下一步先读 samples.md 里线程池任务队列、pump until empty 等模式再在自己的目标平台上跑一遍 benchmarks/ 验证量级——队列只是基础设施选型确定后工程时间应花在业务逻辑上。相关资源队列核心实现concurrentqueue.h用法示例集samples.md基准测试源码benchmarks/单元测试tests/unittests/引用链接concurrentqueue.hblockingconcurrentqueue.hlightweightsemaphore.hsamples.mdCMakeLists.txtbenchmarks/benchmarks/benchmarks.cppbenchmarks/makefiletests/unittests/tests/fuzztests/tests/CDSChecker/tests/relacy/【免费下载链接】concurrentqueueA fast multi-producer, multi-consumer lock-free concurrent queue for C11项目地址: https://gitcode.com/GitHub_Trending/co/concurrentqueue创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 C++多线程数据共享：用无锁并发队列 moodycamel::ConcurrentQueue
C多线程数据共享用无锁并发队列 moodycamel::ConcurrentQueue【免费下载链接】concurrentqueueA fast multi-producer, multi-consumer lock-free concurrent queue for C11项目地址: https://gitcode.com/GitHub_Trending/co/concurrentqueue线程数一多std::queuestd::mutex的吞吐量就会明显下滑——所有入队、出队线程都要在锁上串行化。moodycamel::ConcurrentQueue 是一个面向多生产者多消费者MPMC场景的 C11 无锁并发队列核心实现只有一个头文件 concurrentqueue.h它用原子操作和内存序替代独占锁代价是放弃线性化等少数强保证。什么时候考虑无锁队列线程池、对象池与批量数据交接有三个场景值得考虑引入这个队列。一是线程池任务分发多个业务线程提交任务worker 线程阻塞等待任务samples.md 里的 Threadpool task queue 示例就是这个模式。二是跨线程对象池对象的 get/recycle 语义天然对应出队/入队省掉一层容器加锁。三是批量数据交接例如每帧收集一批动画数据交给渲染线程enqueue_bulk/try_dequeue_bulk这类批量接口把单次调用的分摊压到很低这类场景收益最明显。与最常见的方案相比差异集中在这几项维度std::queue std::mutexmoodycamel::ConcurrentQueue同步机制独占锁争用时排队等待无锁原子操作生产者/消费者并行推进元素处理锁内赋值尽可能移动而非拷贝阻塞语义需自行写 condition_variable直接提供 BlockingConcurrentQueue 变体顺序保证全局 FIFO单生产者内部有序跨生产者之间无顺序保证核心用法速览ConcurrentQueue 最小入队出队代码基本 API 和常见模板队列接近#include concurrentqueue.h #include thread moodycamel::ConcurrentQueueint q; std::thread producer([] { for (int i 0; i ! 1000; i) q.enqueue(i); }); std::thread consumer([] { int item; for (int i 0; i ! 1000; i) while (!q.try_dequeue(item)) {} }); producer.join(); consumer.join();每个操作都刻意提供了带 token 与不带 token 两版不带 token 最省事但每个线程会动态分配一个线程局部子队列使用ProducerToken/ConsumerToken则把子队列固定下来在典型并发负载下开销更低。一句话的选择建议消费者能容忍自旋就用基础版需要阻塞等待时换用 blockingconcurrentqueue.h依赖 lightweightsemaphore.h。性能数据怎么读ConcurrentQueue benchmarks 目录解读基准测试源码在 benchmarks/ 目录除了本队列外还测了 std::queuemutex、boost::lockfree::queue、TBBconcurrent_queue、dlib 队列和一个简易无锁实现。看数据时有三点值得注意优势在多线程争用 批量操作bulk token组合下最明显单线程低争用场景与加锁实现的差距不大。作者在 benchmarks/benchmarks.cpp 的注释里自己说明测试属于高度人为构造的场景。如果真实业务逻辑占时间大头队列通常不是瓶颈。无锁代码的性能对 CPU 型号、缓存结构和争用模式敏感数值应理解为相对量级而不是绝对指标。最稳的做法是自己跑一遍Linux 下按 benchmarks/makefile 构建后即可运行基准程序。工程集成要点单头文件包含、CMake 与 vcpkg 引入引入方式有三种直接包含把concurrentqueue.h拷进工程阻塞版另需blockingconcurrentqueue.h与lightweightsemaphore.h两个文件。CMake项目自带 CMakeLists.txt目标是纯 INTERFACE 库。包管理器vcpkg install concurrentqueue。CMake 侧的集成find_package(concurrentqueue CONFIG REQUIRED) target_link_libraries(myapp PRIVATE concurrentqueue::concurrentqueue)实际项目里容易踩的坑有三个生命周期可见性由使用者负责队列必须完整构造后才允许其他线程使用销毁前所有线程必须已停止使用库本身不会替你把关。token 不是线程安全的惯例是一线程一个短命线程场景建议显式传 token因为隐式生产者子队列的回收机制在各平台支持并不一致。try_enqueue承诺不分配内存但需要按块大小默认 32预估初始容量README 里给出了预分配公式且即使容量算对争用下仍有小概率失败失败分支必须处理。质量保障单元测试、模糊测试与模型检查测试体系覆盖四层tests/unittests/ 的单元测试覆盖核心功能路径tests/fuzztests/ 做长时间随机模糊测试核心队列算法跑过 CDSChecker 这个 C11 内存模型的模型检查器tests/CDSChecker/内部算法与完整集成场景又用 Relacy 模型检查器验证过tests/relacy/。值得注意的是README 里作者仍坦承无锁代码可能存在残留 bug。这个项目的可信度主要来自多种相互独立的验证手段叠加尤其模型检查而不是单一测试集。边界与选型建议ConcurrentQueue 不适合哪些场景诚实的边界比特性列表更有参考价值。以下情况不建议用或需要格外小心需要全局顺序队列不是线性化的。单个生产者自身的入队顺序会保持但多个生产者之间哪怕你自己在生产者之间加了额外同步不保证出队顺序与总顺序一致。需要顺序一致性语义它不是顺序一致的泵空队列这类操作需要显式注意内存序作者自述有时难以用对。NUMA 多路机器队列不感知 NUMA且内部大量复用内存跨 socket 扩展性通常一般这是已知局限。单生产者单消费者SPSCMPMC 设计带来了 SPSC 不需要的复杂度专用 SPSC 队列通常更轻量。本可避免共享最快的同步是根本不发生的同步能避免跨线程共享数据时不必支付无锁结构的成本。建议下一步先读 samples.md 里线程池任务队列、pump until empty 等模式再在自己的目标平台上跑一遍 benchmarks/ 验证量级——队列只是基础设施选型确定后工程时间应花在业务逻辑上。相关资源队列核心实现concurrentqueue.h用法示例集samples.md基准测试源码benchmarks/单元测试tests/unittests/引用链接concurrentqueue.hblockingconcurrentqueue.hlightweightsemaphore.hsamples.mdCMakeLists.txtbenchmarks/benchmarks/benchmarks.cppbenchmarks/makefiletests/unittests/tests/fuzztests/tests/CDSChecker/tests/relacy/【免费下载链接】concurrentqueueA fast multi-producer, multi-consumer lock-free concurrent queue for C11项目地址: https://gitcode.com/GitHub_Trending/co/concurrentqueue创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考