建网站价格 建设网站需要多少钱,广州外贸网站咨询,便利店网站建设拓扑图,网络舆情监测报告文章目录 使用场景问题现象解决处理 使用场景 我们使用docker作为服务的虚拟化工具#xff0c;服务都部署在docker里我们使用docker-compose管理所有docker服务的配置文件针对某些服务#xff0c;我们要限制这个docker服务容器占用的资源数量#xff0c;例如cpu和内存在进行… 文章目录 使用场景问题现象解决处理 使用场景 我们使用docker作为服务的虚拟化工具服务都部署在docker里我们使用docker-compose管理所有docker服务的配置文件针对某些服务我们要限制这个docker服务容器占用的资源数量例如cpu和内存在进行配置时网上搜了一些文章进行了设置导致了本次错误低级错误还是要去官方网站学第一手知识此次问题是在公司测试环境发现的主要做一些功能测试不用于性能测试故只设置了很小的资源反而发现了此问题出问题的是大数据组件clickhouse容器针对clickhouse数据库的docker配置如下 clickhouse:image: yandex/clickhouse-servercontainer_name: clickhouseports:- 8123:8123- 9000:9000ulimits:nofile:soft: 262144hard: 262144deploy:resources:limits:cpus: 0.6memory: 2Gvolumes:- ./volumes/ck/data:/var/lib/clickhouse- ./volumes/ck/log/:/var/log/clickhouse-server/- ./volumes/ck/etc/:/etc/clickhouse-server/- /etc/localtime:/etc/localtimerestart: on-failure问题现象 之前是把clickhouse数据库直接部署在服务器上使用了近一年没什么问题前段时间为了统一部署环境将clickhouse也使用docker部署将配置和文件卷映射到服务器使用docker部署后发现在写入和查询并发量不大的情况下clickhouse查询较慢查看了query_log发现10万条数据就用了600ms很不应该按理说一亿条数据这么慢还差不多之前使用clickhouse存储大数据也没遇到这么慢的。clickhouse查询时会使用并行查询10万条应该是毫秒级返回才对 解决处理 和同事交流后发现cpus参数设置不合理 我之前看着网上的一些文章和翻译以为这个数字要取小数是一个比值是 “服务器cpu总数量 x 比值”为该docker容器使用的cpu数量这是我的错误理解 在同事建议下去看了官方英文文档果然我理解错了这个就是简单的指 cpu数量 官方文档使用小技巧是官方文档网站里的搜索框输入英文关键词基本就可以查找到想要的结果 官方文档地址https://docs.docker.com/compose/compose-file/deploy/#cpus cpus configures a limit or reservation for how much of the available CPU resources, as number of cores, a container can use. 核心是这句number of cores很明确就是数量案例是设置小数如0.6是指0.6个cpu对clickhouse来说完全不够用。clickhouse并行计算和数据文件块压缩合并都比较吃cpu至少要给8个cpu生产环境最好是32cpu起 -除了CPU 还有一点需要说明的是clickhouse也比较吃内存它的内存使用限制要求大于16G否则也可能存在性能瓶颈和各种意外的报错仍然贴一篇官方文档https://clickhouse.com/docs/en/operations/tips#ram danger If your system has less than 16 GB of RAM, you may experience various memory exceptions because default settings do not match this amount of memory. The recommended amount of RAM is 32 GB or more. You can use ClickHouse in a system with a small amount of RAM, even with 2 GB of RAM, but it requires additional tuning and can ingest at a low rate. 优化后配置为 deploy:resources:limits:cpus: 8.0memory: 16G查询飞快问题解决了当然针对生产环境这个配置就不够用了。要针对自己的业务量进行一个预估申请足够的cpu和内存配置的服务器