StarRocks 存算分离 3.1 性能调优手册

用户6047

用户1381

用户5677

用户2416

用户3254

2025年8月14日修改

说明

本文针对 StarRocks 存算分离版本如何进行性能调优手册，供实践参考。本手册主要针对 StarRocks 3.1.x 正式版，且其中仅列举了存算分离版本中特有的参数，与存算一体公共的调优参数没有写入本手册，请知晓。 ​

查询

参数名称	参数含义	默认值	修改命令
starlet_fs_stream_buffer_size_bytes	BE节点上控制每次读取后端对象存储（如S3）的 IO 大小，该值越大，访问对象存储的次数也就越少，对应的查询性能越高。该值一般针对冷数据查询效果比较明显。但调大该值也会相应地增大内存消耗。	1048576	修改be.conf相关配置项，不支持动态修改
lake_metadata_cache_limit	BE 节点上缓存 Tablet Meta 的内存大小，该值设置的越大，能缓存的 Tablet Meta 越多，也能一定程度上提升查询性能。	2147483648（2GB）	修改be.conf相关配置项，不支持动态修改
pipeline_connector_scan_thread_num_per_cpu	BE节点上每个 CPU 的 scan IO 线程数。 IO 线程数 = 该值 * CPU 核数。如果 IO 时间很长，可以调大该值。	8	修改be.conf相关配置项，不支持动态修改
disable_column_pool	BE节点上禁用 column pool，关闭 column 复用。内存小的机器建议设置为 true。	false	修改be.conf相关配置项，不支持动态修改

导入

参数名称	参数含义	默认值	修改方式
create_tablet_worker_count	BE 节点上创建 Tablet 线程池的工作线程数，如果存在大量创建 Partition / Tablet 的场景，建议调大该值	3x	修改be.conf相关配置项并重启 BE，暂不支持动态修改
enable_new_publish_mechanism	FE节点上新的publish version 机制，可以提升publish version性能，建议设置为 true	false	在所有 FE 节点上执行： admin set frontend config ("enable_new_publish_mechanism" = "true");
flush_thread_num_per_store	BE节点上控制导入时 IO 刷对象存储的线程池大小，该值越大，写入吞吐越高	2	修改 be.conf 相关配置项，新版本已经支持动态修改
transaction_publish_version_worker_count	BE节点上执行 publish version 任务的线程池数量上限，该值越大，publish version 任务会越快地执行，相应提升写入吞吐	0（表示根据CPU Core决定，但不会小于8）	修改 be.conf 相关配置项，新版本已经支持动态修改
number_tablet_writer_threads	BE节点上控制导入时写入 Mem Table 的线程池大小，BE 上所有 Tabletenable_new_publish_mechanism 的chunk 写入请求被放入队列并交由该线程池处理，提高该值对导入性能影响巨大。	16	修改 be.conf 相关配置项，新版本已经支持动态修改
pipeline_dop	控制 pipeline 引擎并行度，提高该值可有效提升导入性能，具体测试可参考 StarRocks pipeline_dop 对导入性能影响测试	CPU core 一半	连接 leader fe 并设置变量： set pipeline_dop = xxx

Compaction

参数名称	参数含义	默认值	修改命令
lake_compaction_max_tasks	FE 上可同时发起的 Compaction 任务数量默认值为-1，即FE会根据系统中 BE 数量自动计算。如果为0，则FE不再发起任何Compaction任务	-1	admin set frontend config ("lake_compaction_max_tasks" = "xxx");
lake_compaction_score_selector_min_score	最小的Compaction score，如果 Partition 的 Compaction Score 低于该值，则不会对其发起Compaction 任务	10.0	admin set frontend config ("lake_compaction_score_selector_min_score" = "xxx");
lake_compaction_history_size	控制show proc '/compactions' 显示的结果数量	12	admin set frontend config ("lake_compaction_history_size" = "xxx");
compact_threads	控制 BE 上同时执行Compaction任务的线程数，也即 BE 上可同时为多少个Tablet进行Compaction	4	修改be.conf相关配置项，不支持动态修改
compact_thread_pool_queue_size	BE 上控制 Compaction任务队列大小，控制可接收来自FE的最大Compaction 任务数	100	修改be.conf相关配置项，不支持动态修改

StarRocks 存算分离 3.1 性能调优手册​

StarRocks 存算分离 3.1 性能调优手册