BigData
电商数仓-测试与优化 电商数仓-测试与优化
电商数据仓库项目基准测试为什么要做基准测试?在企业中非常关心每天从Java后台拉取过来的数据,需要多久能上传到集群?消费者关心多久能从HDFS上拉取需要的数据? 为了搞清楚HDFS的读写性能,生产环境上非常需要对集群进行压测。 怎么做 第
mysql基础 mysql基础
数据库的好处1.持久化数据到本地 2.可以实现结构化查询,方便管理 数据库相关概念1、DB:数据库,保存一组有组织的数据的容器 2、DBMS:数据库管理系统,又称为数据库软件(产品),用于管理DB中的数据 3、SQL:结构化查询语言,用于
2021-11-16
Hello World Hello World
Welcome to Hexo! This is your very first post. Check documentation for more info. If you get any problems when using Hex
2021-11-16 tzkTangXS
Spark性能调优经验总结 Spark性能调优经验总结
常规性能调优资源配置方面 方式 原理 –num-executors 通过提高task并行度提高效率 –executor-cores 通过增加每个executor的核数,提高平行度(虚拟核) –executor-memory
2021-08-16
git使用 git使用
初始化git init 克隆git clone 地址 切换分支-- 先查看commit git reflog -- 切换commit git reset --hard commitID 暴利pushgit push --force
2021-02-20
Spark金典例题 Spark金典例题
spark2-submit --class resume.mlib.RcoAID \ --master yarn \ --deploy-mode cluster \ --num-executors 4 \ --executor-memor
2020-07-04
5 / 5