Spark金典例题

发布日期: 2020-07-04

文章字数: 252

阅读时长: 1 分

阅读次数:

spark2-submit --class resume.mlib.RcoAID \
--master yarn \
--deploy-mode cluster \
--num-executors 4  \
--executor-memory 10G \
--executor-cores 3 \
--driver-memory 10g \
--conf "spark.executor.extraJavaOptions='-Xss512m'" \
--driver-java-options "-Xss512m" \
/var/lib/hadoop-hdfs/als_ecommend/reserver-1.0-SNAPSHOT.jar  $1 $2 >> /var/lib/hadoop-hdfs/als_ecommend/logs/log_spark_out_`date +\%Y\%m\%d`.log
 
注意：
（1）
$1 $2 是 上一层，执行这个脚本传进来的参数
如：
/bin/bash /root/combine.sh aa  bb
aa bb 就是传入的参数
 
（2）
最后打印出的日志格式为：
-rw-r--r-- 1 root root   2375 Feb 27 15:25 log_spark_out_20200227.log
-rw-r--r-- 1 root root 712272 Feb 28 17:03 log_spark_out_20200228.log
-rw-r--r-- 1 root root   2375 Mar  9 15:36 log_spark_out_20200309.log
-rw-r--r-- 1 root root 712463 Mar 10 20:24 log_spark_out_20200310.log
-rw-r--r-- 1 root root  10578 Mar 12 18:51 log_spark_out_20200312.log
-rw-r--r-- 1 root root 468018 Mar 13 10:06 log_spark_out_20200313.log
-rw-r--r-- 1 root root 712602 Mar 19 18:26 log_spark_out_20200319.log
只有print的，以及DF show 这样的日志才会存储到日志文件中。
logger打印的日志在控制台运行任务时可以看到，但是并不能存储到日志文件中。