BigData
  文章分类
hive 8 Data Warehouse 6 bigdata 1 Kafka 1 MapReduce 1 SQL 3 SparkSQL 4 spark 4 linux 4 MySQL 3 版本控制 1 git 1 hadoop 2 idea 1 java 2 shell 2 office 1 scala 2 shell 2 机器学习 1 图片 1 English 1 Scala 1 Hive 1 BigData 1 Data Warehouse 1 bigdata 1
Spark金典例题 Spark金典例题
解题方案package com.tzk.sparksql.module import org.apache.spark.SparkConf import org.apache.spark.sql.{Dataset, Enco
2022-07-04 spark
spark
spark读取文件 spark读取文件
CSV文件的读取代码展示方法一 val df1 = spark.read .option("header","false") .option("multiLine","true") .option("
2022-07-04 spark
spark
Spark性能调优经验总结 Spark性能调优经验总结
常规性能调优资源配置方面 方式 原理 –num-executors 通过提高task并行度提高效率 –executor-cores 通过增加每个executor的核数,提高平行度(虚拟核） –executor-memory
2021-08-16 spark
spark
Spark金典例题 Spark金典例题
spark2-submit --class resume.mlib.RcoAID \ --master yarn \ --deploy-mode cluster \ --num-executors 4 \ --executor-memor
2020-07-04 spark
spark