源码解析：Job提交流程源码解析 waitForCompletion() submit(); // 1建立连接 connect(); // 1）创建提交Job的代理 new Cluster

日志数据的准备在此项目中，由于配置了两个生产者，所以，分别在hadoop101,hadoop102上修改生成数据的时间. # 修改两台机器上的生产者时间为2020-06-16 vim /opt/module/EBDW/applog/appl

SparkSparkCoreSpark工作流程图解： 文字解说:1.SparkContext向资源管理器注册并申请资源运行Executor 2.资源管理器分配资源,运行Executor 3.Executor发送心跳至资源管理器 4.Spar

数据准备创表语句 click_product_id CREATE TABLE `user_visit_action`( `date` string, `user_id` bigint, `session_id` string, `p

UDF package com.tzk.sparksql.udf import org.apache.spark.SparkConf import org.apache.spark.sql.SparkSession object UD

数据{ "RECORDS": [ { "user_id": "10408199", "user_name": "lym20137109", "regist_channel"

通过隐式转换 import scala.collection.JavaConverters._ //创建scala集合 val list = List(1,2,3) //scala转java val jList = list.asJava

DF,DS,RDD三者转换 val rdd = sc.makeRDD(List(("张三",23),("李四",22))) // RDD => DF val df = rdd.toDF // RDD => DS // 可以直接转,但是工作

DataFrame他是一种以RDD为基础的分布式数据集,相当于传统数据库的二维表. 但是,他与RDD的主要区别在于,他包含了schema元信息. 即他为数据提供了schema的视图.具体见下图 然后有以下几点需要理解: 他是包含

‘ ‘里面的东西,不能解析引用e.gexport name = 12 echo ‘$name ‘ 输出的就是$name而echo “$name” 输出的是 \12 =====================================