BigData
  文章分类
hive 8 Data Warehouse 6 bigdata 1 Kafka 1 MapReduce 1 SQL 3 SparkSQL 4 spark 4 linux 4 MySQL 3 版本控制 1 git 1 hadoop 2 idea 1 java 2 shell 2 office 1 scala 2 shell 2 机器学习 1 图片 1 English 1 Scala 1 Hive 1 BigData 1 Data Warehouse 1 bigdata 1
SparkSQL小题 SparkSQL小题
数据准备创表语句 click_product_id CREATE TABLE `user_visit_action`( `date` string, `user_id` bigint, `session_id` string, `p
2022-04-17 SparkSQL
SparkSQL UDAF
SparkSQL用户自定义函数 SparkSQL用户自定义函数
UDF package com.tzk.sparksql.udf import org.apache.spark.SparkConf import org.apache.spark.sql.SparkSession object UD
2022-04-16 SparkSQL
SparkSQL UDAF UDF
SparkSQL的基础命令 SparkSQL的基础命令
DF,DS,RDD三者转换 val rdd = sc.makeRDD(List(("张三",23),("李四",22))) // RDD => DF val df = rdd.toDF // RDD => DS // 可以直接转,但是工作
2022-04-15 SparkSQL
SparkSQL
SparkSQL组件的理解 SparkSQL组件的理解
DataFrame他是一种以RDD为基础的分布式数据集,相当于传统数据库的二维表. 但是,他与RDD的主要区别在于,他包含了schema元信息. 即他为数据提供了schema的视图.具体见下图 然后有以下几点需要理解: 他是包含
2022-04-14 SparkSQL
SparkSQL