spark读取文件

CSV文件的读取

代码展示

方法一

 val df1  = spark.read
      .option("header","false")
      .option("multiLine","true")
      .option("inferSchema", "true")
      .option("encoding", "gbk")
      .option("sep","\t")
      .csv("datas/test.csv")
      .toDF("username","password","address")
//      .as[User]
      df1.show()

方法二

spark.sparkContext.textFile("datas/test.csv").map {
      line =>
        val strings = line.split("\t")
        User(strings(0), strings(1), strings(2))
    }.toDS().show()