微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

Spark SQL一DataFrame对string类型列进行加1操作

代码如下:

package com.github.ralgond.sparkjavaapi.sql;

import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.SparkSession;

import static org.apache.spark.sql.functions.col;


public class sql {

	public static void main(String args[]) {
		SparkSession spark = SparkSession.builder().getorCreate();
		
		Dataset<Row> df = spark.read().json("examples/src/main/resources/people.json");
		df.show();
		df.select(col("name").plus(1)).show();
	}
}

这段代码的结果是:

+----+-------+
| age|   name|
+----+-------+
|null|Michael|
|  30|   Andy|
|  19| Justin|
+----+-------+

+----------+
|(name + 1)|
+----------+
|      null|
|      null|
|      null|
+----------+

Spark sql发现正要处理的对象的值不是数值类型时,并不会报错,也不会将1追加到字符串后面(比如Andy1),而是设置结果为null。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。

相关推荐