代码如下:
package com.github.ralgond.sparkjavaapi.sql;
import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.SparkSession;
import static org.apache.spark.sql.functions.col;
public class sql {
public static void main(String args[]) {
SparkSession spark = SparkSession.builder().getorCreate();
Dataset<Row> df = spark.read().json("examples/src/main/resources/people.json");
df.show();
df.select(col("name").plus(1)).show();
}
}
这段代码的结果是:
+----+-------+
| age| name|
+----+-------+
|null|Michael|
| 30| Andy|
| 19| Justin|
+----+-------+
+----------+
|(name + 1)|
+----------+
| null|
| null|
| null|
+----------+
Spark sql发现正要处理的对象的值不是数值类型时,并不会报错,也不会将1追加到字符串后面(比如Andy1),而是设置结果为null。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。