Flink基础学习(Scala): 简单入门World Count

文章目录

一、前提准备

这里将以IDEA作为开发软件，首先我们得创建一个maven项目(如何创建maven请自行百度), 配置我们的scala环境，File -> Project Structure -> Global Libraries -> 选择“加号” -> Scala SDK(前提要安装scala插件) -> browse -> 选择安装的scala目录即可

二、使用步骤

2.1 添加flink依赖

<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-java</artifactId>
    <version>1.12.0</version>
</dependency>

<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-streaming-java_2.11</artifactId>
    <version>1.12.0</version>
</dependency>

2.2 批处理

实现代码

import org.apache.flink.api.scala.ExecutionEnvironment
import org.apache.flink.api.scala._

object WorldCount {
  def main(args: Array[String]): Unit = {
    // 创建一个批处理的执行环境
    val env = ExecutionEnvironment.getExecutionEnvironment

    // 读取数据并转换    
    val resultDataSet = env.readTextFile("/opt/words.txt")
      .flatMap(_.split(" "))
      .map((_, 1))
      .groupBy(0)
      .sum(1)

    // 打印结果
    resultDataSet.print()
  }
}

错误一：Could not find implicit value for evidence parameter of type org.apache.flink.api.common.typeinfo.TypeInfomation[String]

解决办法：这是因为没有导入隐士转换导致的，在代码中导入隐士转换
import org.apache.flink.api.scala._

错误二：Exception in thread “main” java.lang.IllegalStateException: No ExecutorFactory found to execute the application

解决办法：这是因为缺少依赖导致的，在pom.xml中添加如下依赖

<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-clients_2.11</artifactId>
    <version>1.12.0</version>
</dependency>

2.3 流处理

实现代码

import org.apache.flink.streaming.api.scala.StreamExecutionEnvironment
import org.apache.flink.streaming.api.scala._


object StreamWorldCount {
  def main(args: Array[String]): Unit = {
    // 创建一个流处理的执行环境
    val env = StreamExecutionEnvironment.getExecutionEnvironment

    // 获取数据并进行转换
    val resultDataStream = env.socketTextStream("localhost", 9999)
      .flatMap(_.split(" "))
      .map((_, 1))
      .keyBy(0)
      .sum(1)

    // 打印结果
    resultDataStream.print()

    // 启动执行
    env.execute()
  }
}

如何测试呢，这里我们要用到一个命令工具(nc), 这个工具非常好用，

$ nc -lk 999

执行完上面的命令后，运行代码程序，然后在命令行窗口输入单词

三、总结

以上就是今天要讲的内容，学习大数据任何一门技术，基本是从本World Count开始的，他的重要性相当于学习任何一门语言的Hello World, 当然本文仅仅简单介绍了flink编程使用，偏重实践