Apache Flink 1.12.1发布

2021年1月19日宋欣彤

Apache Flink社区发布了Apache Flink 1.12系列的第一个错误修正版本。

此版本包含79个修复程序以及Flink 1.12.0的较小改进。下面的列表包括所有修复和改进的详细列表。

我们强烈建议所有用户升级到Flink 1.12.1。

注意： 使用在Flink1.12.0对齐检查点具有两个/多个输入任务或单输入任务工会输入相结合，可导致损坏的状态。

如果在恢复完全完成之前触发了新的检查点，则会发生这种情况。为了使状态损坏，具有两个或更多输入门的任务必须恰好在此任务完成对溢出的飞行数据的恢复的同时接收检查点屏障。在这种情况下，此新的检查点可以成功执行，因为传输中的数据已损坏/丢失，当有人尝试从已损坏的检查点恢复时，这将导致各种反序列化/损坏的数据流错误。

在Flink 1.12.1中使用未对齐的检查点，拒绝的检查点之后的检查点可能会发生损坏。

取消检查点的较晚障碍可能会导致缓冲区未写入后续检查点，因此无法进行恢复。当下一个检查点障碍物在所有之前的障碍物到达之前到达给定的操作员时就会发生这种情况，只有在取消未对齐的检查点后才会发生。

更新的Maven依赖项：

<dependency>
  <groupId>org.apache.flink</groupId>
  <artifactId>flink-java</artifactId>
  <version>1.12.1</version>
</dependency>
<dependency>
  <groupId>org.apache.flink</groupId>
  <artifactId>flink-streaming-java_2.11</artifactId>
  <version>1.12.1</version>
</dependency>
<dependency>
  <groupId>org.apache.flink</groupId>
  <artifactId>flink-clients_2.11</artifactId>
  <version>1.12.1</version>
</dependency>

您可以在更新的“下载”页面上找到二进制文件。

注意：

• Apache Flink 1.12.1的dockerhub官方映像暂时丢失。作为替代方案，映像当前可在Flink PMC托管存储库中使用。现在，这也是Native Kubernetes部署的默认设置。Flink PMC将继续与dockerhub团队合作以提供官方映像。
• 由于项目空间限制，PyPI上暂时缺少Apache Flink 1.12.1的源代码和python 3.8 linux wheel软件包。目前，有关增加空间限制的请求正在PyPI审核过程中。在这段时间内，您可以根据需要手动构建软件包。

解决的问题列表：

子任务

• [ FLINK-18897 ]-添加有关maxwell-json格式的文档
• [ FLINK-20352 ]-返工命令行界面文档页面
• [ FLINK-20353 ]-返工日志文档页面
• [ FLINK-20354 ]-重做独立部署文档页面
• [ FLINK-20355 ]-返工K8s部署文档页面
• [ FLINK-20356 ]-返工Mesos部署文档页面
• [ FLINK-20422 ]-从flink文档中的.html文件中删除
• [ FLINK-20485 ]-多次反序列化地图视图
• [ FLINK-20601 ]-返工PyFlink CLI文档

Bug

• [ FLINK-19369 ]-BlobClientTest.testGetFailsDuringStreamingForJobPermanentBlob挂起
• [ FLINK-19435 ]-使用Class.forName同时加载不同的驱动程序类时出现死锁
• [ FLINK-19725 ]-记录程序由于超时而无法初始化：抛出LoggerInitializationException
• [ FLINK-19880 ]-修复了忽略解析错误对旧版JSON格式不起作用的问题
• [ FLINK-20213 ]-当记录持续到来时，分区提交被延迟
• [ FLINK-20221 ]-DelimitedInputFormat无法正确还原压缩文件，导致数据丢失
• [ FLINK-20273 ]-修复表api Kafka连接器接收器分区文件错误
• [ FLINK-20372 ]-更新Kafka sql连接器页面以提及属性。*选项
• [ FLINK-20389 ]-由NullPointerException引起的UnalignedCheckpointITCase故障
• [ FLINK-20404 ] -ZooKeeper仲裁因缺少log4j库而无法启动
• [ FLINK-20419 ]-由于无法生成执行计划而导致插入失败
• [ FLINK-20428 ] -ZooKeeperLeaderElectionConnectionHandlingTest.testConnectionSuspendedHandlingDuringInitialization失败，原因是“没有预期结果，因为在停止服务器之前还没有选择任何领导者”
• [ FLINK-20429 ]-KafkaTableITCase.testKafkaTemporalJoinChangelog失败，出现意外结果
• [ FLINK-20433 ] -UnalignedCheckpointTestBase.execute失败，并显示“ TestTimedOutException：300秒后测试超时”
• [ FLINK-20464 ]-一些表格示例未正确构建
• [ FLINK-20467 ]-修复Python DataStream Doc中的示例
• [ FLINK-20470 ]-反序列化JSON时无法将MissingNode强制转换为ObjectNode
• [ FLINK-20476 ]-新的文件接收器端到端测试失败
• [ FLINK-20486 ] -Hive临时联接应允许监视器间隔小于1小时
• [ FLINK-20492 ]-SourceOperatorStreamTask应该实现cancelTask（）和finishTask（）
• [ FLINK-20493 ] -SQLClientSchemaRegistryITCase失败，显示“无法构建flink-dist映像”
• [ FLINK-20521 ]-RPC系统吞噬了空结果值
• [ FLINK-20525 ]-StreamArrowPythonGroupWindowAggregateFunctionoperator无法正确处理行时间和处理时间
• [ FLINK-20543 ]-修复upsert kafka文档中的拼写错误
• [ FLINK-20554 ]-最新完成的检查点的检查点数据大小未正确显示在UI的“概述”页面上
• [ FLINK-20582 ]-修复了“ CREATE Statements”文档中的错别字
• [ FLINK-20607 ] -udfs页面中的错误示例。
• [ FLINK-20615 ]-具有“ IOException：流关闭”的本地恢复和粘性计划端到端测试超时
• [ FLINK-20626 ]-作业失败时取消作业将导致作业挂起处于“取消”状态
• [ FLINK-20630 ]-[Kinesis] [DynamoDB] DynamoDB流消费者无法从最新消费
• [ FLINK-20646 ]-ReduceTransformation不适用于RocksDBStateBackend
• [ FLINK-20648 ]-使用基于Kubernetes的HA服务时，无法从保存点还原作业
• [ FLINK-20664 ] -TaskManager pod的支持设置服务帐户
• [ FLINK-20665 ]-从最新的Checkpoint还原时，FileNotFoundException
• [ FLINK-20666 ]-修复了反序列化的行会丢失PyFlink中的field_name信息的情况
• [ FLINK-20669 ]-在flink-python模块中添加jzlib许可文件
• [ FLINK-20703 ]-HiveSinkCompactionITCase测试超时
• [ FLINK-20704 ]-某些rel数据类型无法正确实现摘要
• [ FLINK-20756 ] -PythonCalcSplitConditionRule无法正常工作
• [ FLINK-20764 ]-BatchGroupedReduceOperator不针对单例输入发出结果
• [ FLINK-20781 ]-由NullPointerException引起的UnalignedCheckpointITCase故障
• [ FLINK-20784 ]-当插入到配置单元中时，.staging_xxx不存在
• [ FLINK-20793 ]-由于代码样式重构，修复了NamesTest
• [ FLINK-20803 ] -Spotless -maven-plugin和google-java-format插件之间的版本不匹配
• [ FLINK-20841 ]-修复由于生成的文件重复而导致的编译错误

改善

• [ FLINK-19013 ]-状态恢复的日志开始/结束
• [ FLINK-19259 ]-将类加载器释放挂钩与Kinesis生产者一起使用，以避免元空间泄漏
• [ FLINK-19832 ]-改进了SlotSharingExecutionSlotAllocator中立即失败的物理插槽的处理
• [ FLINK-20055 ]-Flink JobManager日志中公开的Datadog API密钥
• [ FLINK-20168 ]-将“ Flink Architecture”页面翻译成中文
• [ FLINK-20209 ]-向Flink UI添加缺少的检查点配置
• [ FLINK-20298 ]-替换flink文档中的用法
• [ FLINK-20468 ]-在MiniCluster中启用领导控制以测试JM故障转移
• [ FLINK-20510 ]-默认情况下启用log4j2监视间隔
• [ FLINK-20519 ]-使用传递捆绑的依赖项扩展HBase通知
• [ FLINK-20570 ]-“提示”提示样式与process_function页面中的其他提示样式不同。
• [ FLINK-20588 ]-将docker- compose作为附录添加到Mesos文档中
• [ FLINK-20629 ]-[Kinesis] [EFO]从DescribeStream迁移到DescribeStreamSummary
• [ FLINK-20647 ]-使用yield在ProcessFunction中为Python DataStream生成输出数据
• [ FLINK-20650 ]-在docker-entrypoint.sh中将“ native-k8s”标记为已弃用
• [ FLINK-20651 ]-使用Spotless / google-java-format进行代码格式化/执行
• [ FLINK-20682 ]-添加与hadoop相关的配置选项
• [ FLINK-20697 ]-纠正jdbc.md/jdbc.zh.md中“ lookup.cache.ttl”的类型
• [ FLINK-20790 ]-不应将生成的类放在src /目录下
• [ FLINK-20792 ]-允许快速调用一尘不染
• [ FLINK-20805 ] -Blink运行时类被一尘不染部分忽略
• [ FLINK-20822 ]-不要检查蜂巢目录中的功能是否通用
• [ FLINK-20866 ]-启用HA时，如何在Yarn部署文档中列出作业列表

任务

• [ FLINK-20300 ]-创建Flink 1.12发行说明
• [ FLINK-20906 ]-将NOTICE文件的版权年份更新为2021