项目场景：
在spark的源码中，有一个main文件夹，同时还有一个test文件夹，里面大部分是suite后缀的scala文件，这就是测试文件。通常我们编译spark源码，会skip掉test部分以加快速度，如果我们不是skip的话，完成的就是自动化测试，这个过程并不难懂，但是这个过程也并不是很简单地就能一次跑通。
问题描述：
实验环境：
spark：2.4.0
maven：3.6.3
scala：2.11.12
scalatest：3.0.4（版本要自己去查查对应的）
mvn clean package
然后会安装很多包，这里建议使用阿里云的镜像，华为镜像的有些似乎不全。
第一次是在win10平台下进行的，会报错提示没有spark-version-info.properties文件，却又不说应该放在哪里，这个文件。
索性我就在core里的每个目录下面都放上一个这个文件。之后运行不会再这个错误。
每次运行到对不同模块进行测试的时候，运行到中途某个位置就会蓝屏。
无奈之下，只能换到在集群上的环境进行编译，确保你的集群上又javac，然后进行编译即可，然后是漫长的等待。
结束后，在target文件夹的site下面的scalatest下面，生成html格式的测试报告。
参考文章：
总结：
完成在编译时同时进行了自动化的测试，也可以根据对spark源码的修改编写对应的test代码。
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 [email protected] 举报，一经查实，本站将立刻删除。
