如何解决BigQuery 到 BigQuery 数据流
我看过 this SO post 但它已经三年了，我认为 GCP 从那时起发生了变化。
我想要做的是使用 DataFlow 作业设置数据管道，以将数据从一个 GBQ 项目复制/转换到另一个 GBQ 项目。
要创建 DataFlow 作业，您需要选择一个模板，但没有符合我需要的模板，即没有 BQ 到 BQ 模板。
有一个选项可以使用自定义模板（我想这将是一个 python 脚本或类似的东西），但是没有 BQ 到 BQ 模板似乎很奇怪。 DataFlow 不是适合这项工作的工具吗？我应该只使用计划查询吗？
提前致谢
解决方法
如果您真的想使用Dataflow模板，有一种方法不是很直接，您可以使用BigQuery到云存储模板将数据存储在GCS中，然后云存储到BigQuery模板将数据带到目标项目。但是，请确保您授予从目标项目访问云存储桶所需的适当权限。
,如果使用 SQL 无法实现您想要的转换或使用 SQL 不切实际，您可以使用 Cloud Data fusion -> Integration studio。在这里，您可以选择源和接收器作为 BigQuery，并且有许多选项可用于转换组件。它类似于 ETL 工具。 Data Fusion Quickstart documentation。
否则，您可以根据自己的要求在 BigQuery 本身中简单地执行或安排查询，并将查询结果保存在另一个表 Saving query results in destination table 中。
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 [email protected] 举报，一经查实，本站将立刻删除。