如何通过 Oozie 在 YARN 上运行 Spark 作业
发布网友
发布时间：2022-04-25 01:21
共1个回答
热心网友
时间：2022-04-14 06:46
考虑一个简单的字数统计应用程序，它在一个文本文件集中创建一种文字分布。这个应用程序（在 Spark Java API 中编写）可用作您的工作流中的 Spark 作业，是一个不错例子。下面的列表大体确定了 Spark 驱动程序必须执行的操作：
读取输入的一组文本文档。
统计每个字出现的次数。
按字数排序，并以 CSV 格式和降序输出结果。
以下各节将介绍如何使用 Oozie 在 Y
