Associate-Developer-Apache-Spark 試験問題 1
次のうち、Sparkのメモリ管理方法を説明しているのはどれですか?
Associate-Developer-Apache-Spark 試験問題 2
次のコードブロックのうち、一意の行しかない2000行のDataFrametransactionsDfから約1000行を返すものはどれですか。そのうちのいくつかは重複している可能性があります。
Associate-Developer-Apache-Spark 試験問題 3
Sparkの実行階層の最も深いレベルは次のうちどれですか?
Associate-Developer-Apache-Spark 試験問題 4
以下に表示されるコードブロックには、少なくとも1つのエラーが含まれています。コードブロックは、結果が1列しかないDataFrameを返す必要があります。その列には、DataFrametransactionsDfから5の累乗で累乗された列値のすべての値と、列値に値がない行のnull値が含まれている必要があります。エラーを見つけます。
コードブロック:
1.pyspark.sql.functionsからudfをインポートします
2.pyspark.sqlからインポートタイプをTとして
3.3。
4.transactionsDf.createOrReplaceTempView('transactions')
5.5。
6.def pow_5(x):
7. x**5を返します
8.8。
9.spark.udf.register(pow_5、'power_5_udf'、T.LongType())
10.spark.sql('SELECT power_5_udf(value)FROMtransactions')
コードブロック:
1.pyspark.sql.functionsからudfをインポートします
2.pyspark.sqlからインポートタイプをTとして
3.3。
4.transactionsDf.createOrReplaceTempView('transactions')
5.5。
6.def pow_5(x):
7. x**5を返します
8.8。
9.spark.udf.register(pow_5、'power_5_udf'、T.LongType())
10.spark.sql('SELECT power_5_udf(value)FROMtransactions')
Associate-Developer-Apache-Spark 試験問題 5
以下に表示されるコードブロックには、複数のエラーが含まれています。コードブロックは、DataFrametransactionsDfのtransactionId、predError、value、storeIdの各列のみを含むDataFrameを返す必要があります。エラーを見つけます。
コードブロック:
transactionDf.select([col(productId)、col(f)])
トランザクションのサンプルDf:
1。+-------------+ --------- + ----- + ------- + --------- + ---- +
2. | transactionId | predError | value | storeId | productId | f |
3. + ------------- + --------- + ----- + ------- + --------- + ---- +
4. | 1 | 3 | 4 | 25 | 1 | null |
5. | 2 | 6 | 7 | 2 | 2 | null |
6. | 3 | 3 | null | 25 | 3 | null |
7. + ------------- + --------- + ----- + ------- + --------- + ---- +
コードブロック:
transactionDf.select([col(productId)、col(f)])
トランザクションのサンプルDf:
1。+-------------+ --------- + ----- + ------- + --------- + ---- +
2. | transactionId | predError | value | storeId | productId | f |
3. + ------------- + --------- + ----- + ------- + --------- + ---- +
4. | 1 | 3 | 4 | 25 | 1 | null |
5. | 2 | 6 | 7 | 2 | 2 | null |
6. | 3 | 3 | null | 25 | 3 | null |
7. + ------------- + --------- + ----- + ------- + --------- + ---- +