説明
詳細：pyspark.sql.DataFrame.join-PySpark3.1.2ドキュメント
静的ノートブック| ダイナミックノートブック：テスト2を参照

説明
詳細：pyspark.sql.DataFrame.withColumnRenamed-PySpark3.1.2ドキュメント静的ノートブック| ダイナミックノートブック：テスト2を参照

説明
クラスタマネージャは、SparkContextを介してドライバから入力を受け取ります。
正しい。ドライバーがクラスターマネージャーに接続するために、ドライバーはSparkContextを起動します。次に、ドライバーはクラスターマネージャーにエグゼキューターを起動するためのリソースを要求します。
クライアントモードでは、クラスターマネージャーはエッジノードで実行されます。
いいえ。クライアントモードでは、クラスターマネージャーはエッジノードから独立しており、クラスター内で実行されます。
クラスタマネージャはスタンドアロンモードでは存在しません。
間違って、クラスターマネージャーはスタンドアロンモードでも存在します。スタンドアロンモードは、いくつかの制限はありますが、クラスター全体にSparkをデプロイするための簡単な手段であることを忘れないでください。たとえば、スタンドアロンモードでは、他のフレームワークをSparkと並行して実行することはできません。ただし、クラスターマネージャーはスタンドアロン展開のSparkの一部であり、クラスター全体でリソースを起動および維持するのに役立ちます。
クラスタマネージャは、ジョブをDAGに変換します。
いいえ、ジョブをDAGに変換するのはSparkドライバーのタスクです。
各クラスターマネージャーは、データの単一のパーティションで機能します。
いいえ。クラスターマネージャーは、パーティションを直接操作しません。彼らの仕事は、クラスターリソースを調整して、Sparkドライバーから要求されて割り当てられるようにすることです。
詳細：コアSparkの概念の概要* BigData

説明
正しいコードブロック：
transactionDf.write.format（ "parquet"）。mode（ "overwrite"）。option（ "compression"、 "snappy"）。save（storeDir）この質問を解決するには、からDataFrameWriter（以下のリンク）にアクセスする方法を知っている必要があります。 DataFrameAPI-DataFrame.writeを介して。
ここでのもう1つのニュアンスは、既存のファイルを処理するときのSparkの動作を決定する寄木細工のファイルを作成するために使用できるさまざまなモードを知ることです。これらは、圧縮オプションとともに、以下にリンクされているDataFrameWriter.parquetのドキュメントで説明されています。
最後に、ブラケット__5__は特定の課題を提起します。ファイルパスをDataFrameWriterに渡すために使用できるコマンドを知る必要があります。ここでは、保存と寄木細工の両方が有効なオプションです。
より詳しい情報：
--DataFrame.write：pyspark.sql.DataFrame.write-PySpark3.1.1ドキュメント
--DataFrameWriter.parquet：pyspark.sql.DataFrameWriter.parquet-PySpark3.1.1ドキュメント静的ノートブック| ダイナミックノートブック：テスト1を参照

説明
DataFrame.unique（）およびDataFrame.concat（）は存在せず、union（）はSparkSessionのメソッドではありません。さらに、DataFrame.join（）ステートメントにはjoinメソッドのユニオンオプションはありません。
詳細：pyspark.sql.DataFrame.union-PySpark3.1.2ドキュメント
静的ノートブック| ダイナミックノートブック：テスト2を参照