説明
Spark の DataFrame は、Python または R の DataFrame と同等です。
いいえ、それらは平等ではありません。似ているだけです。Spark と Python の主な違いは、Spark の DataFrame は分散されるのに対し、Python の DataFrame は分散されないことです。

説明
クラスター モードではドライバーはマスター ノードで実行され、クライアント モードではドライバーはクラウド内の仮想マシンで実行されます。
実行モードではワークロードがクラウドで実行されるかオンプレミスで実行されるかが指定されていないため、これは誤りです。
クラスター モードでは、各ノードが独自のエグゼキューターを起動しますが、クライアント モードでは、エグゼキューターはクライアント マシン上で排他的に実行されます。
どちらの場合もエグゼキュータはワーカー ノードで実行されるため、間違いです。
クラスター モードでは、ドライバーはエッジ ノードで実行されますが、クライアント モードでは、ドライバーはワーカー ノードで実行されます。
間違いです。クラスター モードでは、ドライバーはワーカー ノード上で実行されます。クライアント モードでは、ドライバーはクライアント マシン上で実行されます。
クライアント モードでは、クラスター マネージャーはドライバーと同じホスト上で実行されますが、クラスター モードでは、クラスター マネージャーは別のノード上で実行されます。
いいえ。どちらのモードでも、クラスター マネージャーは通常、ドライバーと同じホスト上ではなく、別のノード上にあります。ローカル実行モードではドライバーと同じホスト上でのみ実行されます。
詳細情報: Learning Spark、第 2 版、第 1 章、および Spark: 決定版ガイド、第 15 章 ()

説明
この質問のコツは、DataFrameWriter の「モード」を知ることです。モード無視は、ファイルがすでに存在する場合に無視し、そのファイルを置き換えませんが、エラーもスローしません。モード errorifexists はエラーをスローします。これは DataFrameWriter のデフォルト モードです。質問は「いいえ」です。
DataFrame が存在しない場合は、DataFrame が「サイレント」に書き込まれることを明示的に呼び出します。そのため、ファイルがすでに存在する場合に Spark からエラーが通知されるのを避けるために、ここで mode("ignore") を指定する必要があります。
「上書き」モードは、サイレントではありますが、既存のファイルを上書きするため、ここでは適切ではありません。これは質問が求めていることではありません。
Spark は SparkSession オブジェクトを参照しますが、そのオブジェクトは DataFrameWriter を提供しないため、spark.DataFrameWriter(itemsDf) で始まるオプションは機能しないことに注意してください。
ドキュメント (以下) でわかるように、DataFrameWriter は PySpark の SQL API の一部ですが、SparkSession API の一部ではありません。
より詳しい情報：
DataFrameWriter: pyspark.sql.DataFrameWriter.save - PySpark 3.1.1 ドキュメント SparkSession API: Spark SQL - PySpark 3.1.1 ドキュメント 静的ノートブック | 動的ノートブック: テスト 1 を参照

説明
この質問は難しいです。ここで知っておくべき重要な点が 2 つあります。
まず、createDataFrame の構文です。ここでは、[(1,), (2,)] のようなタプルのリストが必要です。Python でタプルを定義するには、その中に項目が 1 つしかない場合、Python がそれを単なる通常のかっこではなくタプルとして解釈できるように、項目の後にカンマを置くことが重要です。
次に、to_timestamp 構文を理解する必要があります。詳細については、以下のリンク先のドキュメントを参照してください。
適切な対策として、間違ったオプションが間違っている理由を詳しく調べてみましょう。
dfDates = dark.createDataFrame([("23/01/2022 11:28:12",),("24/01/2022 10:58:34",)], ["date"]) このコード スニペットは次のことを行います。日付列のデータ型がタイムスタンプではなく文字列であることを除いて、質問で求められるものはすべて含まれています。スキーマが指定されていない場合、Spark は文字列データ型をデフォルトとして設定します。
dfDates = スパーク.createDataFrame(["23/01/2022 11:28:12","24/01/2022 10:58:34"], ["日付"]) dfDates = dfDates.withColumn("日付", to_timestamp("dd/MM/yyyy HH:mm:ss", "date")) このコマンドの最初の行で、Spark は次のエラーをスローします: TypeError: タイプのスキーマを推論できません:
<クラス 'str'>。これは、Spark が行情報の検索を期待しているのではなく、文字列を検索するためです。データをタプルとして指定する必要があるのはこのためです。幸いなことに、Spark ドキュメント (以下にリンク) には、正しい軌道に乗るのに役立つ DataFrame の作成例が多数示されています。
dfDates = スパーク.createDataFrame([("23/01/2022 11:28:12",),("24/01/2022 10:58:34",)], ["日付"]) dfDates = dfDates。 withColumnRenamed("date", to_timestamp("date", "yyyy-MM-dd HH:mm:ss")) この回答の問題は、演算子 withColumnRenamed が使用されていることです。この演算子は単に列の名前を変更するだけですが、実際の内容を変更する権限はありません。このため、代わりに withColumn を使用する必要があります。さらに、日付形式 yyyy-MM-dd HH:mm:ss は、実際のタイムスタンプの形式「23/01/2022 11:28:12」を反映しません。
dfDates = スパーク.createDataFrame(["23/01/2022 11:28:12","24/01/2022 10:58:34"], ["日付"]) dfDates = dfDates.withColumnRenamed("日付", to_datetime("date", "yyyy-MM-dd HH:mm:ss")) ここでは、withColumn の代わりに withColumnRenamed が使用されます (上記を参照)。さらに、行は正しく表現されていません。括弧を使用してタプルとして記述する必要があります。最後に、ここでは日付形式さえオフになっています (上記を参照)。
詳細: pyspark.sql.functions.to_timestamp - PySpark 3.1.2 ドキュメントおよび pyspark.sql.SparkSession.createDataFrame - PySpark 3.1.1 ドキュメント 静的ノートブック | 動的ノートブック: テスト 2 を参照

説明
この疑問を解決する鍵は、デフォルトで、cache() が値をメモリに保存し、メモリが不足しているパーティションをディスクに書き込むことを知る (またはドキュメントを読む) ことです。persist() はまったく同じ動作を実現できますが、ここにリストされている StorageLevel.MEMORY_ONLY オプションでは実現できません。また、cache() には引数がないことにも注意してください。
ドキュメントでストレージ レベルの情報を見つけるのが難しい場合は、ここでいくつかの点を明らかにしているこの学生 Q&A スレッドも参照してください。
静的ノート | 動的ノートブック: テスト 2 を参照