pyspark中怎么读取hdfs数据

在pyspark中读取HDFS数据可以通过以下步骤实现：

首先，导入必要的模块：

from pyspark.sql import SparkSession

创建一个SparkSession对象：

spark = SparkSession.builder \    .appName("Read HDFS Data") \    .getOrCreate()

使用SparkSession对象的read方法读取HDFS数据：

df = spark.read.csv("hdfs://<namenode>:<port>/path/to/file.csv")

其中，"hdfs://:/path/to/file.csv"是HDFS文件的路径，需要替换为实际的路径。

可以对读取的数据进行一些操作，比如显示数据的schema和前几行数据：

df.printSchema()df.show()

最后，记得关闭SparkSession对象：

spark.stop()

通过以上步骤，就可以在pyspark中读取HDFS数据了。