hortonworks-data-platform
Spark odczytuje plik z S3 używając sc.textFile ("s3n://…)
Próba odczytania pliku znajdującego się w S3 przy użyciu spark-shell:
scala> val myRdd = sc.textFile("s3n://myBucket/myF ... ną dla Hadoop 2.60, jak sugeruje ten post. Zamierzam wypróbować Spark dla Hadoop 2.40, aby zobaczyć, czy to rozwiąże problem.
Znajdź numer portu, na którym HDFS nasłuchuje
Chcę uzyskać dostęp do hdfs z w pełni kwalifikowanymi nazwami, takimi jak:
hadoop fs -ls hdfs://machine-name:8020/user
Mo ... skanie numeru portu (8020) jest trochę trudne. Próbowałem lsof, netstat.. ale wciąż nie mogłem znaleźć wiarygodnego sposobu.