apache-spark-mllib
Wywołanie funkcji Java / Scala z zadania
Tło
Moje pierwotne pytanie brzmiało dlaczego użycie DecisionTreeModel.predict wewnątrz funkcji mapy powoduje wyjątek? i jes ... zszerzanie klas Spark poprzez ukryte konwersje lub dodawanie pewnego rodzaju opakowań
korzystanie bezpośrednio z bramy Py4j
Jak stworzyć poprawną ramkę danych do klasyfikacji w SPARK ML
Próbuję uruchomić random forest classification za pomocą Spark ML api ale mam problemy z tworzeniem właściwej ramki danych d ... ang.IllegalArgumentException: Field "features" does not exist.
val cmModel = cv.fit(dataFixed)
}
}
Dzięki za pomoc!
Radzenie sobie z niezbalansowanymi zestawami danych w Spark MLlib
Pracuję nad konkretnym problemem klasyfikacji binarnej z wysoce niezbalansowanym zestawem danych i zastanawiałem się, czy kto ... rze, jak się spodziewałem.
I would appreciate wszelkie opinie dotyczące twoich doświadczeń z podobnymi problemami.
Dzięki,
Jak przypisać unikalne sąsiadujące liczby do elementów w SPARK RDD
Mam zbiór danych (user, product, review) i chcę wprowadzić go do algorytmu als mllib.
Algorytm wymaga, aby użytkownicy i pro ... órym myślałem, jest napisanie niestandardowego RDD, które zasadniczo wylicza od 1 do n, a następnie wywołanie zip na dwa RDD.
Mnożenie macierzy w Apache Spark [zamknięte]
Próbuję wykonać mnożenie macierzy za pomocą Apache Spark i Javy.
Mam 2 główne pytania:
Jak stworzyć RDD, które może reprezentować macierz w Apache Spark?
Jak pomnożyć dwa takie RDD?
Zapisz model ML do wykorzystania w przyszłości
Stosowałem algorytmy uczenia maszynowego, takie jak regresja liniowa, regresja logistyczna i naiwne Bayes do niektórych danyc ... NaiveBayes), ale mllib nie ma CrossValidator i używać RDDs, więc unikam go z premedytacją.
aktualna wersja to spark 1.5.1.
Jak wyodrębnić hiper-parametry modelu z spark.ml w PySpark?
Majstruję nad kodem krzyżowym z Dokumentacji PySpark i próbuję przekonać PySpark, który model został wybrany:
from pyspark. ... l.bestModel.extractParamMap()
Out[5]: {}
In [15]: cvModel.params
Out[15]: []
In [36]: cvModel.bestModel.params
Out[36]: []
Jak obsługiwać Model Spark MLlib?
Oceniam narzędzia do produkcji aplikacji opartych na ML i jedną z naszych opcji jest Spark MLlib, ale mam kilka pytań, jak ob ... może być użyta z dowolnej aplikacji, podobnie jest w przypadku Amazon ML.
Jak serwować / wdrażać modele ML w Apache Spark ?
Spark MLlib LDA, jak wywnioskować rozkład tematów nowego dokumentu?
Jestem zainteresowany zastosowaniem Lda topic modeling przy użyciu Spark MLlib. Sprawdziłem kod i wyjaśnienia w tutaj , ale nie mogłem znaleźć, jak użyć modelu, aby znaleźć rozkład tematu w nowym niewidzialnym dokumencie.