Wywołanie zadania mapreduce z prostego programu java

Wywołanie zadania MapReduce z aplikacji webowej java (Servlet)

Można wywołać zadanie MapReduce z aplikacji internetowej przy użyciu Java API. Oto mały przykład wywołania zadania MapReduce z servletu. Kroki podane są poniżej:

Krok 1 : na początku Utwórz klasę serwletów sterowników MapReduce. Opracuj również mapę i zmniejsz usługę. Oto przykładowy fragment kodu:

Zadzwoń do Jobf z Serwleta.java

    public class CallJobFromServlet extends HttpServlet {

    protected void doPost(HttpServletRequest request,HttpServletResponse response) throws ServletException, IOException {

    Configuration conf = new Configuration();
    // Replace CallJobFromServlet.class name with your servlet class
        Job job = new Job(conf, " CallJobFromServlet.class"); 
        job.setJarByClass(CallJobFromServlet.class);
        job.setJobName("Job Name");
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(Text.class);
        job.setMapperClass(Map.class); // Replace Map.class name with your Mapper class
        job.setNumReduceTasks(30);
        job.setReducerClass(Reducer.class); //Replace Reduce.class name with your Reducer class
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(Text.class);
        job.setInputFormatClass(TextInputFormat.class);
        job.setOutputFormatClass(TextOutputFormat.class);

        // Job Input path
        FileInputFormat.addInputPath(job, new  
        Path("hdfs://localhost:54310/user/hduser/input/")); 
        // Job Output path
        FileOutputFormat.setOutputPath(job, new 
        Path("hdfs://localhost:54310/user/hduser/output")); 

        job.waitForCompletion(true);
   }
}

Krok 2 : Umieść wszystkie powiązane pliki JAR (hadoop, application specific jars) znajdujące się w folderze lib serwera www (np. Tomcat). Jest to obowiązkowe dla uzyskania dostępu do konfiguracji Hadoop (folder hadoop 'conf' zawiera pliki konfiguracyjne XML tj. core-site.XML, HDFS-site.xml etc). Wystarczy skopiować jars z folderu hadoop lib do katalogu lib serwera www(tomcat). Lista nazw jar jest następująca:

1.  commons-beanutils-1.7.0.jar
2.  commons-beanutils-core-1.8.0.jar
3.  commons-cli-1.2.jar
4.  commons-collections-3.2.1.jar
5.  commons-configuration-1.6.jar
6.  commons-httpclient-3.0.1.jar
7.  commons-io-2.1.jar
8.  commons-lang-2.4.jar
9.  commons-logging-1.1.1.jar
10. hadoop-client-1.0.4.jar
11. hadoop-core-1.0.4.jar
12. jackson-core-asl-1.8.8.jar
13. jackson-mapper-asl-1.8.8.jar
14. jersey-core-1.8.jar

Krok 3 : wdrożenie aplikacji internetowej na serwerze WWW (w folderze "webapps" dla Tomcat).

Krok 4 : Utwórz plik jsp i połącz klasę servlet (CallJobFromServlet.java) w atrybucie form action. Oto przykładowy fragment kodu:

Indeks.jsp

<form id="trigger_hadoop" name="trigger_hadoop" action="./CallJobFromServlet ">
      <span class="back">Trigger Hadoop Job from Web Page </span> 
      <input type="submit" name="submit" value="Trigger Job" />      
</form>

Inny sposób dla zadań już zaimplementowanych w przykładach hadoop i wymaga zaimportowania słoików hadoop.. następnie wystarczy wywołać statyczną funkcję główną żądanej klasy job z odpowiednim łańcuchem [] argumentów

Ponieważ map i reduce działają na różnych maszynach, wszystkie odwołane klasy i Jary muszą przenosić się z maszyny na maszynę.

Jeśli masz pakiet jar, i uruchomić na pulpicie, @ ThomasJungblut odpowiedź jest OK. Ale jeśli uruchomisz w Eclipse, kliknij prawym przyciskiem myszy swoją klasę i uruchom, to nie działa.

Zamiast:

job.setJarByClass(Mapper.class);

Użycie:

job.setJar("build/libs/hdfs-javac-1.0.jar");

W tym samym czasie manifest jar musi zawierać właściwość Main-Class, która jest Twoją główną klasą.

Dla użytkowników gradle, można umieścić te linie w budowie."gradle": {]}

jar {
manifest {
    attributes("Main-Class": mainClassName)
}}

Nie mogę wymyślić wielu sposobów, aby to zrobić bez angażowania biblioteki hadoop-core(lub rzeczywiście, jak powiedział @ ThomasJungblut, dlaczego chcesz).

Ale jeśli koniecznie musisz, możesz skonfigurować serwer Oozie z przepływem pracy dla swojego zadania, a następnie użyć interfejsu Oozie webservice, aby przesłać przepływ pracy do Hadoop.

• http://yahoo.github.com/oozie/
• http://yahoo.github.com/oozie/releases/2.3.0/WorkflowFunctionalSpec.html#a11.3.1_Job_Submission

Ponownie, wydaje się, że to dużo pracy dla czegoś, co może być po prostu rozwiązane za pomocą odpowiedzi Thomasa (Dołącz hadoop-core jar i użyj jego fragment kodu)

Możesz zrobić w ten sposób

public class Test {

    public static void main(String[] args) throws Exception {
        int res = ToolRunner.run(new Configuration(), new YourJob(), args);
        System.exit(res);

    }