Różnica w wywołaniu pracy

Nie ma dodatkowych uprawnień, ale opcje linii poleceń są uruchamiane przez GenericOptionsParser, który pozwoli Ci wyodrębnić pewne właściwości konfiguracyjne i skonfigurować z niego obiekt konfiguracyjny:

Http://hadoop.apache.org/common/docs/r0.20.2/api/org/apache/hadoop/util/GenericOptionsParser.html

Zasadniczo, zamiast parsować niektóre opcje samodzielnie (używając indeksu argumentu na liście), możesz jawnie skonfigurować właściwości konfiguracji z linii poleceń:

hadoop jar myJar.jar com.Main prop1value prop2value

public static void main(String args[]) {
    Configuration conf = new Configuration();
    conf.set("prop1", args[0]);
    conf.set("prop2", args[1]);

    conf.get("prop1"); // will resolve to "prop1Value"
    conf.get("prop2"); // will resolve to "prop2Value"
}

Staje się znacznie bardziej skondensowany z Toolrunnerem:

hadoop jar myJar.jar com.Main -Dprop1=prop1value -Dprop2=prop2value

public int run(String args[]) {
    Configuration conf = getConf();

    conf.get("prop1"); // will resolve to "prop1Value"
    conf.get("prop2"); // will resolve to "prop2Value"
}

Ostatnie słowo ostrzeżenia: podczas używania metody konfiguracyjnej getConf(), najpierw Utwórz swój obiekt Job, a następnie wyciągnij jego konfigurację - konstruktor zadania tworzy kopię przekazanego obiektu Configruation, więc jeśli dokonasz zmian w przekazanym referencji, zadanie nie zobaczy tych zmian:

public int run(String args[]) {
    Configuration conf = getConf();

    conf.set("prop3", "blah");

    Job job = new Job(conf); // job will have a deep copy of conf

    conf.set("prop4", "dummy"); // here we're amending the original conf

    job.getConfiguration().get("prop4"); // will resolve to null
}