R i kontrola wersji dla solowego analityka danych

Pracowałem przez dziewięć lat w sklepie analitycznym i wprowadziłem do niego ideę kontroli wersji naszych projektów analitycznych. Wierzę w kontrolę wersji, oczywiście. Chciałbym jednak poruszyć następujące kwestie.

1. Kontrola wersji może nie być odpowiednia, jeśli przeprowadzasz analizę do ewentualnego wykorzystania w sądzie. Nie brzmi to tak, jak ty, ale nasi klienci byliby bardzo zdenerwowani, wiedząc, że każda wersja każdego skryptu, którą kiedykolwiek mieliśmy wyprodukowany był potencjalnie możliwy do odkrycia. Użyliśmy kontroli wersji dla modułów kodu, które zostały ponownie użyte w wielu konfiguracjach, ale z tego powodu nie użyliśmy kontroli wersji dla kodu specyficznego dla zaangażowania.
2. odkryliśmy, że największą korzyścią dla kontroli wersji było przechowywanie modułów kodu w puszkach, które zostały ponownie wykorzystane w wielu projektach. Na przykład możesz mieć szczególny ulubiony sposób przetwarzania niektórych wyciągów z Pumeksów spisowych. Uporządkować ten kod w katalogu i umieścić go w Twoje VC. Następnie możesz sprawdzić go w każdym nowym projekcie za każdym razem, gdy go potrzebujesz. Może być nawet przydatne, aby utworzyć konkretne gałęzie określonego kodu dla określonego projektu, jeśli robisz specjalne przetwarzanie określonego wspólnego zbioru danych dla tego projektu. Następnie, kiedy skończysz z tym projektem, zdecyduj, ile kodu specjalnego chcesz scalić z powrotem do głównej gałęzi.
3. nie umieszczaj przetworzonych danych w kontroli wersji. Tylko kod. Naszym celem było zawsze posiadanie kompletnego zestawu skryptów tak że możemy usunąć wszystkie nasze wewnętrznie przetwarzane dane, nacisnąć przycisk i kazdy numer raportu od nowa. To jedyny sposób, aby upewnić się, że nie masz starych błędów żyjących tajemniczo w swoich danych.
4. aby upewnić się, że Twoje wyniki są naprawdę w pełni powtarzalne, nie wystarczy po prostu zachować swój kod w VCS. Bardzo ważne jest, aby uważnie śledzić, która wersja modułów została użyta do stworzenia konkretnego produktu.
5. jako w przypadku oprogramowania miałem szczęście z Subversion. Jest łatwy w konfiguracji i administrowaniu. Doceniam atrakcyjność nowych rozproszonych VCSs, takich jak git i mercurial, ale nie jestem pewien, czy są jakieś silne zalety, jeśli pracujesz sam. Z drugiej strony, nie znam żadnych negatywów do ich używania,po prostu nie pracowałem z nimi w środowisku analitycznym.

Wykonuję badania ekonomiczne przy użyciu R i LaTeX, i zawsze umieszczam swoją pracę pod kontrolą wersji. To jak Nieograniczone cofanie. Spróbuj Bazaar, jest to jeden z najprostszych do nauki i użycia, a jeśli jesteś na Windows ma graficzny interfejs użytkownika (TortoiseBZR).

Tak, istnieją dodatkowe korzyści z kontroli wersji podczas pracy z innymi, ale nawet w projektach solowych ma to sens.

Ze względu na kompletność, pomyślałem, że dostarczę aktualizację na temat mojego przyjęcia kontroli wersji.

Uważam, że kontrola wersji dla projektów analizy danych solo jest bardzo przydatna.

Używam git jako głównego narzędzia do kontroli wersji. Pierwszy raz zacząłem używać Egit w Eclipse z StatET. Teraz generalnie używam tylko interfejsu wiersza poleceń, chociaż integracja z RStudio jest całkiem dobra.

Pisałem na blogu o moim doświadczeniu konfigurowanie wersji kontrola z perspektywy projektów analizy danych.

Jak wspomniano w poście, znalazłem przyjęcie kontroli wersji miało wiele drugorzędnych korzyści w tym, jak myślę o projektach analizy danych, w tym Wyjaśnienie:

• rozróżnienie między plikami źródłowymi i pochodnymi
• charakter zależności:
  • zależności pomiędzy elementami kodu
  • zależności pomiędzy Plikami w projekcie
  • i zależności z plikami i programami zewnętrzne do repozytorium
[[13]}charakter repozytorium i sposób podziału repozytoriów [13]}charakter zatwierdzania i dokumentowania zmian i kamieni milowych projektu

W tej chwili prawdopodobnie myślisz o swojej pracy jako o rozwijaniu kodu, który zrobi to, co chcesz. Po wdrożeniu systemu kontroli wersji będziesz myśleć o swojej pracy jako o zapisywaniu swojego dziedzictwa w repozytorium i wprowadzaniu do niego błyskotliwych, stopniowych zmian. Czuję się o wiele lepiej.

Nadal polecam kontrolę wersji dla solowego występu jak ty, ponieważ posiadanie siatki bezpieczeństwa do łapania błędów może być świetną rzeczą.

Pracowałem jako samodzielny programista Javy i nadal korzystam z kontroli źródeł. Jeśli sprawdzam rzeczy w sposób ciągły, nie mogę stracić więcej niż godzinę pracy, jeśli coś pójdzie nie tak. Mogę eksperymentować i refaktorować bez martwienia się, bo jeśli pójdzie źle, zawsze mogę wrócić do mojej ostatniej działającej wersji.

If that ' s the case for you, Polecam użycie kontroli źródła. Nie jest trudno się tego nauczyć.

Musisz użyć oprogramowania do kontroli wersji, w przeciwnym razie twoja analiza nie będzie idealnie powtarzalna.

Jeśli chcesz gdzieś opublikować swoje wyniki, zawsze powinieneś być w stanie odtworzyć status swoich skryptów w momencie, w którym je wyprodukowałeś. Powiedzmy, że jeden z recenzentów odkrywa błąd w jednym z Twoich skryptów: skąd miałbyś wiedzieć, które Wyniki są realizowane, a które nie?

W tym sensie System backupu nie jest wystarczający, ponieważ prawdopodobnie jest robione tylko raz dziennie i nie stosuje etykiet do różnych kopii zapasowych, więc nie wiesz, które wersje odpowiadają jakie wyniki. A nauka vcs jest prostsza niż myślisz, jeśli dowiesz się, jak dodać plik i jak zatwierdzić zmiany, to już wystarczy.

Czy kontrola wersji jest warta wysiłku?

Jakie są główne plusy i minusy przyjęcia kontroli wersji?

Plusy: możesz śledzić, co robiłeś wcześniej. Szczególnie przydatne dla latex, ponieważ może być potrzebny Stary akapit, który został usunięty przez Ciebie! Gdy komputer ulega awarii lub pracujesz nad nowym, Twoje dane są z powrotem w locie.

Wady: musisz zrobić kilka ustawień.

Jaka jest dobra strategia dla pierwsze kroki z kontrolą wersji do analizy danych za pomocą R (np. przykłady, pomysły na przepływ pracy, oprogramowanie, linki do przewodników)?

Cofnij się trochę i poznaj zalety pisania pakietów R! Mówisz, że masz projekty z kilkoma tysiącami linii kodu, ale nie są one zorganizowane lub udokumentowane jak kod pakietu jest? Otrzymujesz duże wygrane dzięki dostosowaniu do ideałów pakietu, w tym dokumentacji dla każdej funkcji, testom na wiele typowych trudnych do wychwycenia błędów, możliwości pisania własnych pakietów testowych itp itp.

Jeśli nie masz dyscypliny, aby wyprodukować paczkę, to nie jestem pewien masz odpowiednią dyscyplinę, by właściwie kontrolować zmiany.

Zgadzam się z powyższymi odczuciami i powiem, że tak, Kontrola wersji jest przydatna.

Zalety;

• Zachowaj swoje badania zapisane, jak również kopie zapasowe, (tagowanie)
Pozwala wypróbować różne pomysły i wrócić, jeśli nie działają (rozgałęzianie) Możesz podzielić się swoją pracą z innymi ludźmi, a oni mogą podzielić się z Tobą swoimi zmianami (wiem, że tego nie określiłeś, ale to jest świetne)]}
• większość systemów kontroli wersji ułatwia tworzenie skompresowany pakiet dla wszystkich plików pod kontrolą w pewnym momencie, na przykład w momencie przesyłania artykułu do publikacji, może to pomóc, gdy inni przeglądają Twoje artykuły. (możesz to zrobić ręcznie, ale po co tworzyć te procesy, skoro Kontrola wersji po prostu to robi)

Jeśli chodzi o Zestawy narzędzi, używam Git , wraz z StatEt i Eclipse który działa dobrze, chociaż na pewno nie musisz używać Eclipse. Istnieje kilka wtyczek Git do Eclipse , ale generalnie używam opcji wiersza poleceń.

Kontrola wersji do samodzielnego rozwoju (dowolnego rodzaju) jest naprawdę interesująca dla:

• zbadanie historii i porównanie bieżącej pracy z przeszłymi commitami
• rozgałęzianie i testowanie różnych wersji dla tego samego zestawu plików

Jeśli nie widzisz, że robisz jedną z tych dwóch podstawowych funkcji kontroli wersji, proste narzędzie do tworzenia kopii zapasowych może być wszystkim, czego potrzebujesz.
Jeśli potrzebujesz tych funkcji, otrzymasz również kopię zapasową (z git bundle na przykład)

Wykonuję również samodzielne skrypty i uważam, że to sprawia, że rzeczy są prostsze, a nie bardziej złożone. Kopia zapasowa jest zintegrowana z procesem kodowania i nie wymaga oddzielnego zestawu procedur systemu plików. Czas potrzebny na nauczenie się podstaw każdego systemu kontroli wersji z pewnością byłby dobrze spędzonym czasem.

Dropbox ma kontrolę wersji "ppor man 's", która zapewnia Ci część drogi tam za niewielki wysiłek i wiele dodatkowych korzyści.