Jak zarządzać bazami danych w rozwoju, testowaniu i produkcji?

Twoi programiści muszą pisać skrypty zmian (schemat i zmiana danych)dla każdego błędu/funkcji, nad którymi pracują, a nie po prostu zrzucić całą bazę danych do kontroli źródła. Skrypty te uaktualnią bieżącą bazę danych produkcji do nowej wersji w rozwoju.

Twój proces budowania może przywrócić kopię produkcyjnej bazy danych do odpowiedniego środowiska i uruchomić na niej wszystkie skrypty z kontroli źródła, co zaktualizuje bazę danych do bieżącej wersji. Robimy to codziennie, aby upewnić się, że wszystkie skrypty działają poprawnie.

Zobacz, jak Ruby on Rails to robi.

Najpierw są tak zwane pliki migracji, które w zasadzie przekształcają schemat bazy danych i dane z wersji N do wersji N + 1 (lub w przypadku obniżenia wersji N+1 do N). Baza danych posiada tabelę informującą o bieżącej wersji.

Testowe bazy danych są zawsze czyszczone przed testami jednostkowymi i wypełniane stałymi danymi z plików.

Książka Refactoring Databases: Evolutionary Database Design może dać ci kilka pomysłów na zarządzanie bazą danych. Skrócona wersja jest czytelna również w http://martinfowler.com/articles/evodb.html

W Jednym projekcie PHP+MySQL miałem numer wersji bazy danych zapisany w bazie danych, a gdy program połączy się z bazą danych, najpierw sprawdzi poprawkę. Jeśli program wymaga innej wersji, otworzy stronę do aktualizacji bazy danych. Każda aktualizacja jest określona w kodzie PHP, który zmieni schemat bazy danych i przeniesie wszystkie istniejące dane.

Można również spojrzeć na za pomocą narzędzia, takiego jak SQL Compare , aby skrypt różnicy między różnymi wersjami bazy danych, co pozwala na szybką migrację między wersjami

• Nazwij swoje bazy danych w następujący sposób - dev_<<db>> , tst_<<db>> , stg_<<db>> , prd_<<db>> (oczywiście nigdy nie powinieneś kodować na twardo nazw db
• w ten sposób będziesz mógł wdrożyć nawet różne typy db na tym samym serwerze fizycznym ( nie polecam tego, ale być może będziesz musiał ... if resources are tight)
• Upewnij się, że będziesz w stanie przenosić dane między tymi automatycznie
• oddziel Skrypty tworzenia db od population = zawsze powinno być możliwe odtworzenie db od zera i wypełnienie go ( ze starej wersji db lub zewnętrznego źródła danych
• nie używaj łańcuchów połączeń w kodzie (nawet nie w plikach konfiguracyjnych) - użyj w szablonach łańcuchów połączeń w plikach konfiguracyjnych, które wypełniasz dynamicznie, każda rekonfiguracja application_layer, która wymaga rekompilacji, jest zła
• używaj wersjonowania baz danych i wersjonowania obiektów db - jeśli możesz sobie na to pozwolić, użyj gotowych produktów, jeśli nie rozwijaj czegoś samodzielnie
• śledź każdą zmianę DDL i zapisz to do jakiejś tabeli historii (przykład tutaj )
Codzienne kopie zapasowe ! Sprawdź, jak szybko możesz przywrócić coś utraconego z kopii zapasowej (Użyj automatycznych skryptów przywracania]}
• nawet twoja baza DEV i PROD mają dokładnie ten sam skrypt tworzenia będziesz miał problemy z danymi, więc pozwól programistom stworzyć dokładną kopię prod i bawić się z nim ( Wiem , że otrzymam minusy dla tego, ale zmiana sposobu myślenia i proces biznesowy będzie dużo kosztować mniej, gdy gówno trafi w wentylator-więc zmuś koderów do legalnego indeksowania , cokolwiek to zrobi, ale upewnij się, że ten

To jest coś, z czego ciągle jestem niezadowolony - nasze rozwiązanie tego problemu, jakim jest. Przez kilka lat utrzymywaliśmy osobny skrypt zmian dla każdego wydania. Skrypt ten będzie zawierał delty z ostatniego wydania produkcyjnego. Z każdym wydaniem aplikacji, Numer wersji będzie zwiększany, dając coś w stylu:

• dbChanges_1.sql
• dbChanges_2.sql
• ...
• dbChanges_n. sql

To działało wystarczająco dobrze dopóki nie zaczęliśmy utrzymywać dwóch linii rozwoju: Trunk / Mainline dla nowego rozwoju i gałąź konserwacji dla poprawek błędów, krótkoterminowych ulepszeń itp. Nieuchronnie pojawiła się potrzeba wprowadzenia zmian w schemacie w gałęzi. W tym momencie mieliśmy już dbChanges_n+1.sql w bagażniku, więc skończyło się na schemacie jak poniżej:

• dbChanges_n.1.sql
• dbChanges_n.2.sql
• ...
• dbChanges_n.3.sql

Ponownie, to działało dobrze wystarczy, aż pewnego dnia spojrzeliśmy w górę i zobaczyliśmy 42 Skrypty delta w głównej linii i 10 w gałęzi. ARGH!

W dzisiejszych czasach po prostu utrzymujemy jeden skrypt delta i pozwalamy SVN na jego wersję - tzn. nadpisujemy skrypt przy każdym wydaniu. I unikamy wprowadzania zmian w schematach w gałęziach.

Więc, ja też nie jestem z tego zadowolony. Bardzo podoba mi się koncepcja migracji z Rails. Jestem zafascynowany LiquiBase . Wspiera koncepcję przyrostowego refaktoring bazy danych. Warto się temu przyjrzeć i wkrótce przyjrzę się szczegółowo. Ktoś ma z tym doświadczenie? Byłbym bardzo ciekaw twoich wyników.

Mamy bardzo podobną konfigurację do OP.

[deweloperzy wkrótce będą angażować się w prywatne oddziały]

Testowanie jest uruchamiane na różnych maszynach (w rzeczywistości w maszynach wirtualnych hostowanych na serwerze) [Wkrótce zostanie uruchomiony przez Hudson CI server]

Test przez załadowanie zrzutu odniesienia do db. Zastosuj łatki schematu programistów następnie zastosuj łatki danych programistów

Następnie uruchom unit i system testy.

Produkcja jest wdrażana do klientów jako instalatorzy.

Co robimy:

Robimy zrzut schematu naszej piaskownicy DB. Następnie zrzut danych sql. Różnimy to od poprzedniej linii bazowej. Ta para delt ma ulepszyć n-1 do n

Konfigurujemy wysypiska i delty.

Aby zainstalować wersję N CLEAN uruchamiamy zrzut do pustego db. Aby zastosować plastry, należy nałożyć plastry.

(Juha wspomniał o pomyśle Rail ' a, żeby mieć tabelę rejestrującą bieżące DB wersja jest dobra i powinna sprawić, że instalacja aktualizacji będzie mniej obarczona. )

Delty i wysypiska muszą zostać sprawdzone przed beta testami. Nie widzę sposobu na obejście tego, ponieważ widziałem deweloperów wstawiających konta testowe do DB dla siebie.

Obawiam się, że Zgadzam się z innymi plakatami. Programiści muszą skryptować swoje zmiany.

W wielu przypadkach prosta tabela ALTER nie będzie działać, musisz zmodyfikować istniejące dane - programiści muszą zastanowić się, jakie migracje są wymagane i upewnić się, że są poprawnie skryptowane(oczywiście musisz to dokładnie przetestować w pewnym momencie cyklu wydania).

Ponadto, jeśli masz jakiś rozsądek, przekonasz swoich programistów do wycofywania skryptów dla ich zmian, tak aby może zostać przywrócony, jeśli zajdzie taka potrzeba. Powinno to być również przetestowane, aby upewnić się, że ich rollback nie tylko wykonuje się bez błędu, ale pozostawia DB w tym samym stanie, w jakim był wcześniej (nie zawsze jest to możliwe lub pożądane, ale jest dobrą regułą przez większość czasu).

Jak to podłączyć do serwera CI, nie wiem. Być może twój serwer CI musi mieć znaną migawkę kompilacji, do której powraca każdej nocy, a następnie stosuje wszystkie zmiany od tego czasu. To chyba najlepsze, inaczej zepsuty skrypt migracji złamie nie tylko kompilację tej nocy, ale wszystkie kolejne.

Sprawdź dbdeploy , są już dostępne narzędzia Java i. Net, możesz przestrzegać ich standardów dla układów plików SQL i tabeli wersji schematu i napisać swoją wersję Pythona.

Używamy wiersza poleceń mysql-diff : wyświetla różnicę między dwoma schematami bazy danych (z live DB lub script) jako ALTER script. mysql-diff jest uruchamiany przy starcie aplikacji, a jeśli schemat się zmienił, zgłasza się do programisty. Tak więc programiści nie muszą pisać zmian ręcznie, aktualizacje schematu następują półautomatycznie.

Jeśli jesteś w środowisku. NET to rozwiązaniem jest Tarantino (zarchiwizowany) . Obsługuje to wszystko (w tym skrypty sql do zainstalowania) w kompilacji NANT.

Napisałem narzędzie, które (podłączając się do Open DBDiff) porównuje Schematy baz danych i podpowie Ci Skrypty migracji. Jeśli dokonasz zmiany, która usunie lub zmodyfikuje dane, spowoduje to błąd, ale dostarczy sugestię dotyczącą skryptu (np. gdy brakuje kolumny w nowym schemacie, sprawdzi, czy kolumna została zmieniona i utworzy skrypt generowany przez xx.sql.sugestia zawierająca zmianę nazwy oświadczenie).

Http://code.google.com/p/migrationscriptgenerator / SQL Server tylko obawiam się: (jest też dość alpha, ale jest bardzo niski (szczególnie jeśli połączysz go z Tarantino lub http://code.google.com/p/simplescriptrunner/)

Sposób, w jaki go używam, to posiadanie projektu skryptów SQL w Twoim .sln. Masz również lokalnie bazę danych db_next, w której dokonujesz zmian (używając Management Studio lub NHibernate Schema Export lub Linqtosql CreateDatabase czy coś). Następnie wykonujemy migrationscriptgenerator z DBs _dev i _next, który tworzy. Skrypty aktualizacji SQL do migracji.

Dla bazy danych oracle używamy narzędzi Oracle-ddl2svn .

To narzędzie zautomatyzowało następny proces

1. dla każdego schematu db pobierz schemat DDL
2. umieścić go w wersji contol

Zmiany pomiędzy instancjami rozwiązywanymi ręcznie