System „OLAP Admin” jest zaawansowanym narzędziem przeznaczonym dla przedsiębiorstw borykających się z brakiem narzędzia umożliwiającego synchronizacje procesów ETL. System „OLAP Admin” dedykowany jest dla platformy Misrosoft SQL Server Integration Services choć mógłby zostać zastosowany także w innych rozwiązaniach.
Na czym polega problem synchronizacji procesów ETL:
- Pojawia się w każdym większym projekcie ETL, w którym są zależności między procesami, a całego procesu nie można zapisać w jednym pakiecie
- Zbyt duża złożoność
- Trudność w utrzymaniu
- Nieskalowalnosć
- Nieelastyczności
- Różna dostępność systemów
- Z braku generycznych gotowych rozwiązań, programiści synchronizują pakiety własnymi indywidualnymi metodami
- Złożoność
- Dodatkowe koszty
- Trudność w utrzymaniu
- Brak uniwersalności
Przykładowy scenariusz problemu trudno rozwiązywalnego bez narzędzia do synchronizacji procesów ETL:
- pakiet P1, ładuje dane z tabeli A do tabeli D w każdą środę
- pakiet P2, ładuje dane z tabeli B do tabeli E w każdy czwartek, ładowanie to może zostać wykonane tylko gdy zakończyło się sukcesem środowe ładowanie tabeli D
- pakiet P3, ładuje do tabeli F dane wyliczone z tabel D i E, ładowanie to może zostać wykonane tylko gdy zakończyło się sukcesem ładowanie tabel D i E i jest po północy
- każde uruchomienie pakietu może się nie powieść, w takiej sytuacji musi zostać automatycznie powtórzone po upływie określonego parametrem czasu
- jeśli któryś z pakietów nie uruchomił się gdyż nie zakończył się sukcesem pakiet od niego zależny, musi zostać uruchomiony natychmiast po udanym zakończeniu działania wszystkich pakietów od niego zależnych
- To jeszcze można by jakoś rozwiązać, ale co jak tabel jest parę tysięcy, mamy ograniczone czasy i dostępności systemów?
Cechy narzędzia „OLAP Admin”:
- Przekazywanie w generyczny sposób parametrów do pakietów, w szczególności takich jak okres przetwarzania
- Budowanie zależności między pakietami – warunki
- Automatyczne tworzenie kolejnych zleceń
- Uniwersalny sposób wyliczania parametrów
- Systemy mogą być niedostępne – trzeba to obsłużyć
- Automatyczne restartowanie
- Określanie harmonogramu wykonywania zleceń
- Przekazywanie dodatkowych parametrów
- Na przykład łańcuchy połączeniowe do baz danych
- Wspólne logowanie przebiegu wykonywania pakietów
- Jedna centralna aplikacja administracyjna
- Określenie maksymalnego czasu działania pakietu
- Wersjonowanie pakietów, przenoszenie
- Określenie powiązań z obiektami źródłowymi/docelowymi
- System powinien być bezobsługowy
Poniższy ekran prezentuje przykładowy widok głównego ekranu systemu „OLAP Admin”.