Kontrolowana Wymiana Plików: WebSphere MQ File Transfer Edition for z/OS

1

Kontrolowana Wymiana Plików:Kontrolowana Wymiana Plików:WebSphere MQ File Transfer Edition for WebSphere MQ File Transfer Edition for z/OSz/OSMaciej ZrobekMaciej Zrobek

2

Niektóre wyzwania ITRedukcja „okna” przetwarzania batchowego

Zwiększenie niezawodności wymiany danych pomiędzy systemami IT i eliminacja źródeł błędów

Zachowanie integralności danych i zabezpieczenie ich – szczególni przy ich przesyłaniu między systemami

Przyspieszenie dewelopmentu poprzez uniknięcie duplikacji funkcji

Konsolidacja i reuse infrastruktury IT w przedsiębiorstwie

Wykorzystanie właściwości SOA w infrastrukturze IT

Powszechne wykorzystywanie infrastruktury IT i zmniejszenie zależności od specjalistów IT

• Jak można przesyłać informacje bardziej efektywnie?

• Jak można przesyłać informacje bardziej niezawodnie?

• Jak można przesyłać informacje bardziej bezpiecznie, transakcyjnie?

• Jak można przesyłać informacje bez duplikacji kodu?

• Jak można przesyłać informacje poprzez pojedyncza infrastrukture?

• Jak można przesyłać informacje do mojego rozwiazania SOA?

• Jak można przesyłać informacje wykorzystując obecne umiejętności zespołu?

przesyłać informacje







3

move information

Jak przesyłamy informacje?

Większość dzisiejszych aplikacji jest oparta na plikach

Przetwarzają pliki wsadowo

Produkują pliki na wyjściu

Wczytują pliki na wejściu

Większość danych przesyłanych w firmie to pliki

Tekstowe lub binarne

Przepływ i rozmiar danych ciągle rośnie

4

Jak większość organizacji przesyła dziś pliki?• Obecnie wiele krytycznych aplikacji

integruje się za pomocą plików– Większość firm posiada kilka produktów i

używa różnych technik do przesyłu plików– Typowy obraz to mieszanka FTP, własnych

rozwiązań i innych produktów• Dlaczego więc transfer plików jest używany

tak powszechnie?– Był zawsze i będzie „najmniejszym wspólnym

mianownikiem” integracji systemów– Koncepcja FTP jest prosta, intuicyjna i nie

wymaga zbyt wielu zdolności technicznych – Narzędzia FTP są „darmowe”, proste,

intuicyjne i jest ich wielki wybór

5

Słabe punkty prostych rozwiązań opartych o FTP• Ograniczona niezawodność

– Możliwości restartu przesyłu nie zawsze dostępne – pliki można stracić!• Z natury brak transakcyjności

– Przesyły lub grupy przesyłów mogą się zakończyć bez powiadomienia• Niekompletne pliki lub ich grupy mogą zostać użyte w przetwarzaniu biznesowym i

spowodować poważne problemy• Ograniczona elastyczność

– Wszystkie elementy przesyłu muszą być zazwyczaj jednocześnie dostępne– Często można wykonywać tylko jeden przesył FTP na raz– Przesyły z reguły nie podlegają priorytetyzacji

• Ograniczone bezpieczeństwo– W niektórych przypadkach nazwy użytkowników/hasła są przesyłane z danymi –

jawnym tekstem!– Autentykacja i szyfrowanie może nie być dostępne

• Ograniczona widoczność i możliwość śledzenia przesyłów– Zwykle przesyły nie mogą być monitorowane i zarządzane centralnie– Możliwości logowania mogą być ograniczone i dotyczyć tylko przesyłów pomiędzy

bezpośrednio połączonymi systemami

6

Czym jest Kontrolowany Przesył Plików (Managed File Transfer)?

• Umożliwia przesył plików pomiędzy systemami IT: – W sposób niezawodny – W sposób bezpieczny– Niezależnie od wielkości pliku– Przy automatyzacji wszystkich aspektów przesyłu – Z możliwością logowania przesyłów dla celów audytu– Pomiędzy rozproszonymi systemami IT, które nie muszą być bezpośrednio

połączone– Bez wymagania, aby systemy IT i sieć między nimi były ciągle dostępne– Z możliwością zdalnego zarządzania i monitorowania wszystkich aspektów

przesyłu– Bez potrzeby ręcznego restartu przesyłów w przypadku wystąpienia błędów

7

WebSphere MQ File Transfer Edition V7.0

• Realizuje niezawodny i w pełni kontrolowany przesył plików pomiędzy systemami IT –Niezależnie od wielkości plików–Bez potrzeby programowania

• Do przesyłu plików wykorzystana jest infrastruktura WebSphere MQ–Pliki dzielone są na komunikaty i przesyłane przez

kolejki MQ

8

• Wsparcie dla przesyłu plików binarnych i tekstowych –Pliki tekstowe są automatycznie konwertowane

pod względem stron kodowych i konwencji końca linii pomiędzy systemem źródłowym i docelowym

• Pliki mogą być zabezpieczone za pomocą SSL


9


• Przesyły warunkowe: –O określonej dacie i czasie (scheduling)–Przy zajściu pewnych zdarzeń w systemie plików

(triggering)• Obecność/nieobecność określonego pliku• Kiedy plik osiągnie pewien rozmiar• Kiedy plik przestanie być blokowany

–Obydwa rodzaje przesyłów warunkowych są konfigurowane poprzez interfejs GUI i z linii komend

10


• Narzędzia graficzne zintegrowane z WebSphere MQ Explorer – Umożliwiają inicjalizację przesyłu plików pomiędzy

agentami WMQ FTE– Dostarczają logów przesyłów plików z informacjami,

która może być użyta dla celów audytu

• Interfejs z linii komend– Dostarczony w celu administracji agentami WMQ FTE i

definicji żądań przesyłu

11

WebSphere MQ File Transfer Edition V7.0• Pliki są dzielone pomiędzy kolejki MQ typu non-persistent

– (Minimalny wpływ na logi MQ)– Wewnętrzny protokół obsługuje niepowodzenia dostarczenia komunikaty

• Prędkość przesyłu jest regulowana – Zapobiega to „rozsynchronizowaniu się” agenta źródłowego i docelowego,

jeśli prędkości ich pracy się różnią– Zapobiega to „zalaniu” infrastruktury MQ przez komunikaty

• Pliki przesyłane są w sposób niezawodny – Funkcja Checkpoint Restart niweluje efekty przerw w połączeniu sieciowym– Kiedy połączenie zostanie przywrócone, przesył jest restartowany w

miejscu, gdzie się skończył, co zapobiega konieczności przesyłu całego pliku na nowo

12

Exity w Javie• Użytkownik może dostarczyć własny Kod

w Javie, który może zostać wywołany:– Przed rozpoczęciem przesyłu, po stronie

wysyłającej i odbierającej– Po zakończeniu przesyłu, po stronie

wysyłającej i odbierającej

• Kod ten może spowodować m.in.:– Anulowanie przesyłu– Zmianę tego, które pliki mają zostać

przesłane– Odczyt i zmianę meta-danych

towarzyszących przesyłowi

• Wykorzystanie exitów konfigurowane jest na poziomie agentów

time

SourceAgent

DestinationAgent

request

response

pre-transferexit invocation

pre-transferexit invocation

post-transferexit invocation

post-transferexit invocation

(negotiation)

(completion)

transfer

13

WebSphere MQ File Transfer Edition V7.0Jak to działa?

Główne komponenty

14

WebSphere MQ FTE - agenty• Pliki są przesyłane pomiędzy agentami WMQ FTE• Agenty wymagają połączenia z Queue Managerem

– W trybie Bindings lub Client – (uwaga: klient MQ nie jest wymagany na maszynach bez zainstalowanego MQ)

• Dwa typy agentów:– Serwerowe: działają na tej samej maszynie, co MQ– Klienckie: nie wymagają obecności MQ na tej samej maszynie

• Agenty zaimplementowane są lokalnie w stosunku do przesyłanych plików jako procesy Java (Long running)

• Pojedynczy agent może jednocześnie obsługiwać kilka przesyłów plików, do różnych odbiorców

15

WebSphere MQ FTE - narzędzia• Narzędzia wywoływane z linii komend:

–Do wykonywania operacji (np. przesłanie pliku) –Do administracji (np. wystartowanie agenta)

• Narzędzia GUI –Wtyczka Eclipse do MQ Explorer–Służą wyłącznie do wykonywania operacji (np. przesyłanie plików,

przeglądanie logu przesyłów)

• Skrypty Ant–Pozwalają na wykonywanie zadań FTE–Uruchamiane są za pomocą komendy fteAnt

16

Wymagane definicje obiektów Queue Manager

• WebSphere MQ File Transfer Edition wymaga zdefiniowania następujących QM:–Coordination Queue Manager –Command Queue Manager –Agent Queue Manager

• Uwaga: process instalacyjny WMQ FTE zakłada, że powyższe obiekty QM są już zdefiniowane i dostępne

17

Coordination Queue Manager - zadania

• Zbieranie informacji o:– postępie aktywnych przesyłów plików– historii przesyłów dla celów audytu

• Utrzymywanie informacji o agentach zdefiniowanych w sieci WMQ FTE

• Posiada kolejkę SYSTEM.FTE i temat Publish-Subscribe do wykorzystania wewnętrznie przez produkt

• Musi być uruchomiony na MQ V7 • Wszystkie agenty w sieci WMQ FTE muszą mieć dostęp do tego

QM, aby móc publikować komunikaty dotyczące przebiegu przesyłu plików

• W tym QM nie wykonuje się żaden kod specyficzny dla WMQ FTE

18

Command Queue Manager - zadania

• Wykorzystywany do przyjmowania komend sterujących siecią WMQ FTE

• Może działać zarówno na WMQ V7, jak i na V6• Można zdefiniować kilka obiektów Command Queue

Manager, aby mieć kilka punktów do wydawania komend• W tym QM nie wykonuje się żaden kod specyficzny dla

WMQ FTE• (fizycznie może to być ten sam obiekt MQ, co Coordination

Queue Manager, albo różny)

19

Agent Queue Manager - zadania

• Jest to QM, do którego podłączają się agenty WMQ FTE• Wykorzystywany przez agentów do przesyłu/odbioru

plików do/z sieci MQ • Może działać zarówno na WMQ V7, jak i na V6• Może komunikować się z kilkoma agentami na raz:

– Każdy agent wykorzystuje swój dedykowany zestaw kolejek do komunikacji

• Wymaga Capacity Planning w zależności od przewidzianego obciążenia

20

WebSphere MQ File Transfer Edition V7.0Jak to działa?

Przykład prostej topologii

21

Prosta topologia sieci WMQ FTE

AgentA Agent Queue

Manager

Coordination Queue

Manager

AgentB

Operations

(V6 or V7) (V6 or V7)

(V7)

QueueManager

Command

Agent Queue

Manager

(V6 or V7)

22

Prosta topologia sieci WMQ FTE

AgentAQueue

ManagerA

QueueManager

B

QueueManager

AgentB

Monitoring LogOperacje

(V6 or V7)(V6 or V7)

(V7)

(Coordination)

1. Narzędzia wysyłają komendy sterujące do kolejki monitorowanej przez Command QM

2. Agenty przesyłają pliki za pomocą kolejek MQ

3. Agenty wysyłają informacje dotyczące statusu przesyłów do Coordination QM, które publikuje je zainteresowanym aplikacjom

QueueManager

(Command)

Store + forward

Pub/Sub

Opis

23

Jawne interfejsy XML

Udokumentowanyformat

komunikatów Udokumentowany

format

komunikatów

FTEAgent

QueueManager

QueueManager

QueueManager

FTEAgent

Monitoring LogOperations

(V6 or V7) (V6 or V7)

(V7)

(Coordination)

24

Graficzne narzędzie zintegrowane z MQ Explorer

25

Definicja przesyłu plików

26

Audyt przesyłu plików

• Przechwytywane są logi na obydwu końcach przesyłu• Można je oglądać zdalnie za pomocą MQ Explorer• Aplikacje mogą się subskrybować do informacji z logów• Rekordy z logów mogą być ładowane do innych systemów (np. baza danych)

27

Użycie skryptu fteCreateTransfer na z/OS• W tym przykładzie przesyłamy zbiór tekstowy z Windows do zbioru

na z/OS• Różne formy specyfikacji zbioru doeclowego:

– //EXAMPLE– //’USERID.EXAMPLE1’– //’USERID.EXAMPLE2(MBR1)’

• Możemy od razu określić parametry alokacji:– //EXAMPLE3;RECFM(V,B);BLKSIZE(6144);LRECL(1028)

• Parametr –ds używany jest do określenia zbioru sekwencyjnego• Parametr –dp używany jest do określenia zbioru partycjonowanego

fteCreateTransfer -t text -sa WASH.AGENT -sm WASHQM-da CHICAGO.AGENT -dm MQH1 -ds"//TRANS.FILE.TXT;RECFM(V,B);BLKSIZE(6144);LRECL(1028);SPACE(5,1)"C:\transferText.txt

28

Wykonanie przesyłu pliku z JCL

...//STEP1 EXEC PGM=BPXBATCH,REGION=0M,// PARM='PGM /bin/sh /opt/wmqfte/bin/fteCreateTransfer'

//STDIN DD PATH='/dev/null',// PATHOPTS=(ORDONLY)//STDOUT DD PATH=‘/tmp/fteout.txt',// PATHOPTS=(OWRONLY,OCREAT,OTRUNC),// PATHMODE=SIRWXU//STDERR DD PATH=‘/tmp/fteerr.txt',// PATHOPTS=(OWRONLY,OCREAT,OTRUNC),// PATHMODE=SIRWXU...

29

Strojenie procesu przesyłania plików• Protokół przesyłu może zostać dostrojony poprzez

specyfikację następujących parametrów agent:– Rozmiar przesyłanych komunikatów (chunks)– Częstotliwość potwierdzeń, a co za tym idzie, ilość danych

pozostających w kolejkach MQ (windows)– Punkt, w którym transmisja jest blokowana do czasu otrzymania

potwierdzenia (frames)– Częstotliwość zapisu informacji o stanie przez agenta (wyrażona

we frames)

Frame Window Chunk

30

Podsumowanie• WebSphere MQ File Transfer Edition jest rozwiązaniem zapewniającym

kontrolowany przesył plików w przedsiębiorstwie• Jako „środek transportu” dla plików MQ FTE wykorzystuje od dawna

obecny na rynku i ceniony produkt WebSphere MQ• Cechy przesyłu plików za pomocą MQ FTE to: niezawodność,

bezpieczeństwo, możliwość monitorowania• Za pomocą MQ FTE możemy zbudować solidną infrastrukturę przesyłu

plików łączącą ze sobą różne platformy sprzętowe i systemy operacyjne

Więcej na stronie:

http://www-01.ibm.com/software/integration/wmq/filetransfer/

Więcej na stronie:




THE END

Kontrolowana Wymiana Plików: WebSphere MQ File Transfer Edition for z/OS

Documents

Transcript of Kontrolowana Wymiana Plików: WebSphere MQ File Transfer Edition for z/OS