Sieciowy framework zadań Gearman w Pythonowych aplikacjach

Opis i wykorzystanie Gearmana - frameworka aplikacyjnego do zdalnego rozproszonego wykonywania zadań w różnych językach programistycznych

Gearman to framework aplikacyjny do zarządzania farmą zadań rozdzielanych na inne maszyny lub procesy lepiej przystosowane do wykonania określonej czynności. Np. aplikacja www może zlecić zadanie wygenerowania szeregu miniatur dla nadesłanych przez użytkownika grafik. Gearman umożliwia równoległe wykonywanie różnych zadań, rozkład wykonywanych zadań na różne serwery (load balancing), jak wywoływanie funkcji napisanych w różnych językach programistycznych.
  • Projekt OpenSource
  • "Wielojęzyczność" - posiada API dla wielu języków programistycznych
  • Szybkość - Gearman ma prosty protokół i interfejs z serwerem napisanym w C
  • Stworzony przez Danga Interactive na potrzeby LiveJournal, obecnie używany także np. na Digg.com

Jak to działa?

Aplikacja oparta o Gearmana składa się z trzech części: klienta, pracownika i serwera prac. Klient odpowiedzialny jest za tworzenie prac do wykonania i za wysłanie ich na serwer. Serwer prac znajdzie odpowiedzialnego pracownika, który może wykonać daną pracę i zwrócić wynik do klienta poprzez serwer.

Instalacja Gearman

  • Pobieramy źródła (Gearman server and library) lub szukamy pakietów w repozytoriach naszej dystrybucji.
  • W przypadku źródeł kompilacja to standardowe ./configure, make i make install
  • Dla Pythona istnieje biblioteka python-gearman, którą można zainstalować m.in. za pomocą easy_install gearman.

Przykładowy skrypt

Oto prosty kod pracownika:
from gearman import *

worker = GearmanWorker(["127.0.0.1"])
# rejestrujemy pracę "echo", do której przypisujemy określoną funkcję (lambda)
worker.register_function("echo", lambda job:job.arg)
worker.work()
A to kod klienta zlecającego wykonanie zadania/pracy:
from gearman import *

client = GearmanClient(["127.0.0.1"])
res = client.do_task(Task("echo", "foo"))
#assert res == "foo"
print res
  • Odpal serwer gearmand:
    gearmand -vv
  • Odpal skrypt pracownika (będzie działała ciągle)
  • Wykonaj skrypt klienta zlecający zadanie - zwrócony zostanie wynik działania pracownika.
blog comments powered by Disqus

Kategorie

Strony