అపాచీ ఓజీ ట్యుటోరియల్: ఏమిటి, వర్క్‌ఫ్లో, ఉదాహరణ - హడూప్

OOZIE అంటే ఏమిటి?

అపాచీ ఓజీ హడూప్ కోసం వర్క్‌ఫ్లో షెడ్యూలర్. ఇది డిపెండెంట్ జాబ్‌ల వర్క్‌ఫ్లోను నడిపే వ్యవస్థ. ఇక్కడ, వినియోగదారులు సృష్టించడానికి అనుమతించబడ్డారు దర్శకత్వం వహించిన అసిక్లిక్ గ్రాఫ్‌లు వర్క్‌ఫ్లోలు, వీటిని సమాంతరంగా మరియు వరుసగా హడూప్‌లో అమలు చేయవచ్చు.

ఈ ట్యుటోరియల్‌లో, మీరు నేర్చుకుంటారు,

ఇది రెండు భాగాలను కలిగి ఉంటుంది:

  • వర్క్‌ఫ్లో ఇంజిన్: వర్క్‌ఫ్లో ఇంజిన్ యొక్క బాధ్యత హడూప్ ఉద్యోగాలతో కూడిన వర్క్‌ఫ్లోలను నిల్వ చేయడం మరియు అమలు చేయడం. ఉదా., మ్యాప్‌రెడ్యూస్, పిగ్, హైవ్.
  • సమన్వయకర్త ఇంజిన్ : ఇది ముందే నిర్వచించిన షెడ్యూల్‌లు మరియు డేటా లభ్యత ఆధారంగా వర్క్‌ఫ్లో ఉద్యోగాలను నిర్వహిస్తుంది.

ఓజీ స్కేలబుల్ మరియు హడూప్ క్లస్టర్‌లో వేలాది వర్క్‌ఫ్లోలను (ప్రతి ఒక్కటి డజన్ల కొద్దీ ఉద్యోగాలను కలిగి ఉంటుంది) సకాలంలో అమలు చేయగలదు.

ఓజీ చాలా సరళమైనది, అలాగే. ఉద్యోగాలు సులభంగా ప్రారంభించవచ్చు, ఆపవచ్చు, సస్పెండ్ చేయవచ్చు మరియు తిరిగి పొందవచ్చు. విఫలమైన వర్క్‌ఫ్లోలను తిరిగి అమలు చేయడం ఓజీ చాలా సులభం చేస్తుంది. పనికిరాని లేదా వైఫల్యం కారణంగా తప్పిపోయిన లేదా విఫలమైన ఉద్యోగాలను పొందడం ఎంత కష్టమో ఒకరు సులభంగా అర్థం చేసుకోవచ్చు. నిర్దిష్ట విఫలమైన నోడ్‌ని దాటవేయడం కూడా సాధ్యమే.

OOZIE ఎలా పని చేస్తుంది?

Oozie క్లస్టర్‌లో సేవగా నడుస్తుంది మరియు ఖాతాదారులు తక్షణ లేదా తరువాత ప్రాసెసింగ్ కోసం వర్క్‌ఫ్లో నిర్వచనాలను సమర్పిస్తారు.

ఓజీ వర్క్‌ఫ్లో వీటిని కలిగి ఉంటుంది యాక్షన్ నోడ్స్ మరియు నియంత్రణ-ప్రవాహ నోడ్స్ .

ఒక చర్య నోడ్ వర్క్‌ఫ్లో పనిని సూచిస్తుంది, ఉదా., ఫైల్‌లను HDFS లోకి తరలించడం, మ్యాప్‌రెడ్యూస్, పిగ్ లేదా హైవ్ జాబ్‌లను అమలు చేయడం, స్కూప్ ఉపయోగించి డేటాను దిగుమతి చేయడం లేదా జావాలో వ్రాసిన ప్రోగ్రామ్ యొక్క షెల్ స్క్రిప్ట్‌ను అమలు చేయడం.

కు నియంత్రణ-ప్రవాహ నోడ్ మునుపటి యాక్షన్ నోడ్ ఫలితాన్ని బట్టి వివిధ శాఖలను అనుసరించే షరతులతో కూడిన లాజిక్ వంటి నిర్మాణాలను అనుమతించడం ద్వారా చర్యల మధ్య వర్క్‌ఫ్లో అమలును నియంత్రిస్తుంది.

లాంచ్ నోడ్ , ముగింపు నోడ్ , మరియు లోపం నోడ్ నోడ్స్ యొక్క ఈ వర్గంలోకి వస్తాయి.

లాంచ్‌నోడ్, వర్క్‌ఫ్లో జాబ్ ప్రారంభాన్ని సూచిస్తుంది.

ముగింపు నోడ్, ఉద్యోగం ముగింపు సంకేతాలు.

లోపం నోడ్ ఒక దోషం సంభవించడాన్ని మరియు సంబంధిత దోష సందేశాన్ని ముద్రించడానికి నిర్దేశిస్తుంది.

వర్క్‌ఫ్లో అమలు ముగింపులో, క్లయింట్‌ను వర్క్‌ఫ్లో స్థితితో అప్‌డేట్ చేయడానికి Oozie ద్వారా HTTP కాల్‌బ్యాక్ ఉపయోగించబడుతుంది. యాక్షన్ నోడ్‌లోకి ప్రవేశించడం లేదా నిష్క్రమించడం కూడా కాల్‌బ్యాక్‌ను ప్రేరేపించవచ్చు.

ఉదాహరణ వర్క్‌ఫ్లో రేఖాచిత్రం

ఓజీ వర్క్‌ఫ్లో అప్లికేషన్‌ను ప్యాకేజింగ్ చేయడం మరియు అమలు చేయడం

వర్క్‌ఫ్లో అప్లికేషన్ వర్క్‌ఫ్లో నిర్వచనం మరియు మ్యాప్‌రెడ్యూస్ జార్ ఫైల్‌లు, పిగ్ స్క్రిప్ట్‌లు మొదలైన అన్ని అనుబంధ వనరులను కలిగి ఉంటుంది, అప్లికేషన్‌లు సాధారణ డైరెక్టరీ నిర్మాణాన్ని అనుసరించాలి మరియు HDFS కి అమలు చేయబడతాయి, తద్వారా ఓజీ వాటిని యాక్సెస్ చేయవచ్చు.

ఉదాహరణ డైరెక్టరీ నిర్మాణం క్రింద చూపబడింది- | _+_ |

వర్క్‌ఫ్లో.ఎక్స్‌ఎమ్‌ఎల్ (వర్క్‌ఫ్లో డెఫినిషన్ ఫైల్) ను టాప్ లెవల్ డైరెక్టరీలో ఉంచడం అవసరం (వర్క్‌ఫ్లో పేరుతో పేరెంట్ డైరెక్టరీ). లిబ్ డైరెక్టరీలో మ్యాప్‌రెడ్యూస్ క్లాసులు ఉన్న జార్ ఫైల్‌లు ఉన్నాయి. ఈ లేఅవుట్‌కు అనుగుణంగా వర్క్‌ఫ్లో అప్లికేషన్ ఏదైనా బిల్డ్ టూల్‌తో నిర్మించవచ్చు ఉదా. చీమ లేదా మావెన్.

ఒక కమాండ్ ఉపయోగించి అటువంటి బిల్డ్ HDFS కి కాపీ చేయాలి, ఉదాహరణకు - | _+_ |

ఓజీ వర్క్‌ఫ్లో ఉద్యోగాన్ని అమలు చేయడానికి దశలు

ఈ విభాగంలో, వర్క్‌ఫ్లో ఉద్యోగాన్ని ఎలా అమలు చేయాలో చూద్దాం. దీన్ని అమలు చేయడానికి, మేము Oozie కమాండ్-లైన్ సాధనాన్ని ఉపయోగిస్తాము (Oozie సర్వర్‌తో కమ్యూనికేట్ చేసే క్లయింట్ ప్రోగ్రామ్).

1. OOZIE_URL ఎన్విరాన్మెంట్ వేరియబుల్ ఎగుమతి చేయండి, ఇది Oozie సర్వర్‌ని ఉపయోగించాలని oozie ఆదేశాన్ని తెలియజేస్తుంది (ఇక్కడ మేము స్థానికంగా నడుస్తున్న ఒకదాన్ని ఉపయోగిస్తున్నాము):

/ ??? lib/ ? ??? hadoop-examples.jar ??? workflow.xml

2. ఉపయోగించి వర్క్‌ఫ్లో ఉద్యోగాన్ని అమలు చేయండి-

% hadoop fs -put hadoop-examples/target/ name of workflow

-Config ఎంపిక అనేది వర్క్‌ఫ్లో XML ఫైల్‌లోని పారామీటర్‌ల కోసం నిర్వచనాలను కలిగి ఉన్న స్థానిక జావా ప్రాపర్టీస్ ఫైల్‌ని సూచిస్తుంది, అలాగే oozie.wf.application.path, ఇది ఊజీకి HDFS లో వర్క్‌ఫ్లో అప్లికేషన్ యొక్క స్థానాన్ని తెలియజేస్తుంది.

లక్షణాల ఫైల్ యొక్క ఉదాహరణ విషయాలు: | _+_ |

3. వర్క్‌ఫ్లో జాబ్ హోదా పొందండి-

వర్క్ఫ్లో జాబ్ యొక్క స్థితిని సబ్-కమాండ్ 'జాబ్' ఉపయోగించి '-ఇన్ఫో' ఆప్షన్‌తో మరియు '-ఇన్ఫో' తర్వాత జాబ్ ఐడిని పేర్కొనడాన్ని చూడవచ్చు. | _+_ |

అవుట్‌పుట్ రన్నింగ్, చంపబడిన లేదా సస్సీడ్ చేయబడిన స్థితిని చూపుతుంది.

4. విజయవంతమైన వర్క్‌ఫ్లో అమలు ఫలితాలను Hadoop ఆదేశాన్ని ఉపయోగించి చూడవచ్చు-

% export OOZIE_URL='http://localhost:11000/oozie'

ఓజీని ఎందుకు ఉపయోగించాలి?

ఓజీని ఉపయోగించడం యొక్క ముఖ్య ఉద్దేశ్యం హడూప్ సిస్టమ్‌లో ప్రాసెస్ చేయబడుతున్న వివిధ రకాల ఉద్యోగాలను నిర్వహించడం.

ఉద్యోగాల మధ్య డిపెండెన్సీలు యూజర్ ద్వారా డైరెక్ట్ అసిక్లిక్ గ్రాఫ్‌ల రూపంలో పేర్కొనబడతాయి. ఓజీ ఈ సమాచారాన్ని వినియోగిస్తాడు మరియు వర్క్‌ఫ్లో పేర్కొన్న విధంగా వాటిని సరైన క్రమంలో అమలు చేస్తాడు. ఆ విధంగా పూర్తి వర్క్‌ఫ్లో నిర్వహించడానికి వినియోగదారు సమయం ఆదా అవుతుంది. అదనంగా, ఓజీ ఒక నిర్దిష్ట ఉద్యోగాన్ని అమలు చేసే ఫ్రీక్వెన్సీని పేర్కొనడానికి ఒక నిబంధనను కలిగి ఉంది.

ఓజీ ఫీచర్లు

  • Oozie క్లయింట్ API మరియు కమాండ్ లైన్ ఇంటర్‌ఫేస్‌ను కలిగి ఉంది, ఇది జావా అప్లికేషన్ నుండి ఉద్యోగాన్ని ప్రారంభించడానికి, నియంత్రించడానికి మరియు పర్యవేక్షించడానికి ఉపయోగపడుతుంది.
  • దాని వెబ్ సర్వీస్ API లను ఉపయోగించి ఎవరైనా ఎక్కడి నుండైనా ఉద్యోగాలను నియంత్రించవచ్చు.
  • కాలానుగుణంగా అమలు చేయాల్సిన ఉద్యోగాలను అమలు చేయడానికి ఓజీకి నిబంధన ఉంది.
  • ఉద్యోగాలు పూర్తయిన తర్వాత ఇమెయిల్ నోటిఫికేషన్‌లను పంపడానికి ఓజీకి నిబంధన ఉంది.