زمان تخمینی مطالعه:‌ 5 دقیقه

سینتکس Spark-submit


spark-submit [options]  [app arguments]

لیست دستورات :

لیست دستورات (options) و تعریف آن ها در زیر آمده است :

--masterSpark://host:part,mesos://host:part,yarn,or local
--deploy-modeمی خواهیم درایور برنامه را به صورت locally یا "Client" اجرا کنیم یا روی یک ماشین worker داخل خوشه "Cluster" ( پیش فرض : Client )
--classکلاس main برنامه شما ( برای برنامه های جاوای اسکالا )
--nameنام برنامه شما
--jarsیک لیست جدا شده با کاما (،) از jar های محلی روی درایور و ClassPath های اجرا کننده.
--packagesیک لیست جدا شده با کاما (،) از مختصات maven را jar فایل ها روی درایور و ClassPath های اجرا کننده.
--repositoriesیک لیست جدا شده با کاما (،) برای ریپوزیتوری های اضافی راه دور ( Remote )، برای جستجو روی مختصات maven گرفته شده با - - Packages .
--py-filesیک لیست جدا شده با کاما (،) از فایل های .Zip و .egg یا .Py برای قراردادن Python Path برای برنامه های پایتون
--filesیک لیست جدا شده با کاما (،) از فایل هایی که در فولدرهای کاری ( Working ) هر اجراکننده ( Executor ) قرار می گیرند.
--conf (prop=val)زوج های ویژگی / مقدار برای تغییر تنظیمات اسپارک ( اختیاری )
--properties-fileمسیری که فایل اضافی برای تنظیمات دارد، اگر انتخاب نشود Conf/Spark-defaults می باشد.
--driver-memoryحافظه برای درایور ( برای مثال : 2G , 100 M ) ( پیش فرض : 512M )
--driver-java-optionsتنظیمات اضافی جاوا برای پاس دادن به درایور.
--driver-library-pathمسیر کتابخانه اضافی وارد شده برای پاس دادن به درایور.
--driver-class-pathمسیر کلاس اضافی وارد شده برای پاس دادن به درایور.

نکته : توجه داشته باشید که jar های اضافه شده با - -jars به صورتخودکار داخل classpath ها include می شوند.

--executor-memoryحافظه به ازای اجراکننده ( برای مثال : 1000M یا 2G ) ( پیش فرض : 1G )
--proxy-userکاربر می تواند خودش را جای دیگری جا بزند وقتی برنامه Submit ( ثبت ) می شود.
--help, -hهمین متن کمک را نشان می دهد و خارج می شود.
--verbose, -vخروجی بیشتری از اشکال زدایی ( خطایابی ) ( Debug ) را چاپ می کند.
--versionورژن اسپارک موجود را چاپ می کند.
--driver-cores NUMهسته ها برای درایور ( پیش فرض : 1 )
--superviseاگر داده شود، در زمان شکست، درایور را ریستارت می کند.
--killاگر داده شود، درایورهای مشخص شده را می بندد ( kill ).
--statusاگر داده شود، حالات ( status ) درایور مشخص شده را درخواست می دهد.
--total-executor-coresکل هسته ها برای کل اجراکننده ها.
--executor-coresتعداد هسته ها به ازای هر اجراکننده. ( پیش فرض در حالت YARN : 1، در حالت standalone روی هر worker تمام هسته ها در دسترس است. )

لطفا در راستای هرچه بهتر شدن کیفیت مطالب نظر خود را در رابطه با این سرفصل برای ما ارسال نمایید.