زمان تخمینی مطالعه:‌ 2 دقیقه

عملیات تعاملی روی اسپارک RDD


شکل زیر نحوه اجرا شدن عملیات تعاملی روی اسپارک RDD را نشان می دهد.

اگر کوئری های مختلف به صورت پشت سرهم روی یک مجموعه از داده اجرا شوند، این مجموعه داده برای بهتر شدن زمان اجرا می تواند در حافظه نگهداری شود.

interactive operation on spark rdd

به صورت پیش فرض ، هربار که اتفاقی روی هر RDD تغییر کرد و رخ دهد ، RDD می تواند دوباره محاسبه کند. بهرحال شاید شما RDD ثابت ( Persist ) در حافظه بخواهید ، در این مورد اسپارک می تواند برای دسترسی سریع تر المان ها را اطراف خوشه ای نگه داره که شما دفعه بعدی روی آن کوئری می زنید.

همچنین این حالت ، RDD های ثابت روی دیسک یا تکثیر شدن بین چندین گره ( Node ) را پشتیبانی می کند.


لطفا در راستای هرچه بهتر شدن کیفیت مطالب نظر خود را در رابطه با این سرفصل برای ما ارسال نمایید.