مرور برچسب

اسپارک

با آپاچی فلینک بیشتر آشنا شوید

آپاچی فلینک یک پردازنده جریان داده ای است که به صورت متن باز ارائه شده است؛ فلینک سرعت، کارآمدی و دقت را برای پردازش داده های ها بسیار حجیم فراهم میکند و میتواند به صورت پردازش دسته ای و یا حتی پردازش مستقیم و جریانی عمل کندFlink اولین…

خلاصه ای از ۱۰ سال آپاچی هدوپ

خلاصه ای از 10 سال آپاچی هدوپ در April سال 2008 هدوپ رکورد جهان را شکست و سریعترین سیستمی شد که توانست 1 ترابایت داده را ظرف 202 ثانیه و با استفاده از 910 نود کلاستر پردازش کند. این رکورد در سال قبل با 297 ثانیه ثبت شده بود. در November…

اسپارک یا هدوپ – کدام تکنولوژی را باید در بیگ دیتا بیاموزیم؟

در دهه های اخیر، حجم و نوع اطلاعات ثبت شده به طور چشمگیری افزایش یافته است. ابزارهای ذخیره سازی و پردازش داده های موجود، قادر به پردازش چنین مقدار زیادی از اطلاعات هستند که پس از انقلاب اینترنتی ایجاد کرده ایم. با ظهور پروژه های بزرگ داده…

هشت گرایش بیگ دیتا در سال ۲۰۱۶

استفاده گسترده از تجزیه و تحلیل داده ها، همراه با پردازش ابری و هدوپ (Hadoop)، منجر به ایجاد تغییرات و هیجان گسترده ای در صنعت و کسب و کار شده است که برخی کسب و کار ها با این تغییرات همراه خواهند شد و از آن سود می برند و برخی دیگر آن را…

چه کسی از اسپارک برای تجزیه و تحلیل داده ها استفاده می کند و چرا؟

در اوایل سال 2015، به عنوان بخشی از مرکز تکنولوژی اسپارک، IBM  آپاچی اسپارک را به عنوان سیستم عامل تجزیه و تحلیل داده ها و اطلاعات معرفی کرد. اسپارک توان بالقوه ای در سه ناحیه کلیدی دارد: سادگی طراحی، داده های قدرتمند، سرعت در نوآوریچه…

بیگ دیتا چالشی برای دانشمندان

در بررسی های اخیر انجام شده بوسیله Paradigm4(شرکت های پایگاه داده محاسباتی) مشخص شد بیگ دیتا به یک چالش برای دانشمندان داده تبدیل شده است اما نه به دلیل مقدار و یا حجم بلکه به خاطر تولید متنوع داده ها که این را حرفه ای ها بهتر درک می کنند.…

پیاده سازی پلت فرم پردازش داده های اسپارک در آپاچی توسط آی بی ام

آی بی ام قصد دارد در پلت فرم آپاچی سیستم جدید اسپارک را پیاده سازی کند که به وسیله آن تجزیه و تحلیل ترافیک داده های بزرگ به کمک محاسبات خوشه ای انجام میشود. آی بی ام برای راه اندازی اسپارک از 3500 محقق و توسعه دهنده در بیش از 12…