در توسینسو تدریس کنید

و

با دانش خود درآمد کسب کنید

آموزش کافکا (Kafka) در آپاچی قسمت 2 : مقایسه Kafka با سایر IM ها

Kafka واقعاً برای حجم زیاد داده طراحی شده است، سیستم‌های قدیمی تر عموماً تنها مسئول ذخیره‌سازی داده‌هایی بودند که در پایگاه داده تولید می‌شد اما Kafka برای ذخیره‌سازی مواردی از قبیل آمارهای سنجش کسب‌وکار (Business Metrics)، لاگ‌های سرویس‌ها، آمارهای سنجش عملیاتی (Operational Metrics) و … بوده است، این نوع داده‌ها از لحاظ حجم ۱۰۰ یا ۱۰۰۰ برابر بزرگ‌تر از داده‌هایی هستند که در پایگاه داده ذخیره می‌کنید. این‌ها چیزهایی نیست که سیستم‌های پیام‌رسانی مانند Active MQ و RabbitMQ برایش طراحی شده باشد اما Kafka واقعاً برای این‌ها طراحی شده است. برای مثال Kafka از ابتدا به عنوان یک سیستم توزیع‌شده طراحی شده است بنابراین اگر حجم داده‌ها افزایش یابد می‌توانید به راحتی ماشین‌های بیشتری به کلاستر اضافه کنید تا آن حجم داده را رسیدگی کند.

مزایای کافکا

  • Fault tolerance, replicated, partitioned, Kafka distributed : Reliability
  • Scalability: سیستم پیان رسان Kafka مقیاس پذیر بوده و هیچ downtime ندارد.
  • Durability: Kafka از Distributed Commit log استفاده می کند که به این پیام ها بر روی دیسک باقی می ماند و باعث پایداری اش می شود.
  • Performance: Kafka توانایی بالایی در هر دو subscribing, publishing پیام ها دارد که باعث حفظ عملکرد و راندمان آن می شود.

لازم به ذکر است که Kafka بسیار سریع عمل می کند و از downtime و از دست دادن دیتاها جلوگیری می کند.Kafka را می توان در بسیاری از موارد استفاده کرد که برخی از آن ها به شرح زیر است:

Kafka-metrics

اغلب برای مانیتور کردن دیتاهای عملیاتی استفاده می شود که شامل جمع آوری دیتا از برنامه های توزیع شده برای تولید منابع متمرکز از دیتاهای عملیاتی است.

Kafka Log Aggregation Solution

می تواند logهای سرویس های مختلف را در سراسر سازمان جمع آوری کند و آن را به فرمت استاندارد در دسترسی قرار دهد.

Stream Processing

frame workهایی از قبیل streaming, spark, storm دیتا را از یک موضوع یا topic می خواند و آن را پردازش می کند دیتای پردازش شده را در یک topic جدید می نویسند تا برای userها و applicationها در دسترس باشند.

  • Kafka یک پلتفرم یکپارچه و متحد است که برای مدیریت تمام فیدهای دیتا به صورت read time مورد استفاده قرار می گیرد
  • Kafka از پایین ترین تاخیر در تحویل پیام ها پشتیبانی می کند و fault tolerance در صورت خرابی ماشین را ضمانت می کند.
  • Kafka توانایی مدیریت تعداد زیادی از consumerها یا مصرف کنندگان را دارد.
  • Kafka بسیار سریع است و سرعت نوشتن آن2 million writes/ sec است.
  • در Kafka همه دیتاها به روی دیسک منتقل می شود که اساساً به این معنی است که ابتدا دیتاها در cache نوشته می شود و داده ها از cache به سوکت Network انتقال می یابد برای ذخیره شدن در دیوایس های ذخیره سازی یابر روی دیسک.

نویسنده: علیرضا قنبری پور

منبع: جزیره لینوکس و سیستم های متن باز وب سایت توسینسو

هرگونه نشر و کپی برداری بدون ذکر منبع و نام نویسنده دارای اشکال اخلاقی می باشد.

#پیام_رسان #kafka #آپاچی #کلان_داده #کافکا #zookeeper #علم_داده #جریان_پردازی #مهندسی_داده
عنوان
1 آموزش کافکا (Kafka) در آپاچی قسمت 1 : Kafka چیست ؟ رایگان
2 آموزش کافکا (Kafka) در آپاچی قسمت 2 : مقایسه Kafka با سایر IM ها رایگان
3 آموزش کافکا (Kafka) در آپاچی قسمت 3 : آشنایی با اصطلاحات Kafka رایگان
4 آموزش کافکا (Kafka) در آپاچی قسمت 4 : ZooKeeper چیست؟ رایگان
5 آموزش کافکا (Kafka) در آپاچی قسمت 5 : نصب و تنظیمات Kafka قسمت 1 رایگان
6 آموزش کافکا (Kafka) در آپاچی قسمت 6 : نصب و تنظیمات Kafka قسمت 2 رایگان
7 آموزش کافکا (Kafka) در آپاچی قسمت 7 : نصب و تنظیمات Kafka قسمت 3 رایگان
زمان و قیمت کل 0″ 0
0 نظر

هیچ نظری ارسال نشده است! اولین نظر برای این مطلب را شما ارسال کنید...

نظر شما
برای ارسال نظر باید وارد شوید.
از سرتاسر توسینسو
تنظیمات حریم خصوصی
تائید صرفنظر
×

تو می تونی بهترین نتیجه رو تضمینی با بهترین های ایران بدست بیاری ، پس مقایسه کن و بعد خرید کن : فقط توی جشنواره پاییزه می تونی امروز ارزونتر از فردا خرید کنی ....