پلت فرم داده بهترین کلاس در کلاس چگونه به نظر می رسد؟

گزینه های ساخت یک پلت فرم داده عملی تقریباً بی پایان است ، به ویژه هنگامی که شما در تمام راه حل های ذخیره داده ها ، رویکردهای تبدیل و مدل سازی داده ها ، فناوری های آماده برای مصرف داده ها و افراد نیاز به کار با داده ها عامل هستید.

برای اکثر شرکت ها ، ساختن یک پلت فرم داده از آسیاب کافی نخواهد بود. آنها می خواهند یک پلت فرم داده بهترین کلاس که به طور مداوم ارزش را ارائه می دهد. اما ، این حتی به نظر می رسد؟

پاسخ آسان و احتمالاً آشکار در اینجا این است که هیچ پلت فرم داده ای با اندازه یک اندازه وجود ندارد.

آنچه برای یک شرکت بهتر است لزوماً برای همه بهتر نخواهد بود. خبر خوب این است که چند هدف وجود دارد که در صورت دستیابی ، ارزش تجاری عظیمی را برای هر سازمان ایجاد می کند.

سیستم عامل های مدرن و بهترین کلاس به طور معمول:

• مقیاس پذیری مورد استفاده را ارائه دهید
• مدیریت داده ها را فعال کنید
• از سلف سرویس پشتیبانی کنید
• اعتماد به نفس در داده ها و سیستم عامل را به کاربران القا کنید

در این پست ، ما نگاهی دقیق تر خواهیم داشت که چگونه سازمان شما می تواند یک بستر داده موفق را در مورد این خصوصیات بسازد.

از مقیاس پذیری مورد از انبارداری داده در ابر استفاده کنید

جای تعجب ندارد که بدانید راه حل های مدرن انبارداری داده ها مانند بیست سال پیش به نظر نمی رسد. هرچند که ممکن است شما را شگفت زده کند ، این است که برای اکثر شرکت ها ، یک انبار داده مدرن به نظر نمی رسد که حتی پنج سال پیش نیز انجام شود.

آیا می دانید: فقط پنج سال پیش ، بیشتر شرکت ها یک راه حل مدرن را به عنوان چرخ دستی یا دو سخت افزار تخصصی در مرکز داده خود ، در ازای چند میلیون دلار در یک قرارداد سالانه در نظر می گیرند.

راه حل های انبارداری داده های مبتنی بر ابر مانند Snowflake ، AWS Redshift ، Azure Synapse و Google BigQuery بازی را کاملاً با یک انبار داده با استفاده از هر کاربردی تغییر داده اند ، اما دقیقاً چگونه این امر به استفاده از مقیاس پذیری مورد برای یک بستر داده تبدیل می شود؟

پیش فرض در مقابل راه حل های انبارداری داده مبتنی بر ابر

اگر راه حل های انبارداری داده های پیش فرض را در نظر بگیریم ، سرمایه گذاری همه جلو است. شما راه حل انبارداری داده را پرداخت می کنید ، اما در حالی که سخت افزار تنظیم ، پیکربندی و عملیاتی شده است ، هیچ بازده سرمایه گذاری را مشاهده نمی کنید. شما ممکن است ماه ها با میلیون ها دلار سرمایه گذاری شده در ساخت و ساز باشید و فقط پس از آن شروع به اجرای یک راه حل برای اولین مورد استفاده کنید. در ابتدا ، این یک تجارت با یک سخت افزار به شدت مورد استفاده قرار می دهد ، و چنین حرکتی را به یک جهش با خطر بالا تبدیل می کند.

در مقطعی از طول عمر انبار ، موارد استفاده کافی وجود خواهد داشت که برای خوردن محاسبات یا ذخیره سازی سخت افزار موجود وجود داشته باشد. هنگامی که این اتفاق می افتد ، لازم است که یا سخت افزار بیشتری (یک ضربه بزرگ دیگر به بودجه) سفارش دهید یا مشخص کنید که موارد استفاده موجود می تواند به عقب برگردد و تا چه اندازه. خرید سخت افزار بیشتر در این مرحله کمتر از جهش ایمان است ، اما یک بار دیگر سازمان را با یک پلت فرم داده تحت بهره برداری ترک می کند زیرا موارد استفاده جدید در اولویت قرار گرفته و راه حل هایی برای آنها ساخته شده است.

در تضاد است که مدل هزینه پیش فرض با یک انبار داده مبتنی بر ابر که از یک مدل هزینه در هر کاربرد استفاده می کند ، جایی که فرصتی برای اثبات ارزش یک مورد استفاده با استفاده از یک رویکرد تکراری وجود دارد. تکرار اولیه می تواند اجرای یک راه حل مورد استفاده با الزامات بسیار سبک برای کمک به تخمین هزینه های سنج و درک این مسئله باشد که این راه حل چقدر ارزشمند است. تکرارهای آینده می توانند بر روی راه حل گسترش یابد ، پیچیدگی تبدیل داده ها یا چگونگی جریان داده ها از طریق آن را اصلاح کند و حتی آن را حذف کند تا روی مورد استفاده دیگری تمرکز کند. به هیچ وجه نیازی به در نظر گرفتن خرید و نصب سخت افزار اضافی وجود ندارد ، زیرا انبارهای جدید یا خوشه ها می توانند در صورت تقاضا ایجاد شوند.

استفاده از یک انبار داده مبتنی بر ابر اجازه می دهد تا هزینه ها با توجه به تعداد موارد استفاده و پیچیدگی آنها مقیاس شود. این امر به تجارت اجازه می دهد تا اولویت بندی شود و انعطاف پذیری و مقیاس پذیری واقعی یک پلت فرم داده بهترین کلاس را نشان می دهد.

حاکمیت داده ها از مالکیت داده ها و مباشرت

شرکت های بیشتری داده های اضافی را از منابع جدید دریافت می کنند ، با رشدی که از امثال Google و Facebook بی نظیر است. با این رشد مشکلات جدیدی مانند تأمین داده ها ، اطمینان از رعایت نظارتی و مدیریت عمومی داده ها به وجود می آید. اینها مشکلاتی است که مدیریت داده ها برای حل آن وجود دارد.

متأسفانه ، با استفاده از یک ابزار خاص یا مجموعه ای از ابزارها ، حاکمیت داده ها حاصل نمی شود. بله ، ابزاری وجود دارد که از بسیاری از جنبه های حاکمیت داده ها پشتیبانی می کند ، اما آنها فقط شیوه های موجود در مدیریت داده ها را تقویت می کنند. حاکمیت داده ها بسیار یک رشته "مردم و فرآیند" است که قصد دارد داده ها را ایمن ، قابل استفاده ، در دسترس و با کیفیت بالا ببرد.

کلید اصلی شروع و فعال کردن حاکمیت داده ها در جلب حمایت از C-Suite و رهبری IT است. اما برای رشد واقعی و بالغ شدن یک عمل حاکمیت داده ، به مالکیت واقعی و سرپرستی دارایی های داده از طریق نقش های خاص مانند صاحبان داده ها و مباشر داده ها نیاز دارد.

صاحب داده چیست؟

یک صاحب داده یک نقش منصوب است که داده ها را در یک نهاد و سطح ویژگی مدیریت می کند ، که به طور معمول بر جمع آوری داده های موجودیت ، کیفیت آن و مجوز برای اشخاص متمرکز است. صاحبان چندین داده کل موجوداتی را که در مشخصات داده سازمان وجود دارند ، پوشش می دهند.

مباشر داده چیست؟

مباشر داده ها نقش تعیین شده ای است که تضمین می کند استانداردها و سیاست های داده در تجارت روزانه اجرا و اعمال می شود. در صورتی که صاحب داده در قبال اشخاص داده پاسخگو باشد ، مباشر داده ها شخصی است که روزانه با داده های داده کار می کند ، و اطمینان می دهد که جزئیات تعریف داده ها واضح و صحیح است.

انتصاب و فعال کردن صاحبان داده ها و مباشر داده ها برای تولید و نگهداری مجموعه داده های با کیفیت بالا اولین گام برای ایجاد شیوه های حاکمیت داده های جامد است. اعتماد به نفس و اعتماد به نفس در مورد داده های موجود در سیستم عامل ، ارزش حاکمیت داده ها را در یک پلت فرم داده بهترین کلاس نشان می دهد.

قابلیت استفاده از آن از ITSM ، معماری اطلاعات و اتوماسیون

یک بستر داده تأثیرگذار برای تسریع در نوآوری وجود دارد ، و این کار را با آزاد کردن داده ها انجام می دهد تا آن را برای کاربرانی که برای اهداف تجاری استراتژیک به آن احتیاج دارند ، در دسترس قرار دهد. اما نمی توان فرض کرد که همه کاربران باید بتوانند به تمام داده های موجود در این سیستم عامل دسترسی پیدا کنند ، زیرا مجموعه داده های مختلف دارای حساسیت متفاوتی از ماهیت داده ها خواهند بود. به عنوان مثال ، فروش و HR به طور معمول دارای مجموعه داده های حساس هستند که یک تجارت می خواهد دسترسی به آن را محدود کند. علاوه بر این ، داده های مشتری و بهداشت اغلب با الزامات انطباق محافظت می شوند و نحوه استفاده از داده ها را محدود می کنند و چه کسی مجاز به دسترسی به آن است.

برای یک کاربر نهایی که امیدوار است به یک مجموعه داده روی پلتفرم داده دسترسی پیدا کند ، باید وسیله ای برای دسترسی به آن مجموعه داده وجود داشته باشد و یک گردش کار وجود دارد که توسط آن می توان درخواست را قبل از تحقق توسط طرف های لازم بررسی کرد. این یک مورد استفاده از سلف سرویس است و موردی است که برای آزاد کردن داده های روی سیستم عامل اصلی است.

یکی دیگر از وضعیتهای اصلی خدمت به خود در نظر گرفته شده ، امکان درخواست ایجاد اشیاء یا ساختارها در انبار داده است. از آنجا که موارد جدید استفاده برای این پلتفرم به وجود آمده است ، "فضای کاری" جدید می تواند یک تیم مهندسی داده را مکانی برای ایجاد تحولات جدید داده ها و مجموعه داده ها برای پشتیبانی از آن موارد استفاده کند. فراتر از این مثالها ، موقعیت های بسیاری وجود دارد که سلف سرویس می تواند به استقلال پلت فرم داده کمک کند. اما چه چیزی برای ایجاد سلف سرویس در یک بستر داده لازم است؟

ITSM چیست و به چه معنی است؟

یک راه حل مدیریت خدمات فناوری اطلاعات (ITSM) برای گرفتن ، مدیریت و تحقق درخواست های سلف سرویس ایده آل خواهد بود. ITSMS برای پشتیبانی از تغییر و مدیریت حادثه برای یک سازمان فناوری اطلاعات ، یک سیستم بلیط و یک سیستم مدیریت گردش کار ارائه می دهد. از پشتیبانی گردش کار می توان برای درخواست تأیید از صاحبان داده ها یا مدیران استفاده کرد و اتوماسیون را برای ساختن آنچه درخواست می شود آغاز کند.

صحبت از اتوماسیون ایجاد اشیاء و ساختارها ، این چیزی است که وقتی درک مشترکی از نحوه سازماندهی داده ها بر روی سیستم عامل و نحوه حرکت داده ها در مورد سیستم عامل وجود دارد ، بهتر عمل می کند. معماری اطلاعات ، از جمله موارد دیگر ، هر دو را تعریف می کند ، و این یک قطعه مهم از مستندات است که جهت بخش اعظم پلتفرم داده را فراهم می کند. یک معماری اطلاعاتی در کلاس بهترین موارد زیر را برای هر مخزن داده روی سیستم عامل شامل می شود:

• چیدمان ذخیره سازی - نمایی از نحوه و کجا داده ها ذخیره می شود. این شامل استانداردهای اعمال شده برای مسیرهای پرونده و جزئیات نوع پرونده برای ذخیره سازی پرونده/شی یا پایگاه داده ، طرحواره ، مشاهده و استانداردهای نامگذاری جدول برای ذخیره سازی پایگاه داده است.
• چشم انداز داده ها - نمایی از نحوه طبقه بندی داده ها در یک مخزن. این که آیا این دریاچه های داده ، انبارهای داده ، طاق های داده یا چیز دیگری است ، اکثر سیستم عامل های داده داده های ردیف (مانند برنز/نقره/طلا ، یا خام/صحنه/سرپوشیده). این شامل جزئیاتی است که هر استانداردی را که بین ردیف ها متفاوت است ، برجسته می کند.
• انتزاع داده ها - تفکیک دقیق اجزای جداگانه هرگونه انتزاع داده که بخشی از سیستم عامل هستند. این باید شامل نمودارها باشد. اینها برای اتوماسیون مهم هستند زیرا آنها نقشه های ساخت "چیزهایی" هستند که بخشی از پلتفرم داده (فضای کار کاربر ، فضای کاری تیم ، محصولات داده و غیره) با استفاده از سازه های ارائه شده توسط مخازن فردی (پایگاه داده ها ، طرحواره ها ،جداول ، نماها ، نقش ها ، امتیازات و غیره).
• دسترسی به داده ها - نمایی از تنظیم مجوز برای مخزن داده. از جمله چگونگی نقشه ها برای کاربران ، تنظیم سلسله مراتب نقش و چگونگی امتیازات به نقش ها.

علاوه بر این ، معماری اطلاعات جزئیات مربوط به نحوه حرکت داده ها در مورد مخازن مختلف داده در بستر داده ها را خواهد داشت. این پاسخ به سؤالات مربوط به "منابع مجاز و مقصد داده ها چیست؟" و "از چه ابزاری برای انجام یک حرکت استفاده می شود؟"

با استفاده از ITSM برای گرفتن و مدیریت درخواست ها ، معماری اطلاعات برای تعریف استانداردهای داده ای که بستر داده را تشکیل می دهند و اتوماسیون برای انجام کارهای مکرر با توجه به معماری اطلاعات ، پلت فرم داده می تواند تقریباً مستقل عمل کند. این استقلال به تجارت امکان تسریع در نوآوری و پیشبرد نتایج استراتژیک را می دهد.

اعتماد به نفس پلتفرم از بهترین روشهای مهندسی نرم افزار

مانند اکثر سیستم های فناوری اطلاعات ، یک پلت فرم داده مجموعه ای از مخازن داده ، سیستم های فایل ، برنامه های وب و بسیاری از مؤلفه های دیگر است که در یک تغییر تقریباً ثابت قرار دارند. این تغییرات ضروری است ، به خصوص هنگامی که شما در این زمینه عامل هستید:

• نحوه ایجاد پایگاه داده و مجموعه داده ها
• داده ها مصرف و دگرگون می شوند
• ابزارها پیکربندی شده اند
• خطوط لوله داده مدیریت می شوند
• زیرساخت مستقر است
• اتوماسیون ایجاد می شود
• این لیست ادامه دارد

با وجود همه این تغییر ، خطر بالایی وجود دارد که چیزی به اشتباه پیش بیاید و بر روی سکو تأثیر منفی بگذارد. ایجاد اعتماد به نفس در یک سکوی کاهش هرچه بیشتر خطر است.

استفاده از تغییر چیزی است که توسعه دهندگان برنامه وب به دلیل ماهیت معمولاً بدون تابعیت برنامه های وب بسیار خوب شده اند. این امر برای برخی از پایگاه های بزرگ کد مشترک که می توانند صدها یا هزاران بار در روز مستقر شوند بدون اینکه کاربران نهایی تحت تأثیر قرار بگیرند ، امکان پذیر است. اعتماد به نفس در شیوه های توسعه منجر به اعتماد به نفس در سیستمی می شود که در حال تغییر است.

با وجود داده های زیادی که اکنون به سیستم عامل های داده وارد می شوند ، لازم است که بهترین شیوه های توسعه را به روش هایی که برای سیستم های داده حالت کارآمیز برای ایجاد اعتماد به نفس در یک بستر داده همیشه در حال تغییر کار می کند ، پذیرفت.

• ابزارهای مدیریت کد منبع (SCM)
• ادغام مداوم (CI)
• تحویل مداوم (CD)
• چندین محیط استقرار
• آزمایش و کیفیت داده ها
• زیرساخت به عنوان کد (IAC)
• مدیریت تغییر پایگاه داده
• استراتژی بازپرداخت
• نظارت و هشدار

مضامین اساسی در اینجا اتوماسیون ، آزمایش و نظارت است. ساختمان و آزمایش مصنوعات را خودکار کنید. خطوط لوله استقرار ایجاد کنید که آثار باستانی را مستقر می کنند ، استقرار را آزمایش کرده و آثار باستانی را به محیط های بعدی ارتقا می بخشند. از ابزارهای تغییر پایگاه داده برای کمک به ایجاد اسکریپت های DDL/DML که محیط زیست آگنوستیک هستند ، استفاده کنید و استقرار و ارتقاء آن تغییرات را خودکار کنید. بررسی کیفیت داده ها را در خطوط لوله داده بسازید و در مورد ناهنجاری ها هشدار دهید. در صورت عدم انجام آزمایش ، روشهای برگشت به صورت خودکار انجام دهید.

استفاده از بهترین شیوه های مهندسی نرم افزار منجر به اعتماد به نفس در توانایی سازمان فناوری اطلاعات در تغییر سیستم در حالی که خطر آن را کاهش می دهد ، می شود. این به نوبه خود به اعتماد به نفس در بستر تجارت تبدیل می شود.

چگونه به آنجا برسیم

ایده نوسازی یک بستر داده موجود اغلب بخش مهمی از سفر تحول دیجیتال یک سازمان است و این چیزی است که به یکباره نمی توان به آن دست یافت. در خارج از تهیه یک انبار داده مبتنی بر ابر ، ویژگی های قبلاً ذکر شده از یک پلت فرم داده با بهترین کلاس ، همه به نوعی بلوغ نیاز دارند که باید با یک رویکرد تکراری مقابله شود و با تمرکز بر اضافه کردن ارزش تجاری در هر تکرار.

آیا به دنبال اطلاعات بیشتر در مورد ساخت یک پلت فرم داده بهترین کلاس هستید؟

اگر در مورد ساخت یک پلت فرم داده با ارزش رانندگی به راهنمایی بیشتری نیاز دارید ، حتماً راهنمای ما را بارگیری کنید: چگونه می توانید یک چارچوب استراتژی داده های عملی را بسازید. این راهنمای 8 مرحله ای پر از اطلاعات عملی ، نمونه های مفید و توصیه های تخصصی است که شما را یک قدم به ساخت یک پلت فرم داده بهترین کلاس نزدیک می کند.