هرچه دادههای بیشتری تولید کنیم، درک همه آن دادهها و استخراج بینش معنادار از آنها دشوارتر میشود. داده کاوی راهحلی برای این موضوع ارائه میدهد، راهحلی که روشهای تصمیمگیری کسبوکارها، کاهش هزینهها و افزایش درآمد ... ادامه
هرچه دادههای بیشتری تولید کنیم، درک همه آن دادهها و استخراج بینش معنادار از آنها دشوارتر میشود. داده کاوی راهحلی برای این موضوع ارائه میدهد، راهحلی که روشهای تصمیمگیری کسبوکارها، کاهش هزینهها و افزایش درآمد را شکل خواهد داد. دوره آموزش داده کاوی با هدف آموزش این ترند در دنیای کامپیوتر و برنامهنویسی ارائه شده است و بهخوبی مفاهیم مربوط به درس داده کاوی را ارائه میدهد.
دوره آموزش داده کاوی مکتب خونه، در ٢٤ جلسه در قالب محتوای ویدیویی از کلاس دانشگاه اصفهان گردآوریشده است. این دوره آموزشی در ٢٥ ساعت به کاربران ارائه میشود و در آن مفاهیم داده کاوی پوشش داده خواهد شد.
دوره آموزش داده کاوی برای تمامی افرادی که به مفاهیم علم داده، تحلیل داده، متن کاوی، یادگیری ماشین، هوش مصنوعی و غیره علاقهمند هستند، مناسب است. بهصورت کلی این دوره برای افراد زیر توصیه میشود.
هدف از ارائه آموزش دیتا ماینینگ، آموزش مفاهیم و تکنیکهای مربوط به داده کاوی به کاربران است. این آموزش یک آموزش کلاس محور است و برای اهداف کاربردی نیز مناسب خواهد بود.
داده کاوی (دیتا ماینینگ | data mining) معمولاً بهعنوان فرآیند استفاده از کامپیوتر و اتوماسیون برای جستجوی مجموعههای بزرگی از دادهها برای الگوها و روندها، تبدیل آن یافتهها به بینشها و پیشبینیهای تجاری تعریف میشود. داده کاوی فراتر از فرآیند جستجو است، زیرا از دادهها برای ارزیابی احتمالات آینده و توسعه تجزیهوتحلیلهای عملی استفاده میکند.
دوره آموزش داده کاوی مختص آموزش این ترند است و بیشتر مفاهیمی که در داده کاوی موجود هستند را برای کاربران پوشش میدهد.
مفهوم داده کاوی قبل از کامپیوترها وجود داشته است. آغاز داستان داده کاوی توسط قضیه بیز در سال 1763 و کشف تحلیل رگرسیون در سال 1805 آغاز شد. از طریق ماشین جهانی تورینگ (1936)، کشف شبکههای عصبی (1943)، توسعه پایگاههای داده (دهه 1970) و الگوریتمهای ژنتیک (1975) و کشف دانش در پایگاههای داده (1989)، زمینه برای درک مدرن ما از آنچه داده کاوی امروزی است فراهم شد. همچنین بعداً با رشد پردازندههای کامپیوتری، ذخیرهسازی دادهها و فناوری در دهههای 1990 و 2000، دادهکاوی نهتنها قدرتمندتر، بلکه در انواع موقعیتها نیز پربارتر شد.
داده کاوی و یادگیری ماشینی (machine learning) فرآیندهای منحصربهفردی هستند که اغلب مترادف در نظر گرفته میشوند. با این حال، درحالیکه هر دو برای تشخیص الگوها در مجموعه دادههای بزرگ مفید هستند، عملکرد آنها بسیار متفاوت است.
داده کاوی فرآیند یافتن الگوها در دادهها خواهد بود. زیبایی داده کاوی در این است که با شناسایی پیشگیرانه الگوهای داده غیرشهودی از طریق الگوریتمها (بهعنوانمثال، مصرفکنندگانی که شیر میخرند بهاحتمالزیاد بیسکویت میخرند) به سؤالاتی که نمیدانستیم بپرسیم، پاسخ دهیم. با این حال، تفسیر این بینشها و کاربرد آنها در تصمیمگیریهای تجاری همچنان نیازمند مشارکت انسانی است.
در همین حال، یادگیری ماشینی فرآیندی است که به کامپیوتر یاد میدهد تا مانند انسانها یاد بگیرد. با یادگیری ماشینی، کامپیوترها یاد میگیرند که چگونه احتمالات را تعیین کرده و بر اساس تجزیهوتحلیل دادههای خود پیشبینی کنند. یادگیری ماشین گاهی از داده کاوی بهعنوان بخشی از فرآیند خود استفاده میکند، در نهایت نیازی به دخالت مکرر انسان بهصورت مداوم ندارد، بهعنوان نمونه میتوان از یادگیری عمیق و شبکه عصبی اشاره کرد که از دیتا ماینینگ استفاده میکنند.
داده کاوی از یک روش کاملاً ساختاریافته و شش مرحلهای پیروی میکند که بهعنوان فرآیند استاندارد بین صنعت برای داده کاوی (CRISP-DM) شناخته میشود. این فرآیند کار را در مراحل و در صورت لزوم تکرار مراحل را تشویق میکند. در واقع، تکرار مراحل اغلب برای توضیح تغییر دادهها یا معرفی متغیرهای مختلف ضروری است. در دوره آموزش داده کاوی مراحل و فرایند داده کاوی آموزش داده خواهد شد اما با این حال در زیر به این مراحل اشاره شده است.
بیایید نگاهی دقیقتر به هر مرحله از CRISP-DM بیندازیم:
برای شروع، ابتدا این سؤالات را بپرسید: هدف ما چیست؟ برای حل چه مشکلی تلاش میکنیم؟ چه دادههایی برای حل آن نیاز داریم؟
بدون درک روشنی از دادههای مناسب برای استخراج، پروژه میتواند خطاها، نتایج نادرست یا نتایجی ایجاد کند که به سؤالات صحیح پاسخ نمیدهند.
پس از تعیین هدف کلی، دادههای مناسب باید جمعآوری شوند. دادهها باید با موضوع مرتبط باشند و معمولاً از منابع مختلفی مانند سوابق فروش، نظرسنجی مشتریان و دادههای موقعیت جغرافیایی میآیند. هدف این مرحله این است که اطمینان حاصل شود که دادهها بهدرستی تمام مجموعه دادههای لازم برای رسیدگی به هدف را در برمیگیرند.
زمانبرترین مرحله، مرحله آمادهسازی، شامل سه مرحله است: استخراج، تبدیل و بارگذاری که به آن ETL نیز گفته میشود. ابتدا دادهها از منابع مختلف استخراج شده و در یک منطقه مرحلهبندی سپرده میشوند. در مرحله بعد، در مرحله تبدیل: دادهها تمیز میشوند، مجموعههای تهی پر میشوند، دادههای پرت و تکراری حذف میشوند، خطاها برطرف میشوند و همه دادهها به جداول اختصاص مییابد. در مرحله آخر، بارگذاری، دادههای فرمت شده برای استفاده در پایگاه داده بارگذاری میشوند.
مدلسازی دادهها به مجموعه دادههای مربوطه میپردازد و بهترین رویکرد و تحلیلهای آماری و ریاضی را برای پاسخگویی به سؤالهای هدف در نظر میگیرد. تکنیکهای مدلسازی مختلفی مانند طبقهبندی، خوشهبندی و تحلیل رگرسیون موجود است که در دوره آموزش داده کاوی موردبحث واقعشدهاند.
پس از ساخت و آزمایش مدلها، زمان ارزیابی کارایی آنها در پاسخ به سؤالی که در مرحله درک کسبوکار شناساییشده است فرا میرسد. این یک مرحله انسانمحور است، زیرا فردی که پروژه را اجرا میکند باید تعیین کند که آیا خروجی مدل بهاندازه کافی اهداف آنها را برآورده میکند یا خیر. در غیر این صورت، میتوان مدل متفاوتی ایجاد کرد یا دادههای متفاوتی تهیه کرد.
هنگامی که مدل data کاوی دقیق و موفق در پاسخ به سؤال عینی تلقی شد، زمان استفاده از آن فرا میرسد. استقرار میتواند در قالب یک ارائه بصری یا یک گزارش به اشتراکگذاری بینش رخ دهد. همچنین میتواند به اقداماتی مانند ایجاد یک استراتژی فروش جدید یا اجرای اقدامات کاهش ریسک منجر شود.
داده کاوی در شناسایی الگوهای داده و استخراج بینش تجاری مفید از آن الگوها بسیار مفید است. برای انجام این وظایف، متخصصین از تکنیکهای مختلفی برای تولید نتایج متفاوت استفاده میکنند. در اینجا پنج تکنیک رایج داده کاوی آورده شده است که این تکنیکها در دوره آموزش داده کاوی نیز آورده شدهاند.
تکنیک طبقهبندی یا کلاسبندی، نقاط داده بر اساس یک سؤال یا مشکل خاص به گروهها یا کلاسها اختصاص داده میشود که در دوره آموزش دیتا ماینینگ آموزش داده خواهد شد.
این تابع به دنبال کشف روابط بین نقاط داده خواه بود. از آن برای تعیین اینکه آیا یک عمل یا متغیر خاص دارای ویژگیهایی است که میتواند با سایر اقدامات مرتبط باشد استفاده میشود. در دوره آموزش داده کاوی مفاهیم مربوط به خوشهبندی پوشش داده شده است.
علاوه بر جستجوی الگوها، داده کاوی به دنبال کشف دادههای غیرعادی در یک مجموعه است. تشخیص ناهنجاری فرآیند یافتن دادههایی است که با الگو مطابقت ندارند. این فرآیند میتواند به یافتن موارد تقلب کمک کند و به خردهفروشان کمک کند تا در مورد افزایش یا کاهش فروش محصولات خاص بیشتر بدانند.
خوشهبندی به دنبال شباهتها در یک مجموعه داده میگردد و نقاط دادهای را که ویژگیهای مشترک دارند را به زیرمجموعهها جدا میکند. این شبیه به نوع تجزیهوتحلیل طبقهبندی است که نقاط داده را گروهبندی میکند، اما در تجزیهوتحلیل خوشهبندی، دادهها به گروههای قبلاً تعریفشده اختصاص داده نمیشوند. خوشهبندی برای تعریف صفات در یک مجموعه داده مفید است، مانند تقسیمبندی مشتریان بر اساس رفتار خرید، وضعیت نیاز، مرحله زندگی یا ترجیحات احتمالی در ارتباطات بازاریابی. در دوره آموزش داده کاوی مباحث خوشهبندی بهصورت کامل پوشش داده خواهد شد.
تجزیهوتحلیل رگرسیون در مورد درک این است که کدام عوامل در یک مجموعه داده مهمتر هستند، چه عواملی میتوانند نادیده گرفته شوند و چگونه این عوامل با هم تعامل دارند. با استفاده از این روش، دادهکاویها میتوانند نظریههایی را تأیید کنند.
کسبوکارها از دادهکاوی استفاده میکنند تا با استفاده از دادههایی که در مورد مشتریان، محصولات، فروش و کمپینهای تبلیغاتی و بازاریابی جمعآوری میکنند، مزیت رقابتی به خود بدهند. داده کاوی به آنها کمک میکند تا عملیات را سریعتر کنند، روابط با مشتریان فعلی را بهبود بخشند و مشتریان جدیدی به دست آورند. بهصورت کلی کاربردهای داده کاوی را میتوان در موارد زیر خلاصه کرد ولی کاربردها به این موارد خلاصه نمیشود.
در ابتدایی ترین کاربرد، خردهفروشان از تجزیهوتحلیل سبد برای تجزیهوتحلیل آنچه مصرفکنندگان میخرند استفاده میکنند. این یک شکل از تکنیک تداعی است که به خردهفروشان بینشی در مورد عادات خرید میدهد و به آنها اجازه میدهد خریدهای دیگر را توصیه کنند.
پیشبینی فروش شکلی از تحلیل پیشبینیکننده است که کسبوکارها بیشتر از بودجه خود را به آن اختصاص میدهند. داده کاوی میتواند با بررسی دادههای تاریخی مانند سوابق فروش، شاخصهای مالی، عادات مخارج مصرفکننده، فروش منتسب به یک زمان خاص از سال و روندها، به کسبوکارها کمک کند تا فروش را پیشبینی کنند و اهداف تعیین کنند.
کسبوکارها پایگاههای داده بزرگی از دادههای مصرفکننده میسازند که از آن برای شکلدهی و تمرکز تلاشهای بازاریابی خود استفاده میکنند. این کسبوکارها به راههایی برای مدیریت و استفاده از این دادهها برای توسعه ارتباطات بازاریابی هدفمند و شخصیشده نیاز دارند. داده کاوی به کسبوکارها کمک میکند تا رفتارهای مصرفکننده را درک کنند، اطلاعات تماس و سرنخها را ردیابی کنند و مشتریان بیشتری را در پایگاههای داده بازاریابی خود درگیر کنند.
داده کاوی میتواند اطلاعات بهروزی را در مورد موجودی محصول، برنامههای تحویل و الزامات تولید در اختیار کسبوکارها قرار دهد. داده کاوی همچنین میتواند به حذف برخی از عدم قطعیتهای ناشی از مسائل ساده عرضه و تقاضا در زنجیره تأمین کمک کند. سرعتی که دادهکاوی میتواند الگوها را تشخیص دهد و پیشبینیها را طراحی کند، به شرکتها کمک میکند تا سهام محصول خود را بهتر مدیریت کنند و کارآمدتر عمل کنند.
کسبوکارها، بهویژه خردهفروشان، حجم عظیمی از دادهها را از طریق برنامههای وفاداری تولید میکنند. داده کاوی به این کسبوکارها اجازه میدهد تا از طریق این دادهها روابط با مشتری را ایجاد و تقویت کنند.
در زیر چند موقعیت برتر که از تکنیکهای داده کاوی استفاده میکنند آورده شده است.
مدیران پایگاه داده نقشهای حیاتی در ذخیره، ایمنسازی و بازیابی بالقوه دادههای یک شرکت ایفا میکنند. آنها اطمینان حاصل میکنند که تحلیلگران میتوانند در صورت نیاز به دادههای مناسب دسترسی داشته باشند. مدیریت پایگاه داده یک زمینه در حال گسترش با پتانسیل حقوق و دستمزد زیادی است.
دانشمندان علوم کامپیوتر و اطلاعات فناوری جدید (زبانهای کامپیوتری، سیستمعاملها، نرمافزارها و غیره) را در فضایی که بهسرعت در حال گسترش است طراحی میکنند و همیشه در جستجوی ایدههای جدید هستند. آنها در زمینههایی مانند مالی، فناوری، مراقبتهای بهداشتی و اکتشاف علمی کار میکنند.
تحلیلگران تحقیقاتی مطالعات بازاریابی را برای کمک به شرکتها برای هدف قرار دادن مشتریان جدید، افزایش فروش و تعیین پتانسیل فروش محصولات جدید انجام میدهند. رشد تجارت الکترونیک باعث رشد در این زمینه میشود.
معماران شبکه ارتباطات داده یک شرکت را طراحی، میسازند و نگهداری میکنند که میتواند از چند کامپیوتر تا یک مرکز داده بزرگ و مبتنی بر ابر را شامل شود.
کارشناسان امنیت دیجیتال تقریباً برای هر سازمانی که نیاز به محافظت از دادههای حساس و جلوگیری از حملات سایبری دارد ضروری شدهاند و داده کاوی این پتانسیل را دارد که به آنها کمک کند.
بهصورت کلی در حال حاضر همه شرکتهای بزرگ و کوچک که مبنی بر فناوری و اینترنت هستند از داده کاوی بهره میبرند، بنابراین یادگیری داده کاوی با منابع و مراجع آموزشی بهنوعی ضرورت تبدیلشده است. دوره آموزش داده کاوی مکتب خونه نقطه شروع خوبی برای انجام این کار است.
اطلاعات بیشتر
از مجموع 21 امتیاز
11 نظرنظرات بیشتر
دانشگاه صنعتی شریف
مدرس: محمد امین فضلی
مدرس: جادی میرمیرانی
مدرس: جمعی از اساتید
مدرس: جادی میرمیرانی
محمد پورزعفرانی در حال حاضر (۱۳۹۴) دانشجوی دکتری نرمافزار دانشگاه اصفهان است. زمینههای فعالیت او سیستمهای پیشنهاد دهنده، دادهکاوی و وب معنایی است.
اطلاعات بیشتر