نظریه تخمین مدرن را در قلب بسیاری از سامانه‌های پردازش سیگنال که برای استخراج اطلاعات طراحی شده‌اند می‌توان یافت. این سامانه‌ها شامل ۱. رادار ۲. سونار ۳. پردازش صوت ۴. پردازش تصویر ۵. مهندسی پزشکی ۶. مخابرات ۷. کنترل ۸. لرزه‌شناسی و بسیاری سامانه‌های دیگر هستند. نقطه اشتراک همه این سامانه‌ها در نیازمند بودن آن‌ها به تخمین مقدار گروهی از پارامترها است.

در سونار کشتی‌ها برای تخمین جهت حرکت زیردریایی دشمن، آرایه زیرآبی از حسگرها را با خود می‌کشد. این حسگرها هیدروفون نام دارند. روش کار به این صورت است که تأخیر زمانی بین سیگنال‌های دریافتی هیدروفون‌های مجاور می‌تواند برای پیدا کردن جهت حرکت زیردریایی دشمن مورد استفاده قرار گیرد. مسئله‌ای که وجود دارد این است که سیگنال­‌ها آمیخته به نویز هستند. در این مثال منشا نویز می‌تواند ناشی از جریان آب، ادوات الکترونیکی، ادوات کشتی و غیره باشد.

مثال دیگر در زمینه مهندسی پزشکی است. فرض کنید می‌خواهیم نرخ ضربان قلب یک بیمار را تعیین نماییم. به علاوه میدانیم که سیگنال ضربان قلب آغشته به نویز الکترونیکی، نویز موجود در حسگر و نیز اغتشاشات حرکت بدن بیمار است.

مثال بعدی در زمینه مخابرات است. وقتی می‌خواهیم سطح نویز را در خطوط تلفن تخمین بزنیم تا میزان بهره تقویت کننده را تعیین کنیم نیاز به تکنیک‌های علم تخمین داریم. در علم اقتصاد باید بتوان شاخص بازار بورس را تخمین زد. در مهندسی قابلیت اطمینان باید بتوانیم میانگین زمان بین دو خراب شدن سامانه را تخمین بزنیم. در بیمه سنجی باید بتوانیم طول عمر انسان‌های مذکر در یک کشور را تخمین بزنیم. در همه این مثال‌ها نیاز به تکنیک‌هایی داریم که در این درس یاد خواهیم گرفت.

درس نظریه تخمین حدود ۳۰ ساعت شامل ۲۰ جلسه یک ساعت و نیمه خواهد بود. این درس برای دانشجویان رشته برق خصوصا گرایش‌های کنترل، مخابرات و مهندسی پزشکی مفید است. به علاوه دانشجویان رشته مهندسی مکانیک که در زمینه ناوبری و یا کنترل فعالیت دارند، بسیاری از مطالب این درس خصوصا بخش دوم آن را مفید خواهند یافت.  تخمین پارامتر موضوعی است که به طور استاندارد در بسیاری از کتاب‌های آماری یافت می‌شود. این کتاب‌ها گستره بزرگی را شامل می‌شوند. مثلا دربرگیرنده مباحث نظری آماری هستند که معمولا در کتاب‌های نوشته شده توسط آماردانان یافت می‌شوند. طیف دیگر اما موضوعات کاربردی هستند. درس حاضر تلاشی برای ایجاد تعادل بین این دو غایت است. مخاطبین این درس کسانی هستند که به دنبال طراحی و پیاده‌سازی الگوریتم‌های پردازش سیگنال می‌باشند. به همین دلیل تمرکز اصلی روی بدست آوردن الگوریتم‌های تخمین بهینه‌ای است که روی یک کامپیوتر دیجیتال قابل پیاده‌سازی هستند.

مرجع این درس کتاب زیر است:

Steven Kay, Fundamentals of Statistical Signal Processing: Estimation Theory

دروس آمار و تجزیه تحلیل سیستم‌های دوره کارشناسی، پیش‌نیاز این درس هستند.

جزوه و تمرین‌های دوره در آدرس زیر قابل مشاهده هستند:

https://drive.google.com/drive/folders/1To57ojytGiCXKazCPM-NV5SlyQM3--AS?usp=sharing

تئوری تخمین

نظریه تخمین (Estimation Theory)، یکی از شاخه‌های علم آمار است که با به کارگیری مشاهدات و پارامترهای دیگر تخمین یا برآورد را انجام می‌دهد. در تئوری تخمین با استفاده از اندازه گیری و مشاهدات می‌توان به حدسیات هوشمندانه رسید. مشاهدات و اندازه گیری به‌عنوان یک پارامتر مانند X در نظر گرفته می‌شود و با استفاده از داده‌ها باید به تخمین برسید.

تئوری تخمین در بسیاری از برنامه‌های کنترلی، ارتباطی و دیگر حیطه‌ها مورد استفاده قرار می‌گیرد. در این تئوری پارامترها معمولاً به صورت متغیر تصادفی در نظر گرفته می‌شوند و به‌صورت تابعی از متغیرهای شناخته شده محاسبه می‌شوند. در تئوری تخمین اندازه گیری‌ها معمولاً نویزی هستند و مشاهدات ترکیبی از تخمین و نویز هستند. در این شاخه تابعی با عنوان تابع برآوردگر وجود دارد که تابعی از تعدادی مشاهدات تصادفی است. این متغیرها تصادفی هستند.

به‌عنوان مثال در تخمین مقاومت موتور، جریان مستقیم ثابت است و بعد از اندازه گیری‌های تجربی می‌توان میزان دور موتور را تخمین زد. الگوریتم‌هایی از جمه تخمینگر های بدون بایانس حداقل، واریانس تخمینگر بیشترین، احتمال تخمینگر خطی بدون بایاس، تخمینگر های حداقل مربعات و... جز مهم‌ترین تخمینگر های کلاسیک هستند که در سرفصل‌های آموزشی تئوری تخمین به آنها پرداخته می‌شود. در تحلیلگرهای بیزین فرض می‌شود که پارامتر مجهول تصادفی بوده و چگالی احتمال آن نیز مشخص است. دوره آموزشی تئوری تخمین در مکتب خونه شامل سرفصل‌های زیر است:

• برآوردگر MVUE و صورت قضیه کرامر رائو در حالت اسکالر و اثبات آن یکی دیگر از مباحث تئوری تخمین است. در این مبحث: صورت قضیه کرامر رائو در مواردی که یکی دیگر از مباحث تئوری تخمین به‌صورت برداری است پرداخته می‌شود.
• ادامه مدل‌های خطی با نویز گوسی سفید جمع‌شونده و مدل‌های خطی در حضور نویز رنگی
• برآوردگر BLUE (برآوردگر خطی بدون بایاس با کمترین واریانس)، قضیه گاوس مارکوف، مروری بر بهینه‌سازی
• ادامه اثبات قضیه گاوس مارکوف، ذکر نمونه از برآوردگر BLUE
•  برآوردگر درست‌نمایی بیشینه (Maximum Likelihood)
• اثبات بهینگی مجانبی برآوردگر درست‌نمایی بیشینه
•  ادامه اثبات بهینگی مجانبی برآوردگر درست‌نمایی بیشینه، ذکر نمونه از برآوردگر (رادار)
•  تخمین کمترین مربعات (Least Squares)
•  اثبات فرمول بازگشتی تخمین کمترین مربعات، ذکر نمونه از برآوردگر (فیلتر کردن نویز ۶۰ هرتز برق)
•  مثال عملی از تخمین کمترین مربعات (حلقه قفل فاز، استخراج ضربان قلب جنین از روی مخلوط ضربان قلب جنین و مادر)
• تخمین بیزی و توزیع پیشین مزدوج: تخمین بیزی و توزیع پیشین مزدوج یکی از بخش‌های تئوری تخمین هستند که کاربردهای زیادی در صنعت و فناوری دارند.
•   ادامه تخمین بیزی و مدل خطی بیزی در حضور نویز گوسی
• ذکر نمونه از مدل خطی بیزی در حضور نویز گوسی و استفاده از تخمین بیزی برای یک پارامتر غیر تصادفی
•  مدلهای تعمیم یافته تخمین بیزی، تخمین MAP و تخمین maximum likelihood بیزی
•  تخمین بیزی خطی (اسکالر): در روش تخمین بیزی یک تخمین اولیه از مجهول یا مجهولات نیاز است. این تخمین از اطلاعات یا مشاهدات اولیه محقق به صورت یک تابع ریاضی مطرح می‌شود. حل کردن و انجام این تخمین نیاز به دانش ریاضی دارد.
•  تخمین بیزی خطی (برداری)، فیلتر وینر (Wiener filtering): در این فصل تخمین بیزی خطی یا برداری و فیلتر وینر و توابع مربوط به آن بررسی می‌شوند.
•   ادامه فیلتر وینر، آغاز فیلتر کالمن (Kalman filtering): در این فصل فیلتر کالمن تاریخچه مختصر و کاربردهای گسترده این فیلتر در تئوری تخمین مورد بررسی قرار می‌گیرد.
• فیلتر کالمن در حالت برداری، ذکر نمونه از فیلتر کالمن به همراه معرفی فیلتر کالمن توسعه یافته، فیلتر کالمن بی‌بو: فیلتر کالمن که به‌عنوان تخمین خطی مرتبه دوم نیز شناخته می‌شود، در واقع الگوریتمی است که با استفاده از سیستم پویا مجموعه‌ای از اندازه گیری‌ها و خطا در طول زمان را اندازه گیری می‌کند. این فیلتر قادر است تخمین دقیق‌تری را نسبت به دیگر تئوری‌های تخمین مانند اندازه گیری واحد بر پایه استنباط بیزی و تخمین توزیع احتمال مشترکی از یک متغیر تصادفی ارائه کند. پایه گذار این فیلتر رودولف کالمن است و نام این فیلتر از نام او گرفته شده است. این فیلتر کاربردهای زیادی در مسیریابی وسائل نقلیه مخصوصاً هواپیما و فضا پیما دارد. همچنین مفاهیم زیادی را در اقتصاد سنجی، پردازش سیگنال و سری‌های زمانی پوشش می‌دهد. فیلتر کالمن در برنامه ریزی و پایش ربات‌ها و مدلسازی سیستم عصبی نیز کاربرد زیادی دارد. این فیلتر با استفاده از تأخیر زمانی میان ارسال فرمان‌ها و دریافت پاسخ از آنها تخمین در حالات مختلف سیستم را ممکن می‌سازد.