2-2-3- روش‏های مبتنی بر شبکه عصبی.. 14

 

 

2-3- آشکارسازی چشم. 15

 

 

2-3-1- روش‏های مبتنی بر نورپردازی و تصویربرداری در طیف مادون قرمز. 15

 

 

2-3-2- روش‏های مبتنی بر دوسطحی کردن تصویر. 18

 

 

2-3-3- روش‏های مبتنی بر پروجکشن.. 19

 

 

2-3-4- روش‏های مبتنی بر یادگیری.. 20

 

 

2-4- آشکارسازی سایر اجزای چهره 21

 

 

2-4-1- آشکارسازی دهان (لب) 21

 

 

2-4-2- آشکارسازی بینی.. 21

 

 

2-5- ردیابی چهره و اجزای آن. 22

 

 

2-5-1- تخمین حرکت… 23

 

 

2-5-2- تطابق.. 23

 

 

2-6- استخراج ویژگی‏های مربوط به کاهش هوشیاری.. 24

 

 

2-6-1- ویژگی‏های ناحیه چشم. 24

 

 

2-6-2- ویژگی‏های دهان. 30

 

 

2-6-3- ویژگی‏های سر. 30

 

 

2-7- تشخیص خستگی و عدم تمرکز حواس… 31

 

 

2-7-1- روش‏های مبتنی بر حد آستانه. 31

 

 

2-7-2- روش‏های مبتنی بر دانش… 32

 

 

2-7-3- روش‏های مبتنی بر آمار و احتمال. 33

 

 

2-8- سیستم‏های نظارت چهره راننده در خودروهای تجاری.. 34

 

 

3- سیستم پیشنهادی.. 35

 

 

3-1- پیکربندی کلی سیستم پیشنهادی.. 35

 

 

3-1-1- نورپردازی و تصویربرداری.. 36

 

 

3-1-2- سخت‏افزار و پردازنده 37

 

 

3-1-3- نرم‏افزار هوشمند. 37

 

 

3-2- آشکارسازی چهره 38

 

 

3-2-1- ویژگی‏های شبه هار. 39

 

 

3-2-2- انتخاب و تعیین اهمیت ویژگی‏ها برای تشکیل یک طبقه‏بندی‏کننده قوی.. 41

 

 

3-2-3- درخت تصمیم آبشاری تقویت‏شده 42

 

 

3-3- ردیابی چهره 44

 

 

3-3-1- پنجره جستجو. 45

 

 

3-3-2- معیار تطابق.. 46

 

 

3-4- استخراج ویژگی‏های مربوط به کاهش هوشیاری.. 47

 

 

3-4-1- ویژگی‏های ناحیه چشم. 47

 

 

 

3-4-2- ویژگی‏های ناحیه چهره و سر. 55

 

 

3-5- تشخیص کاهش هوشیاری.. 58

 

 

3-5-1- سیستم خبره فازی.. 58

 

 

3-5-2- تولید خروجی نهایی.. 64

 

 

4- نتایج آزمایش‏ها و ارزیابی سیستم. 69

 

 

4-1- نحوه آزمایش سیستم. 69

 

 

4-2- معیار‏های ارزیابی.. 72

 

 

4-3- آشکارسازی چهره 73

 

 

4-4- ردیابی چهره 75

 

 

4-5- استخراج ویژگی‏های ناحیه چشم. 77

 

 

4-6- استخراج ویژگی‏های ناحیه سر و چهره 82

 

 

4-7- تشخیص کاهش هوشیاری.. 86

 

 

4-8- ارزیابی کلی سیستم و الگوریتم‏ها 93

 

 

4-8-1- بررسی سرعت پردازش سیستم پیشنهادی.. 93

 

 

4-8-2- بررسی پیچیدگی محاسباتی الگوریتم‏ها 94

 

 

5- نتیجه‏گیری و پیشنهادات… 95

 

 

6- مراجع. 99

 

 

فهرست شکل‏ها

 

 

شکل ‏2‑1: فلوچارت کلی برای سیستم‏های نظارت چهره راننده 12

 

 

شکل ‏2‑2: نمونه‏هایی از ماسک‏های ویژگی برای استخراج ویژگی‏های شبه هار. 14

 

 

شکل ‏2‑3: درخت تصمیم آبشاری برای آشکارسازی چهره 14

 

 

شکل ‏2‑4: سیستم نورپردازی مادون قرمز شامل دو دسته LED به شکل دو حلقه کوچک و بزرگ [6] 16

 

 

شکل ‏2‑5: نمایش ایجاد پدیده مردمک روشن و مردمک تیره در نورپردازی مادون قرمز. 17

 

 

شکل ‏2‑6: آشکارسازی چشم بر اساس ویژگی مردمک تیره و روشن: شکل‏ها از سمت راست به ترتیب فریم زوج با تصویر مردمک روشن، فریم فرد با تصویر مردمک تیره و تفاضل فریم‏‏های زوج و فرد [6] 17

 

 

شکل ‏3‑1: محل قرارگیری دوربین در خودرو برای سیستم پیشنهادی.. 36

 

 

شکل ‏3‑2: فلوچارت بخش نرم‏افزار هوشمند در سیستم پیشنهادی.. 38

 

 

شکل ‏3‑3: نمونه‏هایی از ماسک‏های ویژگی برای آشکارسازی چهره [32] 39

 

 

شکل ‏3‑4: محاسبه مجموع پیکسل‏های بخشی از تصویر با استفاده از تصویر انتگرالی.. 40

 

 

شکل ‏3‑5: محاسبه یک نمونه ویژگی شبه هار بر اساس تصویر انتگرالی.. 41

 

 

شکل ‏3‑6: الگوریتم تشکیل یک طبقه‏بندی‏کننده قوی بر اساس چند ویژگی [33] 42

 

 

شکل ‏3‑7: درخت تصمیم آبشاری برای آشکارسازی چهره 43

 

 

شکل ‏3‑8: الگوریتم تشکیل یک درخت تصمیم آبشاری بر اساس چند طبقه‏بندی‏کننده قوی [33] 44

 

 

شکل ‏3‑9: نمایش چگونگی انجام جستجوی سه مرحله‏ای.. 46

 

 

شکل ‏3‑10: نمایش بازه تعریف ویژگی‏های درصد بسته بودن چشم (PERCLOS)، نرخ پلک زدن و فاصله بین پلک‏ها 51

 

 

شکل ‏3‑11: نمایش تاثیر پارامتر α در تغییر شکل تابع سیگموئید (β=0) 53

 

 

شکل ‏3‑12: نمایش تاثیر پارامتر β در تغییر شکل تابع سیگموئید (α=1) 54

 

 

شکل ‏3‑13: منحنی تغییرات فاصله بین پلک‏ها (ELDC) (محور عمودی) نسبت به تغییرات ضریب همبستگی HPO و HPLO (محور افقی) 55

 

 

شکل ‏3‑14: مدل کلی سیستم خبره فازی.. 59

 

 

شکل ‏3‑15: شکل توابع عضویت تعریف شده برای ورودی درصد بسته بودن چشم (PERCLOS) 60

 

 

شکل ‏3‑16: شکل توابع عضویت تعریف شده برای ورودی نرخ پلک زدن (CLOSNO) 60

 

 

شکل ‏3‑17: شکل توابع عضویت تعریف شده برای تغییرات فاصله بین پلک‏ها نسبت به حالت طبیعی (ELDC) 61

 

 

شکل ‏3‑18: شکل توابع عضویت تعریف شده برای میانگین چرخش سر (ROT) 61

 

 

شکل ‏3‑19: شکل توابع عضویت تعریف شده برای میزان خستگی (Fatigue) 61

 

 

شکل ‏3‑20: شکل توابع عضویت تعریف شده برای میزان عدم تمرکز حواس (Distraction) 62

 

 

شکل ‏3‑21: نمایش تغییرات پیوسته مقدار تغییرات فاصله بین پلک‏ها (ELDC) 65

 

 

شکل ‏3‑22: نمایش تغییرات پیوسته مقدار میانگین چرخش سر (ROT) 65

 

 

شکل ‏3‑23: نمایش تغییرات گسسته درصد بسته بودن چشم (PERCLOS) 66

 

 

شکل ‏3‑24: نمایش تغییرات گسسته نرخ پلک زدن (CLOSNO) 66

 

 

شکل ‏3‑25: نمایش تغییرات شکل خروجی نهایی سیستم با تغییر مقدار α در رابطه میانگین‏گیری مداوم. از بالا به پایین مقادیر α برابر است با صفر، 8/0 و 9/0  68

 

 

شکل ‏4‑1: نمونه‏هایی از تصاویر تهیه شده در محیط واقعی (داخل خودرو) برای آزمایش سیستم. 70

 

 

شکل ‏4‑2: نمونه‏هایی از تصاویر تهیه شده در محیط آزمایشگاهی برای آزمایش سیستم. 70

 

 

شکل ‏4‑3: نمونه‏هایی از تصاویر چهره مورد استفاده برای آموزش الگوریتم آشکارسازی چهره 74

 

 

شکل ‏4‑4: نمونه‏هایی از تصاویر غیرچهره مورد استفاده برای آموزش الگوریتم آشکارسازی چهره 74

 

 

شکل ‏4‑5: نمونه‏هایی از تصاویر چهره که آشکارسازی نشده‏اند. 74

 

 

شکل ‏4‑6: نمونه‏هایی از تصاویر غیرچهره که به اشتباه آشکارسازی شده‏اند. 74

 

 

شکل ‏4‑7: یکی از ماسک‏های مهم برای استخراج ویژگی در الگوریتم آشکارسازی چهره 75

 

 

شکل ‏4‑8: نمونه‏هایی از تصاویر چهره که به درستی آشکارسازی شده‏اند. 75

 

 

شکل ‏4‑9: نمونه‏هایی از خطای ردیابی با استفاده از روش جستجوی کامل و محاسبه ضریب همبستگی.. 76

 

 

شکل ‏4‑10: نمایش تغییر مکان چهره به دلیل تکان خوردن خودرو در دو فریم با فاصله زمانی یک ثانیه و بروز اشتباه در آشکارسازی بسته بودن چشم به دلیل عدم توانایی الگوریتم ردیابی در تعیین مکان دقیق چهره 78

 

 

شکل ‏4‑11: نمایش دو فریم از تصاویر چهره راننده در حالت چرت زدن. تصویر سمت راست حالت چشم باز راننده و تصویر سمت چپ حالت چشم بسته راننده است. در این حالت پلک زدن به آرامی و به طور نامحسوس انجام می‏شود. بنابراین نرخ عدم آشکارسازی بسته شدن چشم افزایش می‏یابد. 79

 

 

شکل ‏4‑12: تصاویر پلک زدن چشم در افرادی که عینک به چشم دارند. 79

 

 

شکل ‏4‑13: نمونه تصاویر تهیه شده از افرادی که عینک آفتابی به چشم دارند. 80

 

 

شکل ‏4‑14: نمونه فریم‏هایی از یک فیلم 9 دقیقه‏ای که در آن روند تغییرات فاصله بین پلک‏ها از حالت کاملا هوشیار به حالت خواب‏آلوده نشان داده شده است. تصاویر از بالا به پایین و از راست به چپ مربوط به زمان‏های دقیقه اول، دقیقه سوم، دقیقه پنجم، دقیقه هفتم، دقیقه هشتم و دقیقه نهم می‏باشد. 80

 

 

شکل ‏4‑15: نمودار تغییرات ELDC نسبت به زمان. 81

 

 

شکل ‏4‑16: نمایش وضعیت سر نسبت به محورهای مختصات… 83

 

 

شکل ‏4‑17: نمایش تغییرات میزان چرخش سر ® در یک فیلم دو دقیقه‏ای که در آن پنج بار چرخش رخ داده است… 84

 

 

شکل ‏4‑18: نمونه فریم‏هایی از یک فیلم دو دقیقه‏ای که در آن آشکارسازی چرخش سر مورد ارزیابی قرار گرفته است. تصویر راست بالا مربوط به حالت چهره بدون چرخش و سایر تصاویر مربوط به چرخش سر در جهت‏های مختلف می‏باشد. 84

 

 

شکل ‏4‑19: نمودار وقوع رخداد پلک زدن در طول زمان. 87

 

 

شکل ‏4‑20: نمودار تغییرات درصد بسته بودن چشم (PERCLOS) در طول زمان. 88

 

 

شکل ‏4‑21: نمودار تغییرات نرخ پلک زدن (CLOSNO) در طول زمان. 88

 

 

شکل ‏4‑22: نمودار تغییرات فاصله بین پلک‏ها (ELDC) در طول زمان. 89

 

 

شکل ‏4‑23: نمودار تغییرات میانگین چرخش سر (ROT) در طول زمان. 89

 

 

شکل ‏4‑24: میزان تخمین عدم تمرکز حواس راننده در طول زمان. 90

 

 

شکل ‏4‑25: میزان تخمین خستگی راننده در طول زمان. 90

 

 

شکل ‏4‑26: میانگین چرخش سر راننده در طول زمان. 91

 

 

شکل ‏4‑27: مقدار تخمین عدم تمرکز حواس راننده در طول زمان. 91

 

 

شکل ‏4‑28: نمودار پلک زدن یک فرد در فیلم سه دقیقه‏ای. در این فیلم فرد بعد از دقیقه یک، به دلیل مشغله ذهنی (عدم تمرکز حواس درونی) به یک نقطه خیره شده و پلک نمی‏زند. 92

 

 

شکل ‏4‑29: میزان عدم تمرکز حواس راننده در حالتی که وی به دلیل مشغله ذهنی دچار عدم تمرکز حواس درونی شده است… 93

 

 

فهرست جدول‏ها

 

 

جدول ‏3‑1: قوانین فازی تشخیص خستگی.. 63

 

 

جدول ‏3‑2: قوانین فازی تشخیص عدم تمرکز حواس… 64

 

 

جدول ‏4‑1: تعداد و مدت زمان فیلم‏های تهیه شده برای آزمایش سیستم به تفکیک شرایط محیط.. 71

 

 

جدول ‏4‑2: تعداد و مدت زمان فیلم‏های تهیه شده برای آزمایش سیستم به تفکیک جنسیت افراد 71

 

 

جدول ‏4‑3: تعداد و مدت زمان فیلم‏های تهیه شده برای آزمایش سیستم به تفکیک شرایط عینک داشتن.. 71

 

 

جدول ‏4‑4: بیان مفاهیم FPR، FNR، TPR و TNR در قالب ماتریس اغتشاش… 73

 

 

جدول ‏4‑5: ارزیابی الگوریتم آشکارسازی چهره 74

 

 

جدول ‏4‑6: ارزیابی الگوریتم ردیابی بر اساس نوع روش جستجو و نوع روش محاسبه میزان انطباق.. 76