مدرس دانشگاه و تربیت معلم

زنجيره هاي ماركف كه پس از   ماركف، نظريه پرداز روسي در زمينه علم احتمال، بدين نام خوانده مي شوند، طبقه خاصي از مدلهاي احتمالي هستند كه اغلب در مسائل تصميم گيري بازرگاني، كشاورزي، هواشناسي، ...كاربرد دارند. زنجيره هاي ماركف حالت خاصي از مدلهاي كلي تر احتمالي هستند كه اين مدلها به فرآيندهاي تصادفي معروف بود. و در آنها حالت فعلي يك سيستم به تمام حالتهاي قبلي بستگي دارد.

فرآيندهاي ماركف

    در فرآيند تشكيل يك سيستم با مدل ماركف دو عنصر وجود دارد كه بايد مشخص شوند. اين دو عنصر عبارتند از حالتهاي سيستم و احتمال حركات بين حالتها كه اصطلاحاً احتمالات گذار ناميده          مي شوند.

حالت يك سيستم، موقعيتي از سيستم در يك لحظه زماني است،مانند فردا باران ببارد يا نبارد، يا اينكه ماشين كار مي كند يا نمي كند.

احتمالات گذار، معرف احتمال حركت سيستم از يك حالت به حالت ديگر در طول يك دوره مشخص است.

اين عناصر و برخي از خواص مدلهاي ماركف در مثال زير تشريح مي شود.

هواي بندر انزلي را در دو حالت باراني و بدون باران در نظر مي گيريم. و حركت از يك حالت به حالت ديگر در روز بعد (دورة زماني) فرآيندي تصادفي بوده كه با احتمالات زير تعريف مي شود.

4/0= (بدون باران   | باراني )  P            6/0=(باراني |  باراني)P

2/0=(بدون باران |  بدون باران)P          8/0=(باراني |  بدون باران )P 

براي مثال، 6/0=(باراني |  باراني)P نشان مي دهد، احتمال حركت به حالت باراني در روز بعد به شرط اينكه امروز هوا باراني باشد 6/0 است. يا احتمال اينكه هوا روز بعد بدون باران باشد به شرط اينكه امروز باراني باشد برابر 4/0 است. توجه كنيد اگر هوا باراني باشد، در روز بعد مي تواند در يكي از دو حالت باراني يا بدون باران باشد، بنابر اين جمع احتمال وقوع اين دو حالت بايستي يك باشد.

احتمالات تغيير از يك حالت به حالت ديگر در دوره زماني بعد (مثلاً يك روز) احتمال گذار مدل ماركف هستند. چون تعداد حالاتي كه يك سيستم در يك دورة زماني مي تواند داشته باشد محدود است (در اين مثال باراني يا بدون باران) احتمالات گذار را مي توانيم به شكل جدول يا ماتريس به گونه زير تنظيم كنيم:

                                                                                 بدون باران      باراني 

                                                                                    4/0               6/0  باراني

                                                                                     2/0             8/0  بدون باراني

اين جدول در حقيقت، يك ماتريس مربعي است كه بيانگر حركت به حالات ممكن و گذار است، براي مثال، احتمال گذار از هواي در حال باراني امروز به هواي بدون باران فردا 4/0 است.

خواص ماركف

    قبل از اينكه مسأله اي بتواند در فرآيند ماركف طبقه بندي شود همچون مثال فوق ، بايد واجد خواصي باشد. اين خواص بطور كلي به صورت زير خلاصه مي شوند:

خاصيت اول: احتمالات گذار تنها به حالت فعلي سيستم وابسته اند، به عبارت ديگر، اگر حالت فعلي مشخص باشد احتمال شرطي حالت بعد، از حالتهاي مقدم بر حالت فعلي مستقل است، بطور مثال در مسأله هواي باراني و بدون باران، احتمالات گذار حركت به حالات باراني يا بدون باران در دورة زماني بعد تنها به حالت فعلي وابسته است و به حالتهاي هوا در دوره هاي قبل وابسته نيست.

خاصيت دوم: احتمالات گذار همواره ثابت هستند، براي مثال، در مسئله هواي باراني يا بدون باران، احتمال حركت از حالت باراني به بدون باراني در هر دورة زماني آتي 4/0 باقي مي ماند.

خاصيت سوم: جمع احتمالات گذار حركت به حالتهاي ديگر در دورة زماني بعد، به فرض اينكه سيستم در دورة زماني فعلي در يكي از حالات باشد، بايستي برابر يك باشد. براي مثال، در مسأله قبلي، احتمالات گذار حركت به حالات هواي باراني يا بدون باران در دوره زماني بعد  بفرض اينكه حالت فعلي، باران باشد 6/0 و4/0 هستند كه جمع آنها يك مي شود.اين خواص كاملاً انحصاري بوده و قابليت كاربرد تجزيه و تحليل ماركف را براي مسائل واقعي جهان محدود مي كند.
 اگر مجموعه حالات ممكن در يك زنجيرة ماركف محدود باشد، مي توان يك ماتريس مربعP ، را تشكيل داد كه عناصر آنp_ij   اين جدول عموماً معرف ماتريس احتمال گذار است.

حالتهايي كه سيستم از آنها حركت مي كند در عرض سمت چپ، و حالتهايي كه سيستم بطرف آنها حركت مي كند در طول بالاي ماتريس قرار مي گيرند. احتمالات گذار P_ij حركت سيستم از يكي از حالات سمت چپ i ،به يكي از حالات بالاي ماتريس،j ، توصيف فرآيند ماركف را كامل مي كند.