در زمان مرگ هارون، مأمون در خراسان اقامت داشت و خلیفه رسمی به وصیت هارون، محمد امین بود. در آن زمان ایرانیان مایل به تشیع علوی که از ظلم و ستم علی بن عیسی (والی پیشین هارون در خراسان) و رفتارهای زشت خلیفه نسبت به آل علی (ع) منزجر و متنفر بودند، پیرامون مأمون گرد آمده و او را در مقابل برادرش، امین، که برگزیده سران عرب و مردم بغداد بود تقویت کردند.

مأمون هم به تدبیر و کفایت فضل بن سهل و سرداری طاهر بن حسین، ملقب به ذوالیمینین، بر علی بن عیسی بن ماهان (سردار سپاه امین) در سال 195 ه.ق پیروز شد. و شهر بغداد در سال 198 پس از نبردی سخت به دست سردار سپاه مأمون افتاد و امین محبوس و سپس به قتل رسید. مأمون در همین سال در مرو رسما به خلافت برگزیده شد.

در میان سال های 201 و 202 سیاست او ایجاب می نمود راه را برای زیارت امام حسین(ع) وتعمیرمزار شریفش هموار سازد، و در آنجا گنبدی باشکوه و آستانی مجلل بنا کرد، و رفته رفته مردم در آنجا ساکن شدند.¹

در آنجا گنبدی باشکوه و آستانی مجلل بنا کرد، و رفته رفته مردم در آنجا ساکن شدند.

در ادامه فعالیت هایش او در سال 201 ه.ق برادر کوچکترش، مؤتمن، را که حسب وصیت پدر نامزد خلافت بعد از او بود، از ولایتعهدی عزل کرد، و چون بزرگان ایرانی از جمله آل سهل تمایل داشتند که یکی از علویان به ولیعهدی برسد، بنابراین امام علی بن موسی الرضا (ع) را از مدینه به مرو خواست و سمت ولایتعهدی را به اجبار به آن حضرت پیشنهاد کرد. امام (ع) به اکراه پیشنهاد مأمون را پذیرفتند. مأمون هم آن حضرت را رسما به این مقام معرفی کرد و حضرتش را «رضا» ملقب ساخت، به نام نامشان سکه زد و دستور داد رنگ سیاه را که شعار عباسیان بود، برانداخته و رنگ سبز را که شعار علویین بود، رسمیت داد. مردم بغداد به ویژه آل عباس از شنیدن ولیعهدی یکی از علویان، برآشفته شدند و ابراهیم بن مهدی را به خلافت برداشتند و لقب «مبارک» به او دادند. وقتی مأمون این خبر را شنید، لشکری به جنگ با مبارک تجهیز کرد و در سال 202 ه.ق عازم بغداد شد. او پیش از حرکت، دستور داد که فضل بن سهل را در حمام کشتند. در سال بعد از آن، امام علی بن موسی الرضا (ع) را در شهر طوس مسموم کرده و به شهادت رساند.

مرگ مأمون

مأمون در سیزدهم جمادی الاخر سال 218 ه.ق در بدندون در ناحیه طرسوس نزدیک دریای روم بیمار شد. او برای جهاد به طرف روم لشکرکشی کرده بود و بعد از فتح چند حصار جنگی، فاتحانه به طرف شام در حرکت بود، تا وقتی که به ناحیه بدندون رسید، سرزمین خرم و زیبا و چشمه های آب نظرش را جلب کرد. مأمون امر کرد سراپرده مخصوص او را روی چشمه ای برپا کردند. اما در همان مکان مأمون بیمار شد و تب شدیدی او را فرا گرفت. پزشکان به معالجه او پرداختند ولی او از شدت تب مضطرب بود. مأمون دریافت که عمرش به آخر رسیده است، او نامه ای به ولایات و شهرها نوشت که برادرش، معتصم، را به عنوان خلیفه و جانشین خود معین کرده و مردم باید از او اطاعت کنند.

مأمون که قبلا فرزندش عباس را به عنوان ولیعهد انتخاب کرده بود و مقرر شده بود که او بعد از پدر خلیفه شود، معلوم نیست که چه مسائلی در اینجا پیش آمد او را نادیده گرفت و برادرش، معتصم، را به خلافت برگزید و هنگام انتخاب معتصم، عباس هم حضور داشت و او به خلافت عمویش رضایت داد. مأمون در هنگام مرگ وصیتنامه ای مفصل تنظیم کرد و به برادرش، معتصم، داد تا آنها را به کار گیرد.

مأمون سرانجام در شب هفدهم ماه رجب سال 218 ه.ق درگذشت. او در آخرین لحظات زندگی به سخن آمد و گفت: «یا من لایموت ارحم من یموت»، و بعد از این جان سپرد. پسرش عباس و برادرش معتصم جنازه او را به طرسوس حمل کردند و در منزل خاقان خادم هارون الرشید دفن نمودند و صد نفر هم نگهبان در آنجا مستقر کردند که به هر یک از آنها نود درهم حقوق می دادند، مأمون بیست سال و پنج ماه و بیست و سه روز مستقلا خلافت کرد. بنابر قولی قبر او هم اکنون در طرسوس کنار مرز ترکیه و سوریه نزدیک دریا موجود است و از میان خلفای بنی عباس تنها قبر مأمون مانده است و قبور بقیه خلفا همه ویران شده اند و اثری از آنها نیست.