Kemenangan pasukan Islam terhadap pasukan Persia di Irak menumbuhkan harapan bagi kaum muslim untuk menang juga dalam peperangan melawan pasukan Romawi. Kerajaan Romawi dan Persia adalah dua kerajaan yang ingin sekali menghancurkan kemajuan Islam dan seringkali membantu pemberontakan-pemberontakan terhadap kekhilafahan Islam. Dua kerajaan ini merasa kekuasaannya terancam dengan berbondong-bondongnya manusia beriman kepada Allah SWT.
Maka pada bulan Shafar 13 H terjadilah perang Yarmuk. Khalifah Abu Bakar ash-Shiddiq memberangkatkan sejumlah pasukan menuju Syam. Pasukan Islam berjumlah 45.000 orang dan dipimpin oleh beberapa panglima, yaitu Abu Ubaidah bin Jarrah, Yazid bin Abi Sufyan, Syurahbil bin Hasanah, Amru bin Ash.
Ketika empat pasukan muslimin tersebut bergerak menuju Syam, orang-orang Romawi menjadi gentar dan Allah melemparkan rasa takut kedalam hati mereka. Mereka menulis kepada Heraklius, penguasa Imperium Romawi, untuk memberi kabar tentang gerakan kaum muslimin serta kedatangan empat pasukan besar mereka. Heraklius memerintahkan untuk menyiapkan pasukan Romawi guna menghadapi masing-masing pasukan muslimin secara terpisah untuk menghalangi mereka bersatu dan bertemu. Dengan demikian, ia berharap bisa melemahkan kekuatan pasukan Islam sebagai langkah pertama untuk menghancurkannya. Para panglima Romawi berkata, “Demi Tuhan, kita akan sibukkan Abu Bakar sehingga ia tidak akan pernah berpikir lagi untuk mengirim kuda-kudanya ke daerah kita.” Mereka pun mengirimkan sebanyak 240.000 pasukan siap perang! Sebanyak 80.000 prajurit dibekali dengan besi dan rantai, 80.000 pasukan penunggang kuda, dan 80.000 pasukan pejalan kaki.
Mendengar kabar banyaknya pasukan Romawi, para komandan mengirim surat kepada Khalifah untuk memberikan kondisi yang mereka hadapi sekaligus meminta pendapatnya. Khalifah membalas dengan menulis, “Berkumpullah dan jadilah satu pasukan lalu hadapilah gempuran kaum musyirikin dengan gempuran yang sama. Sesungguhnya kalian adalah cahaya-cahaya Allah dan Allah pasti akan membantu agama-Nya serta akan membinasakan orang yang kafir kepada-Nya. Kalian tidak akan dikalahkan dengan faktor jumlah, akan tetapi oleh faktor dosa. Oleh karena itu waspadalah terhadap dosa.”
Kemudian ash-Shiddiq berkata, “Demi Allah, aku akan sibukkan kaum Nasrani dari waswas setan dengan mengutus Khalid bin Walid.” Lalu Khalifah mengutus Khalid ke Irak untuk bergerak menuju Syam dan membantu saudara-saudaranya.
Heraklius mendengar berita bahwa ash-Shiddiq memerintahkan komandan-komandannya untuk bersatu. Ia pun mengirim pesan kepada komandan-komandan Romawi untuk bersatu juga dan memilih tempat yang luas untuk bisa melarikan diri dari seluruh pasukan, tapi disisi lain juga sempit untuk melancarkan serangan.
Khalid bin Walid pun mulai memimpin kaum muslimin dan mengatur strategi. Khalid membagi pasukan menjadi beberapa divisi. Setiap divisi beranggotakan seribu orang. Jumlah divisi yang berhasil dibentuk sebanyak 36 hingga 40. Khalid lalu membagi mereka menjadi bagian jantung pertahanan dan dua sayap. Sebagai panglima pasukan yang berada di tengah, Khalid menunjuk Abu Ubaidah. Sedang sebagai panglima di sayap kanan, ia menunjuk Yazid bin Abi Sufyan. Dan sebagai panglima di sayap kiri, Amr bin Ash. Tujuan Khalid membentuk banyak divisi ini agar dalam pandangan musuh, pasukan Islam terlihat banyak dan memenuhi medan pertempuran.
Seluruh pasukan muslimin berkumpul setelah komando dipegang oleh Khalid bin Walid RA. Kemudian ia berpidato kepada mereka, “Sesungguhnya ini adalah satu hari diantara hari-hari Allah, tidak sepantasnya ada kesombongan dan kezaliman. Ikhlaskan niat jihad kalian dan tujulah Allah SWT dengan amal kalian!” Setelah itu, sang pahlawan yang tak terkalahkan ini memegang tali kekang kudanya lalu mengangkat panji tinggi-tinggi seraya menyerukan pekikan jihad, ‘Allahu Akbar!’ bertiuplah angin surga.”
Peperangan pun dimulai dan berlangsung dengan sengitnya. Tak ada bandingnya. Pasukan Romawi terjun berduyun-duyun bagaikan gunung. Mereka maju dengan segala keangkuhan dan kepongahannya. Jumlah mereka yang begitu banyak menutupi berbagai sisi medan perang seakan-akan mereka adalah mendung hitam yang mengeluarkan suara keras. Para pendera mereka membaca injil dan member semangat untuk para pasukan.
Tapi ternyata mereka terkejut mengadapi perlawanan dari kaum muslimin yang tidak mereka duga-duga sebelumnya. Pasukan muslimin memperlihatkan potret perjuangan dan pengorbanan yang sangat mencengangkan dari prajurit-prajurit yang berani mengorbankan jiwa mereka dan juga dari kekokohan semangat mereka. Pertempuran Yarmuk telah menjadi arena yang jarang ditemukan bagi para fida’iy (prajurit yang berani mati syahid).
Pasukan berkuda Romawi pun berhasil didesak mundur dan kabur. Pasukan Romawi lari tunggang langgang bagai belalang yang tercerai-berai. Mereka memaksa diri tetap menyerang kaum muslimin, namun dengan keadaan yang terpencar-pencar dan tidak fokus.
Khalid membuktikan kehandalan taktik perangnya. Pasukan tengahnya mendesak jantung pasukan musuh, hingga memisahkan pasukan berkuda mereka dengan pasukan lain. Dengan siasat ini, Khalid berhasil melemahkan sayap kanan dan sayap kiri musuh. Pasukan berkuda kaum Romawi makin terdesak hingga mereka terpaksa melarikan diri, meninggalkan pasukan mereka yang berjalan kaki. Akibat kekalahan pasukan berkudanya, pasukan Romawi yang tak menggunakan kuda pun makin melemah.
Khalid bin Walid terus menyerang hingga musuh menemui kekalahan. Banyak korban berjatuhan dari pihak Romawi. Sebagiannya tenggelam di Sungai Waqushah dan sebagian lagi tenggelam di Sungai Yarmuk. Kebanyakan pasukan yang tenggelam itu adaah mereka yang diikat rantai satu sama lain, yang semula dimaksudkan agar mereka tidak melarikan diri.
Hari itu berlalu dengan kemenangan yang dikaruniakan Allah SWT kepada pasukan Khalid bin Walid. Dari pihak kafir jumlah korban terbunuh sebanyak 120.000 orang. Sedang gugur sebagai syahid dari pihak kaum muslimin kurang lebih 3.000 Mujahid.