Yerusalem adalah kota yang sangat tua. Kota ini sangat penting bagi tiga agama: Yudaisme, Kristen dan Islam. Alkitab mengatakan bahwa Raja Daud, raja kedua Israel, merebut kota ini dari para penyembah berhala dan mendirikan istananya di sana. Raja Salomo, putra Daud dan raja berikutnya, membangun Kuil Salomo di Yerusalem. Kemudian, sebagai ibukota Yehuda, Yerusalem dihancurkan oleh Nebukadnezar II, raja Babel. Istana Raja Daud dan Kuil Salomo dibakar, dan orang-orang Yahudi ditangkap dan dibawa ke Babel. Tujuh puluh tahun kemudian, Raja Persia Cyrus mengizinkan mereka untuk kembali ke Yerusalem dan membangun kembali Bait Suci.
Kemudian daerah itu diduduki oleh orang Romawi. Raja Herodes Agung, yang memerintah untuk Kaisar Romawi, membuat Bait Suci lebih besar untuk mencoba dan memenangkan hati orang Yahudi. Bait Suci terkenal karena kebesaran dan keindahannya.
Yesus meninggal di Yerusalem sekitar tahun 33 Masehi. Pada tahun 70 Masehi, orang-orang Yahudi memberontak melawan bangsa Romawi, tetapi bangsa Romawi menghancurkan kota dan Bait Suci. Orang-orang Yahudi yang tinggal di Yerusalem ditangkap dan menjadi budak. Bangsa Romawi mengganti nama Yerusalem dengan nama Latin. Sejak saat itu, Bait Suci belum dibangun kembali, dan hanya sebagian dindingnya yang tersisa hingga saat ini.
Setelah Kekaisaran Romawi terpecah menjadi dua, Kekaisaran Bizantium menguasai Yerusalem. Kemudian, umat Islam mengambil alih kota itu dari mereka. Kaum Muslim percaya bahwa Muhammad pergi ke surga dari Yerusalem.
Kemudian, Paus di Roma mengirim Tentara Salib dari Eropa Barat untuk mencoba merebut kembali Yerusalem. Mereka berhasil untuk sementara waktu, tetapi akhirnya kota itu jatuh lagi ke tangan Saracen. Sampai abad ke-20, Yerusalem adalah bagian dari Kekaisaran Ottoman. Ada beberapa orang Yahudi di Yerusalem selama ini, meskipun mereka diperintah oleh orang lain.
"Kota Baru" Yerusalem adalah bagian di luar tembok batu tua. Orang-orang mulai membangun kota baru pada tahun 1800-an. Mishkenot Sha'annanim, Mea Shearim, dan Bukharan Quarter adalah beberapa lingkungan pertama di kota baru.
Setelah Perang Dunia I, Kekaisaran Ottoman telah dikalahkan. Pada bulan Juni 1922, Liga Bangsa-Bangsa menyetujui Mandat Inggris untuk Palestina. Ini memberikan kendali atas wilayah tersebut kepada Inggris. Tanah di sebelah barat Sungai Yordan dikenal sebagai Palestina. Itu berada di bawah kendali langsung Inggris sampai tahun 1948. Tanah di sebelah timur Sungai Yordan dikenal sebagai Transyordania, dan diperintah oleh keluarga Hashemite. Transyordania memperoleh kemerdekaan pada tahun 1946.
Mandat di Palestina berakhir pada tengah malam tanggal 14 Mei 1948. Pada hari berikutnya, Perang Arab-Israel 1948 dimulai. Israel mendeklarasikan kemerdekaan, Tepi Barat dianeksasi oleh Yordania, dan Mesir menguasai Jalur Gaza.
Pada tahun 1949, pada akhir Perang Arab-Israel pertama, Yerusalem dibagi antara Israel dan Yordania. Israel menguasai bagian barat kota. Yordania menguasai bagian timur, termasuk Kota Tua, bagian berdinding Yerusalem yang berasal dari zaman Alkitab. Israel menguasai seluruh kota selama Perang Enam Hari pada tahun 1967.
Yerusalem saat ini diklaim oleh negara Israel sebagai ibukotanya. Perserikatan Bangsa-Bangsa tidak setuju Israel mengatakan bahwa Yerusalem adalah ibu kota Israel.