SMP Islam Al Azhar 20 Cianjur merupakan sekolah yang dibuka dan dimulai kegiatan pembelajarannya pada Tahun Pelajaran 2007-2008. Sekolah ini berada langsung dibawah naungan Yayasan Pesantren Islam (YPI) Al Azhar Jakarta, dimana untuk pengelolaannya dipercayakan kepada Pengurus YPI Al Azhar Cabang Cianjur. Sekolah ini berdiri atas usulan dan desakan sebagian besar orang tua peserta didik kelas VI SD Islam Al Azhar 18 Cianjur yang sejak beberapa tahun lalu sudah meminta agar di Cianjur didirikan SMP Islam Al Azhar.
Untuk merespon usulan dan desakan orang tua peserta didik tersebut maka Pengurus YPI Al Azhar Cabang Cianjur segera berkonsultasi dan memohon persetujuan Pengurus YPI Al Azhar Jakarta. Setelah mendapat persetujuan dan izin dari Pengurus YPI Al Azhar Jakarta selanjutnya Pengurus YPI Al Azhar Cabang Cianjur membentuk panitia pembangunan gedung SMP Islam Al Azhar 20 Cianjur. Proses pembangunan gedung sekolah tersebut cukup singkat yakni dalam waktu tiga bulan alhamdulillah sudah selesai dibangun dua ruang kelas yang direncanakan dapat menampung 72 peserta didik. Untuk mendukung rencana pendirian SMP Islam Al Azhar 20 Cianjur Pengurus YPI Al Azhar Jakarta segera membentuk Tim Persiapan Pendirian SMP Islam Al Azhar 20 Cianjur. Tim yang terdiri dari tiga orang ini bertugas menyiapkan kurikulum sekolah dan SDM (Kepala Sekolah, Guru dan Karyawan) yang sesuai dengan standar acuan Al Azhar.