Pada mulanya terjadi diskusi apakah kementerian itu dinamakan Kementerian Agama Islam ataukah Kementerian Agama. Tetapi akhirnya diputuskan nama Kementerian Agama.
Pembentukan Kementerian Agama dalam Kabinet Sjahrir II ditetapkan dengan Penetapan Pemerintah No 1/S.D. tanggal 3 Januari 1946 (29 Muharram 1365 H) yang berbunyi 'Presiden Republik Indonesia, Mengingat: usul Perdana Menteri dan Badan Pekerja Komite Nasional Pusat, memutuskan: Mengadakan Kementerian Agama'.
Baca Juga: Menag Yaqut Klaim Kemenag Hadiah Negara untuk NU, Rocky Gerung Minta Presiden Jokowi Tanggung Jawab
Pembentukan Kementerian Agama pada waktu itu dipandang sebagai kompensasi atas sikap toleran wakil-wakil pemimpin Islam, mencoret tujuh kata dalam Piagam Jakarta yaitu "Ketuhanan dengan kewajiban menjalankan syariat Islam bagi pemeluk-pemeluknya."
Maksud dan tujuan membentuk Kementerian Agama, selain untuk memenuhi tuntutan sebagian besar rakyat beragama di tanah air, yang merasa urusan keagamaan di zaman penjajahan dahulu tidak mendapat layanan yang semestinya, juga agar soal-soal yang bertalian dengan urusan keagamaan diurus serta diselenggarakan oleh suatu instansi atau kementerian khusus, sehingga pertanggungan jawab, beleid, dan taktis berada di tangan seorang Menteri.
Pembentukan Kementerian Agama, sebagaimana diungkapkan R. Moh. Kafrawi (mantan Sekretaris Jenderal Kementerian Agama), "…. dihasilkan dari suatu kompromi antara teori sekuler dan Kristen tentang pemisahan gereja dengan negara, dan teori muslim tentang penyatuan antara keduanya. Jadi Kementerian Agama itu timbul dari formula Indonesia asli yang mengandung kompromi antara dua konsep yang berhadapan muka: sistem Islami dan sistem sekuler."
Baca Juga: Menag Yaqut Klaim Kemenag Hadiah Negara untuk NU, Rocky Gerung Minta Presiden Jokowi Tanggung Jawab
Pengumuman berdirinya Kementerian Agama disiarkan oleh pemerintah melalui siaran Radio Republik Indonesia.
Haji Mohammad Rasjidi diangkat oleh Presiden Soekarno sebagai Menteri Agama RI Pertama. H.M. Rasjidi adalah seorang ulama berlatar belakang pendidikan Islam modern dan di kemudian hari dikenal sebagai pemimpin Islam terkemuka dan tokoh Muhammadiyah.
Rasjidi saat itu adalah menteri tanpa portfolio dalam Kabinet Sjahrir. Dalam jabatan selaku menteri negara (menggantikan K.H. A. Wahid Hasjim), Rasjidi sudah bertugas mengurus permasalahan yang berkaitan dengan kepentingan umat Islam.