Kongregasi JMJ didirikan pada tanggal 29 Juli 1822 di Amersfoort oleh P. Mathias Wolff, SJ. Panggilan untuk mendirikan sebuah Kongregasi berawal dari situasi Gereja di Belanda pada waktu itu yang membutuhkan kemerdekaan.
Awalnya hanya sederhana saja.Pada tahun 1819, tiga gadis muda dari Culemborg menyatakan keinginannya kepada Pater Wolff untuk menjadi biarawati. Mereka adalah Maria Stichters, Sophia Miltner dan Maria Josepha van Elk. Pada tahun 1819, P. Wolff mengirim mereka sebagai calon-calon untuk kongregasi yang akan didirikannya kepada Kongregasi Suster-Suster Notre Dame di Gent (Belgia) untuk dibina dalam hidup religius.
Pada tahun 1822, rencana untuk mendirikan sebuah lembaga religius menjadi lebih konkrit, karena sejumlah gadis dari Utrecht telah menyatakan diri untuk hidup religius. Pada tahun 1823, sebuah Peraturan (semacam konstitusi) disetujui oleh Imam Kepala Wilayah di Belanda. Pada tanggal 29 Juli tahun yang sama, rumah pertama disewa di Muurhuizen di Amersfoort. Disanalah komunitas pertama dimulai, terdiri dari dua suster yang telah menerima pembinaan awal di Belgia, dan tiga gadis dari Utrecht yang telah mendapatkan bimbingan rohani dari seorang pastor paroki. Komunitas itu dimulai dengan nama Pédagogie Chrétienne (Pendidikan Kristiani).
Dari Amersfoort, lembaga ini kemudian mengembangkan sayapnya ke wilayah Selatan Belanda mendirikan secara berturut-turut tiga komunitas di Engelen, Nijmegen dan Zevenbergen. Pimpinan rohani sejak awal terletak pada P. Wolff. Konon ia pergi ke Amersfoort dalam beranekaragam samaran untuk mendidik para susternya dalam bidang kehidupan rohani dan memotivasi mereka. Tugas P. Wolff sebagai pemimpin rohani tidak mudah karena asal usul para suster yang sangat berbeda. Bukan hanya perbedaan dalam pendidikan religius tetapi juga perbedaan kelas sosial yang pada waktu itu amat penting dalam masyarakat. Situasi ini mempengaruhi hubungan antara satu dengan yang lain dalam komunitas yang baru itu. Tahun 1832, P. Wolff diminta oleh Pemimpin Provinsi Yesuit untuk berhenti mencampuri kongregasi. Yesuit menganggap bahwa tugasnya sudah selesai. P.Wolff menyerahkan pimpinan kongregasi ke tangan pemimpin umumnya. Pada tahun-tahun kemudian sejak P. Wolff tidak lagi terlibat dalam kongregasi, terjadi ketegangan-ketegangan di dalam dan sekitar komunitas di Amersfoort. Perpisahan terjadi antara komunitas Amersfoort dan tiga komunitas lainnya di sekitar Engelen. Empat usaha serius ditempuh untuk menyatukan kembali Amersfoort dan Engelen namun sia-sia. Pada tahun 1840 perpisahan menjadi sebuah kenyataan dan terbentuklah dua lembaga religius yang independen: Suster-Suster Santa Perawan Maria (SPM) di Amersfoort dan Suster-Suster Jesus Maria Joseph (JMJ) di Engelen. Menjadi sukacita bagi P. Wolff ketika lima belas tahun kemudian kedua institusi tersebut mendapat Pengesahan dari Tahta Suci.
Suster-suster JMJ Engelen, sejak tahun 1964 sampai dengan 2018 menggunakan nama ‘Societas Jesus Maria Joseph’ (JMJ).
Pada tahun 1898, Societas JMJ mengembangkan misinya di Indonesia atas undangan dari Mgr. Walterus Jacobus Staal, SJ, Vikaris Apostolik Batavia dan otoritas Gereja tertinggi di Hindia Belanda untuk mengembangkan pendidikan Katolik di Indonesia. Misi pertama suster-suster JMJ dimulai di Tomohon-Sulawesi Utara. 6 suster JMJ Belanda yaitu Mère Wenceslas te Poel, Sr. Boniface Meyer, Sr. Josephie van den Berg, Sr. Laetitia Loenen, Sr. Dosithea Schambergen, Sr. Basilissa Heisjter menjadi pionir misi di Indonesia. Seiring dengan kebutuhan, suster-suster JMJ kemudian membuka biara-biara baru di Manado, Makassar, Raha, Sukabumi dan daerah-daerah lainnya di Indonesia.
Sekitar tahun 1920, Kongregasi menjajaki kemungkinan-kemungkinan untuk menerima calon-calon suster dari Sulawesi. Tanggal 15 Juni 1924, keenam aspiran pertama Indonesia masuk biara.
Tahun 1904, Societas JMJ memulai misi baru di India. Tujuh suster diutus ke India. Kongregasi JMJ berkembang pesat di sana.
Pada tahun 1962 Kongregasi dibagi menjadi tiga provinsi: Belanda, Indonesia dan India. Generalat tetap berada di Belanda (Vught, s-Hertogenbosch). Selanjutnya Kongregasi membuka misi baru di Australia, Tanzania, Roma dan Ghana (Afrika).
Provinsi-provinsi Indonesia dan India mengalami periode pertumbuhan dan setelah beberapa tahun dibagi lagi menjadi provinsi-provinsi yang lebih kecil. Sebaliknya, karena pertumbuhan sekularisasi di Eropa Barat, Provinsi Belanda mengalami penurunan jumlah suster. Suster terakhir masuk pada tahun 1973.
Perubahan-perubahan yang terjadi dalam masyarakat yang lebih luas dan pengaruh Konsili Vatikan II akhirnya menghantar pada pembicaraan yang serius dalam Kapitel Umum 2011 tentang struktur masa depan Kongregasi. Hasil dari eksplorasi mendalam ini sampai pada keputusan untuk memekarkan Kongregasi menjadi dua lembaga independen dengan akar yang sama: Indonesia-Belanda dan India-Ghana. Sejak tahun 2011 sampai dengan 2016, serangkaian dialog berlangsung antara pemimpin kongregasi dengan dewannya, dibantu oleh P. Falco Thuis, O.Carm, asisten religius dan wakil dari Tahta Suci.
Dalam Dekrit tertanggal 10 September 2016 pemisahan disahkan oleh Tahta Suci. Untuk membantu mengimplementasikan Dekrit tersebut, Sr. Brigid Lawlor RGS, diangkat oleh Tahta Suci sebagai Asisten Religius bagi Societas JMJ.
Dengan tetap dalam ikatan persaudaraan dan diutus oleh Roh Kudus, visi pendirian dari P. Wolff akan terus hidup dalam dua lembaga religius baru, yang terbentuk pada tanggal 10 September 2016: Kongregasi Suster-Suster Jesus Maria Joseph (terdiri dari Indonesia/ Belanda) dan Kongregasi Jesus Maria Joseph (terdiri dari India/Ghana).
Pada tanggal 2 Februari 2019, Tahta Suci, melalui Dekritnya mengesahkan Pendirian Lembaga Religius dengan nama Kongregasi Suster-Suster Jesus Maria Joseph (Inisial: SJMJ) yaitu mengesahkan Kepemimpinan Umum Pertama dan Konstitusi Kongregasi. Sejak Kapitel Kongregasi Pertama, tahun 2018 di Tomohon-Indonesia, Generalat Kongregasi SJMJ dipindahkan di Yogyakarta, Keuskupan Agung Semarang.