Sebelum adanya Masjid Abu Hurairah yang terkini, Kampung Batu mempunyai sebuah Masjid yang kecil terletak di tepi jalan yang berhampiran dengan Sungai Batu. Lokasinya ialah bersebelahan dengan bangunan Masjid Abu Hurairah yang sedia ada. Ianya dapat menampung anak-anak kariah sekitar kawasan Kg Batu ini yang tidak begitu ramai pada masa itu. Untuk tujuan Solat Jumaat, Masjid ini pada waktu itu dapat menampung ahli-ahli tentera dari Kem Batu Kentonmen dan kawasan setinggan Kg Stesyen yang kini sudah tidak wujud lagi. Dalam tahun-tahun tujuh puluhan, kawasan ini mula membangun dengan begitu pesat dan wujudnya Taman-Taman Perumahan seperti Kompleks Rumah Pangsa Jalan Kuching, Taman Sri Delima, Taman Beringin dll yang menyebabkan sebuah Masjid yang lebih besar amat ketara diperlukan. Lalu ditubuhkan sebuah Jawatankuasa Penaja Pembinaan Masjid Baru yang diketuai oleh bekas Senator Haji Ibrahim Yaacob (Allahyarham) Bermulalah satu kempen kutipan derma untuk pembinaan Masjid baru secara intensif dan meluas.
Sumber sumbangan yang kedua ialah daripada pihak Kerajaan Negeri Selangor dibawah pimpinan Menteri Besar pada ketika itu iaitu Allahyarham Dato’ Haji Harun Idris. Ini kerana pada peringkat perancangan Masjid baru ini Wilayah Persekutuan Kuala Lumpur masih belum lagi wujud. Sumber sumbangan yang ketiga ialah daripada Kerajaan Pusat dibawah Perdana Menteri pada ketika itu iaitu Allahyarham Tun Haji Abd Razak bin Hussein. Hasil daripada kutipan ini dan sumbangan Kerajaan Negeri Selangor dan Kerajaan Pusat bermulalah kerja-kerja pembinaan pada tahun 1973. Tidak dapat maklumat kos sebenar pembinaan Masjid baru ini. Pembinaan Masjid baru ini dibuat di atas tapak tanah Kerajaan yang terletak bersebelahan dengan bangunan Masjid yang lama. Masjid yang telah siap dirasmikan oleh bekas Perdana Menteri Kedua Allahyarham Tun Haji Abd Razak bin Hussein pada 21 Mac 1975. Masjid baru ini diberi nama Masjid Jamek Kg Batu. Oleh kerana kebelakangan ini kebanyakan Masjid-Masjid dalam Wilayah Persekutuan Kuala Lumpur diberi nama-nama yang lebih khusus, maka mulai 1 Julai 2007 Masjid Jamek Kg Batu ditukar kepada Masjid Abu Hurairah.
Sejarah pembinaan Masjid baru ini tidak lengkap sekiranya individu-individu yang terlibat secara langsung atau tidak langsung dengan tugas-tugas sehingga terbinanya Masjid baru ini tidak dirakamkan dengan rasminya. Antaranya ialah :-
1. Senator Haji Ibrahim bin Haji Yaacob (Allahyarham)
2. Tuan Sheikh Abd Rashid bin Sheikh Obit (Allahyarham)
3. Tuan Haji Sulaiman bin Johari (Allahyarham)
4. Tuan Haji S. M. Omar (Allahyarham)
5. Tuan Haji Ismail bin Said (Allahyarham)
6. Tuan Haji Mohd Ariff bin Othman (Allahyarham)
7. Tuan Syed Abu Bakar bin Syed Khali (Allahyarham)
8. Tuan Haji Syed Noh bin Syed Abd Rahman Allahyarham)
9. Ustaz Haji Idris bin Mualim
10. Tuan Haji Alias bin Rahmat
Sekiranya ada lagi individu-individu yang berkaitan tidak disenaraikan di atas harap maaf kerana tidak disengajakan disebabkan maklumat-maklumat yang diperolehi hanya berdasarkan kepada maklumat secara lisan dan tidak ada maklumat daripada dokumentasi yang rasmi.
Dalam tahun-tahun lapan puluhan dan sembilan puluhan Taman-Taman Perumahan bertambah lagi di kawasan Kariah Masjid ini iaitu Taman Batu Permai, Taman Mastiara dan PPR Pekan Batu. Ini menyebabkan Masjid ini sudah tidak dapat lagi menampung jemaah untuk solat Jumaat walaupun pembesaran Masjid telah dilaksanakan. Apa yang membimbangkan pihak Masjid ini ialah sebuah lagi Projek Perumahan Rakyat telah siap dan mula diduduki dalam tahun 2008. PPR ini terletak di Jalan Ampat Tin off Batu 4 Jalan Ipoh yang tidak jauh daripada Masjid Abu Hurairah Kg Batu. Kompleks PPR ini amat besar dan mempunyai lebihkurang 3000 unit rumah. Oleh kerana lebihkurang tujuh puluh peratus penduduknya adalah yang beragama Islam, maka sudah tentu sebuah Masjid baru yang lebih besar diperlukan seperti keperluan yang berlaku dalam tahun-tahun tujuh puluhan dahulu. Keadaan ini bukan sekadar amat perlu tetapi perlu disegerakan.
Disediakan oleh
Setiausaha Kerja
(hasil temubual dengan individu-individu lama Kg Batu termasuk bekas pemimpin-pemimpin masyakat setempat dan ahli-ahli keluarga individu-individu seperti senarai di atas)