Posisinya yang tersembunyi dengan arsitektur yang sederhana membuat Masjid Al Atiq seperti luput dari perhatian masyarakat. Di balik bentuknya yang sederhana, masjid ini termasuk salah satu masjid yang memiliki pengaruh yang cukup kuat terhadap perkembangan penyebaran agama Islam di Jakarta. Masjid ini juga dulu kerap  menjadi tempat pengungsingan warga dan pasukan Jayakarta yang tengah berperang melawan VOC Belanda.

Jika diperhatikan seksama, tidak ada yang istimewa dari masjid yang berada di tengah permukiman dan jauh dari jalan besar ini. Lokasinya yang tersembunyi dari keramaian membuat masjid ini tidak terkenal di kalangan masyarakat luas. Masjid ini beralamat di Jalan Masjid I Nomor 3, Kelurahan Kampung Melayu Besar, Kecamatan Tebet, Jakarta Selatan.

Ketua Takmir Masjid Al Atiq, H Ichwan Rasidi mengaku, sebenarnya tidak ada yang tahu pasti kapan tepatnya masjid ini dibangun. Namun dari para sesepuh kampung dan risalah yang ada di masjid ini, meyakini bahwa masjid ini didirikan pada tahun 1632 M atau 1053 H. Nama Al Atiq sendiri diberikan oleh Gubernur DKI Jakarta Ali Sadikin pada tahun 1970-an. Secara harafiah, Al Atiq memiliki makna tertua.

Pembangunan masjid ini diperkirakan bersamaan dengan pembangunan masjid di Banten dan Karang Ampel, Jawa Tengah di mana kedua masjid tersebut dibangun karena peran Sultan Maulana Hasanuddin.

"Pendiri masjid ini adalah pasukan Sultan Ageng Tirtayasa yang tengah berperang melawan VOC. Dulunya masjid ini dibangun sebagai tempat istirahat sultan," kisah Ichwan.

Masjid yang letaknya persis di tepi Kali Ciliwung ini pun menguatkan indikasi kebenaran cerita tersebut. Menurutnya, pada zaman dahulu pergerakan tentara selalu saja memanfaatkan sungai yang berfungsi sebagai transportasi atau sumber minum para tentara.

Saat ini, bentuk fisik masjid ini telah mengalami beberapa perubahan karena pernah dilakukan beberapa kali pemugaran. Seperti pada tiang penyangga yang berada di tengah masjid dulunya terbuat dari kayu jati, saat ini digantikan dengan beton berlapis keramik/marmer.

Perombakan juga dilakukan pada bangunan masjid, di mana masjid dibangun menjadi dua lantai yang lebih modern, sedangkan pernak pernik asli dari masjid telah diserahkan ke Museum Sejarah Jakarta.

Namun, pemugaran tidak dilakukan pada seluruh bagian masjid. Komponen masjid yang masih dipertahankan ialah trisula penunjuk arah kiblat yang terletak di puncak menara masjid. Bentuk menara pun masih sama dengan saat pertama kali dibangun, yaitu berupa limas.

Sebelum dilakukan pemugaran, terdapat dua buah makam pengurus pertama masjid ini. Makam yang letaknya berada persis di samping mimbar atau tempat berdirinya imam ini tidak diketahui nama pengurus yang dimaksud. Namun setelah pemugaran, kedua makam dipindahkan.

Masjid ini juga menyimpan kisah mistis yang menarik, yaitu adanya tongkat khatib ajaib yang terletak di mimbar masjid. Tongkat tersebut merupakan benda pusaka peninggalan masjid. Kabarnya, tongkat tersebut ampuh menyembuhkan penyakit lewat ramuan yang diracik dari serpihan kayu pada tongkat itu. Kini, pengerikan tongkat kayu tersebut sudah dilarang oleh para pengurus masjid.