最初的根基
库巴清真寺位于麦地那西南部的希吉拉路上，距先知清真寺约3.5公里。它奠基于622年，即先知抵达麦地那之年，史载为伊斯兰教修建的第一座清真寺。清真寺旧称贝尼·奥夫清真寺，今名则得自库巴井。
奥斯曼·本·阿凡对其进行了首次修缮，欧麦尔·本·阿卜杜勒阿齐兹则于705年至712年间为其增建了第一座宣礼塔。1932年，阿卜杜勒阿齐兹国王下令在库巴与先知清真寺之间修筑一条笔直的道路。
今日清真寺
1985年，法赫德国王下令扩建，面积由1,600平方米增至13,500平方米，原有的单座宣礼塔被四座各高47米的宣礼塔取代；新清真寺于1987年落成。寺内有62座穹顶、四座方形庭院，可容纳20,000名礼拜者。
2022年4月8日，王储穆罕默德·本·萨勒曼亲王殿下宣布萨勒曼国王扩建项目，目标是将面积扩大到50,000平方米、容量提升至约66,000名礼拜者，并将农场、园圃、水井等57处历史遗址纳入其中。如今，全长3公里的“库巴前沿”步道从清真寺一路通往先知清真寺方向。