On pense traditionnellement que l'église Saints-Serge-et-Bacchus a été construite à l'endroit où la Sainte Famille, Joseph, Marie et l'enfant Jésus se sont reposés à la fin de leur voyage en Égypte. Ils y ont peut-être vécu pendant que Joseph travaillait à la forteresse. L'église revêt une importance historique considérable et c'est d'ailleurs là que de nombreux patriarches de l'Église copte ont été élus.

L'Église suspendue doit son nom à son emplacement au-dessus d'une porte de la forteresse de Babylone, forteresse romaine du Caire copte (Vieux Caire) ; sa nef est suspendue au-dessus d'un passage. On y accède par vingt-neuf marches ; les premiers voyageurs du Caire la surnommaient « l'Église de l'Escalier ». Le terrain s'étant élevé d'environ six mètres depuis l'époque romaine, la tour romaine est en grande partie enfouie sous terre, ce qui réduit l'impact visuel de la position élevée de l'église.

Les synagogues comprenaient une geniza, ou dépôt pour les documents abandonnés ou périmés contenant le nom de Dieu, car l'enseignement juif exigeait que ces documents soient conservés avec respect, puis enterrés dans un cimetière. Le bâtiment du XIe siècle comprenait une geniza exceptionnellement grande, « haute de deux étages, plus un silo qu'un grenier – avec une ouverture sur le toit accessible par le haut ».