Theo bia ký, gia phả và sắc phong của vua ban cho các Tiên Công, từ thời Lý - Trần đã có một số vạn chài đến vùng đất này sinh sống. Đến đầu thế kỷ XV, khoảng 1.434-1.500 có 6 nhóm Tiên Công và các cư dân đến quai đê lấn biển, khai hoang đất đai trồng lúa, lập làng, tạo nên khu đảo Hà Nam. Trong đó có 17 vị Tiên Công quê phường Kim Hoa (nay là phường Kim Liên), huyện Thọ Xương, phủ Hoài Đức, thành Thăng Long (nay là Hà Nội). Họ là những người lao động, kẻ sỹ, sống chủ yếu bằng canh tác nông nghiệp và đánh cá ven hồ, ven sông Kim Ngưu xưa.

Khi Vua Lê Thái Tổ lên ngôi, cho phép cư dân trong vùng đi tìm đất hoang lập làng mới ở bất cứ đâu và được miễn thuế trong thời gian đầu cày cấy. 17 vị Tiên Công cùng gia đình xuôi theo dòng sông Hồng ra cửa sông Bạch Đằng cắm thuyền tìm đất. Lúc đầu họ sinh sống trên thuyền bằng nghề đánh bắt tôm cá ở các "đượng" đất trên bãi triều, vùng cửa sông Bạch Đằng. Sau các Tiên Công tìm thấy mạch nước ngọt trên một "đượng" đất cao giữa bốn bể là nước mặn (sau gọi là Hồ Mạch). 17 vị Tiên Công đã cùng gia đình dừng lại ở bãi triều này khẩn hoang đất đai, cải tạo thành ruộng lúa, lập làng, vừa trồng lúa vừa đánh bắt hải sản.

Trong khoảng thời gian này, còn có 2 vị Tiên Công quê ở Trà Lũ (Nam Định) cũng khai hoang, lập làng ở vùng này. Dần dần, nơi này trở thành vùng đảo Hà Nam trù phú như ngày nay.

Nhân dân trong vùng “Tứ xã” tưởng nhớ công lao của 19 vị Tiên Công nên đã cho dựng miếu thờ ở trung tâm khu đảo Hà Nam, nay thuộc địa phận xã Cẩm La. Hằng năm, nhân dân trong vùng vẫn tổ chức lễ hội Tiên Công, một lễ hội với nghi thức “rước người”, “đắp đê”, đấu vật và các trò chơi dân gian truyền thống vùng sông nước Bạch Đằng độc đáo nhất trong cả nước.