หลวงพรหมภักดีเตรียมแผนการอพยพอย่างดี ส่งซินแสมาหาทำเลที่ตั้งใหม่ จนพบเกาะหมาก มีสัณฐานเป็นราบ รูปร่างคล้ายมังกร ตามตำราจีนเชื่อว่าอยู่แล้วจะเจริญ จึงขอซื้อเกาะนี้มาจากเจ้าสัวเส็ง เจ้าของเดิม แล้วส่งลูกชาย 3 คน ได้แก่ นายอู๋ นายเอิบ นายอาบ เข้ามาบุกเบิก ก่อนที่ท่านจะตามมาภายหลัง สถานที่ตั้งของบ้านหลังแรกก็คือตำแหน่งเดียวกับบ้านหลวงพรหมภักดี หลังสีฟ้าสดใส หน้าอ่าวสวนใหญ่ ตกทอดมาถึงหลานชายของหลวงพรหมภักดีที่ยังอาศัยอยู่ในปัจจุบัน

     ยุคนั้นเป็นช่วงประกาศเลิกทาสพอดี ทำให้คนชั้นบ่าวจากเกาะปอแตกสาแหรกไปอยู่ตามพื้นที่ต่าง ๆ เช่น คลองใหญ่ เกาะช้าง เกาะกูด บางคนก็ยังตกค้างอยู่บนเกาะกง เรียกกันว่า “คนไทยเกาะกง” ส่วนคนชั้นเจ้านายส่วนมากย้ายมาอยู่กันที่เกาะหมาก

     คนชั้นเจ้านายแตกออกเป็น 5 ตระกูลใหญ่ ได้แก่ ตะเวทีกูล วงศ์คิรี สุทธิธนกูล จันทสูตร และสุขสถิตย์ ซึ่งทั้งหลายมีบรรพบุรุษคนเดียวกัน เกาะหมากจึงคล้ายเป็นครอบครัวใหญ่ครอบครัวหนึ่ง บนพื้นที่ 9,500 ไร่ เป็นพื้นที่สาธารณะ 500 ไร่ และของคนภายนอกไม่ถึงร้อยละ 10 นอกจากนั้นล้วนเป็นของคนจาก 5 ตระกูลข้างต้น