ฝ่ายศรีสุวรรณและพราหมณ์ทั้งสามคน เมื่อตื่นขึ้นมาไม่พบพระอภัยมณีก็โศกเศร้า และออกติดตามหาพระอภัยมณีมาถึงเมืองรมจักรซึ่งมีท้าวทศวงศ์เป็นเจ้าเมือง และมีพระธิดาชื่อ เกษรา เป็นหญิงที่สวยงาม มีเจ้าเมืองแขกชวาชื่อท้าวอุเทนมาสู่ขอ แต่ท้าวทศวงศ์ไม่ยกให้ ท้าวอุเทนจึงยกทัพมาตีเมืองรมจักร ศรีสุวรรณและพราหมณ์ทั้งสามได้อาสาออกรบได้ชัยชนะ ท้าวทศวงศ์จึงจัดงานอภิเษกศรีสุวรรณกับพระธิดาเกษรา ทั้งสองพระองค์มีพระธิดาชื่ออรุณรัศมี
          กล่าวถึงท้าวสิลราช เจ้าเมืองผลึก มีพระธิดาชื่อสุวรรณมาลีได้หมั้นหมายกับโอรสเจ้าเมืองลังกาชื่อ อุศเรน เมื่อใกล้กำหนดวันอภิเษก นางสุวรรณมาลีฝันว่าได้ไปเที่ยวทะเล เห็นดวงแก้วอยู่กลางเกาะ นางเหาะไปหยิบได้ โหรทายว่าจะมีเคราะห์ แต่จะได้คู่ครองที่เหมาะสม นางรู้สึกไม่สบายใจ ท้าวสิลราชจึงพาเที่ยวทะเลมาถึงเกาะแก้วพิสดาร พระอภัยมณีและสินสมุทรขออาศัยเรือไปด้วย เมื่อนางผีเสื้อรู้เข้าก็ทำลายเรือจนเรือแตก ท้าวสิลราชสิ้นพระชนม์ในทะเล พระอภัยมณีว่ายน้ำหนีไปบนเกาะแห่งหนึ่ง นางผีเสื้อสมุทรติดตามพระอภัยมณีไปถึงเกาะ แต่ไม่สามารถขึ้นเกาะได้เพราะมนต์วิเศษของโยคีที่ให้พระอภัยมณีไว้ป้องกันตัว นางผีเสื้อสมุทรขอร้องให้พระอภัยมณีกลับไปอยู่ด้วย แต่พระอภัยมณีไม่ยอม นางผีเสื้อจึงร่ายเวทย์ให้ฝนตก พระอภัยมณีหนาวสั่นจึงตัดสินใจเป่าปี่สังหารนางผีเสื้อ เมื่อนางผีเสื้อตาย พระอภัยมณีรู้สึกสงสารจึงคิดจะปลงศพให้ แต่ชีปะขาวมาห้ามไว้ พระอภัยมณีจึงปล่อยนางให้เป็นหินอยู่ที่เชิงเขานั้น
          ฝ่ายอุศเรนคู่หมั้นของนางสุวรรณมาลี เมื่อทราบว่าคู่หมั้นของตนหายไปก็นำเรือออกค้นหา มาพบพระอภัยมณีที่เกาะกลางทะเล จึงรับพระอภัยมณีมาด้วย ส่วนสุวรรณมาลี เมื่อเรือแตกแล้ว สินสมุทรได้ช่วยเหลือนางและพาว่ายน้ำมาขึ้นที่เกาะแห่งหนึ่ง พบเรือของโจรสุหรั่งจึงได้ขออาศัยเดินทางกลับเมืองผลึกระหว่างทางโจรสุหรั่งพยายามเกี้ยวนางสุวรรณมาลี สินสมุทรโกรธจึงฆ่าโจรสุหรั่งแล้วนำเรือออกค้นหาพระอภัยมณีมาถึงเมืองรมจักร สินสมุทรรบกับศรีสุวรรณเพราะเข้าใจผิด สินสมุทรจับศรีสุวรรณได้ แต่ภายหลังได้รู้ว่าเป็นอาหลานกัน ศรีสุวรรณ สินสมุทร สุวรรณมาลี และอรุณรัศมี จึงออกติดตามพระอภัยมณีจนพบเรือของอุศเรน อุศเรนขอสุวรรณมาลีคืนจากสินสมุทร สินสมุทรไม่ยอม เพราะรักนางสุวรรณมาลีเหมือนแม่ พระอภัยมณีขอร้องให้สินสมุทรคืนนางสุวรรณมาลีให้อุศเรนด้วยสำนึกบุญคุณที่อุศเรนให้อาศัยเรือมา แต่สินสมุทรก็ไม่ยอม การกระทำของพระอภัยมณีในครั้งนี้ทำให้นางสุวรรณมาลีโกรธมากในที่สุดสินสมุทรจึงรบกับอุศเรน สินสมุทรจับอุศเรนได้ พระอภัยมณีขอให้ปล่อยอุศเรนไป เมื่ออุศเรนได้รับอิสรภาพกลับยกทัพมาต่อสู้อีกจนได้รับบาดเจ็บกลับลังกาไป