สถานที่บริเวณนี้ เคยเป็นชุมชนเชิงทะเลในสมัยโบราณมาก่อน แต่ที่มีการบันทึกไว้เป็นหลักฐานน่าจะราว ๆ สมัยกรุงศรีอยุธยาเป็นราชธานี ชาวบ้านในยุคนั้นเรียกสถานที่บริเวณนี้ว่า “ บ้านเขาน้อย ” อันเป็นชุมชนหนึ่งของเมืองถลาง เดิมทีบ้านเขาน้อยตั้งอยู่บนยอดควนหรือยอดเขา อยู่ห่างจากจุดนี้ไปทางทิศตะวันออกประมาณ ๕๐๐ เมตร (ยอดเขาน้อย อยู่ติดกับซอยป่าสัก ๘ แต่ปัจจุบันที่ดินตกเป็นกรรมสิทธิ์ของประชาชนมีสร้างขุดหน้าดินและรวมทั้ง ปลูกสร้างเป็นสวนยางพารา) ชาวบ้านเขาน้อยส่วนมากนับถือศาสนาพุทธ ได้ร่วมใจกันสร้างวัดและสร้างพระพุทธรูปขนาดใหญ่ไว้บนยอดเขาน้อย สภาพชุมชนในยุคนั้นยังไม่หนาแน่น เป็นป่ารกชัฏ มีสัตว์ป่า เก้ง กวาง เสือ ฯลฯ ชุกชุม พ่อค้าชาวฝรั่งเศสที่เดินเรือมาพบเกาะแห่งนี้ได้บันทึกไว้ว่าเกาะนี้มีสัตว์ร้ายชุกชุมมาก รวมทั้งแรด บางครั้งพวกเขาต้องรับประทานเนื้อแรดต่างเนื้อโค รัชสมัยของพระบาทสมเด็จพระพุทธเลิศหล้านภาลัย รัชกาลที่ ๒ แห่งกรุงรัตนโกสินทร์(พ.ศ.๒๓๕๓ – ๒๓๖๗) ซึ่งเพิ่งขึ้นครองราชย์ได้แค่ ๒ เดือน ทัพพม่าที่เคยพ่ายแพ้แก่กองทัพราชอาณาจักรสยามของพระบาทสมเด็จพระพุทธยอดฟ้าจุฬาโลก(รัชกาลที่๑) เมื่อครั้งสงคราม ๙ ทัพ ครานั้น พม่าเห็นว่าราชอาณาจักรสยามเพิ่งเปลี่ยนแผ่นดิน พระบาทสมเด็จพระพุทธยอดฟ้าจุฬาโลกที่เคยเอาชนะพม่าก็เสด็จสวรรคตแล้ว กรมพระราชวังบวรสถานมงคล(พระอนุชาของพระบาทสมเด็จพระพุทธยอดฟ้าจุฬาโลก)ก็อยู่ในวัยชรา พระเจ้าปดุง กษัตริย์พม่าจึงให้ อะเติงหวุ่นนำทัพยกมาตีหัวเมืองทะเลทางปักษ์ใต้ฝ่ายตะวันตก โดยอะเติงหวุ่นให้แยค่องเป็นนายทัพถือพล ๔,๐๐๐ ยกมาทางเรือตีหัวเมืองฝ่ายทะเลตะวันตกกองหนึ่ง ให้ดุเรียงสาระกยอเป็นนายทัพถือพล ๓,๐๐๐ ยกมาทางบกตีหัวเมืองปักษ์ใต้อีกกองหนึ่ง ฝ่ายกองทัพพม่าได้ตีหัวเมืองฝ่ายทะเลตะวันตก เช่น เมืองตะกั่วป่า เมืองตะกั่วทุ่ง ซึ่งมีไพร่พลน้อยกว่าจึงเสียเมืองแก่พม่า แยค่องนายทัพพม่ารู้ว่ากองทัพจากกรุงเทพยกมาช่วยเมืองถลาง เห็นว่าถ้ารอช้าจะเสียที จึงแบ่งกำลังที่ตั้งล้อมเมืองถลางไปเพิ่มเติมตีเมืองภูเก็ต ครั้นได้เมืองภูเก็ตแล้วก็รวบรวมพลกลับมาตีเมืองถลาง เจ้าเมืองถลางกับกรมการเมืองต่อสู้เป็นสามารถ แต่กำลังพลที่รักษาเมืองถลางน้อยกว่าคราวก่อน ๆ เพราะเรียกระดมไม่ทัน รักษาเมืองไว้ได้นาน ๒๗ วัน จนหมดเสบียงจึงเสียเมืองถลางแก่พม่า ทัพพม่าเผาบ้านเรือนวัดวาอาราม ฆ่าฟันผู้คน ชาวบ้านหวาดกลัว จึงพากันหลบหนี ทิ้งบ้านเรือนไปอยู่ตามป่าเขา เมื่อกองทัพจากกรุงเทพยกลงมาช่วยตีเอาเมืองถลางคืน จนพม่าพ่ายแพ้ถูกฆ่าตายเป็นจำนวนมาก ที่เหลือพากันหนีกลับไป แต่บ้านเรือนของชาวเมืองถลาง รวมทั้งวัดวาอารามถูกพม่าเผาทำลายจนวอดวายไม่สามารถจะบูรณะได้ เมืองถลางในสมัยนั้นมีอยู่หลายชุมชน เช่น บ้านดอน บ้านตะเคียน บ้านท่ามะพร้าว บ้านลิพอน บ้านท่าเรือ บ้านแขนน บ้านเขาน้อย ฯลฯ เนื่องจากบ้านเขาน้อย ที่ถูกทัพพม่าเผาทำลายบ้านเรือนและวัดวาอารามจนวอดวายหมดสิ้น ชาวบ้านจึงพากันอพยพลงมาตามคลองบางวัดมาตั้งถิ่นฐานขึ้นใหม่คือ บริเวณนี้ โดยได้นิมนต์พ่อท่านสมภารงอเจ้าอาวาสวัดเขาน้อยมาด้วย และได้สร้างวัดขึ้นใหม่ ณ สถานที่แห่งนี้ เรียกว่า “ วัดออก ” พ่อท่านสมภารงออยู่ที่นี่ ๒ ปี ก็มรณภาพ พ่อท่านสมภารงอเป็นที่รักใคร่นับถือของชาวบ้านถึงแม้จะมรณภาพแล้ว บางครั้งหมูของชาวบ้านที่เลี้ยงไว้สูญหาย(ช่วงนั้นชาวบ้านเลี้ยงหมูกันมาก) เมื่อมาบนบานศาลกล่าวก็ได้คืนมา มีการนำมโนราห์มารำถวาย เจ้าอาวาสองค์ต่อมาคือพ่อท่านปลอด(ประมาณ พ.ศ.๒๓๙๕ – ๒๔๒๙) ซึ่งเป็นผู้เรืองวิทยาคม ท่านเป็นศิษย์หลวงพ่อในหีบแห่งวัดป่าตอง เช่นเดียวกับหลวงพ่อแช่มแห่งวัดฉลอง และหลวงพ่อช่วยแห่งวัดป่าตอง หลังจากหลวงพ่อปลอดมรณภาพแล้วได้มีการเก็บอัฐิของท่านไว้ในคณโฑ ต่อมามีผู้สร้างบัว(สถูป)บรรจุอัฐิไว้ที่หน้าศาลาพระขาว เนื่องจากในสมัยก่อนไม่มีกล้องถ่ายรูป จึงไม่มีใครรู้ว่ารูปร่างหน้าตาของหลวงพ่อปลอดเป็นอย่างไร พ่อท่านกระจ่าง(เจ้าอาวาสองค์ต่อจากพ่อท่านพลับ)ได้นิมิตเห็นรูปร่างหน้าตาของพ่อท่านปลอด จึงช่างให้ปั้นรูปหลวงพ่อปลอด ขึ้นตามที่นิมิตเห็น(ตอนนี้อยู่ในมณฑปข้างศาลาพระขาว) ต่อมาเมื่อ พ.ศ.๒๕๕๗ ทางคณะพุทธบริษัทได้ขยายศาลาพระขาวให้ยาวขึ้นกว่าเดิม จึงยกเอาบัว(สถูป)บรรจุอัฐิของพ่อท่านปลอดไปไว้ในมณฑป เจ้าอาวาสองค์ต่อมามีหลายรูป แต่ไม่ได้บันทึกไว้ ครั้นต่อมาพ.ศ. ๒๔๕๔ – ๒๕๐๘ พ่อท่านพลับได้เป็นเจ้าอาวาส มีชาวบ้านนับถือศรัทธามาก ได้มีการหล่อรูปปั้นและสร้างเหรียญไว้บูชา หลังจากพ่อท่านพลับมรณภาพแล้วชาวบ้านได้นิมนต์พ่อท่านกระจ่างซึ่งจำพรรษาอยู่ที่วัดร้างหรือวัดพระขาวแห่งนี้ไปเป็นเจ้าอาวาสวัดเชิงทะเล จนถึงวันที่ ๓ เมษายน ๒๕๔๘ พ่อท่านกระจ่างมรณภาพลง พระครูการุญกิจจานุยุตได้รับการแต่งตั้งให้เป็นเจ้าอาวาสวัดเชิงทะเลจนถึงปัจจุบันนี้ ส่วนสถานที่แห่งนี้ ที่ชาวบ้านเรียกว่า วัดร้างหรือวัดพระขาวมีฐานะเป็นที่พักสงฆ์ ปัจจุบันมีพระรัตนโชติ(เจ้าเดียว) ปญฺญาปโชโต เป็นหัวหน้าคณะสงฆ์ดูแลที่พักสงฆ์แห่งนี้แทนพระครูการุญกิจจานุยุติ เจ้าอาวาสวัดเชิงทะเลปัจจุบัน ที่เขาน้อยแห่งนี้ มีการบอกเล่าต่อกันว่ามีลายแทงโบราณ หากใครแก้ลายแทงนี้ได้ถูกต้องจะได้ลาภ ลายแทงมีว่า “ เขาน้อยมีอ้อยช้างคลาน มีทองสามพานอยู่ใต้เขาน้อย ” มีคนแก้ลายแทงนี้โดยการขุดเจาะใต้ฐานพระพุทธรูปองค์กลาง แต่จะผิดถูกอย่างไร ได้ทรัพย์สินหรือทองสามพานตามลายแทงหรือไม่ ไม่มีใครทราบ ชุมชนเขาน้อยได้ย้ายไปทำเหมืองแร่ที่บ้านตีนเล คือ ชุมชนในเขตเทศบาลเชิงทะเลในปัจจุบัน โดยไปสร้างวัดเชิงทะเลขึ้น ณ ที่แห่งใหม่ คือ สถานที่อันเป็นที่ตั้งสำนักสงฆ์พ่อท่านสมภารงอในปัจจุบัน จนกระทั่งมีผู้ใจบุญถวายที่ดินแห่งใหม่ให้กับวัดจึงได้ย้ายไปสร้างวัดเชิงทะเลในปัจจุบันนี้ (เมื่อก่อนเรียกวัดศาลา) ส่วนสถานที่แห่งนี้บางครั้งได้ถูกทิ้งร้าง จนชาวบ้านเรียกว่า “ วัดร้าง หรือวัดพระขาว ” เพราะมีพระพุทธรูปสามองค์ที่ถูกทาด้วยสีขาวตามที่เห็นอยู่ในปัจจุบันนี้ พระพุทธรูปที่เป็นพระประธานองค์กลางมีเศียรและพระพักตร์ ไม่เหมือนกับ ๒ องค์ข้าง ๆ เนื่องจากหลังคาศาลาพระขาวหลังเก่าพังลงมาทับเศียรหัก จึงนำเศียรของพระพุทธรูปที่วัดเขาน้อยมาต่อไว้ ที่ดินอันเป็นที่ตั้งที่พักสงฆ์พระขาวแห่งนี้ เป็นที่ธรณีสงฆ์ของวัดเชิงทะเล คือ ที่ดินโฉนดที่ ๙๒๔ สาระบาญเล่มที่ ๑๐ น่า(หน้า)ที่ ๒๔ (ที่ดิน)เลข(ที่) ๑๓๑ หมู่ที่ ๗ (ปัจจุบันหมู่ที่ ๔) ตำบลบางเทา(ปัจจุบันตำบลเชิงทะเล) อำเภอเมืองถลาง จังหวัดภูเก็ต เนื้อที่ประมาณ ๕๕๖๔ ตารางวา หรือ ๑๓ ไร่ ๓ งาน ๖๔ ตาวางวา ออกโฉนดเมื่อวันที่ ๑๗ เดือนธันวาคม พ.ศ. ๒๔๖๓ ต่อมามีผู้ถวายที่ดิน น.ส. ๓ ก เลขที่ ๙๖๘ เล่ม ๑๐ ข หน้า ๑๘ เลขที่ดิน ๒๗๓ ตำบลเชิงทะเล อำเภอถลาง จังหวัดภูเก็ต เนื้อที่ประมาณ ๑ ไร่ ๑ งาน ๓๓ ตารางวา ซึ่งอยู่ด้านทิศใต้ติดกับลำรางสาธารณะประโยชน์ เนื้อที่จึงมีเนื้อที่ทั้งหมดจึงมีประมาณ ๑๕ ไร่ ๙๗ ตารางวา ต่อมาเมื่อ พ.ศ. ๒๕๓๘ มีการเลือกตั้งสมาชิกสภาองค์การบริหารส่วนตำบลแทนสภาตำบล จึงได้เริ่มพัฒนาสถานที่แห่งนี้อย่างจริงจังพร้อม ๆ กับการบูรณะศาลหลักเมืองถลาง ป่าสักที่อยู่ในบริเวณเดียวกัน มีพระภิกษุมาอยู่จำพรรษาตลอดมา หลายปีที่ผ่านมามีพระภิกษุอยู่จำพรรษาหลายรูปจนสามารถรับกฐินได้ พุทธศาสนิกชนได้ร่วมกันสร้างกุฏิ และเสนาสนะต่าง ๆ ตามสภาพที่พบเห็นอยู่นี้ ได้ขยายทางเข้าวัดจากกว้าง ๒.๐๐ เมตร เป็น ๖.๐๐ เมตร สร้างเป็นถนนคอนกรีตและสร้างถนนซอยต่าง ๆ และเริ่มมีชุมชนมาสร้างบ้านเรือนอยู่อาศัยเพิ่มมากขึ้นอย่างรวดเร็ว มีไฟฟ้า และขุดสระเก็บน้ำด้านหลังวัดเพื่อผลิตน้ำประปาหมู่บ้าน ในพื้นที่บริเวณนี้ ชาวบ้านขุดพบถ้วย ชาม จาน ไห อิฐ ทำจากกระเบื้องดินเผา อิฐดินเผา และของใช้ในสมัยโบราณ บางอย่างยังอยู่ในสภาพดี ทุกวันนี้อยู่ที่พิพิธภัณฑ์วัดพระทอง บางส่วนแตก ร้าว หัก รวมทั้งขุดพบกระดูกมนุษย์ อยู่เนือง ๆ