จากคำบอกเล่ากล่าวว่า แต่เดิมหมู่บ้านแห่งนี้มีต้นไม้เดื่อใหญ่ขนาด 4 คนโอบ อยู่กลางบ้าน มีชาวบ้านตั้งบ้านเรือนอยู่ 20 หลังคาเรือนในขณะนั้นยังไม่มีชื่อหมู่บ้าน ในสมัยนั้นปลัดกิ่งอำเภอหางดง ได้ออกเยี่ยมเยือนราษฎร เมื่อมาถึงหมู่บ้าน ลุงมุ่ย (ผู้ใหญ่บ้านในสมัยนั้น) ได้แจ้งต่อปลัดฯ ว่าหมู่บ้านยังไม่มีชื่อ ปลัดกิ่งอำเภอเห็นต้นไม้ใหญ่ต้นดังกล่าว จึงได้ตั้งชื่อหมู่บ้านตามชื่อต้นไม้ที่เห็นว่า "บ้านเดื่อ"
ต่อมาผู้ใหญ่บ้านและราษฎรได้บูรณะวัดขึ้นภายในหมู่บ้านเพื่อให้มีพระสงฆ์อยู่จำพรรษาได้ และอาราธนานิมนต์ "พระดวงดี" มาจำพรรษาที่วัดนี้โดยตั้งชื่อว่าวัดหม้อ ต่อมามีพระสงฆ์อีกรูปหนึ่งอยู่ที่อำเภอแม่แตง เป็นครูบา ชาวบ้านเลื่อมในศรัทธามากท่านได้นั่งสมาธิและเปลี่ยนชื่อวัดให้ใหม่เป็นวัดวรเวทย์วิสิษฐ์ ทั้งยังช่วยบูรณะและสร้างกุฏิวิหารเพิ่มขึ้นจนถึงปัจจุบัน

ปัจจุบันหมู่บ้านเดื่อมีรายละเอียดของหมู่บ้านดังนี้
พื้นที่หมู่บ้าน ตร.กม.
จำนวนครัวเรือน 165 ครัวเรือน
จำนวนประชากร 1,210 คน
อาชีพหลักของประชากร ทำนา
รายได้เฉลี่ย / คน / ครัวเรือน 35,000 บาท
อาณาเขตทิศเหนือจด ตำบลสันผักหวาน
ทิศใต้จด ตำบลขุนคง
ทิศตะวันออกจด ตำบลสบแม่ข่า
ทิศตะวันตกจดหมู่บ้าน หมู่ที่ 8 (บ้านต้นเฮือด) ต.บ้านแหวน