Bis zu seiner Zerstörung war der Lutherbaum tatsächlich die Attraktion von Pfiffligheim. Kein Besucher durfte den Ort verlassen, ohne vorher noch einen Blick auf den Dorfriesen geworfen zu haben. Bis 1870 war die Ulme zu einer Höhe von weit über dreißig Metern und einer Breite von neun Metern herangewachsen. Sie war damit wohl die größte Ulme aller Zeiten und übertraf in Höhe und Breite die Effe in Schimsheim, ja selbst die Rüster von Hampstead in Middlessex (Südengland), die immer als die größte Ulme der Welt bezeichnet wurde. Sicher ist, daß die "Lutherulme" lange vor 1600 gepflanzt sein muß, und von ihrem Alter her paßt sie gut zu der Auffassung, daß der Baum um die Zeit des Luther-Reichstags 1521 gepflanzt worden sei. Am 26.10.1870 tobte ein furchtbarer Orkan, der im Wormser Dom Quadersteine vom Bogenfenster neben dem Portal herabschleuderte. Domfenster zertrümmerte und von einem Turm Kreuz samt Wetterhahn herabwarf. Dieser Sturm wütete auch in Hochheim und Pfiffligheim, deckte hier Dächer ab und zerbrach 2/3 des gewaltigen Ulmenstammes. Die Ausmaße des Stammverlustes kann man erkennen, wenn wir in der Pfiffligheimer Haushaltsrechnung 1871 lesen, daß allein der Verkauf des abgebrochenen Holzes 133 Gulden in die Gemeindekasse brachte.
Die Pfiffligheimer taten alles, um die stehengebliebenen Äste mit dem Baumstumpf doch noch zu erhalten. Der Boden wurde umgegraben und kräftig gedüngt. Tatsächlich, der Stamm begann wieder auszuschlagen. Eigenartigerweise setzte sich bei den Pfiffligheimern, im Gegensatz zu den Wormsern, der Name "Lutherbaum" erst nach 1900 durch. Vorher nannten sie ihn "Ruschtebaam", auf hochdeutsch: Rüsterbaum.
Um den Lutherbaum zu erhalten, wurden 1899 freiliegende Partien seines Inneren fachmännisch geteert und ausgemauert. Auch erhielt er eine schützende Einfriedung. Als der Baum am 29.8.1912 bei einem Gewittersturm erneut zusammenbrach, bewilligte die Stadtverordnetenversammlung zur Erhaltung des Stammes nochmals Mittel und faßte den Baum mit einer Steinbank ein.
Der Lutherbaum begann erneut zu knospen und zu grünen, bis der Baum, der einst bei allen Pfiffligheimer kulturellen und sportlichen Veranstaltungen, aber auch bei Kofirmationen, Trauungen usw. im Mittelpunkt stand, 1949 mit seiner Lebenskraft endgültig am Ende war. Der Hochheimer Bildhauer Gustav Nonnenmacher schuf 1951 ein Holzrelief, das, am Stamme angebracht, Sage und Geschichte des Baumes festhält.
Viele Pfiffligheimer setzten sich beharrlich und entschieden für den Erhalt des Denkmals ein. Ab dem Jahre 1998 erfolgte die Sanierung des Baumtorsos und der Gedenktafel sowie - durch Spenden finanziert - im Frühjahr 1999 die Pflanzung einer jungen Ulme im Inneren des Denkmals.