מי שבנה את הבית היה חאפז אל-עלמי, גיסו של מוסא. זה היה בעיקר בית הקיט של המשפחה. המקום פשוט מעולה: ראש גבעה הצופה אל הים ונהנה מנוף מרהיב ומרוח נעימה גם בימי הקיץ.
לדברי נכדו של חאפז, שביקר בקיבוץ זיקים בנובמבר 1978, בנייתו של הבית נשלמה בשנת 1920. לדבריו, בבית גרה משפחה מורחבת, ובניה עיבדו מטעים ופרדסים בסביבה ושדות פלחה באזור שובל. בשל ההידרדרות במצב הביטחוני, עזבה המשפחה את הבית בשנת 1947.
בית עלמי היה המבנה היחיד בשנותיו הראשונות של קיבוץ זיקים. הוא שימש לא רק למגורי החברים, אלא גם חדר אוכל, מטבח, בית תינוקות ומרפאה. במשך הזמן נבנו למרגלותיו צריפים ואחר כך מבנים של ממש, ולידו נבנה מגדל המים של הקיבוץ הצעיר. עד מלחמת ששת הימים שכנה בראש מגדל המים עמדת תצפית של צה"ל.
לאחר התבססות הקיבוץ ידע בית עלמי כמה וכמה גלגולים. תחילה פעלה בו המרכולית של הקיבוץ ואחר כך, בין השאר, מחסן, מועדון, קומונת בגדים (מחסן בגדים בשפת השומר הצעיר) ומחסן לענף הנוי בקיבוץ. בשנות ה-90 ננטש הבית לחלוטין ועמד בשיממונו עד שהוכרז מבנה מסוכן שדינו להיהרס. ברגע הקריטי הזה, בעידודה של המועצה לשימור אתרי המורשת בישראל, ניעור הקיבוץ והחליט שהגיעה השעה לשקם את הבית ההיסטורי.