עץ הזית הוא עץ נמוך (גובהו 6–9 מטרים), בעל מספר גזעים ונוף עגלגל.
גזע העץ הצעיר חלק, ישר וצבעו אפור. גזע העץ המבוגר עבה, מפותל ומחוספס ונראה כשילוב של מספר גזעים. מראה זה נוצר בחלקו בזכות חוטרים ונצרים היוצאים מבסיס העץ ועוטפים את הגזע הראשוני. רבים מעצי הזית הוותיקים חלולים, אך אין משמעות הדבר כי העץ ניזוק או מת, כיוון שהעברת החומרים מן הקרקע – מים ומינרלים – ממשיכה להתבצע דרך השכבות החיצוניות בהיקף הגזע של העץ.עץ הזית מאריך ימים. בשל מבנם של העצים הוותיקים, החלול מבפנים, קשה לקבוע את גיל הזית במדויק, אך ישנן שיטות נוספות לקביעה זו וברור כי ישנם עצים בני מאות רבות של שנים ואף יותר.הזית ירוק עד ואינו עומד בשלכת. אורך החיים של עלה העץ הוא שלוש שנים, והעץ מכוסה תמיד בעלווה מתחלפת.