נקודת התצפית שוכנת בחורבת יבנית (או איבנית). חוקרי העבר מזהים את המקום עם היישוב היהודי ימניה (או ימנית), שהתקיים כאן בימי הבית השני. יוסף בן מתתיהו, מפקד המרד הראשון בגליל, ביצר את היישוב כהכנה למרד. בשל גובהו ומיקומו הגיאוגרפי, היה ימנית אחד מן המקומות שבהם השיאו משואות כדי להודיע על ראשי החודשים והמועדים.
במקום התקיים יישוב יהודי גם בתקופת המשנה והתלמוד (התקופה הרומית ביזנטית), אם כי יישוב בשם זה אינו נזכר בצורה מפורשת בתלמוד. לעומת זאת, בפיוטים מתקופת הגאונים (מאות 7­-11 לספירה) נזכר היישוב יבנית כאחד מיישובי משמרות הכהונה שגלו לגליל, משמרת אִמֵּר. הפייטן אלעזר הקליר, שחי במאה ה-7 לספירה, מזכיר את שם היישוב יוונית (יבנית) בפיוטו "איכה ישבה חבצלת השרון", שבו הוא מקונן על אובדן 24 משמרות הכהונה: "והריקו עלי חרב וחנית. והרביתי צומות ותענית. ומצורת תכנית יצאה יוונית (אבנית)". במקורות יהודיים מימי הביניים נזכרים קברי צדיקים ביבנית, אך מבלי לציין יהודים שישבו דרך קבע במקום.

סמוך לרחבת התצפית, מאחורי מבואה מקורה הנישאת על ארבעה עמודים, נמצא פתח הכניסה למערה ארוכה. המערה נחצבה בסלע קירטון, אורכה כ-30 מ' ונראה כי שימשה בתקופה הביזנטית כמאגר מים תת קרקעי. המסורת מזהה כאן את קבריהם של האמוראים הבבליים אביי ורבא (בקצה המערה), את קבר ר' דימי מנהרדעא, את קבר רבי פפא ובניו ובמבנה נפרד את קבר רבי יהודה נשיאה מארץ ישראל. ארונות ספרי תפילה ושני נרות תמיד מקדמים את פני הבאים למקום ובמקום אף מופעלת תאורה חשמלית.
בספר הגלגולים, שכתב רבי חיים ויטאל (1542­-1620) מפי האר"י הקדוש, מובא תיאור של המערה: "בכפר אבנית יש שם מערה שבקרן מזרחית-דרומית ממש שם קבור אביי והכוך הסמוך בצד דרום ממש שם קבור רב דימי מנהרדעא והכוך הסמוך לו אשר בצד דרום גם כן והוא כוך יותר רחב מכוך רב דימי הנזר ושם קבור רבא...".
רבא היה מראשי הדור הרביעי של האמוראים בבבל וחי בין השנים 280­-355 לספירה בערך. הוא היה בר פלוגתא של אביי, ודבריהם נמסרו לרוב יחד לדורות הבאים. רוב המחלוקות שביניהם הסתיימו כשדעתו של רבא קובעת. רבא היה אדם אמיד, בעל נכסים וקרקעות והתגורר בפומבדיתא.
אביי היה ראש ישיבת פומבדיתא וחברו הקרוב של רבא. הוא חי בין השנים 280­-330 בערך והיה אדם צנוע, עני רוב ימיו, שהתפרנס מעבודת אדמה. הוא דאג לשמור על קשר עם חכמי ארץ ישראל.
רב דימי מנהרדעא היה בן דורם של רבא ואביי. במסכת בבא בתרא נזכרת דעתו שיש להעדיף מורה שמדייק בלימודו מאשר מורה שממהר להספיק ללמד יותר חומר מכיוון שלימוד יסודי משתרש בלב ואינו יוצא ממנו.

בהמשך השביל, כמה צעדים ממערת אביי ורבא, סמוך לגדר המחנה הצבאי, נמצא פתח צר של מערה, חסום בקיר אבן. זוהי מערת רב פפא, תלמידם של רבא ואביי שהתפרנס מייצור שיכר תמרים וממסחר בזרעי פרג, עשה חיל בעסקיו ומהרווחים הקדיש לרווחת תלמידיו. הוא ניהל בית דין שנודע ביושרו ולכן לא רק יהודים באו להתדיין בפניו.