בתחילה (1969) השתמשו המתפללים רק במבואה של בית הכנסת ,באולם הכניסה מרחוב לייב יפה ,ורק לתפילות בימים הנוראים. שאר שטח הקומה שימש כמחסן . השכונה הייתה דלילה והמקום הספיק למתפללים מלבד לתפילות "כל נדרי" ו"נעילה". לפני יום הכיפורים תשל"ד (1973) פינו את המחסן והחזירו גם את האולם הגדול לבית כנסת.
בשנת 1972 החכירה העיריה את המבנה לעמותת המתפללים. בעקבות כך בחודש אלול שנת תשל"ב (1971) נחנך בית הכנסת מחדש בתהלוכה להעברת ספרי תורה מהצריף.
בית הכנסת נקרא על שמו של ש"י עגנון, הן בשל מעורבותו ב"גאולת" בית הכנסת, והן בשל העובדה שהתפלל במניין בצריף בקביעות.
בשנות ה-70 פעל גן ילדים בקומה התחתונה של בית הכנסת. כיום ישנה במקום הספרייה המפוארת של בית הכנסת.
בשנות ה-60 חזר המבנה לידי העירייה .בשלב זה פרץ סכסוך בעלות בין העירייה ובין תושבי תלפיות, שבראשם עמדו מרדכי כספי שפסק לטובת אנשי השכונה. העירייה נאלצה לשפץ את המבנה על חשבונה בסיוע הקרן לירושלים וכנראה בעזרת תרומה שהתקבלה מן הסופר ש"י עגנון, תושב השכונה, מתוך הכספים שקבל בעקבות קבלת פרס נובל: מספרים כי אריה קליין, שנפטר בשנת 2015, טען שהוא שכנע את עגנון לתרום חלק מכספי פרס נובל לשיפוץ בית הכנסת. הוא אמר לו: "בעוד 400 שנה השם עגנון כבר לא יהיה ידוע, את הספרים שלך כבר ישכחו, אבל אם תדאג שבית הכנסת יקרא על שמך, שמך ימשיך להתקיים בתודעת האנשים לעוד מאות שנים.
עם קום המדינה ב-1948, בתקופה בה התקיימה מעברת תלפיות, המדינה השתמשה בשלד המבנה כמחסן של אוהלים, מיטות וציוד אחר עבור תושבי המעברה.
בשנות ה-50 המבנה הושכר לאוניברסיטה העברית ושימש מחסן של בית הספר לרפואה.
לאחר פרוץ מלחמת העולם השנייה בשנת 1939 החרימו הבריטים את המבנה. לצידו היתה עמדה של גפירים שאבטחו את המרחב ואת הדרך לרמת רחל ולכפרים, ולכן במקום היתה תחנת משטרה, ושאר המבנה שימש כמחסן.
אבן הפינה של המבנה הונחה בשנת תרצ"ד, 1933-34, בנוכחות הרב אברהם יצחק הכהן קוק.
