הרעיון להצבת קופה לתרומות שישמשו את התנועה הציונית קדם להקמת קרן קימת לישראל, ולמעשה הגה אותו האיש שהגה את רעיון הקמת קק"ל עצמה. היה זה הפרופסור צבי הרמן שפירא, אחד מגדולי המשכילים היהודים במאה ה-19. שפירא, שגילה בקיאות מופלאה הן בכתבי הקודש היהודיים והן במדעים המדויקים, היה גם פעיל ציוני נלהב. כבר במפגש של אגודת ציון בשנת 1884 הציג קופסת פח ("פושקע") אשר בה אסף תרומות לצורך קניית אדמות בישראל. בקונגרס הציוני הראשון שנערך בשנת 1897 הוא העלה את רעיון הקמת הקרן שתגאל אדמות בארץ ישראל. הצעתו להקמת הקרן התקבלה ברוב גדול רק ארבע שנים מאוחר יותר בקונגרס הציוני החמישי (1901), זאת למרות ששפירא עצמו נפטר כמה חודשים לאחר הקונגרס הראשון, ולא זכה לראות את הצעותיו מתממשות בחייו.
בראשית דרכה, גייסה הקרן תרומות בעיקר מיהודים אמידים ובעלי יכולת, אך במהרה התעורר הצורך באמצעי לגיוס כספים גם מכלל הציבור. אמצעי כזה נהגה על ידי חיים קליינמן, בנקאי יהודי מגליציה (אזור המחולק כיום בין אוקראינה ופולין). קליינמן הבחין בהצלחה הגדולה של בתי כנסת לאסוף תרומות באמצעות קופות שהוצבו בתוכם, והחליט להציב קופה שכזו גם במשרדו שלו – קופה שעטף בנייר בצבע ירוק ועליו צייר מגן דוד שבמרכזו סמל שבט יהודה (גור ומסביבו שבעה כוכבים (בהשראת הרעיון של הרצל לדגל המדינה היהודית), וכתב מעליו את הכותרת "קרן קימת לישראל". לקוחות יהודים רבים שבאו לבנק תרמו מכספם, ובמהרה התמלאה הקופה. קליינמן מיהר לדווח על הצלחתו להרצל, והרצל, שהתלהב מהרעיון, הכריז בקונגרס הציוני בשנת 1903 על קופת קק"ל כאמצעי רשמי לגיוס כספים.
קופסאות כחולות ישנות. משמאל: קופסה מגרמניה מ-1920, קופסה מגטו ורשה. צילום: ארכיון הצילומים של קק"ל