当时，市面上的银行，无论是把注意力集中在中国政fu与外国商人的大宗生意上的外资银行，还是把眼睛盯在达官贵人身上的国内银行，它们对于小商人与普通老百姓都不屑一顾。所谓金融事业事实上成了“大人物”的专利。
而普通老百姓在银行的高楼大厦面前也是望而却步、不敢问津。这样，在大银行与小百姓之间有一个巨大的真空地带。
陈光甫用他锐利的目光，发现了银行之林中尚闲置着的这片隙地。
他认为，先集资五万至十万元，银行即可以开业。开业之后，可以通过吸收普通百姓的小额存款来逐步累积资本。只要真正提供优良的服务，就可以逐步增加存款，也可以逐步增加放款！
集腋成裘，蚂蚁雄兵。
到那时，资本的积聚和运用这两大难题，就可以迎刃而解。陈光甫的独到见解和精辟分析，让二位挚友深深佩服，马上就帮助他着手筹备。
钱少也是钱，而陈光甫一点资本都没有。经李铭介绍，他说服一个叫庄得之的买办，拿出七万银元，作为建行资本。庄得之出资最多，担当董事长，而陈光甫在庄的帮助下才勉强凑够了五千银元资本，出任总经理。
1915年6月，上海商业储蓄银行在宁波路的一幢石库门房子里开张了，资本不足十万元，职工只有七八个人。
开业那天，陈光甫既没办酒席，也没有请钱业董事，唯恐被同行耻笑，一家小小银行就这样静悄悄地诞生了。
在强手如林的上海滩，一家知名度很低的小银行，怎样才能闯出自己的一片天地呢？
“本行所恃为命脉者，即为‘服务’二字。”陈光甫响亮地回答，从而打破了银行业以往高高在上的传统形象。
开业初，陈光甫到底下一家银行视察，问一个经理道：“我们服务顾客时怎样做到更好？”
这个经理立即答道：“不论顾客办理业务的数额是多少，不管他是一千、一百还是一块钱，我们都热情接待，这样才使我们的服务能够到位。”
这个经理觉得自己答得不错，不料陈光甫却说道：“你只回答对了一半，他就是一分钱不办，只要他来到你银行里面，你就要热情接待，你就要为他服务好。”
本着服务社会这一理念，陈光甫决定上海银行一元起存，方便顾客特别是普罗大众。一元起存，就是一元钱就可以开户，这在当时的金融界是个破天荒般的创举。
在陈光甫之前，多数银行是不重视储蓄的，但陈光甫却巧妙地抓住了这个市场空白，不仅逐步发展储蓄业务，而且以“储蓄”二字为银行冠名。陈光甫做了第一个吃螃蟹的人，被当时的许多人嘲笑。
开业不久的上海银行迎来了一个特殊的客人。这个中年人拿着一张一百元的钞票，得意洋洋地要开一百个一元的账户。银行的职员热情接待了他，不厌其烦地一口气写下一百个户头。拿着存折，中年人心悦诚服地满意而归。
这场恶作剧传出去后，反而让不少人很受感动，记住了这家石库门里的“小小银行”。这家小小银行，不仅受到很多老百姓喜欢，也受到一些大人物的关注。
夜风徐徐，人声静寂，星光之下的上海滩，看起来是如此的恬静。
站在窗前的陈光甫，心情却正好相反。他心潮起伏，脑子里反复盘旋着白天遇到的一位外国银行家的断言：“中国的银行是不会办好的。”
这句话深深地刺痛了陈光甫的心，使他不由想起汉口报关行英国职员傲慢的神态，国际博览会上洋人们藐视的目光，素日与洋行打交道时遭到的冷遇......