海源阁藏书楼位于光岳楼南万寿观街路北杨氏宅院内，为单檐硬山脊南向楼房，面阔三间，上下两层，下为杨氏家祠，上为宋元珍本及手抄本等秘籍收藏处。藏书楼上层中间门额上悬挂“海源阁”阳言语匾额一方，为杨以增亲书，额后有杨以增自题跋语。 海源阁藏书浩瀚，是杨氏四代人潜心搜集的结果。杨氏第四代人杨保彝编著《海源阁宋元秘本书目》及《海源阁书目》计有208300卷有余。另有不载于书目者尚多。