４代藩主（松浦家29代）天祥鎮信は、軍学者・山鹿素行と大変親しい関係でした。山鹿素行は平戸藩家臣にはなりませんでしたが、素行の孫は平戸藩家臣となります。そのため山鹿流の兵学・学問が平戸藩に受け継がれ、その流れは幕末までいたります。 1850年には長州の吉田松陰が山鹿流を学ぶため平戸を訪れました。
９代藩主（松浦家34代）静山は学芸大名とも呼ばれます。16才で藩主になりますが、 20才の時に藩校維新館を城内に開き、家臣の教育につとめました。寛政元年（1789）、静山は家臣に対し「文学の儀は士の正業」と宣言をおこなっています。そして維新館開校と同じくして城内に「楽歳堂（らくさいどう）文庫」という現代の博物館と同様な施設を設置しました。
ここには、日本各地、長崎経由で購入した海外関係資料が収められたのです。
ほとんどは図書ですが、なかにはオランダで製作された地球儀、天球儀、洋書、アイヌ関係資料、美術品、
発掘品などもあります。図書については最終的に17,529冊が収蔵されました。
これらの図書は日本、中国、朝鮮半島、オランダで出版されたものも含まれます。
蘭学者・高野長英も平戸藩が収蔵したオランダの本を借用して写しもしています。
松浦静山の時代は日本各地で貴重なコレクションの収集がおこなわれましたが、
現存するものでは静山のコレクションが国内最大と考えられています。