饒家是潮安當地的望族，世代經商，從饒宗頤的十二世祖仕寶公開始到潮州城賣客家豆腐起慢慢地發展起來。雖然富饒，但饒家也是詩禮傳家。饒宗頤家庭條件非常好，可以玩的東西很多，按理說可能造就出一個玩物喪志的公子哥兒，但饒宗頤卻成為一個學問家。饒宗頤晚年回憶自己早年經歷時，認為自己命裏注定是要去做學問的，最終也成了一個學者。這一方面與饒宗頤幼時的孤獨有關，另一方面也跟家學淵源有關。
饒宗頤小時候十分「孤獨」。母親在生饒宗頤後，身體就很虛弱，在他兩歲時就因病去世，從此饒宗頤跟祖母住在一起。因為這種孤獨，使得饒宗頤少年時期養成喜歡清淨，專志於學的個性，且自幼即較一般孩童獨立，能夠沉澱下來讀書作文。饒宗頤的自述中曾提到，「我的這種氣質小時候就很明顯。就是不管外面的世界、人家的事情，只做自己的事，而且全神貫注地做好。」
今人提到饒宗頤，津津樂道的就是他的家學淵源。饒宗頤認為：「以我的經驗，家學是學問的方便法門，因為做學問，『開竅』很重要，如果有家學的話，由長輩引入門可以少走彎路。現在的家學已經到了末路，我覺得有家學基礎的學生應該被視為特殊人才來培養。」
饒家的豐富藏書以及父親的引導為饒宗頤創造了良好的讀書環境。饒宗頤的父親饒鍔癖愛藏書，至鼎盛時，饒家家藏典籍達十萬餘卷，藏書之樓名為「天嘯樓」，藏書之富，為粵東之冠。饒宗頤的伯父饒次雲先生是一個畫家，專畫山水，對於經史和佛學都有研究，同時還是收藏家，收藏的拓本、古錢數量多達數千種。饒宗頤自幼接觸這些藏書和藏品，這是一般家庭所沒有的條件。
在父親的影響下，饒宗頤自幼便浸淫在天嘯樓的萬卷藏書裏。饒宗頤後來提到：
我家裹有那麼多書，我整天在看，就等於孩子在玩。這是一個小圖書館，我自己可以在那裹一邊享受，一邊玩，不管懂不懂也就在那裏逛。所以中國書的基本種類我老早就瞭解。
在藏書樓自由學習的經歷養成了饒宗頤好學多思的習慣，且非常有主動性，讀書全憑自己的興趣。
出版社：中華教育
