李贽的先人，与外国人有长期接触，不少人经商海外，并精通外语。这一家族各辈中皆有与伊斯兰教女通婚者，故信奉伊斯兰教成为这个家族的传统。李贽的祖先本属林、李同宗。所谓同宗，就是在宗法社会中出于同一个祖先。李贽的一世祖林睦斋在元末“承藉先人蓄积之资，尝以客航泛海外诸国”。二世祖林驽，是明初泉州一位巨商，“洪武丙辰九年（1376年）奉命发舶西洋，娶色目人，遂习其俗，终身不革，今子孙番衍，犹不去其异教。”三世祖林广斋因祸“避居武荣，更姓李姓。”李贽的高祖林恭惠因为通晓“译语”，被道府“荐为通事，官引日本诸国入贡京城。成化二年（1466年）复与长男琛引琉球入贡 。”可见，李贽并非完全生长在一个闭关锁国的诗书世家之内，而是在思想相对自由开放的氛围中，这给他的思想形成重大的影响。
少年李贽就是生活在这样的城市和家庭中。他出生后不久，母亲徐氏即病故。据他后来在《与耿克念》（《续焚书》卷一）中说，由于他自幼丧母，到六七岁时，便能自己料理生活。在他七岁那年，父亲李白斋开始教他“读歌诗，习礼文”，学的主要是传统的华夏文化。
李贽自幼家道就不怎么富裕。他父亲为了救人之急，不时拿李贽母亲的首饰变卖。这种豪侠义气的性格，对于李贽性格的形成，也有一定影响。李贽一生视富贵为身外之物的思想品格，同他父亲是很相近的。他父亲李白斋豁达大方，对孩子的管束并不严厉。在这样的家庭环境中，李贽自幼便知自立，同时造就了他孤独、倔强的个性。
随父读书、歌诗、习礼外，“四书五经”也是李贽的必读科目。李贽读书方法灵活，范围广，更令大人吃惊的是，这位少年从不随波逐流，常常能有自己的独立见解。李贽回忆童年“自幼倔僵难化，不信学，不信道，不信仙、释，故见道人则恶，见僧则恶，见道学先生则尤恶。”