清朝初年，臺灣剛剛納入清朝版圖，對人民採取較為嚴格的管制，必須取得官廳的「印單」才得以通行，而且，只准男子單身前往，不得攜眷同行，因此在康熙年間，來臺開墾的先民為數不多。雍正年間，官方對大陸內地和沿海人民渡海到臺灣開墾經營買賣的政策放寬了許多，來臺的人民大幅增加，李遠也隨同三位兄長，渡海來臺灣。
初到臺灣，在人生地不熟的情況下，李遠兄弟們選擇落腳在「空地仔」（今小港區孔宅里 ），打算居住在此地。兄弟四人摩拳擦掌，開始在這個陌生的環境中奮鬥，想要闖出他們各自人生的一片天。
李遠，在清朝康熙丙子年一月二十九日丑時出生於大陸福建省泉州府南安縣四十五都溪東鄉石古埠，在家中排行老四，個性忠厚老實，做事勤勞努力。剛到臺灣時，一直找不到合適的工作，在天時、地利、人和皆不順利的情況下，只得暫時受僱於紅毛港當地的吳家當長工維持生計。在混亂的時代裡，只要衣食無虞，日子過得去，就是最大的福氣了。而李遠也就安安份份地，盡心盡力地努力工作，過著簡單、平靜的生活。
紅毛港吳家雖是地方上的富有人家，但家中人丁單薄，無子嗣，只有一個女兒吳佳。吳佳長得非常美麗，個性嫺淑文靜，從小在父母親的百般關愛中成長，集三千寵愛於一身。由於從小沒有兄弟姐妹相伴，總是一個人孤零零地玩耍，父母也深恐唯一的掌上明珠受到傷害，管教相當嚴格，不許吳佳隨意出門，嚴加限制她的交友。因此，吳佳常常只能獨自一個人徘徊在家中狹窄的院子，孤獨地成長。
當吳佳長成亭亭玉立的時候，吳家一方面捨不得愛女離開身旁，一方面又無子嗣，因此想在周遭的人中，挑選適當的女婿人選。在眾多的長工中，唯有李遠相貌氣度不凡，人品好，做事認真踏實，吳老闆認為李遠是愛女可以托付終身的人選，便有意將女兒許配給李遠，想要招李遠入贅進吳家。
最初李遠百般不願意，他認為堂堂男子漢怎麼能入贅呢？因此回絕了這門親事。在吳家雙老不斷以誠心的勸說及人情的攻勢下，李遠的心逐漸軟化。而吳佳的美貌及嫺淑，也深深地打動了他的心，在吳家當長工的這段時間，和吳佳有不少互動往來，也產生了愛慕之心，兩人相互關心，情投意合。因此李遠便答應入贅到吳家，與吳佳共結連理。 和吳佳的愛情故事，在地方上傳為佳話。李遠和吳佳婚後生活幸福美滿，生下四位壯丁，分立為四房，傳衍至今，吳家人口已達三千餘人，人丁旺盛。而吳家也未虧待李遠，撥出部份的土地給李遠開墾，當做是給吳佳的陪嫁之物，這些土地加上歷代先人填海開拓的海埔新生地，就是現今李氏子孫所居住的「姓李」祖地。 除了李氏一脈，吳家亦晚年得子，但過沒多久，吳家兩老便雙雙辭世，遺下幼子，由姐姐與姐夫代為扶養。李遠義不容辭地擔負起李、吳兩家的生計，接手管理吳家的產業，盡心地扶養舅弟，勞心勞心十幾年，毫無怨言，從未產生貪婪之心，霸佔吳家產業的企圖。直至舅弟長大成年，李遠便將吳家的所有產業歸還。舅弟對於李遠的人格及氣度相當地敬佩，無論在待人處事或是經營產業上，每每遇到問題都向李遠請益，他們之間維持著亦父亦師亦友的關係。這份養育恩情及義氣深深地維繫著兩家的姻親關係。
李遠於乾隆壬申年一月十七日卯時辭世，享年五十七歲，安葬於今日紅毛港祭天宮廟前西側，後人在當地建有紀念墓亭，亭內有李遠的開基史略，以及各種紀念匾額。