富岡新村又稱「漁山新村」或「集岡」、「集興」。當地人也稱「大陳新村」。

民國43年(1954)底,臺海局勢緊張,第二年2月,政府將浙江省大陳等列島義胞17,165人撤退來臺,其中2,600多人分配到臺東縣定居,最初暫居在臺東、卑南、東河、關山、海端、池上等六鄉鎮義胞臨時招待所,後來在美援會的協助下配合義胞職業需要,及臺東縣地理環境條件,建立漁山(富岡)、披山(豐田)、披星(尚武)等三處義胞新村,供義胞永久居住。因為義胞都是漁山島人,故稱為漁山新村,又稱富岡新村。

富岡新村的義胞多以漁業為生,雖然政府補助漁船、漁具,但因臺東海域的海流、漁況與原鄉大陳海域迥異(臺東地區海域多半是洄游性與底棲型魚類),義胞用傳統的撒網、竿釣法難以捕捉,臺灣省政府漁業局雖曾派員前來指導,但因當時指導員對臺東海況了解不足,所以成效有限,因此漁業義胞收入不佳,直到義胞向屏東縣東港籍的漁船請教捕魚技巧才有較穩定的漁獲量。

富岡新村的大陳義胞,其祖先多半是由福建閩南同安縣遷居於山島者,多使用閩南語,與鄰近富岡里本部落居民文化背景相似,生活上很容易融合在一起。(以上內容摘錄自《日出臺東-東海岸文化景觀》,臺東縣政府2009年出版。)

富岡新村1955年落腳於猴子山西側,在1957年的地形圖上可以看到當時村落的位置。1970年因為建設志航空軍基地的緣故,富岡新村被迫遷移到富岡漁港北側的山坡上,從1985年的地形塗上可以看到此處的聚落標註了「集岡」。
富岡新村所在位置為一處平緩的海階,坡面形成緩緩向南傾斜的趨勢,在聚落中可以明顯感受到一排排的房子向北逐漸增高,從南北向的道路即可一眼看出街面的坡度。
富岡新村居民刻苦的精神創造出臺東的奇蹟,地方人才輩出,以特技演員柯受良最為知名,其子柯有綸也在演藝圈相當活躍。當地居民的信仰中心「海神廟」旁所立的解說牌訴說著此地的過往。