賽姆人的名稱源於聖經的傳說, 那就是發大洪水的時候, 諾亞一家因躲避到方舟里,而使人類得以保存。其中, 諾亞的長子賽姆的後裔, 就是後來的賽姆人。

從這個傳說中, 可以看出所有的賽姆人都是同源的, 他們不僅在語言上同源, 而且在外貌上, 在民族心理上, 乃至宗教信仰方面, 都有極相似之外, 因此人們認為屬於塞姆語系的古今民族, 如巴比倫人、亞述人、迦勃底人、阿摩利人、阿拉米亞人、腓尼基人、希伯菜人、阿拉伯人、埃塞俄比亞人等, 他們的祖先在演變成不同民族之前, 在某個時期, 必然住在同一地方, 構成一個古民族——塞姆族。

但是實際上的賽姆人, 已不是同一民族, 而是由多個民族組成的。學者們通過對賽姆人的語言、外貌、心理素質、宗教信仰的綜合研究, 認為賽姆人的祖先在沒有演化為多個民族之前, 在某個時期, 應該是居住在同一地區的一個古民族, 即賽姆族。

有人提出, 賽姆人的第一個故鄉在阿拉伯半島。阿拉伯半島的土地原來十分肥沃, 只是後來由於雨量不斷減少, 大片耕地變成了沙漠, 半島上的生產力不斷下降, 出現了人口過剩的危機, 迫使島上的賽姆人向鄰近地區侵略和遷徒。這樣, 敘利亞人、阿拉米亞人、迦南人,最後是阿拉伯人, 都陸續由半島遷入到肥沃的新月地帶。 因此, 歷史上的早期阿拉伯民族, 也許就是經過了這些大遷徒之後, 半島上所剩的人口。

還有人提出另一種假設, 認為賽姆人的故鄉是南部美索不達米亞。 賽姆人的各種語言中, “河”、 “海”的詞彙是共同的, “山”或“丘”卻無共同詞彙, 這表明,賽姆人的故鄉是在有河道和靠近海洋的平原地區, 而不可能是平原和沙漠地帶。

還有學者認為, 賽姆人的故鄉應是小亞細亞的亞美尼亞地區。