赛姆人的名称源于圣经的传说, 那就是发大洪水的时候, 诺亚一家因躲避到方舟里,而使人类得以保存。其中, 诺亚的长子赛姆的后裔, 就是后来的赛姆人。

从这个传说中, 可以看出所有的赛姆人都是同源的, 他们不仅在语言上同源, 而且在外貌上, 在民族心理上, 乃至宗教信仰方面, 都有极相似之外, 因此人们认为属于塞姆语系的古今民族, 如巴比伦人、亚述人、迦勃底人、阿摩利人、阿拉米亚人、腓尼基人、希伯菜人、阿拉伯人、埃塞俄比亚人等, 他们的祖先在演变成不同民族之前, 在某个时期, 必然住在同一地方, 构成一个古民族——塞姆族。

但是实际上的赛姆人, 已不是同一民族, 而是由多个民族组成的。学者们通过对赛姆人的语言、外貌、心理素质、宗教信仰的综合研究, 认为赛姆人的祖先在没有演化为多个民族之前, 在某个时期, 应该是居住在同一地区的一个古民族, 即赛姆族。

有人提出, 赛姆人的第一个故乡在阿拉伯半岛。阿拉伯半岛的土地原来十分肥沃, 只是后来由于雨量不断减少, 大片耕地变成了沙漠, 半岛上的生产力不断下降, 出现了人口过剩的危机, 迫使岛上的赛姆人向邻近地区侵略和迁徒。这样, 叙利亚人、阿拉米亚人、迦南人,最后是阿拉伯人, 都陆续由半岛迁入到肥沃的新月地带。 因此, 历史上的早期阿拉伯民族, 也许就是经过了这些大迁徒之后, 半岛上所剩的人口。

还有人提出另一种假设, 认为赛姆人的故乡是南部美索不达米亚。 赛姆人的各种语言中, “河”、 “海”的词汇是共同的, “山”或“丘”却无共同词汇, 这表明,赛姆人的故乡是在有河道和靠近海洋的平原地区, 而不可能是平原和沙漠地带。

还有学者认为, 赛姆人的故乡应是小亚细亚的亚美尼亚地区。