胡人原指游牧民族，古代历史上我国北方和西北的少数民族基本上属于胡人范畴，如匈奴、鲜卑、突厥、契丹、蒙古、回等，至今仍有胡姓、胡人、胡服等名称存在。而从语言学的角度看，胡人的意思实在太广泛了，甚至可以理解成西方文化圈里的“barbarian（蛮夷）”一词。
古代中国对外民族关系多使用“夷狄”、“华夏”等词，而胡人却被外族用来指代中国。以唐朝为例，唐代的文人士大夫对于“胡”的观念还包含了相应的文明内涵，如《唐书·仪礼志》就称唐朝人“以礼待胡”。而在唐代外族眼中，唐朝则是“大汉国”，又称“华夏”、“豳风”（即指“燕雀安知鸿鹄之志哉”的典故）、或以帝王名谥称呼。反过来，唐代的中国人，特别是南方之人对于胡人，则带有一定的“异域”的意味，会将北方或者西北方的边陲少数民族反复称为胡人。这种观念在明清时期更加明显。
在如今的语境中，“胡人”这一词语的使用已经相对淡化，除了在历史书籍或小说中经常出现外，一般情况下，大家尽量避免使用，免得引起不必要的困扰。
