淘金者太多，十来年下来，河床表面的金子——也即普通淘金者有能力淘到的金子——便所剩无几了。还想挖金子，就得打矿井，而这显然不是普通人做得到的。所以，1861年——咸丰末年启程的叶茂，实在是赶了一个晚集。
不知道是谁散布了“金山遍地是黄金，走在路上随便都能踢到一块狗头金”这种说词——确实有发了财的，但不是他叶茂。几个月下来，一无所获，再挖下去，就只好吃砂子了。
只好再去做工。
彼时在美华工基本集中在加利福尼亚州，而加利福尼亚的华工多是所谓“赊单工”，华人自嘲之“卖猪仔”，实质是一种半强制性的契约劳工。即贫苦人家无力支付旅途船票食宿，乃由洋行船东代垫，到美后做工从工资中每月扣还。契约劳工理论上是自由人，但放贷者会明里暗里通过各种途径对债仔采取强制或半强制措施，以求早日清还贷款。“赊单工”的日子是非常辛苦的。
叶茂还好不是这种情形。
很快叶茂发现自己莫非天生做工的命？他聪明，勤奋，又有气力，手脚灵活，竟是做什么工都能很快上手；而且一年不到，连英语都可以简单听说了。因此，在金山的华工中，叶茂不久便成了一个小小人物。
那个时候美国不管东边西边都在大修铁路，其中最重要的横贯东西的太平洋铁路也开始动工。这条美利坚大动脉由中央太平洋铁路公司和联合太平洋铁路公司共同承建，中央太平洋铁路西起加利福尼亚的萨克拉门托，联合太平洋铁路则东起内布拉斯加的奥哈马，两条铁路相向而建，最后在犹他准州（犹他当时还未正式加入联邦）奥格登地区的普罗蒙特利丘陵会接。工程浩大，西段要穿越内华达山脉，尤其险阻艰难，费工费事。
中央太平洋铁路的工人原以爱尔兰裔为主，但爱尔兰人懒惰闲散，使气酗酒，而且动辄要求加薪，稍不如意便以停工要挟，以致工程迟迟没有进展，中央太平洋铁路的老板急得头发一缕缕地往下掉。
叶茂看出便宜，毛遂自荐，中央太平洋的老板将信将疑，姑且一试，给了他五十个工人的名额。叶茂马上召集同乡，抡胳膊撸袖子就上阵了。华工出马，高下立见，停滞的工程迅速向前推进，老板大喜，全权委托叶茂招纳华工事宜，多多益善！
叶茂自觉已成为高级管理人员，春风拂面，意气风发。
他没有想到的是他已经往死里得罪了爱尔兰帮。
爱尔兰人放出话来，要他好看。叶茂正在兴头上，根本不以为意，而且他在乡下的时候很食过几天夜粥（广府话：习武），真要打架，也没啥好怕，不论是比拳脚还是比棍棒，都尽管放马过来好了。
一天夜里，中央太平洋铁路工地上的华工工棚突然起火，叶茂见机得快，逃得一命，但他的三个工友却在睡梦中葬身火海。
至此叶茂才知道，人家想的不是要找他打架，而是要他的命。
爱尔兰人并未罢休，黑道上已经悬出了叶茂脑袋的赏格。
加利福尼亚是呆不下去了。
怎么办？
回中国？这么一幅丧家犬的模样？想都不要想。
那就——西边不留爷，爷往东边去，就不信没有留爷处！
叶茂并不晓得美国到底有多大，就像他其实也并不晓得中国到底有多大。只是听说美国的京城在东边，大城市大多也在东边，总是可以讨到生活的。