Smith, çalışan yoksulların dertlerinden söz ederken onların "sessizliklerine" de dikkat çeker. Emeğin bütün zenginliğin kaynağı olduğunu yazar, ama o günkü haliyle toplumda bağımsız işçi sayısının az olduğunu, tipik olanın ücretli emek olduğunu belirtir. Dolayısıyla, genel olarak emeğin ürünü işverenler, toprak sahipleri ya da imalatçılar tarafından paylaşılır. Ücretler, işçiler ile işverenler arasındaki, yani bir grup arasındaki sözleşmeye bağlıdır. Bu sözleşmenin şartlarıyla ilgili anlaşmazlıklarda avantajlı taraf işverenlerdir, çünkü genel olarak hiç işçi çalıştırmadan bile sadece birikmiş kaynakları kullanarak bir ya da iki yıl yaşayabilirler. Oysa işçiler işleri olmadan uzun süre yaşayamazlar.
Merkantilist düzene yönelttiği sert eleştirisinde Smith, ekonomiye müdahale edilmesine karşı çıktığı gibi yoksulluğa dair merkantilist politik iktisat yaklaşımlarına da karşı çıkar. Ulusların Zenginliği'nin emeğin ücretleri hakkında bölümünde, çalışan kesim "iş gücü" olarak değil eşitsiz bir toplumun fertleri olarak karşımıza çıkar. Ücretler ile gelir dağılımının politik iktisadına dair tartışması, yoksulların tembellik ve lüks tüketim merakıyla yahut kendi çıkarlarıyla efendilerinin çıkarları arasındaki uyumu anlamamakla suçladığı diğer analizlerden farklıdır. Toplumsal gruplar arasındaki çıkar çatışmaları ve güç eşitsizliklerinin vurgulanıp yoksulların "görünür" kılındığı bu tartışmada, Smith'in ücretlerin politik iktisadına, işçilere karşı duyduğu belli bir "sempatiyle" yaklaştığı söylenebilir.
Smith, yoksulluğun insanı "görünmez" kıldığını bu yüzden de onun kendisini artık toplumun bir parçası olarak görmemesine yol açtığını savunur. Doğası itibariyle toplumda yaşamak için vücut bulmuş ve yalnızca toplum içinde varlığını sürdürebilen insan için, böyle bir durumun tahammül edilebilir bir şey olmadığı açıktır.
Mutlu olmak, halinden memnun olmak demektir ve bir insan daha iyi bir yaşam biçiminden ne kadar az haberdarsa kendisikininden o kadar memnun olacaktır. Yoksullar, kendi hayatlarının dışındaki dünya hakkında bir şeyler bilmezlerse toplumdaki yerlerini kabul eder ve yapmaları gereken işleri yaparlar. Böylece, "onları cehalet içinde yetiştirerek onları gerçek zorluklara alıştırabilirsiniz, hem de durumlarının hiçbir farkında olmadan.
Ucuz emeğin ulusal ekonominin gelişmesini sağlayan temel unsur olduğu görüşü doğrultusunda Mandeville şöyle der: "Köleliğin yasak olduğu özgür bir toplumda, zenginliğin en güvenilir dayanağını çalışkan bir yoksullar kalabalığının oluşturduğu açıktır. Donanmaya ve orduya insan sağlayan kaynak olmanın ötesinde, bu kalabalık olmadan ne istekler tatmin edilebilir ne de herhangi bir ülkenin üretimi değer kazanabilir. Belli işler belli vasıfları gerektirir, dolayısıyla da eğitim ve beceri geliştirme girişimleri gereklidir. Ancak İngiltere gibi bir ülkede, yani tüccar ve zanaatkar sıkıntısı çekilmeyen bir ülkede, yoksul çocukların hayır okullarında eğitilip yetiştirilmeleri, pek talebin bulunmadığı gereksiz bir vasıflı emek arzı yaratır. Bu da ciddi bir sorun oluşturur, zira gerekli olmayan eğitimli yoksullar artık vasıfsız işgücü talebine cevap vermezler. "Yapılacak bol miktarda ağır ve kirli iş vardır, zor yaşam koşullarının kabul edilmesi gerekir. Bunun için yoksulların çocuklarından başka hangi kaynak bulunabilir Hiç kimse onlar kadar bu işlere yatkın ve onlar kadar bu işleri yapmaya uygun değildir..."