宣德初年，预修两朝实录转侍读，为人温厚简重，学术纯正，被士林所雅重，他外和内贞，谙于世故。每与人谈论总能耐心启发，循循善诱，在清流之中颇有影响力，这次他反对的言辞最为激烈并占据了主导地位，他提出的十不可与五大谬的理由，其中重要的有：一是“蹂躏我陵寝，虔刘我赤子“，二是“堂堂天朝而下与边臣互市，冠履倒置，损国家之重威“，三是“鞑子狡诈，出没叵测，我竭财力而辇之边，彼负约不至未可知也或因互市而伏兵，若吐蕃清水之盟，未可知也或互市毕，即入寇，入寇矣而嫁诿他部，未可知也或以下马索上价，或责我以他买，或望我以苛礼，未可知也坠俺答狡诈之谋“，四是“大约岁帛数十万，得马数万匹，十年之后毕马少而我帛亦不继，将何以善其后“。杨峥虽不肯定此人的言辞，但不否认他的看法十分的准确，若非因自己误打误撞的来到了这个时代，十几年的发展的确如他所言，正是抓住了这一点，这一番言语至今在朝堂之上呼声也高，很是厉害，相较苗衷“鞑子狡诈，出没叵测”而言，太子宫春坊司直郎高谷的奏折就是一把杀人的刀了，此人交之高衷更是厉害，为人自幼聪慧，承家训嗜读不倦，且资质厚重，举止端庄。十岁入县学，成庠生，永乐三年十五岁中举，永乐十三年登进士，年方廿五。选庶吉士，授中书舍人。自此，宦海沉浮四十余年。仁宗洪熙即位，改任高谷为太子宫春坊司直郎，寻迁翰林侍讲，官儿不算更让人敬佩的是此人鄙浮华、乐俭素。为中书时，尝奉旨往海印寺抄写佛经，遇雨辄褪靴卷裤，提袍赤足归，使同僚大为惊讶。官任侍读学士时，每赴公宴，总是用布头剪成新花样补缀在破锦袍上，以至有人嘲笑为“高学士锦上添花”，高谷不以为然，在这个做官做道德的年代，这样的人更可怕十倍，更别说他历官永乐、洪熙、宣德三朝正儿八经的三朝元老，影响力非同一般。
也不知高谷哪儿看鞑子不顺眼，就在杨峥亲自率领五千将士偷袭王庭一战功臣的当晚，这位年过四旬的老头，愣是上奏了一道犀利的奏折，较之杨峥的确议封贡事宜疏毫不逊色，杨士奇记忆极好，当着杨峥的面，将这奏折给诵了出来。
“夫夷、蛮、戎、狄，地在要荒，禹平九土而西戎即叙。其性气贪婪，凶悍不仁。四夷之中，戎、狄为甚，弱则畏服，强则侵叛。当其强也，以汉之高祖困于白登，孝文军于霸上及其弱也，以元、成之微而单于入朝。此其已然之效也。是以有道之君牧夷、狄也，惟以待之有备，御之有常，虽稽颡执贽，而边城不弛固守，为寇，而兵甲不加远征，期令境内获安，疆场不侵而已。
及至周室失统，诸侯专征，封疆不固，而利害异心，戎、狄乘间，得入中国，或招诱安抚以为己用，自是四夷交侵，与中国错居。及秦始皇并天下，兵威旁达，攘胡走越，当是时，中国无复四夷也。
汉建武中，马援领陇西太守，讨叛羌，徙其馀种于关中，居冯翊、河东空地。数岁之后，族类蕃息，既恃其肥强，且苦汉人侵之永初之元，群羌叛乱，覆没将守，屠破城邑，邓骘败北，侵及河内。十年之中，夷、夏俱敝，任尚、马贤，仅乃克之。自此之后，馀烬不尽，小有际会，辄复侵叛，中世之寇，惟此为大。魏兴之初，与蜀分隔，疆场之戎，一彼一此。武帝徙武都氐于秦州，欲以弱寇强国，扞御蜀虏，此盖权宜之计，非万世之利也。今者当之，已受其敝矣。“夫关中土沃物丰，帝王所居，未闻戎、狄宜在此土也。非我族类，其心必异。而因其衰敝，迁之畿服，士庶玩习，侮其轻弱，使其怨恨之气毒于骨髓至于蕃育众盛，则坐生其心。以贪悍之性，挟愤怒之情，候隙乘便，辄为横逆而居封域之内，无障塞之隔，掩不备之人，收散野之积，故能为祸滋蔓，暴害不测，此必然之势，已验之事也。当今之宜，宜及兵威方盛，众事未罢，徙冯翊、北地、新平、安定界内诸羌，著先零、罕幵、析支之地，徙抚风、始平、京兆之氐，出还陇右，著阴平、武都之界，廪其道路之粮，令足自致，各附本种，反其旧土，使属国、抚夷就安集之。戎、晋不杂，并得其所，纵有猾夏之心，风尘之警，则绝远中国，隔阂山河，虽为寇暴，所害不广矣。
难者曰：氐寇新平，关中饥疫，百姓悉苦，咸望宁息而欲使疲悴之众，徒自猜之寇，恐势尽力屈，绪业不卒，前害未及弭而后变复横出矣。答曰：子以今者群氐为尚挟馀资，悔恶反善，怀我德惠而来柔附乎？将势穷道尽，智力俱困，惧我兵诛以至于此乎？曰：无有馀力，势穷道尽故也。然则我能制其短长之命，而令其进退由己矣。夫乐其业者不易事，安其居者无迁志。方其自疑危惧，畏怖促遽，故可制以兵威，使之左右无违也，迨其死亡流散，离逷未鸠，与关中之人，户皆为仇，故可遐迁远处，令其心不怀土也。夫圣贤之谋事也，为之于未有，治之于未乱，道不著而平，德不显而成。其次则能转祸为福，因败为攻，值困必济，遇否能通。今子遭敝事之终而不图更制之始，爱易辙之勤而遵覆车之轨，何哉！且关中之人百馀万口，率其少多，戎、狄居半，处之与迁，必须口实。若有穷乏，糁粒不继者，故当倾关中之谷，以全其生生之计，必无挤于沟壑而不为侵掠之害也。今我迁之，