Джеймс Педжет родился в 1814 в Грейт-Ярмуте, графство Норфолк, Англия, в большой семье Сэмюэля Педжета и Сары Элизабет Толвер. Его деятельный отец был пивоваром, судовладельцем, владельцем лавки, а иногда избирался и мэром. Джеймс был 12 из 18 детей. Ко времени окончания базового курса школы отец Педжета обанкротился и поэтому проторенный старшими братьями путь качественного образования в прославленной лондонской школе Чартерхаус и Кембридже оказался недоступным. 

Первоначально Джеймс должен был поступить на флот, но его родители сделали иной выбор. В 1830 были подписаны документы, обязывающие Педжета в течение 5 лет обучаться у мистера Чарльза Костертона, врача общей практики из Грейт-Ярмута, чтобы научиться «искусству и тайне хирурга и аптекаря». Длительное пребывание в Грейт-Ярмуте дало ему возможность изучать ботанику в его окрестностях, а в 20 лет вместе со своим старшим братом опубликовать книгу о естественной истории Ярмута.

К этому возрасту у него не было образования ни государственной школы, ни образования Кембриджского университета, он не знал ни латыни, ни греческого, что являлось признаком образованного человека того времени. Впрочем, как показали дальнейшие события, это не было таким уж большим препятствием для его профессионального роста. Кроме того, он всю свою жизнь сохранял свой региональный акцент и никогда не стремился его исправить. 

В 20 лет Педжет впервые в жизни покинул графство Норфолк для получения медицинского образование в больнице Св.Варфоломея в Лондоне, где показал себя трудолюбивым учеником и выиграл призы в области медицины, хирургии, химии и, что неудивительно, ботаники. Первый успех Педжета пришелся на его студенческую пору, когда в 1835 он описал Trichina spiralis. Осматривая под микроскопом вкрапления на мышцах, он обнаружил, что это маленькие инкапсулированные черви.

Он поделился своим наблюдением с доктором Ричардом Оуэном, его лектором по сравнительной анатомии, который и имел честь назвать обнаруженный организм. Педжет не расстроился из-за роли Оуэна в описании этой болезни: «Я подумал, что лучше всего, чтобы это описал кто-то с большим авторитетом, чем я». Это была первая демонстрация трихинеллёза у человека. Педжет позже писал, что «все мужчины в диссекционных комнатах, включая его учителей, видели маленькие белые пятнышки в мышцах... но я один «смотрел на них» и «наблюдал» за ними».

Хотя его ученичество предполагало дальнейшую работу врачом общей практики, его интерес был сосредоточен на хирургии. В 1836 он сдал экзамены в Коллегии хирургов. Хотя успехи Педжета были заметными, ему не приходилось рассчитывать на место в больнице, так как конкурс на должность хирурга был чрезвычайно велик да и он не имел должного образования для больничного врача. В это время Педжет разработал свой образовательный подход - он проводил большую часть своего времени, посещая обходы в больнице, а в свободное время проводил как можно больше аутопсий и продолжал читать учебники по анатомии и хирургии. Это помогло ему развиться в широко образованного и знающего врача. Чтобы заработать деньги, Педжет начать проводить групповые занятия по подготовке к экзаменам для студентов-медиков. 

На следующий год он стал куратором патологического музея в больнице св.Варфоломея, где опубликовал каталог патологических образцов на 487 страницах. Это позволило ему иметь хоть какой-то стабильный доход и официальную должность при больнице. Впоследствии он был нанят Королевским колледжем хирургов для составления описательного каталога образцов Джона Хантера. В этот же период, чтобы изучить лучшие на то время работы по анатомии, вышедшие из-под пера немецких ученых, Педжет выучил немецкий язык, что затем позволило ему близко сойтись с Рудольфом Вирховым. 

Выполнение многочисленных вскрытий имело свои преимущества, позволяя ему вносить щедрый вклад в медицинские знания своего времени. Но это также имело и свои риски, так в 1838 Педжет заразился сыпным тифом во время вскрытия и на протяжении 6 недель оказался прикован к постели.

В 1841 он получил должность амбулаторного хирурга в открывшемся диспансере Финсбери при больнице св.Варфоломея. Желанную должность хирурга в больнице он получил лишь в 1861, благодаря своей известности среди практикующих врачей и лекторской деятельности, хотя он так и не получил формального университетского обучения по хирургии. С этого момента его практическая деятельности стала ещё обширнее: он жил рядом с больницей и был готов прийти в любое время, иногда доводя число осмотренных пациентов до 200 в день. 

В 1851 Педжет начал вести частную практику и его успех был феноменальным, благодаря его очаровательным свойствам личности, его анатомо-патологическим знаниям и хирургическому мастерству. В 1854 он стал экстраординарным хирургом королевы Виктории и несколько лет спустя стал ординарным хирургом принца Уэльского. Хотя его практика, как утверждается, приносила ему 10 000 фунтов в год, Педжет продолжал вносить заметный научный вклад, а также писать важные книги по хирургической патологии, опухолям и хирургии. 

В 1871, едва избежав смерти от инфекции после случайного пореза во время вскрытия, Педжет подал в отставку и ограничился консультационной практикой. По случаю его ухода в отставку королева присвоила ему титул баронета. Девиз на его гербе гласил: «Labor Ipse Voluptas» (лат. сама работа - это удовольствие). Педжет продолжал работать и после выхода на пенсию. 

Именно в этот период в 1874 он сообщил о хроническом изъязвлении соска у женщин, приводящем спустя несколько лет к раку.. Существуют и более ранние описания схожих патологических процессов, например за авторством французского хирурга Альфреда Вельпо. Однако английский хирург первым описал связь между этими характерными изменениями соска и раком молочной железы. 

Педжет писал: «Я полагаю, что ещё не было опубликовано, что определенные хронические поражения кожи соска и ареолы очень часто сопровождаются образованием скиррозного рака молочной железы. Я видел около пятнадцати случаев, когда это происходило, и события во всех из них были настолько похожи, что одного описания может быть достаточно. Все пациенты были женщинами в возрасте от 40 до 60 и более лет, у которых не было ничего общего, кроме их болезни. У всех них заболевание начиналось как сыпь на соске и ареоле.

У большинства он имел вид ярко-красной, влажной поверхности, очень мелкозернистой, как будто почти вся толщина эпидермиса была удалена; как поверхность очень острой диффузной экземы или поверхность острого баланита. С такой поверхности, по всей или большей части соска и ареолы, всегда было обильное, четкое, желтоватое, вязкое выделение. Субъективно ощущались покалывания, зуда и жжение, но болезнь никогда не сопровождалась нарушением общего самочувствия. Я не видел, чтобы эта форма высыпания распространялась за пределы ареолы, и только однажды я видел, как она проникает в более глубокое изъязвление кожи…

В некоторых случаях сыпь имела признаки обычной хронической экземы с незначительными пузырьками, за которыми следовали мягкие, влажные желтоватые струпья или чешуйки и постоянная вязкая экссудация… похоже на псориаз, сухой, с несколькими белыми чешуйками, медленно шелушащимися... в каждом случае, который я смог наблюдать, рак молочной железы развивался в течение максимум двух лет, но обычно в течение одного года. Сыпь была устойчива как к местном, так и к общему лечению». Педжет заблуждался только в одном - он предполагал, что хроническое раздражение тканей молочной железы первично и приводит к развитию рака. 

Педжет поддерживал тесный контакт с немецкой наукой и был давним другом Рудольфа Вирхова. Он был горячим врагом ортодоксального влияния в медицине, защищал научный подход и боролся с антививисекционистами. Именно из-за Педжета Вирхов приехал в Лондон, чтобы дать несколько лекций о важности патологических экспериментов. Среди его многих других друзей были люди различного происхождения писатель Джон Рёскин, премьер-министр Уильям Гладстон, кардинал Ньюман, поэт Альфред Теннисон, биолог Луи Пастер, медсестра Флоренс Найтингейл, зоолог Томас Генри Хаксли и натуралист Чарльз Дарвин.

Джеймс Педжет был счастливым семьянином. Он женился на Лидии Норт после 8 лет помолвки и их брак продлился более 50 лет: «В мае 1844 года я женился и начал наслаждаться тем счастьем семейной жизни, которое длится уже без перерыва, без облаков, в течение 39 лет. С этого времени я ощущал мудрый совет, благоразумие и нежную заботу обо мне. С ней было легко работать и не беспокоиться из-за того, что происходит вокруг». Некоторые из его детей стали известными личностями: Фрэнсис Педжет стал епископом Оксфордским, Генри Педжет - епископом Честерским, Стивен Педжет - хирургом, предложившим теорию метастазирования «семена и почва». 

Джеймс Педжет обладал редким даром умения быстро переключаться с работы на отдых, наслаждаясь своим свободным временем, стремясь получить максимум счастья от очень простых развлечений. Беззаботное наслаждение свободным временем сочеталось с его предельной сдержанностью, неизменной религиозной верой и скрупулёзным понятием о чести. Хотя Педжет был убеждённым христианином для него не существовало конфликта между религией и наукой. Всю свою жизнь он был безразличен к политике, как национальной, так и медицинской, а его идеалом было единство науки и практики в профессиональной жизни.