В XIX веке бурное промышленное развитие Брынского завода-Толстошеева продолжилось, однако сменило вектор.
В 1806 г. с дозволения Берг-Коллегии И.Н.Коробов построил на Брынском заводе новую домну. В 1809 году на заводе возникли волнения рабочих, которые жаловались на низкую оплату труда и притеснения администрации. Бунтующие рабочие подожгли завод и принадлежащие заводу леса.
В 1818 году в наследование имениями в Толстошеево по решению I Департамента Правительствующего Сената, наконец, вступил наследник предыдущего владельца гвардии прапорщик П.Е.Демидов, у которого уже в 1820 году усадьбу приобрела Екатерина Алексеевна Рябинина, жена действительного статского советника Андрея Михайловича Рябинина (1772-1852). В 1825 году Рябинины построили неподалеку от усадьбы Демидовых новый деревянный жилой дом. В 1828 году они возвели при церкви новую деревянную колокольню.
При Рябининых железоделательный завод в Толстошеево, уже прекративший к этому времени свое производство, был окончательно закрыт. Здания были сданы в аренду московскому купцу 2-й гильдии П.М.Александрову (1791-1859), который организовал в помещениях бывшей парусинной фабрики суконную мануфактуру. Брынский механик («русский Кулибин») Г.Нестеров изобрел и установил в цехах этой фабрики ткацкие станки новаторской конструкции, работающие от водяного колеса и способные производить сукно особой ширины. К 1830 году Брынская суконная фабрика вышла по производству сукна на первое место в Российской империи и выполняла заказы действующей армии. Кроме того, фабрика обеспечивала 30% российского экспорта сукна. В 1839 году на фабрике при 241 механическом и 159 ручных станах работало 2016 человек.
В 1846 году на средства П.М.Александрова и тщанием А.М.Рябинина, действительного статского советника, в Брыни была построена и освящена новая каменная церковь во имя Спаса Преображения, центрическая, в форме двухъярусной ротонды, а спустя два года в тридцати саженях от нее было завершено строительство каменной четырехъярусной колокольни. Старая деревянная церковь некоторое время также продолжала существовать.
После окончания аренды завода П.М.Александровым в 1850 году производством стала управлять сама Е.А.Рябинина. На фабрике работало до 800 рабочих, а сукна производилось на сумму до 1 200 000 рублей серебром. В 1853 году за заслуги перед Отечеством Е.А.Рябининой был пожалован дворянский титул и чин действительной статской советницы. Тогда же она сдала суконную фабрику в аренду ейским купцам Ляпиным, имевшим в Москве свой торговый дом.
Согласно «Списку населенных мест Калужской губернии», опубликованному в 1859 году, в селе Толстошеево (Брынский завод) проходили еженедельные базары и работала полотняная фабрика госпожи Толстой. В 1860 году при 1300 рабочих на 120 станах механических и 150 ручных на фабрике было выпущено сукна на 902 тыс. рублей.
Взрывной характер промышленное и торговое развитие села приобрело после реформ 1860-х гг., обеспечивших на фабрики, в ремесло и в торговлю приток рабочей силы. В 1861 году в Брыни работала суконная фабрика Рябининой, а в Брынском хуторе – ее же винокуренный завод. В этом же году была образована Брынская волость Жиздринского уезда с центром в селе Толстошеево, к которому с этого времени все чаще стало применяться наименование «Брынь». В 1862 году владелица производства и усадьбы скончалась и имение перешло в руки ее детей: сыновей Михаилу и Алексею Рябининым и дочери Варвары Андреевны, по мужу Толстой. Последняя после смерти братьев стала единственной владелицей Брынского завода.
По мере развития производства росло население Брыни, среди которых появлялось немало зажиточных людей. При фабрике работали больница и аптека, которыми пользовались все жители села. В селе появилось множество торговых лавок, постоялые дворы, трактиры, ремесленные мастерские. Проводились ярмарки и еженедельные базары.
В планировке существенно расширившегося села появилось новое важное направление – улица Новая Слобода, протянувшаяся с запада на восток вдоль водохранилища и ставшая центральной улицей разросшегося поселка при фабрике, возникшего еще в первой половине XIX века.
В 1865 году в Брыни была открыта земская школа, в которой обучались как мальчики, так и девочки. В 1866 году был выстроен старообрядческий неокружнический молитвенный дом Белокриницкого согласия. В 1868 году в селе сгорела старая деревянная Преображенская церковь, построенная еще в 1736 году, а на ее месте через два года была возведена часовня.
На 1878 год в Брынском заводе (Толстошеево) числилось 376 дворов, в которых проживало 2219 жителей, православная церковь,4 молитвенных дома, больница, почтовая станция. При церкви был построен двухэтажный каменный дом священника.
«В 1879 году на фабрике работало мастеров – 20 рабочих мужчин – 830, женщин – 280, мальчиков 10-12 лет – 8, 13-14 лет – 55, от 14 до 17 лет – от 24 до 30 человек, девочек – 10 -12 лет – 5, 12-14 лет – 35 человек, 14-16 лет – 30 человек». Это описание свидетельствует о том, какую огромную роль играла во второй половине XIX века брынская фабрика в жизни села и всей округи, определяя их экономическое развитие и процветание.
К 1880 году при количестве рабочих 1465 человек суконная фабрика выпустила сукна на сумму 1 550 000 рублей серебром. При этом уже к этому времени польские текстильные производства получили беспошлинный доступ к российскому рынку, в результате чего мануфактуры Центральной России из-за конкуренции с ними попали в невыгодное положение и начали разоряться. Арендаторы брынской фабрики братья Ляпины в 1880 году не продлили договор аренды, и в 1881 году работа фабрики оказалась приостановлена. В связи с ее приостановкой, а также, возможно, в связи с действиями недобросовестных конкурентов, в местной губернской прессе стали появляться заметки о трудном положении фабрики. Одна из статей, помещенная в Калужских губернских ведомостях, содержит ее подробное описание, а также описание положения села и занятий его жителей. Упоминается, в частности, что «Фабрика приводится в действие водой из пруда, плотина которого имеет до полутора версты длины… Фабрика состоит, кроме каменных помещений для мастеров, складов и иных строений, из трех каменных и трех деревянных больших корпусов…».
После кончины в 1891 году В.А.Толстой ей наследовали сыновья Александр Владимирович и Алексей Владимирович, а также дочери Наталья, Екатерина и Софья. Управление брынским имением взял на себя Алексей Владимирович. Через несколько лет, в 1896 году, пожар все-таки привел к закрытию суконной фабрики – были повреждены основные строения цехов и уничтожено все оборудование.
Несмотря на трудности, которые испытывала Брынская суконная фабрика и последующее ее закрытие, конец XIX и начало XX века стали временем экономического расцвета села, расположенного на важном торговом тракте – шоссе на Киев. Развивались подсобные производства, велась обширная торговля. На главных улицах появились каменные дома и хозяйственные постройки зажиточных местных жителей. На 1894 год в селе Брынь имелись: трактир Домогацкого, его же винный склад, трактир Байкова, постоялый двор Игнатова, сапожная и портняжная мастерские, два красильных заведения, более 20 торговых лавок и торговые склады. В православном приходе Преображенской церкви села Брынь на 1895 год состояло 380 дворов, в которых проживало 1299 душ мужского и 1286 женского пола, раскольников в 301 дворе проживало 947 мужчин и 1044 женщины. Всего в селе значился 681 двор с числом постоянно проживающих в них постоянных жителей 2246 душ мужского и 2290 женского пола.
Из отчетных данных волостного старшины Брынской области за 1896 год следует, что в этот период в селе имелось: торговых лавок – 25, три трактира, 2 постоялых двора, 2 маслобойни, 2 кузницы, сапожная и портняжная мастерские, три бараночных заведения, крупорушка, харчевня, слесарное заведение. Помещики Толстые имели две действующие водяные мельницы, лесную контору с торговым складом, торговую лавку и кирпичный завод. Там же было указано, что:
«брынский купец Максим Иванович Пономарев на первом этаже своего двухэтажного дома имеет свой магазин промышленных товаров и торговый склад; отставной поручик артиллерии Алексей Николаевич Домогацкий имеет винный склад и трактирное заведение; жиздринский мещанин Гавриил Николаевич Байков имеет трактирное заведение с продажей питей; жиздринские мещане, наследники Петра Васильевича Жарова, имеют трактирное заведение, арендуемое Александром Москалевым;
жиздринский купец Иван Кириллович Мельников имеет торговую лавку, торговый склад и маслобойню».