Здравствуйте. Наследство по завещанию в любом случае плохо для продажи. Так же, как и опека. Налоги при продаже ранее трёх лет будут, но надо знать, каким образом наследодатель получил квартиру в собственность. Рекомендую Вам очную консультацию с участием всех совершеннолетних участников событий.

На мой взгляд, наследство на пятерых, тем более по завещанию- самое лучшее, что может быть для продажи.
Максимальное количество наследников-продавцов - это большая вероятность, что все наследники проявились.
На счёт отказа от наследства в пользу других - можно, об этом написано в ст. 1158 ГК РФ.
На счёт соглашения о разделе- вы можете его сделать, даже с доплатой (т.е. выкупить эти 40%) но, во-первых, только в том случае, если есть ещё какое-то наследственное имущество (вклады, Акции, машины и т.д), во-вторых, на это мероприятие потребуется согласие органов опеки, т.к. среди наследников есть несовершеннолетние.
Соотвественно, если иного имущества нет, то выкупить сможете у брата с племянницей только после оформления наследства.
При этом у брата с племянницей может возникнуть налог при продаже.
Как вариант, вы можете заплатить брату и племяннице за отказ от наследства, но это будет противоречить п.2 ст. 1158 ГК, поэтому надо сто раз подумать, стоит ли это делать.

"Оптимальный вариант – продажа по истечение трех лет. Налог не возникает, все собственники совершеннолетние, все чисто. Так?" - именно;
"Вопрос как оптимизировать ликвидность квартиры на случай если форс мажорные обстоятельства вынудят продавать досрочно." - увы, никак;
"Если мы правильно понимаем, помимо налога, основные трудности могут возникнуть из за возраста моего младшего сына (старшему вот вот исполнится 18). Что может потребовать опека с учетом того что он никогда не жил и не был прописан в этой квартире?" - чем ближе к совершеннолетию, тем больше шансов уговорить опеку на вариант, когда деньги кладутся на счет. но гарантировать ничего нельзя. каждая опека - свое берендеево царство. к тому же непонятно, что вообще будет через три года. может, включат жесткач. а может, начнется вольница, как в 90х. гадать абсолютно бессмысленно. возникнет такой вопрос - пойдете в конкретную опеку и узнаете, что скажут именно они. это буквально та проблема, которую следует решать именно по мере ее возникновения;
"И пара вопросов безотносительно срока продажи: брат уже озвучил мысль об отказе от наследства в пользу дочери. Станет ли это «черной меткой» в истории возникновение права собственности?" - наследный пирог на пятерых сам по себе уже "черная метка" в каком-то смысле. если к моменту продажи брат будет жив, доступен и готов подтвердить потенциальному покупателю свой добровольный отказ - то в принципе это ничего не ухудшит;
"Ну и еще: в принципе, есть возможность выкупить у брата с племянницей их суммарные 40% уже сейчас чтобы было проще распоряжаться квартирой (сдавать, затем продать). Есть ли возможность оформить такую сделку без возникновения НДФЛ?" - без возникновения ндфл идет дарение между близкими родственниками. то есть племянница дарит своему отцу (вашему брату) свою дольку, а он уже дарит вам получившиеся 40%;
"Или это опять же вызовет подозрения у потенциальных покупателей в перспективе?" - да, такая свистопляска вызовет. опять же, если брат и племянница на связи и готовы лично подтвердить всю эту санту-барбару с перекидами - проблем будет гораздо меньше. если они куда-нибудь уедут, общаться не будут и тд - да, для потенциального покупателя это будет не самый лучший вариант

Отказаться от наследства брат может просто , а НЕ в чью то пользу, то есть после его отказа у всех остальных будет по 25 процентов.
То есть , что бы его дочке досталось, брату надо вступить, а потом подарить ей.
Ещё важно: в наследство либо вступают во ВСЁ, что положено ( по завещанию или по закону), либо отказываются от ВСЕГО ( такой закон, что бы, например, от долгов умершего не отказывались). Поэтому, отказаться от доли квартиры возможно только, отказавшись и от всего остального из причитающегося по наследству.
Насчет, что бы " не испортить" документы по истории, моё мнение, лучше никому не отказываться, вступать всем.
И да, лучше подождать три года, в случае наследства именно от мужчины это ещё важнее