Результаты вообще странные:
1. На 0.1мВ очень большой выброс шума при сохранении выходного уровня.
2. На пределах 0.03мВ и 0.01мВ напряжение заметно выше чем было. А шум сменился наоборот (это и странно).
Ну с 0.1мВ подсказать ничего не могу, может где какой резонанс вылез, попробуйте изменить хоть длину усреднения или ещё чего-нибудь.
А вот пределы 0.03мВ и даже 0.018мВ откровенно радуют: похоже сигнал появился и AD8310 его видит. Пусть и с шумом (который в пересчёте ко входу будет примерно ±0.5дБ - ну пустяки же).
Про 0.01мВ и менее такого с уверенностью сказать нельзя, слишком близко выходное напряжение к напряжению при отсутствии входного сигнала.
Похоже фильтровать питание AD8310 Вам таки придётся. А может и питание AD9850, это покажут уже тесты с ним.
Теперь пара мыслей на будущее.
Насчёт 0.1мкФ на входе АЦП, мне кажется это слишком много, ведь судя по
Figure 9. Small-Signal AC Response of RSSI Output with External BFIN Capacitance of 100 pF, 3300 pF, and 0.01 μF на AD8310 время установления сигнала на входе АЦП будет более 1мс - Вы точно делаете такую задержку после смены частоты и до начала измерений АЦП? Не уверен. И что именно тогда будет измерять АЦП с генератором AD9850 - большой вопрос. Я бы уменьшил эти 0.1мкФ на два порядка, до 3.3нФ (и менее), что даст время установления меньше 50мкс, фильтровать же ВЧ будет ещё весьма неплохо. Но не убирать совсем, несмотря на наличие 560пФ со стороны AD8310 - фильтровать шум лучше на обеих сторонах кабеля и уж точно около приёмника сигнала. Да, раньше мог сам советовать больше, видимо в запале борьбы с шумом не обратил внимания на это время.
Посчитал АЧХ фильтра после AD9850 из его pdf
Figure 17. AD9850/CGPCB Electrical Schematic:
Левее всё очевидно ровно.
Неравномерность в полосе 7-40МГц более 0.5дБ - это
систематическая ошибка Вашего измерителя (расчётная). И как на неё влияют разброс номиналов элементов и ёмкость монтажа - сказать не берусь (лень дорисовывать в схему и симулировать).
Странно что подавление 125МГц всего -45дБ, могли бы правый минимум точно туда посадить, хотя бы расчётно ...