Для изменения размера хеш-таблицы, использующейся для хранения динамических правил, достаточно подправить один параметр sysctl, net.inet.ip.fw.dyn_buckets, по умолчанию он всегда равен 256. Значение параметра должно быть степенью 2. Размер таблицы желательно менять только тогда когда она пуста, т.е. на лету не желательно, иначе придется использовать flush и сбрасывать правила.
# sysctl net.inet.ip.fw.dyn_buckets=1024
Для того чтобы параметр менялся при загрузке системы, то его надо добавить в
/etc/sysctl.conf
увеличил, т.к. стали сыпаться в месаджи
ipfw: install_state: Too many dynamic rules
ipfw: install_state: Too many dynamic rules
ipfw: install_state: Too many dynamic rules