-JオプションでJVMのオプションを指定できました。
jrubyのデフォルトヒープサイズは、256MBだったので下記のように512MBに変更したところActiveRecord-JDBCを無事インストールできました。
# jruby -J-Xmx512m --command gem install ActiveRecord-JDBC Bulk updating Gem source index for: http://gems.rubyforge.org Successfully installed ActiveRecord-JDBC-0.5 Installing ri documentation for ActiveRecord-JDBC-0.5... Installing RDoc documentation for ActiveRecord-JDBC-0.5... #