• 履歴の進む戻るをポップアップメニューから選ぶ
  「進む」または「戻る」ボタンの上で右クリック
  （カスタマイズじゃないけど私も戸惑ったので）
• 最後のタブを閉じたときFirefoxを終了しないようにする
  about:configで「browser.tabs.closeWindowWithLastTab」を「false」
• 新しいタブをタブバーの右端に開くには
  about:configで「browser.tabs.insertRelatedAfterCurrent」を「false」
• アドオンの互換性チェックを無効にする
  about:configで「extensions.checkCompatibility.4.0」を「false」
• 「新しいウインドウではなく新しいタブに開く」をチェックしててもウインドウが開くものをタブに開くようにする
  about:configで「browser.link.open_newwindow.restriction」を「0」
  0：新しいウィンドウをすべて現在のタブまたは新しいタブに開く
  1：JavaScript によって開かれるウィンドウは対象外とする
  2：サイズ・位置・ツールバーの指定が含まれるJavaScriptウィンドウは対象外とする（デフォ）
• 同時に復元するタブ数
  about:configで「browser.sessionstore.max_concurrent_tabs」を
  -1：（デフォ）
  0：BarTab と同じ動作（アクティブタブになったとき読み込む）
  n：同時に復元するタブ数
  参考：【レビュー】Firefox 4のセッション復元を改善、ポイントは3つごと
• プラグインを別プロセス「plugin-container.exe」で実行しプラグインが原因でブラウザが異常終了するのを防ぐ機能を無効にする
  （低スペックPCなどで止むを得ずという場合などで普通有効にしているほうがよい）
  about:configで「dom.ipc.plugins.enabled」を「0」

※履歴の保持期間のカスタマイズはFirefox 4から無くなりました。
Firefox 3.6で5MBを維持していたplaces.sqliteも20MB（10MB単位で大きくなる）に太りました。＼(＾o＾)／
→Firefox 4のplaces.sqliteが太らないように制限してみる

userChrome.css
Firefox 4からプロファイルに自分で「Chrome」フォルダを作らないといけなくなりました。
about:support（トラブルシューティング情報）でプロファイルディレクトリの「フォルダを開く」で使用中のプロファイルフォルダが開けます。

@charset "utf-8";
@namespace url(http://www.mozilla.org/keymaster/gatekeeper/there.is.only.xul);

/* 進むボタンを消す */
#forward-button {display:none}

/* サーチバーの虫眼鏡を消す */
.search-go-button{display:none!important}

/* マウス操作とキーボード操作でメニュー表示が変わらないようにする */
#main-menubar[openedwithkey=false] .show-only-for-keyboard {display:-moz-box!important}

/* alltabs button を無効にする */
.tabs-alltabs-button, .tabs-alltabs-box-animate{display:none!important}

/* タブを開くボタンを消す */
.tabs-newtab-button, #new-tab-button{display:none}

/* スマートブックマークのプロパティでURIを表示
   履歴とブックマークの管理でスマートブックマークのURIを表示 */
#editBMPanel_locationRow {visibility:visible !important}

/* ツリーインデント */
treechildren::-moz-tree-indentation {width:0.6em !important}

/* ロケーションバーでIMEをオフ */
#urlbar *|input {ime-mode:inactive !important}

参考

Firefoxの動作がおかしい場合試してみるべきチェックポイント
プロファイルを引き継いでFirefox 4へアップデートしたときのトラブル対処
DOM Inspector の選択要素が点滅しない
user.jsさらし
タブバーを細くしてみた
タイトルバー上にナビバーを重ねて表示
Firefox 4.0b7pre：タイトルバー上にタブバーを表示する