ゲームプログラミングにおいて土台というのは非常に大事だと思います。今でいうところの scaffold （足場の意）というやつですね。メモ代わりにいくつか挙げておきます。

個人的に必須と思うライブラリ。

• タスク管理
  プログラムを平行で実行するためのライブラリ。
• 描画
  グラフィックを出力するためのライブラリ。
• 入力
  キーボードやマウスを使うためのライブラリ。
• タイマー
  FPS を制御するためのライブラリ。
• シーン
  ゲーム中の画面切り替えを簡略化するためのライブラリ。
• ウィンドウ
  ウィンドウを描画するライブラリ。

一般公開や配布の際に必要と思うライブラリ。

• データのパッキング＆暗号化
  データを難読化するためのライブラリ。
• 効果音
  効果音（ SE ）を鳴らすためのライブラリ。
• BGM
  BGM を流すためのライブラリ。

必要に応じて加筆修正します。