小学生の頃に同級生の三橋直樹に誘われたことをきっかけに野球を始める。野球好きだった三橋の影響で野球にのめり込み、大学野球や社会人野球も観に行くようになる。
中学では軟式野球部に所属し、ポジションは主にキャッチャーで練習試合で投手を務めることもあった。
地元屈指の進学校、神奈川県立厚木高校から立教大学に進学し東京六大学リーグで活躍した川村丈夫に憧れ、川村と同じ厚木高校への進学を目指していたが、当時日本大学藤沢高校の監督だった鈴木博識から投手としてスカウトされたことをきっかけに日大藤沢に進学する。
高校時代は、横浜高校の松坂大輔と度々投げあいを演じた。2年次の1997年、秋の神奈川県大会決勝では横浜高校相手に先発するも0-9で敗戦(途中降板)。
関東大会決勝で再び横浜高校と対戦し、延長10回、1-2で敗退(館山は終盤の2/3回のみ登板)。
1998年、春のセンバツに出場、準決勝で久保康友のいた関大一高と対戦し、6回から3回無失点の好リリーフを見せるも3-5で敗戦。
同年春の関東大会決勝で三度横浜高の松坂と投げ合い、延長13回150球超の完投も、0-1で敗戦投手となった。夏の西神奈川大会はベスト4どまりで、夏の甲子園出場は叶わなかった。
その後、東都の日本大学に進学。リーグ戦通算36試合に登板し8勝6敗、防御率2.24。同期に村田修一、堤内健、大野隆治がいる。
2001年の3年時には、春季リーグ戦でエースとして活躍しチーム17季ぶりの優勝に貢献。日本代表にも選ばれ、ワールドカップに出場。2002年にドラフト3巡目でヤクルトに指名され入団。