やってみたら超簡単にできるのでやってみました
このようなスクリプトを作って実行するだけ
Get-Content ./CSV/*.csv >> ./CSV2/output.csv
Get－Content というコマンドでファイルを読み込み、>>（リダイレクト）で新しいファイルに突っ込むだけでした。
これで、「CSV」というファイルの中にある100～1000とあるファイルを一気に「CSV2」というフォルダの中に「output.csv」というファイルを作って一つのファイルにまとめられます。
うーん、PowerShell恐るべし。
Forやらなんやら使わずして一気に作れちゃったぞ