我目前正在嘗試使用 Java 中的 JSoup 為我正在從事的棒球編碼項目抓取 retrosheets.org。我在我的代碼中執(zhí)行了多個 JSoup 連接，其中一些連接是在一個循環(huán)中完成的（因此會執(zhí)行很多次）。所以，總的來說，我在我的程序中建立了數(shù)百個連接來抓取必要的數(shù)據(jù)。該程序運行約 5 秒，但隨后被掛斷（每次都不同）。然后，當我嘗試在瀏覽器中單獨訪問該網(wǎng)站時，該網(wǎng)站將無法加載。這可能是什么原因造成的？執(zhí)行太多連接是否有問題？這是我正在執(zhí)行的連接示例（所有連接都遵循相同的格式）。doc = Jsoup.connect("https://www.retrosheet.org/boxesetc/index.html").maxBodySize(0).userAgent("Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/12.0.3 Safari/605.1.15").get();這是我得到的錯誤
1 回答
動漫人物
TA貢獻1815條經(jīng)驗 獲得超10個贊
這絕對是目標網(wǎng)站端的負載保護 - 它檢測到來自同一 IP 的太多請求并將其阻止一段時間或限制來自該 IP 的連接/請求的數(shù)量。這就是為什么您也無法在瀏覽器中打開網(wǎng)站的原因 - 這根本與 JSoup 或 Java 無關(guān)，而是關(guān)于從您的 IP 到目標網(wǎng)站的連接/請求被阻止/限制。
添加回答
舉報
0/150
提交
取消