在學(xué)習(xí)java web 正好有一個有趣的項目可以做 。 我們學(xué)校需要晨跑刷卡，體育部提供一個查詢網(wǎng)站，但是不提供接口。 想做一個網(wǎng)站/微信后臺從學(xué)校網(wǎng)上抓取信息儲存到數(shù)據(jù)庫 然后用戶可以通過我的 網(wǎng)站/微信來查詢自己的跑操記錄。并且根據(jù)這些記錄顯示排名 等其他的功能。
查詢只需要提供學(xué)號和姓名，這個數(shù)據(jù)已經(jīng)有了。
模擬登錄 用httpclient 實現(xiàn)。 獲取了整個頁面 頁面是一個表格顯示記錄。 該用什么從頁面里提取數(shù)據(jù)呢？
關(guān)于java web的方向，我只會用jsp 寫一個增刪改查。 對于之后的內(nèi)容不是太懂 。
我要做這樣一個后臺管理抓取操作 用戶查詢 返回。 該從什么地方開始學(xué)？ 或者說使用是什么樣的技術(shù)/框架呢？
關(guān)于查詢的網(wǎng)站： 有一個元素是跑操次數(shù)。 之后的是對應(yīng)的記錄 每條記錄顯示跑操時間 具體到分鐘。
抓取不是最困難的部分，問題是怎么做一個這樣一個管理系統(tǒng) 對于如何開發(fā)一個完整的web全棧 沒有思路。 我發(fā)現(xiàn)我不能評論。。。
謝謝！
5 回答
拉莫斯之舞
TA貢獻1820條經(jīng)驗 獲得超10個贊
想到了幾點，簡單說下：
1.數(shù)據(jù)抓取，可以自己寫抓取程序，制定數(shù)據(jù)爬取的時間規(guī)則之類的
2.數(shù)據(jù)處理，抓取到網(wǎng)頁的內(nèi)容通過jsoup或者其他方式對網(wǎng)頁有效內(nèi)容提取，并設(shè)計數(shù)據(jù)結(jié)構(gòu)，學(xué)號應(yīng)該是唯一的，可以有學(xué)員表和晨跑記錄表，通過學(xué)號進行關(guān)聯(lián)
3.我的個人理解是按照次數(shù)排序，因為想了下，如果按照時間排序是不合理的，因為是沒有辦法判斷真正的晨跑時間的，那我這里就按次數(shù)來說吧，可以直接在學(xué)員表存放跑步次數(shù)的字段，減少通過記錄表查詢，提高效率，就是需要數(shù)據(jù)處理時維護此字段
翻閱古今
TA貢獻1780條經(jīng)驗 獲得超5個贊
模擬登陸：用瀏覽器打開登陸頁觀察接收學(xué)號密碼的url；模擬登陸時post數(shù)據(jù)到該url；從response的header中解析Set-cookie字段信息；
數(shù)據(jù)抓?。合蝮w育數(shù)據(jù)頁發(fā)起get請求(帶上上一步中拿到的cookie字段)，拿到response，然后進行正則解析獲得數(shù)據(jù)即可；
建議：緩存用戶每次查詢的數(shù)據(jù)，比如緩存2個小時，建議使用redis；數(shù)據(jù)庫可以存查詢到的數(shù)據(jù)，先從redis中取數(shù)據(jù)，取不到再模擬登陸拿新數(shù)據(jù)。至于數(shù)據(jù)庫這一層，個人感覺可有可無，有的話也可以進行數(shù)據(jù)分析什么的
添加回答
舉報
0/150
提交
取消