BigQuery中如何用LIMIT節(jié)省時間和提高效率
照片由 Daniel Janzen 在 Unsplash 拍摄。
这里有一个简单的方法,能在分析数据或验证数据转换过程中帮你节省一些时间。
我之前写过一篇关于在BigQuery中使用LIMIT不会节省成本,因为它不影响处理的数据量,只是返回给你的结果数目的文章。
但还是有些时候我还会用LIMIT。
比如说,我在验证一些数据,并想验证我对数据的一个假设。比如说,如果知道哪怕有几个重复记录存在,就可以说明问题存在,并提供了一个可以调查的实例。
我不需要了解表格中的所有重复项,因此我用LIMIT来获取一个观察结果,以与我的预期相矛盾。
即使用了LIMIT,如果我没有收到任何返回结果,那就意味着查询没有找到任何匹配行,这证实了我的最初假设。
在一个足够大的桌子上,你可以注意到使用 LIMIT
和不使用 LIMIT
对查询执行时间的影响。再说一次,从成本角度来看没有区别,但你的时间也是宝贵的 😁。
附注:但这并不意味着LIMIT对BigQuery的性能完全没有影响。可以查看这篇帖子,了解LIMIT确实会对性能产生影响的实例。
原文发布于https://datawise.dev 2024年6月5日。
觉得有用的话,可以订阅我的 notjustsql.com 网站上的 Analytics 通讯,了解更多。
點擊查看更多內(nèi)容
為 TA 點贊
評論
評論
共同學(xué)習(xí),寫下你的評論
評論加載中...
作者其他優(yōu)質(zhì)文章
正在加載中
感謝您的支持,我會繼續(xù)努力的~
掃碼打賞,你說多少就多少
贊賞金額會直接到老師賬戶
支付方式
打開微信掃一掃,即可進行掃碼打賞哦