chatPromptTemplate長(zhǎng)度限制
每種模型上下文長(zhǎng)度限制不一樣,需要在業(yè)務(wù)側(cè)計(jì)算并截取歷史對(duì)話的list 長(zhǎng)度嗎?還是說(shuō)model會(huì)自動(dòng)截取最近的對(duì)話填滿上下文token數(shù)量?
每種模型上下文長(zhǎng)度限制不一樣,需要在業(yè)務(wù)側(cè)計(jì)算并截取歷史對(duì)話的list 長(zhǎng)度嗎?還是說(shuō)model會(huì)自動(dòng)截取最近的對(duì)話填滿上下文token數(shù)量?
舉報(bào)