更新時(shí)間:2018-11-26 來源:黑馬程序員 瀏覽量:
多線程運(yùn)行項(xiàng)目。有N個(gè)工作線程從DB中獲取jobs,并把結(jié)果寫回DB。
項(xiàng)目運(yùn)行一段時(shí)間后,發(fā)現(xiàn)數(shù)據(jù)庫(kù)連接耗盡了,幸好內(nèi)存大,然后一直往上調(diào),最后連接數(shù)都上8000多。耗盡連接數(shù)的時(shí)候,postgresql 會(huì)出現(xiàn)類似這樣的錯(cuò)誤:
FATAL: remaining connection slots are reserved for non-replication superuser connections
大概是這么兩個(gè)知識(shí)點(diǎn):
1.如果是Web項(xiàng)目,在請(qǐng)求結(jié)束的時(shí)候,Django會(huì)去關(guān)閉掉連接。是的,沒有連接池。
2.因?yàn)槲覀兪欠荳eb項(xiàng)目,所以不存在請(qǐng)求結(jié)束事件,所以一直沒的關(guān)閉連接。但本來這個(gè)應(yīng)該也不會(huì)造成問題的,因?yàn)闆]關(guān)閉就一直用唄,但不知道哪里出了問題,會(huì)出現(xiàn)連接泄漏,所以連接數(shù)據(jù)會(huì)一直增長(zhǎng)。
最后的解決方案是找時(shí)機(jī)主動(dòng)關(guān)閉數(shù)據(jù)庫(kù)連接,具體到我們項(xiàng)目,就是每次工作線程完成一個(gè)任務(wù)后,就把它相關(guān)的連接關(guān)掉,因?yàn)槲覀冇玫氖荰hreadPoolExecutor,所以Django很容易做到這一點(diǎn)。
代碼如下:
from django.db import connections
def on_done(future):
connections.close_all()
def main():
with ThreadPoolExecutor() as executor:
while True:
future = executor.submit(do, get_a_job())
future.add_done_callback(on_done)
作者:傳智播人工智能+Python培訓(xùn)學(xué)院
首發(fā): http://python.itheima.com