今天就跟大家聊聊有關python中怎么實現(xiàn)一個數(shù)據(jù)切割歸并算法,可能很多人都不太了解,為了讓大家更加了解,小編給大家總結了以下內容,希望大家根據(jù)這篇文章可以有所收獲。
創(chuàng)新互聯(lián)公司長期為上千家客戶提供的網(wǎng)站建設服務,團隊從業(yè)經(jīng)驗10年,關注不同地域、不同群體,并針對不同對象提供差異化的產(chǎn)品和服務;打造開放共贏平臺,與合作伙伴共同營造健康的互聯(lián)網(wǎng)生態(tài)環(huán)境。為沙灣企業(yè)提供專業(yè)的網(wǎng)站制作、成都網(wǎng)站設計,沙灣網(wǎng)站改版等技術服務。擁有10多年豐富建站經(jīng)驗和眾多成功案例,為您定制開發(fā)。一:獲取總數(shù)據(jù)的行
def get_file_lines(file_path): # 目標文件的路徑 file_path = str(file_path) with open(file_path, 'rb') as file: # 定義行數(shù) i = 0 while True: # 一次讀取一行數(shù)據(jù) line = file.readline() if not line : break else: # 每讀一行,行數(shù)加一 i += 1 #設置進度條,每當i讀取1000000行時打印一次i # 每當讀取1000000的整數(shù)倍行時,打印行數(shù)(進度條) if i % 1000000 == 0: print(i) # 打印總行數(shù) print(i) return i
二:對數(shù)據(jù)進行切割
# 定義均等切割函數(shù),num是待切割的文件的行數(shù)的值,n為切割份數(shù),file_path是待切割的文件,file_dir是切割好的文件寫入的目錄 def evg_split(num, n, file_path, file_dir): last_list = [] # 如果樣本剛好可以整除為n份 if num % n == 0: for i in range(n): # 則直接將樣本分為n分沒份對應num/n個 last_list.append(num / n) # 如果不能整除 if num % n != 0: # 如果不能整除,則先將num整除n-1并取n-1份,余下的單獨做一份 evg = (num - num % n) // (n - 1) for i in range(n): last_list.append(evg) last_list.append(num % (n - 1)) print(last_list) # return last_list # 對應于切割后的每一份數(shù)據(jù) with open(file_path, 'rb') as path: for i in range(n): # 創(chuàng)建臨時文件 tmp_file = file_dir + str(i) + '.txt' # 打開臨時文件,將內容一條一條的寫入 file = open(tmp_file, 'wb') for j in range(int(last_list[i])): line = path.readline() file.write(line) print(line) print('------------') file.close()
三:對每組數(shù)據(jù)進行排序的內容由讀者根據(jù)自身數(shù)據(jù)需要進行排序,下面直接介紹歸并排序
四:歸并排序
def merge( mylist1, mylist2, file1): while len(mylist1) > 0 and len(mylist2) > 0: if mylist1[0]<mylist2[0]: with open(file1,'a') as file: file.write(str(mylist1[0])) del mylist1[0] elif mylist1[0] > mylist2[0]: with open(file1,'a') as file: file.write(str(mylist2[0])) del mylist2[0] else: with open(file1,'a') as file: file.write(str(mylist1[0])) file.write(str(mylist2[0])) del mylist1[0] del mylist2[0] with open(file1, 'a') as file: for i in mylist1: file.write(str(i)) for i in mylist2: file.write(str(i))
總結:對于一個大型數(shù)據(jù)文件,我們可以將其切割成若干個小型的數(shù)據(jù)文件,然后分別的這些小型的數(shù)據(jù)文件進行排序,最后使用歸并排序將這些數(shù)據(jù)文件寫入到一個總體文件中,從而實現(xiàn)了對這個大型數(shù)據(jù)文件的排序。
看完上述內容,你們對python中怎么實現(xiàn)一個數(shù)據(jù)切割歸并算法有進一步的了解嗎?如果還想了解更多知識或者相關內容,請關注創(chuàng)新互聯(lián)行業(yè)資訊頻道,感謝大家的支持。
當前題目:python中怎么實現(xiàn)一個數(shù)據(jù)切割歸并算法-創(chuàng)新互聯(lián)
轉載來于:http://bm7419.com/article6/dcooog.html
成都網(wǎng)站建設公司_創(chuàng)新互聯(lián),為您提供品牌網(wǎng)站設計、用戶體驗、Google、微信小程序、企業(yè)建站、云服務器
聲明:本網(wǎng)站發(fā)布的內容(圖片、視頻和文字)以用戶投稿、用戶轉載內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內容未經(jīng)允許不得轉載,或轉載時需注明來源: 創(chuàng)新互聯(lián)