
[已解決]如何使用文本工具進(jìn)行整行去重首列排序最后由 77七 于 -6-5 13:25請(qǐng)教各位老師、大佬:如何使用gawk或sed或grep等專(zhuān)業(yè)文本處理工具對(duì)文本進(jìn)行以下處理1.按整行進(jìn)行去重(如 第一行、第三行相同,則去除第三行);2.僅對(duì)第一列進(jìn)行排序(第一列相同的所有行保持原有的上下順序)文本 編碼ansi 數(shù)萬(wàn)行 含有多列(空格分隔) 含有數(shù)字、漢字、符號(hào),不含引號(hào)、嘆號(hào);批處理 編碼ansi如 1.txt
- 江蘇 鹽城
- 江蘇 蘇州 宿遷
- 浙江 杭州
- 江蘇 南京
- 江蘇 鹽城
- 江蘇 蘇州
- 安徽 合肥
nclick="copycode($('code0'));">復(fù)制代碼
0605 13:25 重新修改 1.txt
- 浙江 杭州
- 江蘇 鹽城
- 江蘇 蘇州 宿遷
- 江蘇 南京
- 江蘇 鹽城
- 江蘇 蘇州
- 安徽 合肥
nclick="copycode($('code1'));">復(fù)制代碼
希望幾秒內(nèi)處理完成,結(jié)果直接覆蓋,或者得到 2.txt2.txt0605 13:19 修改 utf-8編碼的1.txt sort排序及手動(dòng)處理結(jié)果:
- 江蘇 鹽城
- 江蘇 蘇州 宿遷
- 江蘇 南京
- 江蘇 蘇州
- 浙江 杭州
- 安徽 合肥
nclick="copycode($('code2'));">復(fù)制代碼
ansi編碼的1.txt sort排序及手動(dòng)處理結(jié)果:
- 安徽 合肥
- 江蘇 鹽城
- 江蘇 蘇州 宿遷
- 江蘇 南京
- 江蘇 蘇州
- 浙江 杭州
nclick="copycode($('code3'));">復(fù)制代碼
如上,排序了江蘇、浙江、安徽;去除了重復(fù)行(第二個(gè) 江蘇 鹽城);江蘇 鹽城;江蘇 蘇州 宿遷;江蘇 南京;江蘇 蘇州; 的上下順序不變。謝謝!補(bǔ)充說(shuō)明:上述2.txt結(jié)果是我錯(cuò)誤的對(duì)utf-8編碼的1.txt經(jīng)過(guò)sort排序后,手動(dòng)加工形成的。像江蘇、浙江、安徽的上下順序,不影響實(shí)際使用。