无忧启动论坛

标题: 请教个文本文件内容处理的批处理，检测每一行，如果下一行包含它，就删除下一行 [打印本页]
作者: 江南一根葱    时间: 2021-6-17 23:21
标题: 请教个文本文件内容处理的批处理，检测每一行，如果下一行包含它，就删除下一行
文件a.txt中有很多行
比如
hklm\hklm
hklm\hklm\aa
hklm\hklm\aa\bb
hklm\hhhh
hklm\hhhh\hh
hklm\nssb\xxoo
hklm\nssb\xxoo\ooxx\998
处理后只留下
hklm\hklm
hklm\hhhh
hklm\nssb\xxoo
也就是读取每一行，检测下一行如果包含读取的那行，就删除，不包含则保留



作者: hua_wuxin    时间: 2021-6-18 12:33
结果在b.txt里。

@echo off
setlocal enabledelayedexpansion

del /f /q b.txt >nul 2>&1

set PREV_KEY=[]
for /f "tokens=*" %%I in (a.txt) do (
  echo "%%I" | find /i "!PREV_KEY!" >nul

  if !errorlevel! neq 0 (
    echo %%I>>b.txt
    set PREV_KEY=%%I

  ) else (
    echo 已跳过“%%I”
  )
)

作者: 江南一根葱    时间: 2021-6-19 16:20
hua_wuxin 发表于 2021-6-18 12:33
结果在b.txt里。

@echo off

几十万行的文本，等了几个小时才执行好了，不过可能我折腾的逻辑还有点问题，漏处理了好几行
作者: hua_wuxin    时间: 2021-6-19 16:54
江南一根葱 发表于 2021-6-19 16:20
几十万行的文本，等了几个小时才执行好了，不过可能我折腾的逻辑还有点问题，漏处理了好几行

确实。批处理只适合处理几十到几百行的吧。
作者: 2011HNLGY    时间: 2021-6-19 20:43
工具错了啊，支持正则的文本处理软件对付这个才是利器。
作者: dos时代菜鸟    时间: 2021-11-2 16:11
本帖最后由 dos时代菜鸟 于 2021-11-2 16:38 编辑

用 find 不妥，如果 同时用 两行数据

12345
234123456


那么第二行包含上一行，是否第二行就被删掉了？

作者: dos时代菜鸟    时间: 2021-11-2 16:22
本帖最后由 dos时代菜鸟 于 2021-11-2 16:37 编辑

几十万行数据，估计要运行一段时间。

作者: 黑中见白    时间: 2021-11-2 16:37
还没搞定吗
作者: 黑中见白    时间: 2021-11-2 16:38
本帖最后由 黑中见白 于 2021-11-2 17:22 编辑

看起来是Process Monitor的注册表监视数据Powershell 倒序排序，然后下一行比
作者: dos时代菜鸟    时间: 2021-11-2 17:00
本帖最后由 dos时代菜鸟 于 2021-11-2 17:05 编辑

有这种情况么？
1/2
1/2/3/4/5


一定是下一行的长度大于上一行的长度么？
我想可以通过赋值和 比长度的方法解决。如果不存在上面我说的跳级别的情况 也可以通过赋值和取变量目录的方法解决。


作者: dos时代菜鸟    时间: 2021-11-2 21:42
本帖最后由 dos时代菜鸟 于 2021-11-2 22:04 编辑

如下代码，把str1.txt 简化生成为 str2.txt
算法，把文件第一行赋值给变量并计算长度，然后进行第二行，如果第二行前面指定长度的内容与上面那个赋值一样，就跳过，反之重复赋值计算长度，再来。以此类推。

  1. @echo off
  2. setlocal ENABLEDELAYEDEXPANSION
  3. set file1="str1.txt"
  4. set file2="str2.txt"

  6. echo.>!file2!

  8. call :text_1
  9. pause
  10. goto :eof

  12. :text_1
  13. set t=0
  14. set "l0="
  15. set l1=1
  16. for /f "delims=" %%i IN ('type %file1%') do (
  17.         set /a t=!t!+1
  18.         set L2=%%i
  19.         call :str_L "%%i"
  20.         for %%r in (!L1!) do (
  21.                 if not "!l2:~0,%%r!"=="!L0!" (
  22.                         set L1=!x!
  23.                         set L0=%%i
  24.                         echo !t!:%%i
  25.                         echo %%i >>!file2!
  26.                 )
  27.         )
  28. )
  29. exit /b

  31. :str_L
  32. SET "L=%~1"
  33. SET /A N=0,M=8190 ,X=0
  34. FOR /L %%C IN (1,1,14) DO (
  35.         SET /A X0=%X%
  36.         SET /A "X=(!M!+!N!)/2+1"
  37.         FOR /F %%D IN ("!X!") DO  (
  38.                 IF "!L:~%%D!" EQU "" (SET /A M=!X! ) ELSE (SET /A N=!X!)
  39.         )
  40. )
  41. exit /b
复制代码


复制代码

str1.7z (630 Bytes, 下载次数: 5)






欢迎光临 无忧启动论坛 (http://bbs.c3.wuyou.net/) Powered by Discuz! X3.3