使用采集插件保存附件时未知原因采集大量重复图片导致空间不足 -威尼斯人2299

使用场景：

50万张图片：筛选相同目录下，文件名称前多少位数相同，且文件个数超过指定数量，的文件进行筛选，并且记录日志，用于删除重复文件减少空间的占用。文章源自玩技e族-https://www.playezu.com/739241.html

问题案例：

保存附件时，重复保存导致空间急剧减少，需要删除附件保存的文章，可以直接将相关附件删除。文章源自玩技e族-https://www.playezu.com/739241.html

脚本代码：(shell脚本实现)

请将 "/path/to/directory" 替换为您要查询的实际目录路径，并根据需要调整 prefix_length 和 min_count 的值。脚本使用 find 命令获取目录中的文件列表，并使用 awk 和 sort 进行处理，以获取满足条件的文件名。最后，将结果输出到名为 result.log 的日志文件中。文章源自玩技e族-https://www.playezu.com/739241.html

运行脚本：

要使用该脚本，将其保存为 .sh 文件（例如 query_files.sh），然后在终端中运行以下命令来执行脚本：文章源自玩技e族-https://www.playezu.com/739241.html

bash query_files.sh

脚本会在当前目录下生成 result.log 文件，并将查询结果保存其中。文章源自玩技e族-https://www.playezu.com/739241.html

请注意，该脚本仅查找指定目录下的文件，不会递归到子目录。如果您需要递归查询，请将 find 命令的参数 -type f 修改为 -type f -name "*".文章源自玩技e族-https://www.playezu.com/739241.html 文章源自玩技e族-https://www.playezu.com/739241.html