2. 首页 > NBU-NetBackup教程 > 正文

NetBackup教程FG007-NetBackup重复数据删除配置与优化实战

教程整理：风哥教程  |  更新时间：2026-03-22  |  教程分类：NBU-NetBackup教程  |  文档学习：25

本文档风哥主要介绍NetBackup重复数据删除的配置与优化方法，包括重复数据删除的概念、类型、优势、配置步骤和实战案例等内容，风哥教程参考NetBackup官方文档NetBackup Deduplication Guide，适合备份管理员和系统工程师在学习和测试中使用。学习交流加群风哥微信: itpux-com

Part01-基础概念与理论知识

1.1 重复数据删除概述

重复数据删除（Deduplication）是一种数据压缩技术，通过识别和删除重复的数据块，减少存储需求和网络传输量。NetBackup的重复数据删除功能可以显著减少备份数据的存储空间，提高备份和恢复速度。

重复数据删除的工作原理：

  • 将数据分割成固定大小或可变大小的数据块
  • 为每个数据块计算唯一的哈希值（如SHA-1）
  • 存储唯一的数据块及其哈希值
  • 当遇到重复的数据块时，只存储对该数据块的引用

1.2 重复数据删除类型

NetBackup支持以下类型的重复数据删除：

1.2.1 源端重复数据删除

源端重复数据删除（Client-side Deduplication）在客户端执行重复数据删除，只将唯一的数据块传输到介质服务器。这种方式可以减少网络传输量，适合远程客户端或带宽有限的环境。

1.2.2 目标端重复数据删除

目标端重复数据删除（Server-side Deduplication）在介质服务器执行重复数据删除，客户端将所有数据传输到介质服务器，然后在介质服务器上执行重复数据删除。这种方式适合本地客户端或带宽充足的环境。

1.2.3 全局重复数据删除

全局重复数据删除（Global Deduplication）在多个介质服务器之间共享重复数据删除池，实现跨服务器的重复数据删除。这种方式可以进一步减少存储需求，适合大型环境。

1.3 重复数据删除优势

NetBackup重复数据删除的优势包括：

  • 减少存储需求：显著减少备份数据的存储空间，节省存储成本
  • 提高备份速度：减少数据传输量，提高备份速度
  • 提高恢复速度：减少数据传输量，提高恢复速度
  • 延长介质寿命：减少数据写入量，延长存储介质的寿命
  • 简化管理：减少存储管理的复杂性

Part02-生产环境规划与建议

2.1 重复数据删除规划

在生产环境中，重复数据删除规划应考虑以下因素：

# 重复数据删除规划要点
– [ ] 评估数据重复率：分析备份数据的重复率，确定重复数据删除的潜在收益
– [ ] 选择重复数据删除类型：根据网络带宽和客户端性能选择源端或目标端重复数据删除
– [ ] 规划存储容量：根据数据量和重复率规划存储容量
– [ ] 规划硬件资源：为重复数据删除配置足够的CPU和内存资源
– [ ] 规划网络带宽：确保网络带宽满足重复数据删除的需求
– [ ] 制定备份策略：根据重复数据删除的特点调整备份策略

2.2 存储要求

重复数据删除的存储要求包括：

# 存储要求
– 存储类型：推荐使用高性能磁盘存储，如SSD或SAS磁盘
– 存储容量：根据数据量和重复率计算，建议预留30%的缓冲空间
– 存储配置：使用RAID 5或RAID 6，确保数据可靠性
– 存储连接：使用高速存储连接，如FC或iSCSI

2.3 性能考虑

重复数据删除的性能考虑包括：

2.3.1 硬件要求

# 硬件要求
– CPU：至少8核，推荐16核或以上
– 内存：至少16GB，推荐32GB或以上
– 磁盘I/O：至少500MB/s，推荐1GB/s或以上
– 网络带宽：至少1Gbps，推荐10Gbps或以上

2.3.2 性能优化

# 性能优化
– 使用高性能存储设备
– 配置足够的CPU和内存资源
– 优化网络配置，减少网络延迟
– 合理设置重复数据删除参数
– 定期维护重复数据删除存储池
风哥提示：重复数据删除规划是NetBackup部署的重要环节，需要根据实际需求和资源情况进行合理规划。建议在测试环境中评估重复数据删除的效果，然后再在生产环境中实施。学习交流加群风哥QQ113257174

Part03-生产环境项目实施方案

3.1 重复数据删除配置

3.1.1 启用重复数据删除

# 启用重复数据删除
$ /NetBackup/app/netbackup/bin/nbdevconfig -createlb -storage_server storage.fgedu.net.cn -stype PureDisk -media_server media.fgedu.net.cn -diskpool DedupPool -path /NetBackup/fgdata/deduplication

# 查看磁盘池状态
$ /NetBackup/app/netbackup/bin/nbdevconfig -listdp

Disk Pool Name: DedupPool
Storage Server: storage.fgedu.net.cn
Storage Type: PureDisk
Media Server: media.fgedu.net.cn
Status: UP

3.1.2 配置重复数据删除参数

# 配置重复数据删除参数
$ /NetBackup/app/netbackup/bin/nbdevconfig -updatedp -diskpool DedupPool -dpoption “deduplication=true”

# 配置重复数据删除块大小
$ /NetBackup/app/netbackup/bin/nbdevconfig -updatedp -diskpool DedupPool -dpoption “deduplication_block_size=64k”

# 配置重复数据删除内存使用
$ /NetBackup/app/netbackup/bin/nbdevconfig -updatedp -diskpool DedupPool -dpoption “deduplication_memory=16g”

3.2 存储单元设置

3.2.1 创建重复数据删除存储单元

# 创建重复数据删除存储单元
$ /NetBackup/app/netbackup/bin/bpstuadd -label DedupStorage -stype PureDisk -dp DedupPool

# 查看存储单元
$ /NetBackup/app/netbackup/bin/bpstulist

Storage Unit Name: DedupStorage
Storage Unit Type: PureDisk
Disk Pool Name: DedupPool

3.2.2 配置存储单元属性

# 配置存储单元属性
$ /NetBackup/app/netbackup/bin/bpstuutil -modify DedupStorage -maxconn 16

# 查看存储单元属性
$ /NetBackup/app/netbackup/bin/bpstuutil -l

Storage Unit Name: DedupStorage
Status: UP
Capacity: 1000.0 GB
Used: 200.0 GB
Available: 800.0 GB
Maximum Concurrent Jobs: 16

3.3 策略配置

3.3.1 创建支持重复数据删除的备份策略

# 创建备份策略
$ /NetBackup/app/netbackup/bin/bpplinfo -add -policy DedupPolicy -pt Standard -st FULL -freq 1 -window 24 -residence DedupStorage

# 添加客户端
$ /NetBackup/app/netbackup/bin/bpplclients -add DedupPolicy -client fgedu.net.cn -os linux

# 添加备份选择项
$ /NetBackup/app/netbackup/bin/bpplinclude -add DedupPolicy /NetBackup/fgdata

# 启用客户端重复数据删除
$ /NetBackup/app/netbackup/bin/bpplclients -modify DedupPolicy -client fgedu.net.cn -os linux -dedup_client yes

3.3.2 配置备份策略属性

# 配置备份策略属性
$ /NetBackup/app/netbackup/bin/bpplinfo -modify DedupPolicy -trueimage yes

# 查看备份策略
$ /NetBackup/app/netbackup/bin/bpplinfo DedupPolicy -U

Policy Name: DedupPolicy
Policy Type: Standard
Active: yes
Effective date: 01/01/2026 00:00:00
Policy Storage: DedupStorage
Backup schedule: Full Backup
Frequency: 1 day
Window: 24 hours
Retention: 30 days
Clients:
fgedu.net.cn (linux) – Deduplication: yes
Include list:
/NetBackup/fgdata

生产环境建议：在配置重复数据删除时，应根据实际环境和需求调整参数，确保重复数据删除的效果和性能。建议在生产环境中先进行小规模测试，然后再大规模部署。更多学习教程公众号风哥教程itpux_com

Part04-生产案例与实战讲解

4.1 重复数据删除实战

4.1.1 执行重复数据删除备份

# 执行重复数据删除备份
$ /NetBackup/app/netbackup/bin/bpbackup -w -p DedupPolicy -s “Deduplication Backup” /NetBackup/fgdata

Backup started, job id = 12345
Waiting for job to complete…
Job 12345 completed successfully

# 查看备份作业详细信息
$ /NetBackup/app/netbackup/bin/bpjobinfo -jobid 12345 -detailed

Job ID: 12345
Status: Completed
Status Code: 0
Client: fgedu.net.cn
Policy: DedupPolicy
Schedule: Full Backup
Deduplication Ratio: 10:1
Backup Size: 100 GB
Deduplicated Size: 10 GB

4.1.2 监控重复数据删除效果

# 查看重复数据删除统计信息
$ /NetBackup/app/netbackup/bin/nbdevquery -listdp -dp DedupPool -U

Disk Pool Name: DedupPool
Storage Server: storage.fgedu.net.cn
Storage Type: PureDisk
Total Capacity: 1000.0 GB
Used Capacity: 100.0 GB
Free Capacity: 900.0 GB
Deduplication Ratio: 10:1
Compression Ratio: 2:1
Overall Reduction Ratio: 20:1

4.2 重复数据删除监控

4.2.1 监控重复数据删除存储池

# 监控重复数据删除存储池
$ /NetBackup/app/netbackup/bin/nbdevquery -listdp -U

Disk Pool Name: DedupPool
Storage Server: storage.fgedu.net.cn
Storage Type: PureDisk
Status: UP
Total Capacity: 1000.0 GB
Used Capacity: 100.0 GB
Free Capacity: 900.0 GB
Deduplication Ratio: 10:1

4.2.2 监控重复数据删除作业

# 监控重复数据删除作业
$ /NetBackup/app/netbackup/bin/bpjoblist -all -policy DedupPolicy

Job ID Type State Status Client Policy Schedule Start Time
12345 BACKUP Completed 0 fgedu.net.cn DedupPolicy Full Backup 2026-04-10 08:00:00
12346 BACKUP Completed 0 fgedu.net.cn DedupPolicy Incremental 2026-04-11 08:00:00

4.3 重复数据删除故障排除

4.3.1 重复数据删除失败问题

# 问题：重复数据删除备份失败

# 解决方案：
1. 查看作业详细信息
$ /NetBackup/app/netbackup/bin/bpjobinfo -jobid 12347 -detailed

2. 查看重复数据删除存储池状态
$ /NetBackup/app/netbackup/bin/nbdevquery -listdp -dp DedupPool -U

3. 检查存储池空间
$ /NetBackup/app/netbackup/bin/nbdevquery -listdp -dp DedupPool -U | grep -E “Total Capacity|Used Capacity|Free Capacity”

4. 检查磁盘I/O性能
$ iostat -x 1 10

5. 检查网络连接
$ ping storage.fgedu.net.cn
$ netstat -an | grep 1556

4.3.2 重复数据删除性能问题

# 问题：重复数据删除性能下降

# 解决方案：
1. 检查CPU和内存使用情况
$ top

2. 检查磁盘I/O性能
$ iostat -x 1 10

3. 检查网络带宽使用情况
$ netstat -an | grep ESTABLISHED
$ sar -n DEV 1 10

4. 优化重复数据删除参数
$ /NetBackup/app/netbackup/bin/nbdevconfig -updatedp -diskpool DedupPool -dpoption “deduplication_memory=32g”

5. 清理重复数据删除存储池
$ /NetBackup/app/netbackup/bin/nbdevconfig -cleanup -diskpool DedupPool

生产环境建议：定期监控重复数据删除的效果和性能，及时发现和解决问题。建议配置监控和告警机制，当重复数据删除存储池空间不足或性能下降时及时通知管理员。from NetBackup视频:www.itpux.com

Part05-风哥经验总结与分享

5.1 重复数据删除最佳实践

NetBackup重复数据删除最佳实践：

  • 评估数据重复率：在实施重复数据删除前，评估备份数据的重复率
  • 选择合适的重复数据删除类型：根据网络带宽和客户端性能选择源端或目标端重复数据删除
  • 配置足够的硬件资源：为重复数据删除配置足够的CPU、内存和存储资源
  • 优化存储配置：使用高性能存储设备，配置合理的RAID级别
  • 合理设置备份策略：根据重复数据删除的特点调整备份策略，如增加全备份的频率
  • 定期维护存储池：定期清理和优化重复数据删除存储池
  • 监控和告警：配置监控和告警机制，及时发现和解决问题

5.2 重复数据删除优化

NetBackup重复数据删除优化建议：

5.2.1 硬件优化

# 硬件优化
– 使用高性能CPU：至少8核，推荐16核或以上
– 增加内存：至少16GB，推荐32GB或以上
– 使用高性能存储：SSD或SAS磁盘
– 配置高速网络：至少1Gbps，推荐10Gbps或以上

5.2.2 软件优化

# 软件优化
– 调整重复数据删除块大小：根据数据类型选择合适的块大小
– 调整重复数据删除内存使用：根据系统内存大小调整
– 启用压缩：与重复数据删除结合使用，进一步减少存储需求
– 优化备份策略：合理设置全备份和增量备份的频率
– 定期清理存储池：移除过期的备份数据

5.3 重复数据删除未来趋势

重复数据删除的未来趋势：

  • 云集成：与云存储深度集成，支持云环境的重复数据删除
  • AI优化：使用AI技术优化重复数据删除算法，提高效率
  • 边缘计算支持：支持边缘设备的重复数据删除
  • 实时重复数据删除：实现实时数据重复数据删除，减少存储开销
  • 混合云支持：支持混合云环境的重复数据删除
  • 安全增强：加强重复数据删除过程中的数据安全性
风哥提示：重复数据删除是NetBackup的重要功能，可以显著减少备份数据的存储空间和网络传输量。建议系统学习重复数据删除的原理和配置方法，结合实际项目经验，不断优化重复数据删除的效果和性能。更多视频教程www.fgedu.net.cn

持续学习：重复数据删除技术不断发展，NetBackup的重复数据删除功能也在不断增强。建议定期关注Veritas官方文档和技术博客，了解最新的重复数据删除技术和最佳实践。

本文由风哥教程整理发布,仅用于学习测试使用,转载注明出处:http://www.fgedu.net.cn/10327.html

相关推荐

联系我们

在线咨询：点击这里给我发消息

微信号：itpux-com

工作日：9:30-18:30，节假日休息