IT教程FG209-NBU备份系统与云存储集成

1. 云存储集成概述

NBU备份系统可以与各种云存储服务集成，利用云存储的弹性扩展能力和成本优势，实现更灵活的备份存储策略。更多学习教程www.fgedu.net.cn

1.1 云存储的优势

弹性扩展：根据需要自动扩展存储容量
成本优势：按需付费，避免过度投资
地理冗余：数据分布在多个区域，提高可靠性
易于管理：无需维护物理存储设备
灾备能力：利用云存储实现异地灾备

1.2 支持的云存储服务

Amazon S3
Microsoft Azure Blob Storage
Google Cloud Storage
IBM Cloud Object Storage
阿里云OSS
腾讯云COS

2. 与AWS S3集成

AWS S3是最常用的云存储服务之一，NBU可以通过多种方式与S3集成。

2.1 配置AWS S3存储

# 1. 创建S3存储桶
# 在AWS控制台创建存储桶：nbu-backup-bucket

# 2. 创建IAM用户并配置权限
# aws iam create-user –user-name nbu-s3-user
# aws iam attach-user-policy –user-name nbu-s3-user –policy-arn arn:aws:iam::aws:policy/AmazonS3FullAccess
# aws iam create-access-key –user-name nbu-s3-user

# 3. 配置NBU云存储服务器
# /usr/openv/netbackup/bin/admincmd/nbdevconfig -creatests -storage_server s3://nbu-backup-bucket -stype Cloud -media_server media_server1 -config “AccessKeyId=AKIAEXAMPLE;SecretAccessKey=EXAMPLEKEY;S3Region=us-west-2”

# 4. 创建磁盘池
# /usr/openv/netbackup/bin/admincmd/nbdevconfig -createdp -dp AWS_S3_DP -stype Cloud -storage_server s3://nbu-backup-bucket

# 5. 创建存储单元
# /usr/openv/netbackup/bin/admincmd/nbdevconfig -createstorageunit -storageunit AWS_S3_SU -media_server media_server1 -stype Cloud -dp AWS_S3_DP

# 6. 验证云存储配置
# /usr/openv/netbackup/bin/admincmd/nbdevquery -listdp -dp AWS_S3_DP -detail

Disk Pool: AWS_S3_DP
Storage Server: s3://nbu-backup-bucket
Media Server: media_server1
Total Capacity: 1000000 GB
Used Capacity: 0 GB
Free Capacity: 1000000 GB

2.2 配置S3存储类

# 配置S3存储类
# /usr/openv/netbackup/bin/admincmd/nbdevconfig -changedp -dp AWS_S3_DP -property CloudStorageClass=STANDARD_IA

# 查看存储类配置
# /usr/openv/netbackup/bin/admincmd/nbdevquery -listdp -dp AWS_S3_DP -detail | grep -i class
Cloud Storage Class: STANDARD_IA

# 配置S3生命周期规则
# 在AWS控制台为存储桶配置生命周期规则，例如：
# – 30天后移至GLACIER
# – 90天后永久删除

2.3 测试AWS S3集成

# 创建测试备份策略
# /usr/openv/netbackup/bin/admincmd/bppolicynew AWS_Test_Policy -type Standard

# 添加客户端和备份路径
# /usr/openv/netbackup/bin/admincmd/bpplclients AWS_Test_Policy -add -client client1
# /usr/openv/netbackup/bin/admincmd/bpplinclude AWS_Test_Policy -add -include /test/data

# 配置存储单元
# /usr/openv/netbackup/bin/admincmd/bpplmodify AWS_Test_Policy -storage_unit AWS_S3_SU

# 执行测试备份
# /usr/openv/netbackup/bin/admincmd/bpbackup -p AWS_Test_Policy -s Full -c client1 /test/data

# 检查备份作业
# /usr/openv/netbackup/bin/bpdbjobs -jobid 12350 -details
Job ID: 12350
Job Type: BACKUP
Policy: AWS_Test_Policy
Client: client1
State: EXIT STATUS 0
Status: the requested operation was successfully completed
Storage Unit: AWS_S3_SU

# 验证数据已上传到S3
# aws s3 ls s3://nbu-backup-bucket/

3. 与Azure Blob存储集成

Microsoft Azure Blob Storage是另一种常用的云存储服务，NBU可以与Azure Blob存储集成。

3.1 配置Azure Blob存储

# 1. 创建Azure存储账户和容器
# 在Azure门户创建存储账户：nbustorage
# 创建容器：nbu-backup-container

# 2. 获取存储账户访问密钥
# 在Azure门户获取存储账户的访问密钥

# 3. 配置NBU云存储服务器
# /usr/openv/netbackup/bin/admincmd/nbdevconfig -creatests -storage_server azure://nbustorage.blob.core.windows.net -stype Cloud -media_server media_server1 -config “StorageAccount=nbustorage;StorageKey=EXAMPLEKEY;Container=nbu-backup-container”

# 4. 创建磁盘池
# /usr/openv/netbackup/bin/admincmd/nbdevconfig -createdp -dp Azure_Blob_DP -stype Cloud -storage_server azure://nbustorage.blob.core.windows.net

# 5. 创建存储单元
# /usr/openv/netbackup/bin/admincmd/nbdevconfig -createstorageunit -storageunit Azure_Blob_SU -media_server media_server1 -stype Cloud -dp Azure_Blob_DP

# 6. 验证云存储配置
# /usr/openv/netbackup/bin/admincmd/nbdevquery -listdp -dp Azure_Blob_DP -detail

Disk Pool: Azure_Blob_DP
Storage Server: azure://nbustorage.blob.core.windows.net
Media Server: media_server1
Total Capacity: 1000000 GB
Used Capacity: 0 GB
Free Capacity: 1000000 GB

3.2 配置Azure存储层级

# 配置Azure存储层级
# /usr/openv/netbackup/bin/admincmd/nbdevconfig -changedp -dp Azure_Blob_DP -property CloudStorageClass=Cool

# 查看存储层级配置
# /usr/openv/netbackup/bin/admincmd/nbdevquery -listdp -dp Azure_Blob_DP -detail | grep -i class
Cloud Storage Class: Cool

# 配置Azure Blob生命周期管理
# 在Azure门户为存储容器配置生命周期规则，例如：
# – 30天后移至Archive
# – 90天后删除

3.3 测试Azure Blob集成

# 创建测试备份策略
# /usr/openv/netbackup/bin/admincmd/bppolicynew Azure_Test_Policy -type Standard

# 添加客户端和备份路径
# /usr/openv/netbackup/bin/admincmd/bpplclients Azure_Test_Policy -add -client client1
# /usr/openv/netbackup/bin/admincmd/bpplinclude Azure_Test_Policy -add -include /test/data

# 配置存储单元
# /usr/openv/netbackup/bin/admincmd/bpplmodify Azure_Test_Policy -storage_unit Azure_Blob_SU

# 执行测试备份
# /usr/openv/netbackup/bin/admincmd/bpbackup -p Azure_Test_Policy -s Full -c client1 /test/data

# 检查备份作业
# /usr/openv/netbackup/bin/bpdbjobs -jobid 12351 -details
Job ID: 12351
Job Type: BACKUP
Policy: Azure_Test_Policy
Client: client1
State: EXIT STATUS 0
Status: the requested operation was successfully completed
Storage Unit: Azure_Blob_SU

# 验证数据已上传到Azure Blob
# az storage blob list –account-name nbustorage –account-key EXAMPLEKEY –container-name nbu-backup-container

4. 与GCP存储集成

Google Cloud Storage是Google提供的云存储服务，NBU可以与GCP存储集成。

4.1 配置GCP存储

# 1. 创建GCP存储桶
# 在GCP控制台创建存储桶：nbu-backup-bucket

# 2. 创建服务账号并配置权限
# 在GCP控制台创建服务账号：nbu-storage-service-account
# 为服务账号添加Storage Admin角色
# 下载服务账号密钥文件：nbu-service-account-key.json

# 3. 配置NBU云存储服务器
# /usr/openv/netbackup/bin/admincmd/nbdevconfig -creatests -storage_server gs://nbu-backup-bucket -stype Cloud -media_server media_server1 -config “ServiceAccountKeyFile=/path/to/nbu-service-account-key.json”

# 4. 创建磁盘池
# /usr/openv/netbackup/bin/admincmd/nbdevconfig -createdp -dp GCP_Storage_DP -stype Cloud -storage_server gs://nbu-backup-bucket

# 5. 创建存储单元
# /usr/openv/netbackup/bin/admincmd/nbdevconfig -createstorageunit -storageunit GCP_Storage_SU -media_server media_server1 -stype Cloud -dp GCP_Storage_DP

# 6. 验证云存储配置
# /usr/openv/netbackup/bin/admincmd/nbdevquery -listdp -dp GCP_Storage_DP -detail

Disk Pool: GCP_Storage_DP
Storage Server: gs://nbu-backup-bucket
Media Server: media_server1
Total Capacity: 1000000 GB
Used Capacity: 0 GB
Free Capacity: 1000000 GB

4.2 配置GCP存储类

# 配置GCP存储类
# /usr/openv/netbackup/bin/admincmd/nbdevconfig -changedp -dp GCP_Storage_DP -property CloudStorageClass=COLDLINE

# 查看存储类配置
# /usr/openv/netbackup/bin/admincmd/nbdevquery -listdp -dp GCP_Storage_DP -detail | grep -i class
Cloud Storage Class: COLDLINE

# 配置GCP存储生命周期规则
# 在GCP控制台为存储桶配置生命周期规则，例如：
# – 30天后移至ARCHIVE
# – 90天后删除

4.3 测试GCP存储集成

# 创建测试备份策略
# /usr/openv/netbackup/bin/admincmd/bppolicynew GCP_Test_Policy -type Standard

# 添加客户端和备份路径
# /usr/openv/netbackup/bin/admincmd/bpplclients GCP_Test_Policy -add -client client1
# /usr/openv/netbackup/bin/admincmd/bpplinclude GCP_Test_Policy -add -include /test/data

# 配置存储单元
# /usr/openv/netbackup/bin/admincmd/bpplmodify GCP_Test_Policy -storage_unit GCP_Storage_SU

# 执行测试备份
# /usr/openv/netbackup/bin/admincmd/bpbackup -p GCP_Test_Policy -s Full -c client1 /test/data

# 检查备份作业
# /usr/openv/netbackup/bin/bpdbjobs -jobid 12352 -details
Job ID: 12352
Job Type: BACKUP
Policy: GCP_Test_Policy
Client: client1
State: EXIT STATUS 0
Status: the requested operation was successfully completed
Storage Unit: GCP_Storage_SU

# 验证数据已上传到GCP存储
# gsutil ls gs://nbu-backup-bucket/

5. 云存储生命周期管理

云存储生命周期管理可以根据数据的年龄和访问模式，自动将数据移动到不同的存储层级，优化存储成本。

5.1 配置存储生命周期策略

# 创建存储生命周期策略
# /usr/openv/netbackup/bin/admincmd/nbstl -create -lifecycle Cloud_Lifecycle -description “Cloud storage lifecycle”

# 添加存储层级
# 第一层：S3 Standard（热存储），保留30天
# /usr/openv/netbackup/bin/admincmd/nbstl -add -lifecycle Cloud_Lifecycle -storage_unit AWS_S3_SU -retention 30

# 第二层：S3 Glacier（冷存储），保留90天
# /usr/openv/netbackup/bin/admincmd/nbstl -add -lifecycle Cloud_Lifecycle -storage_unit AWS_S3_Glacier_SU -retention 90

# 应用存储生命周期策略
# /usr/openv/netbackup/bin/admincmd/bpplmodify Cloud_Policy -lifecycle Cloud_Lifecycle

# 查看存储生命周期策略
# /usr/openv/netbackup/bin/admincmd/nbstl -list -lifecycle Cloud_Lifecycle

5.2 配置云存储自动分层

# 配置云存储自动分层
# /usr/openv/netbackup/bin/admincmd/nbdevconfig -changedp -dp AWS_S3_DP -property CloudTiering=Yes

# 配置分层策略
# /usr/openv/netbackup/bin/admincmd/nbdevconfig -changedp -dp AWS_S3_DP -property CloudTieringPolicy=AUTO

# 查看分层配置
# /usr/openv/netbackup/bin/admincmd/nbdevquery -listdp -dp AWS_S3_DP -detail | grep -i tier
Cloud Tiering: Enabled
Cloud Tiering Policy: AUTO

5.3 监控云存储生命周期

# 监控存储生命周期作业
# /usr/openv/netbackup/bin/bpdbjobs -policy Cloud_Policy -type STORAGE_LIFECYCLE

# 查看存储层级使用情况
# /usr/openv/netbackup/bin/admincmd/nbdevquery -listdp -all -detail | grep -E “(Disk Pool|Used Capacity|Cloud Storage Class)”

# 监控云存储成本
# 使用云服务提供商的成本管理工具监控存储成本
# 例如，使用AWS Cost Explorer、Azure Cost Management或GCP Cost Management

6. 云存储集成最佳实践

以下是NBU与云存储集成的最佳实践：

6.1 安全性最佳实践

使用IAM角色或服务账号进行身份验证，避免硬编码访问密钥
启用传输加密，确保数据在传输过程中的安全
配置适当的访问控制策略，限制对云存储的访问
定期轮换访问密钥和凭证
启用云存储的版本控制，防止数据意外删除

6.2 性能最佳实践

# 配置并行备份流
# /usr/openv/netbackup/bin/admincmd/bpplclients Policy1 -add -client client1 -stream 4

# 配置存储单元并发度
# /usr/openv/netbackup/bin/admincmd/nbdevconfig -changestorageunit -storageunit AWS_S3_SU -max concurrent_jobs 10

# 启用数据压缩和去重
# /usr/openv/netbackup/bin/admincmd/nbdevconfig -changedp -dp AWS_S3_DP -property Compression=Yes
# /usr/openv/netbackup/bin/admincmd/nbdevconfig -changedp -dp AWS_S3_DP -property Deduplication=Yes

# 配置网络带宽
# /usr/openv/netbackup/bin/admincmd/nbsetconfig
Enter the following:
NET_BUFFER_SZ = 65536

6.3 成本优化最佳实践

使用适当的存储层级，根据数据访问频率选择合适的存储类
配置合理的存储生命周期策略，自动将数据移动到成本更低的存储层级
启用数据压缩和去重，减少存储容量需求
定期清理过期数据，避免不必要的存储成本
监控云存储使用情况，及时调整存储策略

6.4 可靠性最佳实践

# 配置多区域存储
# 在AWS S3中启用跨区域复制
# aws s3api put-bucket-replication –bucket nbu-backup-bucket –replication-configuration ‘{“Role”:”arn:aws:iam::123456789012:role/s3-replication-role”,”Rules”:[{“ID”:”rule1″,”Status”:”Enabled”,”Destination”:{“Bucket”:”arn:aws:s3:::nbu-backup-bucket-replica”}}]}’

# 配置数据验证
# /usr/openv/netbackup/bin/admincmd/bpverify -backupid client1_1234567890

# 定期测试恢复
# /usr/openv/netbackup/bin/admincmd/bprestore -C client1 -t 0 -R /restore/test/:/test/data/ /test/data/

# 监控云存储健康状态
# /usr/openv/netbackup/bin/admincmd/nbdevquery -listdp -dp AWS_S3_DP -detail | grep -i status
Status: UP

生产环境风哥建议：在与云存储集成时，一定要考虑安全性、性能、成本和可靠性等因素，选择合适的云存储服务和配置方案。

风哥风哥提示：云存储集成是一个持续优化的过程，需要根据业务需求和云服务提供商的最新特性，不断调整和完善集成方案。

本文由风哥教程整理发布,仅用于学习测试使用,转载注明出处:http://www.fgedu.net.cn/10327.html