## 1. 环境准备
– 安装操作系统：CentOS 7.9
– 配置网络：确保网络连接畅通
– 安装依赖：
$ yum install -y epel-release
$ yum install -y python3 python3-pip ansible jenkins nginx mysql-server

## 2. 数据库配置
– 启动MySQL服务：
$ systemctl start mysqld
$ systemctl enable mysqld

– 创建数据库：
$ mysql -u root -p，学习交流加群风哥QQ113257174。
CREATE DATABASE batch_ops_platform;
CREATE USER ‘batch_ops’@’localhost’ IDENTIFIED BY ‘password’;
GRANT ALL PRIVILEGES ON batch_ops_platform.* TO ‘batch_ops’@’localhost’;
FLUSH PRIVILEGES;

## 3. Jenkins配置
– 启动Jenkins服务：
$ systemctl start jenkins
$ systemctl enable jenkins

– 访问Jenkins：
– 浏览器访问：http://服务器IP:8080
– 输入初始密码：cat /var/lib/jenkins/secrets/initialAdminPassword
– 安装推荐插件
– 创建管理员用户

## 4. Ansible配置
– 配置Ansible主机清单：
$ cat > /etc/ansible/hosts << 'EOF' [oceanbase_servers] 192.168.1.10 ansible_ssh_user=root ansible_ssh_pass=password 192.168.1.11 ansible_ssh_user=root ansible_ssh_pass=password 192.168.1.12 ansible_ssh_user=root ansible_ssh_pass=password EOF - 测试Ansible连接： $ ansible oceanbase_servers -m ping ## 5. 平台集成 - 安装Jenkins Ansible插件： - 登录Jenkins - 管理 Jenkins → 插件管理 → 可用插件 → 搜索 Ansible → 安装 - 配置Jenkins任务： - 新建任务 → 自由风格项目 - 配置任务名称：OceanBase批量巡检 - 配置构建步骤：执行Ansible playbook - 配置playbook路径：/ob/ansible/playbooks/daily_check.yml ## 6. Web界面配置，更多视频教程www.fgedu.net.cn。 - 安装Nginx： $ yum install -y nginx $ systemctl start nginx $ systemctl enable nginx - 配置Nginx： $ cat > /etc/nginx/conf.d/batch_ops.conf << 'EOF' server { listen 80; server_name batch-ops.fgedu.net.cn; location / { proxy_pass http://localhost:8080; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; } } EOF - 重启Nginx： $ systemctl restart nginx ## 7. 测试验证 - 执行测试任务： - 登录Jenkins - 运行 OceanBase批量巡检 任务 - 查看执行结果 - 验证平台功能： - 测试批量执行命令 - 测试任务调度 - 测试结果反馈

## 1. 任务配置
– 创建Ansible playbook：
$ mkdir -p /ob/ansible/playbooks
$ cat > /ob/ansible/playbooks/daily_check.yml << 'EOF' --- - name: OceanBase日常巡检 hosts: oceanbase_servers gather_facts: yes tasks: - name: 检查系统状态 shell: | echo "=== 系统状态检查 ===" echo "CPU使用率：" top -bn1 | grep "Cpu(s)" | sed "s/.*, *\([0-9.]*\)%* id.*/\1/" | awk '{print 100 - $1"%"}' echo "内存使用率：" free -m | awk 'NR==2{printf "%.2f%%", $3*100/$2}' echo "磁盘使用率：" df -h | grep -E "^/dev/" register: system_status - name: 检查OceanBase状态 shell: | echo "=== OceanBase状态检查 ===" obclient -h{{ inventory_hostname }} -P2881 -uroot@sys -p -e "SELECT * FROM oceanbase.__all_server;" register: ob_status - name: 输出检查结果 debug: msg:，from DB视频:www.itpux.com。 - "系统状态：{{ system_status.stdout }}" - "OceanBase状态：{{ ob_status.stdout }}" EOF ## 2. 调度配置 - 配置Jenkins定时任务： - 登录Jenkins - 进入 OceanBase批量巡检 任务 - 配置 → 构建触发器 → 定时构建 - 设置定时表达式：0 * * * *（每小时执行一次） ## 3. 监控配置 - 安装Prometheus和Grafana： $ wget https://github.com/prometheus/prometheus/releases/download/v2.40.0/prometheus-2.40.0.linux-amd64.tar.gz $ tar -xzf prometheus-2.40.0.linux-amd64.tar.gz $ mv prometheus-2.40.0.linux-amd64 /ob/prometheus $ wget https://github.com/grafana/grafana/releases/download/v9.3.6/grafana-9.3.6.linux-amd64.tar.gz $ tar -xzf grafana-9.3.6.linux-amd64.tar.gz $ mv grafana-9.3.6.linux-amd64 /ob/grafana - 配置Prometheus监控Jenkins： $ cat > /ob/prometheus/prometheus.yml << 'EOF' global: scrape_interval: 15s scrape_configs: - job_name: 'jenkins' metrics_path: '/prometheus' static_configs: - targets: ['localhost:8080'] EOF - 启动监控服务： $ /ob/prometheus/prometheus --config.file=/ob/prometheus/prometheus.yml & $ /ob/grafana/bin/grafana-server --homepath=/ob/grafana & ## 4. 权限管理 - 配置Jenkins用户权限： - 登录Jenkins - 管理 Jenkins → 管理用户 → 创建用户 - 管理 Jenkins → 全局安全配置 → 授权策略 → 基于矩阵的安全策略 - 为用户分配适当的权限 - 配置Ansible权限： - 配置SSH密钥认证： $ ssh-keygen -t rsa $ ssh-copy-id root@192.168.1.10 $ ssh-copy-id root@192.168.1.11 $ ssh-copy-id root@192.168.1.12 ## 5. 日志管理 - 配置Jenkins日志： - 编辑 /etc/sysconfig/jenkins - 设置 JENKINS_LOG=/var/log/jenkins/jenkins.log - 配置Ansible日志： - 编辑 /etc/ansible/ansible.cfg - 设置 log_path = /var/log/ansible.log - 配置平台日志轮转： $ cat > /etc/logrotate.d/batch_ops << 'EOF' /var/log/jenkins/jenkins.log /var/log/ansible.log { daily rotate 7 compress delaycompress missingok postrotate systemctl restart jenkins endscript } EOF

## 1. 与监控系统集成
– 集成Prometheus：
– 配置Prometheus监控平台和集群
– 在Grafana中创建监控仪表盘
– 配置告警规则

– 集成Zabbix：
– 安装Zabbix Agent
– 配置Zabbix监控项
– 配置Zabbix告警

## 2. 与CMDB集成
– 集成CMDB系统：
– 通过API获取主机信息
– 自动更新Ansible主机清单
– 实现主机管理的自动化

## 3. 与工单系统集成
– 集成工单系统：
– 通过API创建工单
– 自动执行工单任务
– 反馈执行结果到工单系统

## 4. 平台扩展
– 开发自定义插件：
– 开发Jenkins插件
– 开发Ansible模块
– 开发Web界面插件

– 扩展平台功能：
– 添加批量部署功能
– 添加批量配置管理功能
– 添加批量性能优化功能

– 扩展平台容量：
– 增加平台服务器资源
– 优化平台架构
– 实现负载均衡

## 案例背景
– 生产环境：10节点OceanBase集群
– 业务类型：金融核心业务
– 需求：搭建批量运维平台，实现集群的批量管理和操作

## 实施步骤

### 1. 环境准备
– 平台服务器：CentOS 7.9，4核8G内存，100GB磁盘
– 网络配置：确保平台服务器与所有OceanBase节点的网络连接畅通
– 依赖安装：
$ yum install -y epel-release
$ yum install -y python3 python3-pip ansible jenkins nginx mysql-server

### 2. 数据库配置
– 启动MySQL服务：
$ systemctl start mysqld
$ systemctl enable mysqld

– 创建数据库：
$ mysql -u root -p
CREATE DATABASE batch_ops_platform;
CREATE USER ‘batch_ops’@’localhost’ IDENTIFIED BY ‘password’;
GRANT ALL PRIVILEGES ON batch_ops_platform.* TO ‘batch_ops’@’localhost’;
FLUSH PRIVILEGES;

### 3. Jenkins配置
– 启动Jenkins服务：
$ systemctl start jenkins
$ systemctl enable jenkins

– 访问Jenkins：
– 浏览器访问：http://192.168.1.20:8080
– 输入初始密码：cat /var/lib/jenkins/secrets/initialAdminPassword
– 安装推荐插件
– 创建管理员用户

### 4. Ansible配置
– 配置Ansible主机清单：
$ cat > /etc/ansible/hosts << 'EOF' [oceanbase_servers] 192.168.1.10 ansible_ssh_user=root ansible_ssh_pass=password 192.168.1.11 ansible_ssh_user=root ansible_ssh_pass=password 192.168.1.12 ansible_ssh_user=root ansible_ssh_pass=password 192.168.1.13 ansible_ssh_user=root ansible_ssh_pass=password 192.168.1.14 ansible_ssh_user=root ansible_ssh_pass=password 192.168.1.15 ansible_ssh_user=root ansible_ssh_pass=password 192.168.1.16 ansible_ssh_user=root ansible_ssh_pass=password 192.168.1.17 ansible_ssh_user=root ansible_ssh_pass=password 192.168.1.18 ansible_ssh_user=root ansible_ssh_pass=password 192.168.1.19 ansible_ssh_user=root ansible_ssh_pass=password EOF - 测试Ansible连接： $ ansible oceanbase_servers -m ping ### 5. 平台集成 - 安装Jenkins Ansible插件： - 登录Jenkins - 管理 Jenkins → 插件管理 → 可用插件 → 搜索 Ansible → 安装 - 配置Jenkins任务： - 新建任务 → 自由风格项目 - 配置任务名称：OceanBase批量巡检 - 配置构建步骤：执行Ansible playbook - 配置playbook路径：/ob/ansible/playbooks/daily_check.yml ### 6. Web界面配置 - 安装Nginx： $ yum install -y nginx $ systemctl start nginx $ systemctl enable nginx - 配置Nginx： $ cat > /etc/nginx/conf.d/batch_ops.conf << 'EOF' server { listen 80; server_name batch-ops.fgedu.net.cn; location / { proxy_pass http://localhost:8080; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; } } EOF - 重启Nginx： $ systemctl restart nginx ### 7. 测试验证 - 执行测试任务： - 登录Jenkins - 运行 OceanBase批量巡检 任务 - 查看执行结果 - 验证平台功能： - 测试批量执行命令 - 测试任务调度 - 测试结果反馈 ## 案例总结 - 成功搭建了批量运维平台，实现了对10节点OceanBase集群的批量管理 - 平台能够批量执行巡检、配置管理等操作，提高了运维效率 - 平台集成了Jenkins和Ansible，实现了任务的自动化调度和执行 - 平台提供了Web界面，便于用户操作和管理

## 案例背景
– 生产环境：10节点OceanBase集群
– 业务类型：金融核心业务
– 需求：使用批量运维平台执行日常巡检和配置管理

## 实施步骤

### 1. 日常巡检
– 创建巡检playbook：
$ cat > /ob/ansible/playbooks/daily_check.yml << 'EOF' --- - name: OceanBase日常巡检 hosts: oceanbase_servers gather_facts: yes tasks: - name: 检查系统状态 shell: | echo "=== 系统状态检查 ===" echo "CPU使用率：" top -bn1 | grep "Cpu(s)" | sed "s/.*, *\([0-9.]*\)%* id.*/\1/" | awk '{print 100 - $1"%"}' echo "内存使用率：" free -m | awk 'NR==2{printf "%.2f%%", $3*100/$2}' echo "磁盘使用率：" df -h | grep -E "^/dev/" register: system_status - name: 检查OceanBase状态 shell: | echo "=== OceanBase状态检查 ===" obclient -h{{ inventory_hostname }} -P2881 -uroot@sys -p -e "SELECT * FROM oceanbase.__all_server;" register: ob_status - name: 输出检查结果 debug: msg: - "系统状态：{{ system_status.stdout }}" - "OceanBase状态：{{ ob_status.stdout }}" EOF - 配置Jenkins任务： - 新建任务 → 自由风格项目 - 配置任务名称：OceanBase日常巡检 - 配置构建触发器 → 定时构建：0 * * * * - 配置构建步骤 → 执行Ansible playbook：/ob/ansible/playbooks/daily_check.yml - 执行巡检任务： - 登录Jenkins - 运行 OceanBase日常巡检 任务 - 查看执行结果 ### 2. 配置管理 - 创建配置管理playbook： $ cat > /ob/ansible/playbooks/config_management.yml << 'EOF' --- - name: OceanBase配置管理 hosts: oceanbase_servers gather_facts: yes tasks: - name: 备份当前配置 shell: | mkdir -p /ob/backup/config obclient -h{{ inventory_hostname }} -P2881 -uroot@sys -p -e "SHOW PARAMETERS;" > /ob/backup/config/{{ inventory_hostname }}_params_{{ ansible_date_time.date }}.txt

– name: 修改参数配置
shell: |
obclient -h{{ inventory_hostname }} -P2881 -uroot@sys -p -e “ALTER SYSTEM SET memory_limit_percentage = 80 TENANT ‘sys’;”
obclient -h{{ inventory_hostname }} -P2881 -uroot@sys -p -e “ALTER SYSTEM SET log_disk_size = ‘100G’ TENANT ‘sys’;”

– name: 验证配置修改
shell: |
obclient -h{{ inventory_hostname }} -P2881 -uroot@sys -p -e “SHOW PARAMETERS WHERE name IN (‘memory_limit_percentage’, ‘log_disk_size’);”
register: config_status

– name: 输出配置结果
debug:
msg: “配置状态：{{ config_status.stdout }}”
EOF

– 配置Jenkins任务：
– 新建任务 → 自由风格项目
– 配置任务名称：OceanBase配置管理
– 配置构建步骤 → 执行Ansible playbook：/ob/ansible/playbooks/config_management.yml

– 执行配置管理任务：
– 登录Jenkins
– 运行 OceanBase配置管理 任务
– 查看执行结果

### 3. 批量部署
– 创建批量部署playbook：
$ cat > /ob/ansible/playbooks/deploy.yml << 'EOF' --- - name: OceanBase批量部署 hosts: oceanbase_servers gather_facts: yes tasks: - name: 复制安装包 copy: src: /ob/install/oceanbase-4.2.1.0.tar.gz dest: /ob/install/ - name: 解压安装包 shell: | cd /ob/install tar -xzf oceanbase-4.2.1.0.tar.gz - name: 执行安装 shell: | cd /ob/install/oceanbase-4.2.1.0 ./install.sh - name: 启动服务 shell: | systemctl start oceanbase systemctl enable oceanbase - name: 验证部署 shell: | obclient -h{{ inventory_hostname }} -P2881 -uroot@sys -p -e "SELECT version();" register: deploy_status - name: 输出部署结果 debug: msg: "部署状态：{{ deploy_status.stdout }}" EOF - 配置Jenkins任务： - 新建任务 → 自由风格项目 - 配置任务名称：OceanBase批量部署 - 配置构建步骤 → 执行Ansible playbook：/ob/ansible/playbooks/deploy.yml - 执行批量部署任务： - 登录Jenkins - 运行 OceanBase批量部署 任务 - 查看执行结果 ## 案例总结 - 成功使用批量运维平台执行日常巡检、配置管理和批量部署任务 - 平台能够批量执行操作，提高了运维效率 - 平台提供了详细的执行结果，便于分析和排查问题 - 平台的定时任务功能确保了日常巡检的及时性

## 案例背景
– 生产环境：20节点OceanBase集群
– 业务类型：电商业务
– 问题：批量运维平台执行速度慢，资源利用率低

## 实施步骤

### 1. 性能分析
– 分析平台性能瓶颈：
– 任务执行速度慢：单个任务执行时间超过30分钟
– 资源利用率低：CPU使用率仅为20%
– 并行执行能力差：只能串行执行任务

### 2. 优化措施
– 硬件优化：
– 增加平台服务器资源：升级到8核16G内存
– 增加磁盘空间：扩容到200GB
– 优化网络配置：增加网络带宽

– 软件优化：
– 优化Ansible配置：
– 编辑 /etc/ansible/ansible.cfg
– 设置 fork = 10（并行执行10个任务）
– 设置 timeout = 30

– 优化Jenkins配置：
– 编辑 /etc/sysconfig/jenkins
– 设置 JENKINS_JAVA_OPTIONS=”-Xmx8g -Xms4g”

– 优化playbook：
– 使用异步执行：
$ cat > /ob/ansible/playbooks/async_check.yml << 'EOF' --- - name: 异步执行巡检 hosts: oceanbase_servers gather_facts: yes tasks: - name: 检查系统状态 shell: | echo "=== 系统状态检查 ===" echo "CPU使用率：" top -bn1 | grep "Cpu(s)" | sed "s/.*, *\([0-9.]*\)%* id.*/\1/" | awk '{print 100 - $1"%"}' echo "内存使用率：" free -m | awk 'NR==2{printf "%.2f%%", $3*100/$2}' echo "磁盘使用率：" df -h | grep -E "^/dev/" async: 300 poll: 0 register: system_status - name: 检查OceanBase状态 shell: | echo "=== OceanBase状态检查 ===" obclient -h{{ inventory_hostname }} -P2881 -uroot@sys -p -e "SELECT * FROM oceanbase.__all_server;" async: 300 poll: 0 register: ob_status - name: 等待任务完成 async_status: jid: "{{ item.ansible_job_id }}" register: job_result until: job_result.finished retries: 30 with_items: - "{{ system_status }}" - "{{ ob_status }}" - name: 输出检查结果 debug: msg: - "系统状态：{{ system_status.stdout }}" - "OceanBase状态：{{ ob_status.stdout }}" EOF ### 3. 优化效果 - 任务执行速度：从30分钟减少到5分钟 - 资源利用率：CPU使用率提高到60% - 并行执行能力：支持10个任务并行执行 - 系统响应速度：平台响应时间从5秒减少到1秒 ### 4. 监控优化 - 部署Prometheus和Grafana监控平台性能 - 配置平台性能告警，当性能异常时触发告警 - 建立平台性能基线，便于性能分析和优化 ## 案例总结 - 成功优化了批量运维平台的性能，提高了执行速度和资源利用率 - 采用了多种优化措施，包括硬件升级、软件配置优化和playbook优化 - 优化效果明显，满足了大规模集群的批量运维需求 - 建立了平台性能监控体系，便于后续的性能分析和优化