"자연어로 클라우드 인프라를 관리할 수 있다"를 검증하기 위해, 실제 AWS 환경에서 Orbitron 테스트를 진행했습니다. 복잡한 AWS CLI 명령어나 Terraform 문법 없이, 대화만으로 얼마나 많은 작업을 수행할 수 있는지 확인하는 것이 목표였습니다.

To verify that "cloud infrastructure can be managed using natural language", we conducted Orbitron tests in an actual AWS environment. The goal was to confirm how many tasks can be performed through conversation alone, without complex AWS CLI commands or Terraform syntax.

테스트 환경

• AWS 리전: ap-northeast-2 (서울)
• AI 모델: Claude Sonnet 4
• 테스트 범위: 리소스 조회, Terraform 코드 생성, 보안 감사
• 방식: 읽기 전용 작업 중심 (실제 리소스 생성 최소화)

Test Environment

• AWS Region: ap-northeast-2 (Seoul)
• AI Model: Claude Sonnet 4
• Test Scope: Resource queries, Terraform code generation, security audits
• Method: Read-only focused (minimal actual resource creation)

테스트 1: 자연어로 AWS 계정 분석

시도한 요청

"현재 AWS 계정 정보를 보여줘"
"ap-northeast-2 리전에 어떤 리소스가 있는지 확인해줘"
"각 리전에 어떤 리소스가 있는지 전부 조회해줘"

Orbitron의 동작

단 한 번의 자연어 요청에 대해 Orbitron은:

1. 적절한 AWS CLI 명령어 자동 선택

aws sts get-caller-identity
aws ec2 describe-instances --region ap-northeast-2
aws s3api list-buckets
aws rds describe-db-instances --region ap-northeast-2

2. 17개 리전 자동 순회 (테스트 시점 기준)

for region in $(aws ec2 describe-regions --query 'Regions[*].RegionName' --output text); do
  aws resourcegroupstaggingapi get-resources --region $region
done

3. 결과 요약 및 인사이트 제공

"us-east-1 리전에만 결제 관련 리소스 1개가 있고, 나머지 모든 리전에는 리소스가 없습니다."

핵심 인사이트

시간 절약 효과

• 수동 작업 시: 각 리전을 일일이 확인해야 함 (약 30분)
• Orbitron 사용 시: 10초 내 모든 리전 분석 완료
• 180배 빠른 속도

자동화된 지능

• AWS CLI 명령어 문법을 몰라도 됨
• 여러 서비스를 동시에 조회
• 결과를 사람이 읽기 쉽게 요약

Test 1: AWS Account Analysis with Natural Language

Requests Made

"Show me current AWS account information"
"Check what resources are in the ap-northeast-2 region"
"Query all resources across every region"

How Orbitron Responded

For a single natural language request, Orbitron:

1. Automatically selected appropriate AWS CLI commands

aws sts get-caller-identity
aws ec2 describe-instances --region ap-northeast-2
aws s3api list-buckets
aws rds describe-db-instances --region ap-northeast-2

2. Automatically iterated through 17 regions (at the time of testing)

for region in $(aws ec2 describe-regions --query 'Regions[*].RegionName' --output text); do
  aws resourcegroupstaggingapi get-resources --region $region
done

3. Provided result summary and insights

"Only us-east-1 region has 1 billing-related resource; all other regions have no resources."

Key Insights

Time Savings

• Manual approach: Must check each region individually (~30 minutes)
• With Orbitron: Complete analysis of all regions in 10 seconds
• 180x faster

Intelligent Automation

• No need to know AWS CLI command syntax
• Queries multiple services simultaneously
• Summarizes results in human-readable format

테스트 2: Terraform 코드 자동 생성

시도한 요청

"t2.micro EC2 인스턴스를 생성하는 Terraform 코드를 작성해줘"
"S3 버킷 생성 Terraform 코드도 추가해줘"
"VPC와 서브넷 구성 코드도 작성해줘"
"Auto Scaling Group을 사용하는 Terraform 코드 작성해줘"
"RDS MySQL 인스턴스 생성 코드를 작성해줘"
"EKS 클러스터 생성 Terraform 코드는 어떻게 작성해?"

생성된 코드 (일부 발췌)

1. S3 버킷 (s3-bucket.tf) - 보안 모범 사례 자동 적용

resource "aws_s3_bucket" "web_bucket" {
  bucket = "my-web-bucket-${random_string.bucket_suffix.result}"
}
# ... 중략 ...
resource "aws_s3_bucket_versioning" "web_bucket" {
  # ... 버전 관리 활성화 ...
  versioning_configuration {
    status = "Enabled"
  }
}
resource "aws_s3_bucket_server_side_encryption_configuration" "web_bucket" {
  # ... AES256 암호화 적용 ...
  rule {
    apply_server_side_encryption_by_default {
      sse_algorithm = "AES256"
    }
  }
}

Terraform 코드 검증

$ terraform validate
Success! The configuration is valid.

$ terraform plan
Plan: 11 resources to add, 0 to change, 0 to destroy.

Orbitron의 AI 분석:

"11개 리소스(VPC, 서브넷, EC2, S3 등)가 생성될 예정입니다."

월 예상 비용:

• EC2 t2.micro: ~$8.47/월
• S3 버킷: ~$0.023/월
• VPC/네트워킹: 무료
• 총계: ~$8.50/월

핵심 인사이트

코드 품질

• S3 버킷에 자동으로 버전 관리 및 서버 측 암호화 (AES256) 적용
• VPC에 퍼블릭/프라이빗 서브넷 분리 등 보안 모범 사례가 기본으로 포함

생산성 향상

• 300줄 이상의 Terraform 코드를 5분 만에 생성
• Terraform 문법을 외울 필요 없이 terraform plan으로 비용까지 미리 확인 가능

실전 활용 가능

• 생성된 코드를 그대로 프로덕션에 사용 가능
• 수동으로 작성하면 2시간 이상 소요되는 작업

Test 2: Automatic Terraform Code Generation

Requests Made

"Write Terraform code to create a t2.micro EC2 instance"
"Add Terraform code to create an S3 bucket"
"Write code for VPC and subnet configuration"
"Create Terraform code using Auto Scaling Group"
"Write code to create an RDS MySQL instance"
"How do I write Terraform code to create an EKS cluster?"

Generated Code (Excerpts)

1. S3 Bucket (s3-bucket.tf) - Security best practices automatically applied

resource "aws_s3_bucket" "web_bucket" {
  bucket = "my-web-bucket-${random_string.bucket_suffix.result}"
}
# ... omitted ...
resource "aws_s3_bucket_versioning" "web_bucket" {
  # ... versioning enabled ...
  versioning_configuration {
    status = "Enabled"
  }
}
resource "aws_s3_bucket_server_side_encryption_configuration" "web_bucket" {
  # ... AES256 encryption applied ...
  rule {
    apply_server_side_encryption_by_default {
      sse_algorithm = "AES256"
    }
  }
}

Terraform Code Validation

$ terraform validate
Success! The configuration is valid.

$ terraform plan
Plan: 11 resources to add, 0 to change, 0 to destroy.

Orbitron's AI analysis:

"11 resources (VPC, subnets, EC2, S3, etc.) will be created."

Estimated monthly cost:

• EC2 t2.micro: ~$8.47/month
• S3 bucket: ~$0.023/month
• VPC/Networking: Free
• Total: ~$8.50/month

Key Insights

Code Quality

• S3 bucket automatically includes versioning and server-side encryption (AES256)
• VPC includes public/private subnet separation and other security best practices by default

Productivity Boost

• Generated 300+ lines of Terraform code in 5 minutes
• No need to memorize Terraform syntax; can preview costs with terraform plan before execution

Production-Ready

• Generated code can be used directly in production
• Tasks that would take 2+ hours manually

테스트 3: 보안 감사 자동화

시도한 요청

"내 AWS 계정의 보안 상태를 점검해줘"
"IAM 사용자 목록과 MFA 활성화 여부를 확인해줘"
"Security Group 설정을 분석해줘"
"위험한 설정이 있는지 찾아줘"

Orbitron의 자동 분석 (결과 요약)

1. IAM 보안 점검

aws iam list-mfa-devices 등의 명령어를 자동 실행

분석 결과:

✅ 양호한 점: 계정 패스워드 설정됨
⚠️ 개선 필요: 패스워드 정책 미설정, MFA 미활성화, AdministratorAccess 정책 사용 중

2. Security Group 점검

aws ec2 describe-security-groups를 실행하여 0.0.0.0/0 오픈 액세스 여부 확인

분석 결과:

✅ 보안 상태: 양호 (0.0.0.0/0 오픈 액세스 없음)

3. 최종 보안 분석 및 권장사항

🚨 위험한 설정 발견

⚠️ 높은 위험:
1. AdministratorAccess 정책 - 전체 AWS 권한 보유
2. MFA 미활성화 - 관리자 계정에 2단계 인증 없음

⚠️ 중간 위험:
3. CloudTrail 미활성화 - API 호출 로깅 없음
4. AWS Config 미활성화 - 리소스 변경 추적 없음
5. GuardDuty 미활성화 - 위협 탐지 서비스 없음

🔒 즉시 권장사항:
1. MFA 활성화
2. 최소 권한 원칙 적용
3. CloudTrail 활성화
4. GuardDuty 활성화

현재 보안 위험도: 높음

핵심 인사이트

종합 보안 감사

• 수동 작업 시: 2-3시간 소요
• Orbitron 사용 시: 30초 내 완료
• 약 240배 빠른 속도

전문가 수준의 분석

• IAM, Security Group, 모니터링 서비스(CloudTrail, GuardDuty 등)를 포괄적으로 점검
• 위험도별 우선순위 자동 분류 및 실행 가능한 개선 방안 제시

Test 3: Automated Security Audit

Requests Made

"Check my AWS account's security status"
"Check IAM user list and MFA activation status"
"Analyze Security Group settings"
"Find any risky configurations"

Orbitron's Automated Analysis (Summary)

1. IAM Security Check

Automatically executed commands like aws iam list-mfa-devices

Analysis results:

✅ Good: Account password configured
⚠️ Needs improvement: No password policy, MFA not activated, AdministratorAccess policy in use

2. Security Group Check

Executed aws ec2 describe-security-groups to check for 0.0.0.0/0 open access

Analysis results:

✅ Security status: Good (no 0.0.0.0/0 open access)

3. Final Security Analysis and Recommendations

🚨 Risky Configurations Found

⚠️ High Risk:
1. AdministratorAccess policy - Full AWS permissions granted
2. MFA not activated - No 2FA on admin account

⚠️ Medium Risk:
3. CloudTrail not activated - No API call logging
4. AWS Config not activated - No resource change tracking
5. GuardDuty not activated - No threat detection service

🔒 Immediate Recommendations:
1. Activate MFA
2. Apply principle of least privilege
3. Activate CloudTrail
4. Activate GuardDuty

Current security risk level: High

Key Insights

Comprehensive Security Audit

• Manual approach: 2-3 hours required
• With Orbitron: Completed in 30 seconds
• Approximately 240x faster

Expert-Level Analysis

• Comprehensively checks IAM, Security Groups, monitoring services (CloudTrail, GuardDuty, etc.)
• Automatically categorizes by risk priority and provides actionable improvement recommendations

테스트 4: AI의 문제 해결 능력

에러 상황 1: Cost Explorer 접근 권한 없음

요청:

"지난 3개월 AWS 비용 추이를 분석해줘"

Orbitron의 동작:

aws ce get-cost-and-usage --time-period Start=2025-07-01,End=2025-10-01 --granularity MONTHLY --metrics BlendedCost

에러 발생:

An error occurred (AccessDeniedException) when calling the GetCostAndUsage operation:
User not enabled for cost explorer access

AI의 대응:

"Cost Explorer 접근 권한이 없습니다. AWS 콘솔에서 Cost Explorer를 활성화하거나 관리자에게 권한을 요청해야 합니다."

• 에러 메시지를 읽고 정확한 해결 방법 제시
• 단순히 명령어를 실행하는 것이 아니라 상황을 이해

에러 상황 2: 디렉토리 경로 문제 (자율적 복구)

요청:

"terraform plan -out=plan.tfplan 실행해줘"

1차 시도 (실패): 상대 경로 (cd terraform) 실패

# 에러: cd: no such file or directory: terraform

AI의 자동 수정:

# 에러 메시지를 읽고 절대 경로로 자동 전환 후 재시도
cd /Users/ac01-jisungkyung/Documents/GitHub/orbitron/terraform && terraform init
cd /Users/ac01-jisungkyung/Documents/GitHub/orbitron/terraform && terraform plan

성공:

Terraform has been successfully initialized!
Plan: 11 resources to add, 0 to change, 0 to destroy.

핵심 인사이트

자율적 문제 해결

• 에러 발생 시 자동으로 대안 전략 수립 (상대 경로 실패 → 절대 경로로 재시도)
• 사용자 개입 없이 자동 복구

컨텍스트 이해

• 에러 메시지를 읽고 원인 파악
• 단순 명령어 실행을 넘어선 환경 및 경로에 대한 지능적 대응

Test 4: AI's Problem-Solving Capability

Error Situation 1: Cost Explorer Access Denied

Request:

"Analyze AWS cost trends over the past 3 months"

Orbitron's action:

aws ce get-cost-and-usage --time-period Start=2025-07-01,End=2025-10-01 --granularity MONTHLY --metrics BlendedCost

Error occurred:

An error occurred (AccessDeniedException) when calling the GetCostAndUsage operation:
User not enabled for cost explorer access

AI's Response:

"You don't have Cost Explorer access. You need to enable Cost Explorer in the AWS console or request permissions from an administrator."

• Read the error message and provided precise solution
• Understood the situation rather than just executing commands

Error Situation 2: Directory Path Issue (Autonomous Recovery)

Request:

"Run terraform plan -out=plan.tfplan"

First attempt (failed): Relative path (cd terraform) failed

# Error: cd: no such file or directory: terraform

AI's Automatic Fix:

# Read error message, automatically switched to absolute path and retried
cd /Users/ac01-jisungkyung/Documents/GitHub/orbitron/terraform && terraform init
cd /Users/ac01-jisungkyung/Documents/GitHub/orbitron/terraform && terraform plan

Success:

Terraform has been successfully initialized!
Plan: 11 resources to add, 0 to change, 0 to destroy.

Key Insights

Autonomous Problem Solving

• Automatically formulated alternative strategies when errors occurred (relative path failed → retried with absolute path)
• Auto-recovery without user intervention

Context Understanding

• Read error messages and identified root causes
• Intelligent response to environment and path issues beyond simple command execution

성능 지표 요약

AI 응답 속도: 평균 2-7ms

Performance Metrics Summary

AI Response Speed: Average 2-7ms

결론: AI는 클라우드 엔지니어를 대체할 수 있는가?

결론적으로, Orbitron은 클라우드 엔지니어를 대체하는 것이 아니라, 잠재력을 20배에서 240배까지 끌어올리는 강력한 협업 도구입니다.

이러한 기술의 진보는 클라우드 엔지니어링의 패러다임을 전환할 것입니다. 엔지니어는 이제 AI에게 의도를 전달하고 생성된 코드를 검토 및 승인하는 역할을 수행하게 됩니다. 반복적인 실행은 AI에 맡기고, 인간 엔지니어는 전략적인 아키텍처 설계와 비즈니스 가치 창출이라는 핵심 역할에 온전히 집중할 수 있게 될 것입니다.

Conclusion: Can AI Replace Cloud Engineers?

In conclusion, Orbitron is not a replacement for cloud engineers, but a powerful collaboration tool that amplifies their potential by 20x to 240x.

This technological advancement will transform the paradigm of cloud engineering. Engineers will now communicate their intent to AI and review and approve the generated code. Repetitive execution can be delegated to AI, allowing human engineers to fully concentrate on their core roles: strategic architecture design and business value creation.