ACT (Action Chunking with Transformers)

ACT는 복잡한 로봇 조작 작업을 위한 혁신적인 모방 학습 알고리즘입니다. 단 10분의 인간 시연만으로 80-90%의 성공률을 달성할 수 있습니다.

개요

ACT는 Stanford에서 개발한 알고리즘으로, 다음과 같은 핵심 혁신을 통해 정밀한 로봇 조작을 가능하게 합니다:

핵심 개념

Action Chunking

전통적인 방법이 한 번에 하나의 액션만 예측하는 것과 달리, ACT는 미래의 k개 액션을 한 번에 예측합니다.

Temporal Ensembling

부드러운 로봇 동작을 위해 겹치는 액션 청크들을 가중 평균합니다.

실습 영상

실습 영상을 함께 같이 보면서 같이 진행해 보세요!

프로세스

1. 데이터셋 준비

2. 학습

export TASK_NAME="pick_and_place"
export HF_USER="Your_HuggingFace_Account"

# ACT 모델 학습 기본 설정
lerobot-train \
  --dataset.repo_id=${HF_USER}/${TASK_NAME} \
  --policy.repo_id=${HF_USER}/${TASK_NAME} \
  --policy.type=act \
  --policy.device=cuda \
  --job_name=act_so101 \
  --output_dir=outputs/train/act_so101/${TASK_NAME} \
  --wandb.enable=true

# 추가 설정
lerobot-train \
  --dataset.repo_id=${HF_USER}/${TASK_NAME} \
  --policy.repo_id=${HF_USER}/${TASK_NAME} \
  --policy.type=act \
  --policy.device=cuda \
  --job_name=act_so101 \
  --output_dir=outputs/train/act_so101/${TASK_NAME} \
  --wandb.enable=true \
  --batch_size=8 \
  --steps=100_000 \
  --save_checkpoint=true \
  --save_freq=10_000

# 학습 재개
lerobot-train \
  --config_path=outputs/train/act_so101/${TASK_NAME}/checkpoints/last/pretrained_model/train_config.json \
  --resume=true

3. 평가 및 실행

기본으로 제공되는 평가 및 실행 코드는 기본적으로 record 코드와 같습니다.

따라서 평가 에피소드를 실행하면 해당 에피소드는 데이터셋 record와 같이 저장됩니다.

이때, 코드 자체에서 훈련 데이터셋과 평가 데이터셋을 구분하기 위해, 반드시 --dataset.repo_id=${HF_USER}/eval_${TASK_NAME} \ 이 옵션에서 eval_ 을 붙여줘야 합니다.

그렇지 않으면, 오류가 발생합니다.

또한, 만약 매 에피소드 별로 끊어지고 저장되는게 싫다면 에피소드 타임을 아주 길게 하면 됩니다.

export TASK_NAME="pick_and_place"
export HF_USER="Your_HuggingFace_Account"

# 평가 및 실행 기본 설정
lerobot-record \
  --robot.type=so101_follower \
  --robot.port=/dev/so101_follower \
  --robot.id=follower \
  --robot.cameras='{ 
      top: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 25},
      wrist: {type: opencv, index_or_path: 4, width: 640, height: 480, fps: 25},
  }' \
  --dataset.repo_id=${HF_USER}/eval_${TASK_NAME} \
  --dataset.single_task=${TASK_NAME} \
  --dataset.num_episodes=50 \
  --dataset.episode_time_s=15 \
  --dataset.reset_time_s=1 \
  --policy.path=${HF_USER}/${TASK_NAME} \
  --display_data=true

# 평가 및 실행 시간 설정을 길게 해서 끊기지 않고 반복 작업 수행
lerobot-record \
    --robot.type=so101_follower \
    --robot.port=/dev/so101_follower \
    --robot.id=follower \
    --robot.cameras='{ 
        top: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 25},
        wrist: {type: opencv, index_or_path: 4, width: 640, height: 480, fps: 25},
    }' \
    --dataset.repo_id=${HF_USER}/eval_${TASK_NAME} \
    --dataset.single_task=eval_${TASK_NAME} \
    --dataset.episode_time_s=100_000 \
    --dataset.reset_time_s=1 \
    --policy.path=${HF_USER}/${TASK_NAME} \
    --display_data=true 

4. 추론 및 실행

async_inference에 필요한 의존성을 설치하세요:

pip install --upgrade pip setuptools wheel
pip install -e ".[async]"

이 명령은 다음 패키지들을 설치합니다:

• grpcio==1.73.1
• protobuf==6.31.0
• matplotlib>=3.10.3,<4.0.0

export TASK_NAME="pick_and_place"
export HF_USER="Your_HuggingFace_Account"

4.1. Policy Server 실행 (GPU가 있는 서버)

python -m lerobot.async_inference.policy_server \
    --host=127.0.0.1 \
    --port=8080 \
    --fps=25 \
    --inference_latency=0.033 \
    --obs_queue_timeout=1

4.2. Robot Client 실행 (로봇이 연결된 PC)

robot pc에서 어떤 모델을 사용하고 어떤 gpu를 사용할것인지 지정해줍니다.

python -m lerobot.async_inference.robot_client \
    --robot.type=so101_follower \
    --robot.port=/dev/so101_follower \
    --robot.id=follower \
    --robot.cameras='{ 
        top: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 25},
        wrist: {type: opencv, index_or_path: 4, width: 640, height: 480, fps: 25},
    }' \
    --task=${TASK_NAME} \
    --server_address=127.0.0.1:8080 \
    --policy_type=act \
    --pretrained_name_or_path=${HF_USER}/${TASK_NAME} \
    --policy_device=cuda \
    --actions_per_chunk=100 \
    --chunk_size_threshold=0.5 \
    --aggregate_fn_name=weighted_average \
    --debug_visualize_queue_size=True

참고: 서버와 클라이언트가 같은 PC라면 둘 다 같은 환경에 설치하면 됩니다. 만약 다른 PC라면 각각에 pip install -e ".[async]" 를 실행해야 합니다.

SmolVLA와의 비교

실제 성능

검증된 작업들 (ALOHA 기준)

• 배터리 삽입: 90% 성공률
• 벨크로 부착: 85% 성공률
• 물체 집어 담기: 95% 성공률
• 정밀 조립: 80% 성공률

추가 리소스

• ACT 원본 논문
• Stanford ALOHA 프로젝트
• 구현 세부사항
• LeRobot ACT 예제

ACT는 Stanford의 Tony Z. Zhao 등이 개발했으며, LeRobot에서 최적화된 구현을 제공합니다.