Unity/Unity ML-Agents

Unity ML-Agents 2.1.0 개발환경 및 예제 설치하기

pnltoen 2022. 6. 22.

Unity ML-Agents 는 유니티로 빌드한 환경(게임)에 ML-Agents를 이용하여 강화학습을 진행할 수 있습니다.
이를 위한 Unity, Anaconda, Pytorch, ML-Agents 설치 모두 본 포스팅에서 진행할 예정입니다.
저는 컴퓨터 공학 전공도 아니고, 코딩 경험이 적어 위의 내용을 설치하는데 하루정도 소요되었습니다. 하지만 이 글 보고 많은 분들께서 쉽게 설치하셨으면 좋겠습니다.

Anaconda, Pytorch, ML-Agents 설치 (30m)

아나콘다 다운로드 사이트에 접속 후, Download를 누릅니다. 현재 파이썬 3.9 버전을 사용하고 있습니다. Python 3.6.1 버전 이상이라면 모두 사용 가능합니다. 다운로드가 완료되면 설치를 진행합니다.

Anaconda | Anaconda Distribution

Anaconda's open-source Distribution is the easiest way to perform Python/R data science and machine learning on a single machine.

www.anaconda.com

이 후 윈도우 키를 누른 후 anaconda Promopt를 실행시켜줍니다.

저는 다른 jorldy와 같은 다른 프로그램도 사용하기 때문에 헷갈리지 않고 버전 관리를 용이하게 하기위해, mlagents라는 가상환경을 만들었습니다.

conda create -n mlagents

conda activate mlagents

위의 명령어를 통해 mlagents 가상환경을 activate합니다. 이 후로는 다음과 같이 (base)가 아닌 (mlagents)로 cmd 창이 출력됩니다.

다음으로 pytorch를 설치하도록 하겠습니다. 저는 CPU 버전을 설치할 예정입니다.

파이토치 다운로드에 들어가신 후 설치할 버전을 클릭하시면 됩니다. 본 포스팅에서는 LTS 버전인 1.8.2 CPU 버전을 사용합니다. PPO의 경우 cuda, cudnn을 사용하는 것과 사용하지 않는 것이 큰 차이가 없고, 저는 그래픽 카드를 구하지 못해 CPU 버전으로 진행하였습니다.

conda install pytorch torchvision torchaudio cpuonly -c pytorch-lts
다음 명령어를 아나콘다 터미널에 입력함으로써 Pytorch를 설치합니다.

이 후 pypi에 있는 mlagents==0.27.0 을 다운로드 합니다. 홈페이지 방문 없이도 아래 코드로 설치가 가능합니다.

pip install mlagents==0.27.0

# ML-Agents 2.3.0 추가
pip install mlagents==0.29.0

mlagents를 실행하기 위한 환경 구성은 끝입니다.
다음과 같이 자동으로 요구되는 소프트웨어가 설치됩니다.

requirement.txt에 기재된 텐서보드 버전은 2.7.0입니다.

만약 공모전 참여 및 제공된 빌드파일을 통해, ML-Agents를 구동하시는 경우 여기가 끝입니다! 하지만 Unity를 이용해서 직접 환경을 만들고 수정하실 경우에는 다음과 같은, Unity 설치가 필요합니다.

Unity, ML-Agents Packages 설치

유니티 HUB 다운로드 사이트에 접속하여 Download for Windows를 클릭합니다.

설치를 완료하고, 설치 - 에디터 설치에 들어갑니다. 이 후 원하시는 버전을 선택합니다.

저는 권장하고 있는 LTS 버전인 2020.3.25, Unity Robotics 권장 버전인 2020.3.11 그리고 기존 Beta 였던 2021.2.7f1 버전을 설치하도록 하겠습니다. 여기서 ML-Agents 2.0 이상 버전을 사용하실 경우 2019.4버전 부터 가능하지만 쉽게 패키지로 설치하기 위해서는 2021 버전 설치를 추천드립니다!

다음과 같은 모듈 설치 페이지가 나타납니다. 저는 윈도우와 Ubuntu 20.04 환경을 같이 사용하고 있습니다. 혹여 빌드할 경우가 생길 수도 있으니 Linux build Support를 추가로 선택해주겠습니다.

유니티 설치가 모두 완료되었습니다. 이제 프로젝트 - 새 프로젝트를 눌러줍니다.

3D를 선택해주시고, 프로젝트 이름을 기입합니다. 이 후 실행하면 다음과 같은 창을 보실 수 있습니다.

Window - Package Manager를 누릅니다.

Packages 에서 Unity Registry를 선택합니다. 아마 기존적으로는 My Assets으로 되어있을겁니다.

ML-Agents를 검색하신 후, 우측 하단부의 Install을 눌러주시면... 설치는 모두 끝납니다! 기존 Beta release의 경우 Unity ML-Agents Github에서 별도로 파일을 다운 받은 후 폴더를 Importing 해주어야 했지만, 정식 릴리즈가 출시됨으로써 Package Manager로 쉽게 설치가 가능하게 변경되었습니다.