Unity/Unity ML-Agents12

• 

  [Robotics Lab] AMR Articulation Body ML-Agents 학습 AMR_Articulation Body Unity Technologies 서론 기존 구현한 환경과 조금 다르지만 전반적인 내용 및 구동 메커니즘은 동일합니다 (Spin Turn + Target Velocity) 다만 팀원이 올려주신 Jetbot으로 파일 바꾸고 시작함. Unity Articulation Body AMR 로봇 제어 구현에 관련 코드 설명까지 올려놓았으니 이 글을 읽기전 해당 글을 확인해주시길 바랍니다. 본 글의 목적은 로봇 및 본인 도메인을 잘 알고 계시지만 환경 구성에 어려움을 겪으시는 분들에게 도움을 드리기 위해 작성하였습니다. 사전 개념 Closed surface 특히 Spline의 경우 Convex를 하셨을 경우 눈에 보이는 영역만 있다고 생각하실 수 있습니다. 하지만 유니티는 Un.. Unity/Unity ML-Agents 2023. 5. 14.

• 

  카카오엔터프라이즈 JORLDY, 유니티 ML-Agents #2 Distributed Architecture Jorldy Kakao Enterprise 내용 출처#1 : https://github.com/kakaoenterprise/JORLDY 내용 출처#2 : https://github.com/Unity-Technologies/ml-agents 이전 포스팅 이전 포스트에서 3D_Ball 예제를 Jorldy에 구현하였습니다. 하지만 아래와 같이 12개의 에이전트를 빌드하여 Importing할 경우, 하나의 에이전트만 학습이 종료되어도 모든 환경이 리셋되는 상황이 발생하였습니다. 훈련과정을 자세히 보시면, 아직 훈련 중인 에이전트가 있음에도 불구하고 전체 환경이 리셋됩니다. 이 경우 자연스럽게 학습에 Noise가 발생하게 됩니다. 간단하게 설명드리기 위해서 3D_Ball의 Agent 스크립트를 보도록 하겠습니다... Unity/Unity ML-Agents 2022. 7. 1.

• 

  카카오엔터프라이즈 JORLDY 유니티 ML-Agents #1 Custom Enviroment (3D Ball, DDPG) Jorldy Kakao Enterprise 내용 출처#1 : https://github.com/kakaoenterprise/JORLDY 내용 출처#2 : https://github.com/Unity-Technologies/ml-agents Jorldy 장점 Unity ML-Agents를 이용하시면서.... 알고리즘 코드 작성에 어려움을 겪으실 경우 카카오엔터프라이즈의 jorldy를 사용하여 해결할 수 있습니다!!! Jorldy에 새로운 ML-Agents 환경을 추가해보도록 하겠습니다. 본 포스팅은 mlagents 예제 중 하나인 3D_Ball을 Jorldy에서도 사용할 수 있도록 셋팅하고, ddpg 알고리즘을 사용해보도록 하겠습니다. Jorldy는 기본적으로 다음 환경을 지원합니다. Release를 보니.. Unity/Unity ML-Agents 2022. 7. 1.

• 

  Unity ML-Agents 한글화 ML-Agents Localization (KOR) 공부자료 개인적으로 ML-Agents를 공부하려고 하시는 분이 계시다면 다음의 자료를 통해 공부하시는 것을 추천드립니다. ​ 1. 텐서플로와 유니티 ML-Agents로 배우는 강화학습 && 유니티 머신러닝 에이전트 완정정복 (둘 다 매우 강추 단, 책은 새로운 버전 출시 예정) 2. Unity ML-Agents Github 3. ML-Agents Forum ​ 한글화 저 또한 공부하는 입장에서 ML-Agents Github Docs에 좋은 내용이 많음에도 불구하고 번역이 되어있지 않아 (구글 번역의 경우 강화학습 관련 내용의 번역 품질이 매우 좋지 않음) 안타까워 개인적으로 꼭 필요하다고 생각하는 파일의 번역을 진행하였습니다. ​ 파일은 3개이지만 공백.. Unity/Unity ML-Agents 2022. 6. 30.

• 

  Unity ML-Agents 2.3.0 업데이트 ML-Agents 2.3.0 ML-Agents Updates ML-Agents가 2.3.0으로 업데이트 되었습니다. 3.30 기준 현재 Github에는 반영되어 있지 않지만, Unity LTS 버전 Package Manager에서 설치 및 changelog를 확인할 수 있습니다. 반년정도 잘 업데이트가 되지 않았는데.... 다시 열심히 개발하는 것 같습니다. Refactored to support USP 몇몇 코드가 리팩토링되었습니다. 리팩토링이란, 간단하게 말해서 기능에는 달라진 것이 없으나 코드를 재작성했다는 이야기입니다. 하지만 직접 확인해보니까 몇가지 바뀐 것 같습니다. 유니티에서 사용하는 몇몇 함수 (awake, onenable은 확실하게 확인하였습니다)와 ML-Agents를 같이 사용할 때 예.. Unity/Unity ML-Agents 2022. 6. 30.

• 

  Unity ML-Agents Deterministic Action (RL_KOREA 드론 챌린지로 테스트 하기) ML-Agents Determinisitc Action Deterministic Action 이번에 업데이트 되면서 Deterministic Action Selection 기능이 추가되었습니다. 학습하면서도 그리고 테스팅 (Inference) 하면서도 사용할 수 있습니다. 해당 기능이 업데이트 되지마자 RL_Korea Drone Delivery Challenge가 생각이 나서 바로 테스팅 해보았습니다. (어느정도 환경이 복잡하고 학습에 오랜시간이 걸리는 환경이 필요했기 때문입니다) ​ 우선 AiFactory에서 챌린지 마지막 날 제출한 파일 내역을 보여드리겠습니다. 점수의 스펙트럼은 23.42~30.49까지 형성되어 있습니다. 여기서! 제가 제출한 파일은 모두 같은 .onnx 파일입니다! 조금더 쉽게 채.. Unity/Unity ML-Agents 2022. 6. 30.

• 

  유니티 ML-Agents Episode 종료 및 시작에 대한 고찰 Unity ML-Agents Episode 종료 및 시작에 대한 고찰 ML-Agents는 강화학습을 위해 에이전트가 행동을 통해 에피소드를 진행하고, 특정 조건이 되면 종료 되면서 학습을 진행합니다. 이를 위해 제가 사용하는 메커니즘은 총 3가지입니다. 가장 이상적인 방법 - EndEpisode(), OnEpisodeBegin() ML-Agents 예제에서 가장 많이 사용하는 방법입니다. 다음과 같이 특정 조건(미션 실패시) EndEpisode()를 호출하고 OnEpisodeBegin()을 호출하여 환경을 리셋시킵니다. (아래 예제는 3D_Ball입니다) public override void OnActionReceived(ActionBuffers actionBuffers) { var actionZ = 2.. Unity/Unity ML-Agents 2022. 6. 30.

• 

  Unity를 활용한 UAV 시뮬레이션 및 강화학습 (ML-Agents) #1 구상 및 환경 구현 UAV 시뮬레이션 Unity Simulation + Unity ML-Agents 서론 유한요소해석 CAE 연구실에서 자연스럽게 Ansys를 활용한 유한요소해석을 접하게 되었다. 간단하게 설명하면 좌측의 사진과 같이, 유한요소해석 (나무위키)이란 해석하고자 하는 대상을 n개의 유한한 Mesh로 나누고 각각의 Mesh를 해석하는 방법이다. 단 이 방법은 장시간이 소요되고, 해석의 타깃이 거시적 관점보다 미시적 관점에 국한된다. ​ 자료조사 자연스럽게 거시적관점에서 사용할 수 있는 개념 및 지식에 대해 자료조사를 진행하였다. 이 후 강화학습, Unity, Unity ML-Agents에 관심을 갖고 프로젝트 및 학습을 진행하였다. 구글링 및 유튜브 서칭을 한 결과, Unity ML-Agents는 새로운 방법을 .. Unity/Unity ML-Agents 2022. 6. 30.

• Unity ML-Agents 2.0 업데이트 정리 ML-Agents 2.0 + AI Competition 소개 참고자료 : ML-Agents 2.0 + AI Competition 소개 - Unity Technologies Korea 유튜브 참고자료 : 텐서플로와 유니티 ML-Agents로 배우는 강화학습, 민규식 등 6명, 위키북스 2021년 새로운 강화학습 사례 : AI system for designing microchips (2021.6) 마이크로 칩을 인공지능이 디자인하여 부품 Block을 설계할 수 있는가 -> TPU 설계에 실제에 적용함 ​ - 강화학습의 경우 물리적 제약이 있는 환경에는 학습 시간이 더 오래 걸림 - 실패가 발생하면 안되는 환경에는 적용이 어려움 (보상은 좋은 보상 나쁜 보상이 나뉘니까) Unity ML-Agents 2.0 .. Unity/Unity ML-Agents 2022. 6. 30.

• 

  Unity ML-Agents 2.1.0 개발환경 및 예제 설치하기 Unity ML-Agents 는 유니티로 빌드한 환경(게임)에 ML-Agents를 이용하여 강화학습을 진행할 수 있습니다. 이를 위한 Unity, Anaconda, Pytorch, ML-Agents 설치 모두 본 포스팅에서 진행할 예정입니다. 저는 컴퓨터 공학 전공도 아니고, 코딩 경험이 적어 위의 내용을 설치하는데 하루정도 소요되었습니다. 하지만 이 글 보고 많은 분들께서 쉽게 설치하셨으면 좋겠습니다. ​ Anaconda, Pytorch, ML-Agents 설치 (30m) 아나콘다 다운로드 사이트에 접속 후, Download를 누릅니다. 현재 파이썬 3.9 버전을 사용하고 있습니다. Python 3.6.1 버전 이상이라면 모두 사용 가능합니다. 다운로드가 완료되면 설치를 진행합니다. Anaconda |.. Unity/Unity ML-Agents 2022. 6. 22.

• 

  Unity ML-Agents 강화학습 보상함수 설계의 중요성 본 내용은 한국정보과학회 SWCC 2021 워크샵에 투고한 논문 중 일부임 보상함수 고찰 목표 강화학습은 최대보상을 갖는 기계학습기법으로써 나는 "보상의 최대화"를 양의 수로 인식하고 있었다. 이에 설계 단계에서 의도하지 않는 행동은 음수 그리고 유도하고 싶은 행동은 양수로 설정하였는데, 몇몇 상황에서 예상하지 못한 학습 결과가 나타났다. 자동차(에이전트)가 벽을 향해 달려가는 현상 다음과 같이 환경을 만들었고 배경 건물을 제외한 흰색 벽과 에이전트가 충돌시 -1점의 감점을 주도록 하였다. 이 때 각각의 에이전트가 도착지에 도착하는 것을 유도하기 위해 각 체크포인트에 +1점부터 공차가 1씩 증가하도록 보상함수를 설계하였고 각각의 에이전트가 서로를 인식하고 피하기 위해 Raysensor 및 코드를 작성하였.. Unity/Unity ML-Agents 2022. 6. 22.

• 

  Unity ML-Agents Gdori 강화학습 (G돌이의 모험) 유니티 코리아 공식 네이버 블로그에 정돈하여 작성하였습니다. 아래의 글을 참고해주세요. 본 글은 회고 및 정리 입니다. ​Unity X G식백과 X ML-Agents (1) 셋팅 Unity X G식백과 X ML-Agents (1) 셋팅 Unity Unity X G식백과 X ML-Agents (1) 셋팅 개발의 민주화라는 유니티의 모토에 맞춰, 유니티를 ... blog.naver.com Unity X G식백과 X ML-Agents (2) QA적용 및 데이터 수집 Unity X G식백과 X ML-Agents (2) QA적용 및 데이터 수집 Unity Unity X G식백과 X ML-Agents (2) QA적용 및 데이터 수집 게임 업계의 관심이 머신러닝에 ... blog.naver.com Overview 하.. Unity/Unity ML-Agents 2022. 6. 21.