본문 바로가기

ML10

유니티 머신러닝 개발 ML Agents 14편, 목표 찾기 예제 개선. 8 다수의 에이전트 사용하기 유니티 머신러닝 개발 ML Agents 14편, 목표 찾기 예제 개선. 8 다수의 에이전트 사용하기 이전에는 타깃을 복수로 설치할 수 있게 하고 Goal을 정해서 해당 Goal 수 까지 취득이 가능하다면, 에피소드가 종료되게끔 구성했습니다. 이번에는 Agentf를 복수로 구성해봅시다. 그것을 위하여 gAgentManager.cs 라는 소스를 추가하도록 합니다. using System.Collections; using System.Collections.Generic; using UnityEngine; public class gAgentManager : MonoBehaviour { public List agentList = new List(); public void EndEpisode() { foreach .. 2021. 4. 16.
유니티 머신러닝 개발 ML Agents 13편, 목표 찾기 예제 개선. 7 여러 타깃 사용해보기, 관리자 만들기 유니티 머신러닝 개발 ML Agents 13편, 목표 찾기 예제 개선. 7 여러 타깃 사용해보기, 관리자 만들기 직전 수정은 사실 프로그램의 결과값, 즉 눈으로 보는 프로그램의 변화는 거의 없습니다. 로직 변화가 있지만요, 엄밀히 말하면 정말 같은 것은 아니지만, 그냥 보시기에는 거의 차이가 없는 수정이죠 출동 검증 방식이 바뀐 것이었으니까요. 이번에는 타겟을 추가할 수 있도록 수정하려 합니다. 타깃을 관리하는 관리 소스를 만들 예정입니다. 다음 이름의 cs 파일을 추가합니다. gTargetManager.cs using System.Collections; using System.Collections.Generic; using UnityEngine; public class gTargetManager : M.. 2021. 4. 14.
유니티 머신러닝 개발 ML Agents 12편, 목표 찾기 예제 개선. 6 타겟 출동검증방슥을 교체, 거리비교에서 트리거 사용하기 유니티 머신러닝 개발 ML Agents 12편, 목표 찾기 예제 개선. 6 타겟 출동검증방슥을 교체, 거리비교에서 트리거 사용하기 저번 작업에서는 관측시스템을 바꾸었죠. 수치로 포지션과 이동량등을 제공하다, mlagent가 제공하는 타겟 센서로 교체하였고, 교육이후 보여주는 퍼포먼스가 이전 수치로만 교육시키던 상황보다 눈으로 봐도 상당히 좋아진것을 볼수 있었습니다. gRollerAgent.cs의 public override void OnActionReceived(ActionBuffers actionBuffers) 함수를 보면 public override void OnActionReceived(ActionBuffers actionBuffers) { // Rewards float distanceToTarge.. 2021. 4. 12.
유니티 머신러닝 개발 ML Agents 11편, 목표 찾기 예제 개선. 5 관측정보 바꾸기, Ray Perception Sensor 3D를 이용한 개선 유니티 머신러닝 개발 ML Agents 11편, 목표 찾기 예제 개선. 5 관측정보 바꾸기, Ray Perception Sensor 3D를 이용한 개선 저번 예제에는 훈련장을 줄이고, 벽을 설치해서 낙하하는 로직을 제거하고, 이동 방식은 인풋을 반영해서 움직이는 방식으로 변경하였습니다. 이번에는 뭘 해볼 것이냐. 이번에는 우리가 재공 하는 관측치를 바꿔봅시다. 현재 우리가 관측치를 재공하는 방법은 gRollerAgent.cs의 public override void CollectObservations(VectorSensor sensor) 해당 함수를 통해 샌서에 정보를 넣어줍니다. 함수를 볼까요 /// /// 강화학습 프로그램에게 관측정보를 전달 /// /// public override void Coll.. 2021. 4. 11.
유니티 머신러닝 개발 ML Agents 10편, 목표 찾기 예제 개선. 4 벽 설치, 이동 방식의 변경, 연속적인 값에서 이산적인 값으로 변경 유니티 머신러닝 개발 ML Agents 10편, 목표 찾기 예제 개선. 4 벽 설치, 이동 방식의 변경, 연속적인 값에서 이산적인 값으로 변경 지난 예제까지는 여러개의 훈련장을 사용하여 교육 속도를 올려보았습니다. 하지만, 교육장이 넓어져서 훈련에 많은 시간이 소요되었을 겁니다. 이번에는 이동방식을 개선해볼 생각입니다. 훈련장 조정 일단 위의 훈련장을 좀 줄이고 시작할게요 추가되었던 trainingArea를 지웁니다. floor을 하나만 남기고 Transform 다음과 같이 합니다. 에이전트와 타겟도 다음 정보를 참고해서 수정해주세요 gRollerAgent.cs 의 public override void OnEpisodeBegin() 함수도 수정해줍니다. public override void OnEpiso.. 2021. 4. 10.
유니티 머신러닝 개발 ML Agents 9편, 목표 찾기 예제 개선. 3 다수의 훈련장 사용해보기, 버퍼 사이즈 교체로 멈춤 현상 개선 유니티 머신러닝 개발 ML Agents 9편, 목표 찾기 예제 개선. 3 다수의 훈련장 사용해보기, 버퍼 사이즈 교체로 멈춤 현상 개선 이번 편에서는 현재까지 하나의 훈련장을 이용시켜서 훈련시켰는데, 동시에 다수에 훈련장을 사용시켜 같은 시간대비 훈령 양을 늘려서 더 빠르게 교육이 진행될 수 있게 하겠습니다. 이전에 해당 구멍난 맵으로 학습시켜보았고 한계가 있음을 어느 정도 보았습니다. 일단 가운데 floor를 활성화시켜 하나의 큰 평면 바닥을 만듭니다. 다수의 훈련장소 활용하기 TrainingArea 복사합니다. 유니티에서는 해당 오브젝트를 선택하고 Ctrl+D 활용하시면 복사가 됩니다. 9개 정도 해봅니다. 그리고 겹치지 않게 적당히 배치해 줍니다. TrainingArea x, z값을 변경시켜 펼쳐줍.. 2021. 4. 9.
유니티 머신러닝 개발 ML Agents 8편, 목표 찾기 예제 개선. 2 floor 확장, 복잡한 바닥형태 태스트와 학습의 한계점 유니티 머신러닝 개발 ML Agents 8편, 목표 찾기 예제 개선. 2 floor 확장, 복잡한 바닥 형태 테스트와 학습의 한계점 저번 글에서는, 이쁘게 꾸며보고, 에이전트가 타겟을 바라보며 갈 수 있게 구성하였습니다. 그래서 모델이 회전을하지 못하는 제한을 설정했고요 그로 인해 변경된 환경 때문에 세팅을 바꾸고 다시 교육을 시키는 내용을 진행했었죠. 이번에도 환경에 대한 변화를 줘 보도록 하겠습니다 이번에는 floor를 확장시켜 봅시다. floor의 Transform의 Scale를 2,1,2로 수정합니다. 위의 자료 참고하여서 이후 플레이해봅니다. 넓어진 플로어에서 활동하는 에이전트를 보실 수 있습니다. 하지만 타깃이 한정적으로 설치되기 때문에 에이전트가 활동하는 반경은, 기존 floor 사이즈로 제.. 2021. 4. 7.
유니티 머신러닝 개발 ML Agents 7편, 목표 찾기 예제 개선. 1 뷰잉변경, 회전제한과 스텝제한, 환경개선과 재교육 유니티 머신러닝 개발 ML Agents 7편, 목표 찾기 예제 개선. 1 뷰잉 변경, 회전 제한과 스텝 제한, 환경개선과 재교육 저번 시간까지 진행한 내용이 기본 mlAgent에서 제공하는 예제의 내용입니다. 요기서부터 진행되는 내용은 해당 예제를 가지고 추가로 이것저것을 해보는 행위일 듯하네요 일단 보이는 게 너무 없어 보이니 색도 좀 칠하고 모델도 넣어보고 합시다. 여러분이 mlAgentRelease15을 프로젝트에서 파일을 가져오셨으면 아래와 같은 폴더가 존재합니다. floor에는 block 머티리얼을 설정할게요 모델 적용시키기 sharedSharedAssets/Prefabs AgentCube_Blue.prefab 를 RollerAgnet의 자식으로 붙여줍니다. 그리고 자식이 된 AgentCube_.. 2021. 4. 7.
유니티 머신러닝 개발 ML Agents 6편, 목표찻기 예제 제작.2 학습프로그램 제작, 학습시키고, 학습데이터 확인해보기 유니티 머신러닝 개발 ML Agents 6편, 목표 찾기 예제 제작. 2 학습 프로그램 제작, 학습시키고, 학습 데이터 확인해보기 지난 편에서는 폭표찾기 예제를 진행하였고, 그중 유니티 프로젝트를 제작하였습니다. 추가로 Heuristic 모드로는 잘 동작하는 것까지 진행했어죠. 오늘은 아나콘다에서 파이썬으로 학습프그램을 돌리고, 만들어둔 유니티 프로젝트를 구동시켜 학습을 시켜보겠습니다. 그리고 학습된 파일을 가져와서 사용도 해보고요. 이전 배포 예제들을 돌렸을 때, 학습 프로그램들이 들어있는 위치를 기억하실 겁니다. ml-agents-release_15\config\ppo 요기종 Basic.yaml을 복사해서 사본을 만들고, 이름을 바꿉니다. rollerball_config.yaml 로 교체합니다. 해당.. 2021. 4. 6.
유니티 머신러닝 개발 ML Agents 2편 아나콘다 설치하기, 가상환경 세팅 유니티 머신러닝 개발 ML Agents 2편 아나콘다 설치하기, 가상환경 세팅 1편에 이어 2편입니다. 1편에서는 유니티에 ML Agents Release 8 프로젝트를 연동하고 벽돌 이동 예제를 이미 선행된 학습 데이터로 이동시키는 예제까지 구동히켰습니다. 다음으로 작업해야 할 내용은, 우리가 직접 학습을 시켜보는 것입니다. 그를 위해서는 학습시키는 프로그램을 구동시켜야 합니다. ML Agent 같은 경우는 파이썬을 기반으로 학습 프로그램을 구동시킬 수 있습니다. 이 학습프로그램을 구동시킬수 있는 환경을 쉽게 구성하기 위해서 아나콘다, 라는 프로그램을 활용하면 좋습니다. 위키를 참고해 설명하면 -패키지 관리, 배표 등을 단순케 할 목적으로 과학계산, 애플리케이션, 대규모 데이터 처리 등을 위한 파이썬과.. 2021. 4. 3.

티스토리툴바