Thêm dữ liệu tuỳ chỉnh khi ghi trên Android NDK

Bản ghi âm & Playback API cho phép bạn ghi lại một phiên và sử dụng phiên đó thay cho nguồn cấp dữ liệu camera theo thời gian thực. Tuy nhiên, những bản ghi này chỉ chứa dữ liệu video và cảm biến. Bạn cũng có thể thêm dữ liệu tuỳ chỉnh vào bản ghi phiên và trả về dữ liệu cho bạn trong khi phát, giống như dữ liệu đó là một phần của hình ảnh camera.

ARCore không tự động đưa bất kỳ dữ liệu tuỳ chỉnh nào vào bản ghi. Thay vào đó, nó cho phép bạn thêm dữ liệu tuỳ chỉnh vào khung ARCore trong quá trình ghi và truy xuất chính dữ liệu đó từ khung hình trong khi phát lại. Bạn có quyền lập trình ứng dụng sao cho người dùng có thể lấy lại dữ liệu mà họ mong muốn khi phát lại phiên hoạt động của mình.

Các trường hợp sử dụng dữ liệu tuỳ chỉnh

Khi bạn thêm dữ liệu tuỳ chỉnh vào bản ghi âm, các ứng dụng thực tế tăng cường sẽ có thêm nhiều cơ hội sử dụng. Sau đây là một số trường hợp sử dụng cụ thể.

Sử dụng AR mọi lúc, mọi nơi

Trước đây, người dùng chỉ có thể truy cập vào các trải nghiệm thực tế tăng cường ở đúng nơi và đúng thời điểm. Nếu muốn đặt đèn thực tế tăng cường trong phòng khách, họ phải đứng ở vị trí đó để xem đèn trông như thế nào ở đó. Nhờ các bản nhạc tuỳ chỉnh, họ có thể quay video phòng khách một lần và thêm đồ nội thất ảo vào cảnh đó bất cứ khi nào họ muốn.

Cùng tạo trải nghiệm thực tế tăng cường

Nếu không yêu cầu phiên phát trực tiếp, người dùng sẽ có nhiều lựa chọn chỉnh sửa thực tế tăng cường hơn, cho phép họ tạo và truy cập vào nội dung thực tế tăng cường độc đáo mọi lúc, mọi nơi. Ví dụ: trẻ có thể ghi lại một môi trường nhất định, thêm hiệu ứng thực tế tăng cường và chia sẻ với bạn bè.

Điều kiện tiên quyết

Đảm bảo rằng bạn hiểu rõ các khái niệm cơ bản về AR và cách định cấu hình phiên ARCore trước khi tiếp tục.

Ghi lại bằng dữ liệu tuỳ chỉnh

Tạo bản ghi phiên bằng dữ liệu tuỳ chỉnh.

Khởi chạy một bản ghi có dữ liệu tuỳ chỉnh

Hãy làm theo các bước sau để khởi tạo bản ghi có dữ liệu tuỳ chỉnh. Để bắt đầu, dừng và kiểm tra một phiên ghi, vui lòng xem phần Ghi lại và phát lại một phiên thực tế tăng cường.

  1. Nhận một ArRecordingConfig.
  2. Tạo một ArTrack mới bằng một mã nhận dạng duy nhất (UUID) tuỳ chỉnh. Tất cả dữ liệu tuỳ chỉnh sẽ được lưu tại đây.
  3. Thêm ArTrack vào ArRecordingConfig mà bạn đã tạo trong quá trình định cấu hình phiên.
// Initialize a new track with a custom UUID.
// Make sure to save the UUID because it is the ID that you will use to get
// your data back during playback.
ArTrack* track = NULL;
ArTrack_create(ar_session, &track);
// String from UUID generator: de5ec7a4-09ec-4c48-b2c3-a98b66e71893
uint8_t uuid_byte_array[16] = {0xde, 0x5e, 0xc7, 0xa4, 0x09, 0xec,
                               0x4c, 0x48, 0xb2, 0xc3, 0xa9, 0x8b,
                               0x66, 0xe7, 0x18, 0x93};
ArTrack_setId(ar_session, track, uuid_byte_array);

// Add the ArTrack to the recording_config.
// recording_config must already be configured.
ArRecordingConfig_addTrack(ar_session, recording_config, track);
ArTrack_destroy(track);

Tất cả các bản nhạc mới được coi là bản ghi riêng biệt, trong đó mỗi bản nhạc được ghi lại chiếm mã nhận dạng duy nhất (UUID) riêng của nó.

Không bắt buộc: Thiết lập kênh có dữ liệu bổ sung

Trong trường hợp bạn muốn xác định kênh sau này, bạn có thể định cấu hình kênh bằng dữ liệu bổ sung mô tả bản ghi phiên. Ví dụ: bạn có thể "gắn thẻ" một tuyến đường bằng cách thêm ghi chú mô tả vị trí và thời gian bạn đã ghi lại phiên: "Phiên này được ghi lại tại khu mua sắm vào buổi chiều".

// Set additional data on this track.
// For example, describe where you recorded the session.
uint8_t metadata_size = 4;
uint8_t metadata[5] = "HOME";
ArTrack_setMetadata(ar_session, track, metadata, metadata_size);

Không bắt buộc: Định cấu hình kênh với một loại MIME

Nếu ứng dụng của bạn cần tương thích với các công cụ bên ngoài, thì bạn có thể thiết lập một kênh với loại MIME mô tả loại dữ liệu được ghi trên kênh đó. Nếu bạn không chỉ định loại, thì dữ liệu sẽ được phân loại là application/text. ARCore bỏ qua loại MIME khi đọc dữ liệu.

// Set a MIME type for compatibility with external tools.
ArTrack_setMimeType(ar_session, track, "text/csv");

Ghi lại các bản nhạc tuỳ chỉnh

Tất cả dữ liệu bản nhạc tuỳ chỉnh được ghi vào ArFrame. Phiên thực tế tăng cường sử dụng ArSession_update() để lấy khung hình. Thời điểm bạn ghi dữ liệu vào một khung hình cũng là thời điểm dữ liệu được trả về trong quá trình phát. Ví dụ: Nếu gọi ArFrame_recordTrackData() với giá trị “A” tại 00:07:02, bạn sẽ nhận lại “A” tại mốc 00:07:02 khi bản nhạc được phát lại.

Để ghi lại một kênh dữ liệu tuỳ chỉnh, hãy gọi hàm ArFrame_recordTrackData().

// Place an AR lamp in a room.
if (place_lamp_button_was_pressed) {
  uint8_t lamp_data[1] = {lamp_id};
  ArFrame_recordTrackData(ar_session, frame, uuid_byte_array, lamp_data,
                          /*payload_size=*/1);
}

Phát lại các bản dữ liệu tuỳ chỉnh

Trích xuất dữ liệu tuỳ chỉnh từ bản ghi phiên trong khi phát.

Chạy một lượt phát

Việc khởi chạy một lượt phát bằng dữ liệu tuỳ chỉnh cũng giống như việc khởi chạy một bản ghi phiên thông thường.

Trả về dữ liệu tuỳ chỉnh

Gọi ArFrame_getUpdatedTrackData() để truy xuất dữ liệu tuỳ chỉnh được ghi lại trên ArFrame. Bạn có thể truy xuất nhiều dữ liệu theo dõi từ cùng một khung. Ví dụ: nếu đã gọi ArFrame_recordTrackData() hai lần trên cùng một khung hình trong khi quay, bạn sẽ nhận lại được hai thực thể của ArTrackData trong khi phát.

// Create the container to hold the track data retrieved from the frame.
ArTrackDataList* fetched_track_data_list;
ArTrackDataList_create(ar_session, &fetched_track_data_list);

// Fetch the track data from the frame into the created container.
ArFrame_getUpdatedTrackData(ar_session, frame, uuid_byte_array,
                            fetched_track_data_list);

Sau khi ArTrackData nằm trong đối tượng vùng chứa, hãy trích xuất các byte của dữ liệu tuỳ chỉnh.

// Fetch the size of the track data list.
int32_t fetched_track_data_list_size;
ArTrackDataList_getSize(ar_session, fetched_track_data_list,
                        &fetched_track_data_list_size);

// Iterate through the list.
for (int i = 0; i < fetched_track_data_list_size; i++) {
  ArTrackData* fetched_track_data;
  ArTrackDataList_acquireItem(ar_session, fetched_track_data_list, i,
                              &fetched_track_data);
  // Process "fetched_track_data->sample" as desired
  ArTrackData_release(fetched_track_data);
}
ArTrackDataList_destroy(fetched_track_data_list);

Bước tiếp theo