ios多媒体开发框架,iOS混合开发

Gstreamer使用说明

Application Development Manual

Gstreamer是一个支持Windows，Linux，Android， iOS的跨平台的多媒体框架，应用程序可以通过管道（Pipeline）的方式，将多媒体处理的各个步骤串联起来，达到预期的效果。每个步骤通过元素（Element）基于GObject对象系统通过插件（plugins）的方式实现，方便了各项功能的扩展。

GStreamer 的核心功能是为插件、数据流和媒体类型处理/协商提供框架。它还提供了一个 API 来使用各种插件编写应用程序。

GStreamer 提供

Gstreamer框架根据各个模块的成熟度以及所使用的开源协议，将core及plugins置于不同的源码包中：

Element是Gstreamer中最重要的对象类型之一。一个element实现一个功能（读取文件，解码，输出等），程序需要创建多个element，并按顺序将其串连起来（使用管道 ! ），构成一个完整的pipeline。

官方Elements与Plugins Lists

element主要有三种：

pads 是元素与外界的接口，有两个属性定义：方向和可用性。两个element必须通过pad才能连接起来，在element通过pad连接成功后，数据会从上一个element的src pad传到下一个element的sink pad然后进行处理。一个element可以同时拥有多个相同的pad。

bin 是一个容器元素，用于管理多个element。由于 bin 本身就是一个元素，因此可以以与任何其他元素相同的方式处理 bin。改变bin的状态时，bin会自动去修改所包含的element的状态，也会转发所收到的消息。如果没有bin，我们需要依次操作我们所使用的element。通过bin降低了应用的复杂度。

Pipeline继承自bin，为程序提供一个bus用于传输消息，并且对所有子element进行同步。当将pipeline的状态设置为PLAYING时，pipeline会在一个/多个新的线程中通过element处理数据。

示例：通过下面的命令播放文件时，会创建如下pipeline：

这个pipeline由8个element构成，每个element都实现各自的功能：

filesrc读取文件，oggdemux解析文件，分别提取audio，video数据，queue缓存数据，vorbisdec解码audio，autoaudiosink自动选择音频设备并输出；theoradec解码video，videoconvert转换video数据格式，autovideosink自动选择显示设备并输出。

参考 Installing on Linux

API reference

示例应用helloworld.c

编译应用

ios 系统架构分为哪四层？uikit框架属于哪一层

千峰扣丁学堂iOS开发为您解答：

1、Core

OS层：位于iOS框架的最底层，主要包含内核、文件系统、网络基础架构、安全管理、电源管理、设备驱动、线程管理、内存管理等。简而言之，该层提供了最低级的、系统级的服务。

2、Core

Services层：可称之为核心服务层，顾名思义，它提供诸如字符串管理、集合管理、网络操作、URL实用工具、联系人管理、偏好设置等服务。除此之外，它还提供很多基于硬件特性的服务，如GPS、加速仪、陀螺仪等。该层包含了Core

Location、Core Motion、SystemConfiguration、Foundation与Core

Foundation子模块。其中Foundation与Core Foundation子模块提供了对公共数据类型(字符串、集合等)的抽象，Core

Foundation中的Core Data子模块可以实现对象图形管理与对象持久化。

3、Media层：依赖于Core

Services层提供的功能，主要负责图形与多媒体服务。它包含了CoreGraphics、Core Text、OpenGL ES、Core

Animation、AVFoundation、Core Audio等与图形、视频和音频相关的功能模块。

4、Cocoa

Touch层：是直接向iOS应用程序提供各种基础功能的支持。其中的UIKit框架提供各种可视化控件供应用程序使用，如窗口、视图、视图控制器与各种用户控件等。另外UIKit也定义了应用程序的默认行为和事件处理结构。

iOS系统架构层次结构

iOS操作系统除过最底层的内核，其上总共分为四层，从上到下依次是：

最上层的Cocoa Touch层直接和用户进行交互，比如最常用的UIKit中的各种控件就属于此层，以及最核心的基础服务Foundation框架，以及地图MapKit等。

Media媒体层为上层的Cocoa Touch提供画图和多媒体服务，比如文字、图像、音视频处理等。

核心服务层为Application提供基础的系统服务，比如数据存储框架Core Data、安全服务Security、网络访问CFNetwork等，以及最重要的Foundation和CoreFoundation，它们是Objective-C的核心。

核心操作系统层为其上所有层提供最基础的服务，比如内存管理、线程管理、本地认证、文件系统、电源管理等，是底层的硬件和上层各种服务之间的接口。

ios avfoundation框架下面有哪些类

使用AVFoundation拍照和录制视频

需要开发自定义的拍照和录制视频功能,可借助于AVFoundation框架来实现,该框架提供了大量的类来完成拍照和录制视频.主要使用如下类:

AVCaptureDevice :该对象代表物理输入设备,包括摄像头和麦克风.开发者可通过该对象来配置底层物理设备的属性.需要指出的是,

我们不能直接创建该类的实例,只能通过该类的 devices、defaultDeviceWithMediaType:(NSString *)mediaType、

devicesWithMediaType:(NSString *)mediaType方法 来获取对应的输入设备数组,接下来即 可获取前置摄像头、后置摄像头或麦克风,

程序就可设置该对象的对焦模式、闪光灯模式、曝光补偿、白平衡 等各种拍照相关属性。

注意：

在配置摄像头的相关属性之前，必须先调用lockForConfiguration：方法执行锁定，配置完成后调用unlockForConfiguration方法解锁。

AVCaptureSession ：该对象负责把AVCaptureDevice捕捉得到的视频或声音数据输出到输出设备中.不管执行实时的还是离线的录制,开发者都必须创建AVCaptureSession对象,并为该对象添加输入设备(负责捕捉数据)和输出端(负责接收数据).例如如下代码片段

AVCaptureDeviceInput [BL2] ：它是AVCaptureInput的子类,使用该对象从AVCaptureDevice设备获取数据,该对象将会被添加给AVCaptureSession管理.

AVCaptureScreenInput [BL3] ：它是AVCaptureInput的子类,使用该对象从屏幕获取数据(用于录制屏幕动作).该对象将会被添加给AVCaptureSeesion管理

AVCaptureAudioDataOutput、AVCaptureAudioPreviewOutput、AVCaptureFileOutput [BL4] 、AVCaptureStillImageOutput、AVCaptureVideoDataOutput：它们都是AVCaptureOutput的子类,用于接收各种数据.该对象也会被添加给AVCaptureSession管理.其中AVCaptureFileOutput依然代表输出到文件的输出端,

AVCaptureAudioFileOutput [BL5] 、AVCaptureMovieFileOutput [BL6] ：它们都是AVCaptureFileOutput的子类，分别代表输出到音频文件、电影文件的输出端。

AVCaptureVideoPreviewLayer：该对象是CALayer的子类,开发者只要创建它的实例,并为它设置AVCaptureSession,就可以非常方便地用它来实现拍摄预览.

代

码

片

段

使用AVFoundation实现拍照和录制视频的大致步骤如下

1

使用AVCaptureDevice的静态方法获取设备,包括摄像头和麦克风都可通过这种方式来获取

2

利用AVCaptureDevice初始化AVCaptureDeviceInput对象,无论摄像头还是麦克风都可通过这种方式转换为AVCaptureInput对象

3

初始化输出端.如果只是拍照,则初始化AVCaptureStillImageOutput输出端即可;如果要捕捉视频,则初始化AVCaptureMovieFileOutput输出端.

4

创建AVCaptureSession对象,使用该对象来添加输入设备和输出端.调用AVCaptureSession的startRunning方法开始捕捉画面或声音数据.

5

将捕捉的数据(照片、视频数据)输出到指定文件。

框架

AVFoundation.framework框架,AssetsLibrary.framework,CoreMedia.framework框架

使用AVFoundation生成视频缩略图

AVFoundation可用来生成视频缩略图.

AVFoundation生成视频缩略图主要靠如下两个类.

AVURLAsset

该类是AVAsset的子类,AVAsset类专门用于获取多媒体的相关信息,包括获取多媒体的画面、声音等信息。而AVURLAsset子类的作用则是根据NSURL来初始化AVAsset对象。

AVAssetImageGenerator [BL7]

该类专门用于截取视频指定帧的画面。

使用AVFoundation生成视频缩略图的步骤如下：

1

根据视频的NSURL创建AVURLAsset对象

2

根据AVURLAsset对象创建AVAssetImageGenerator对象

3

调用AVAssetImageGenerator对象的copyCGImageAtTime:actualTime:error:方法来获取该视频指定时间点的视频截图.该方法的第一个CMTime参数用于指定获取哪个时间点的视频截图,第2个CMTime参数用于获取实际截图 位于哪个时间点.

其中CMTime是专门用于标识电影时间的结构体,通常用如下两个函数来创建CMTime.

CMTimeMake(int64_t value, int_32 timescale): 第1个参数代表获取第几帧的截图,第2个参数代表每秒的帧数.因此实际截取的时间点是value/timescale.

CMTimeMakeWithSeconds(Float64 seconds, int32_t preferredTimeScale): 第1个参数代表获取第几秒的截图,第2个参数则代表每秒的帧数.

代码片段

// 为增加UIImage增加一个类别,通过在该类别中为UIImage增加一个imageWithVideo:方法来获取视频的缩略图

// UIImage + Video.m

@implementation UIImage (Video)

+ (UIImage *)imageWithVideo:(NSURL *)vidoURL

{

// 根据视频的URL创建AVURLAsset

AVURLAsset *asset = [[AVURLAsset alloc] initWithURL:videoURL options:nil];

// 根据AVURLAsset创建AVAssetImageGenerator对象

AVAssetImageGenerator* gen = [[AVAssetImageGenerator alloc] initWithAsset: asset];

gen.appliesPreferredTrackTransform = YES;

// 定义获取0帧处的视频截图

CMTime time = CMTimeMake(0, 10);

NSError *error = nil;

CMTime actualTime;

// 获取time处的视频截图

CGImageRef image = [gen copyCGImageAtTime: time actualTime: actualTime error:error];

// 将CGImageRef转换为UIImage

UIImage *thumb = [[UIImage alloc] initWithCGImage: image];

CGImageRelease(image);

return thumb;

}

@end

ViewController.m

@interface ViewController: UIViewController

@property (nonatomic, strong) UIImageView *iv;

@end

@implementation ViewController

- (void)viewDidLoad

{

[super viewDidLoad];

// 获取URL

NSURL *videoUrl = [[NSBundle mainBundle]

URLForResource:@”movie” withExtension:@”mp4”];

// 生成视频的缩略图

UIImage *image = [UIImage imageWithVideo:videoUrl];

self.iv.image = image;

}

@end

[BL1] Session: 会议

[BL2] 设备获取数据

[BL3] 用于录制屏幕动作

[BL4] 代表输出到文件的输出端

[BL5] 输出到音频文件的输出端

[BL6] 输出到电影文件的输出端