13518219792
该框架框架包含视频相关的APIs和音频相关的APIs。
创新互联客户idc服务中心，提供眉山联通机房、成都服务器、成都主机托管、成都双线服务器等业务的一站式服务。通过各地的服务中心，我们向成都用户提供优质廉价的产品以及开放、透明、稳定、高性价比的服务，资深网络工程师在机房提供7*24小时标准级技术保障。
针对音频及视频，其主要提供的功能可以归纳为4各方面：
1）、Capture
音频、视频、图像媒体的捕捉，并输出我们可用的数据对象的过程。
2）、Edit
针对现有的媒体片段（音频片段或视频片段），重新创建Assets，重新加工、生成新的媒体片段。例如，Reading, Writing, Reencoding Assets, Thumbnails
3）、Export
提供导出音视频的API。例如，修改文件格式、消减时长等。
4）、Presentation
例如，播放、音视频的预览
设备的输入源主要包括：麦克风（Microphone），摄像头（Camera），屏幕等
输入源一般包括：AVCaptureVideoPreviewLayer，AVCaptureAudioPreviewOutput，文件、Raw Buffer等。
从一个设备，例如照相机或者麦克风管理捕获，组合对象来表示输入和输出，并使用 AVCaptureSession 的实例来协调它们之间的数据流。
一个简单的会话协调：
AVCapture Session作为整个Capture的核心，不断从输入源获取数据，然后分发给各个输出源，从而完成一次简单的会话。
AVCaptureSession参数配置
开始会话
结束会话
然而，很多情况下，需要考虑多个输入源是如何被表示以及如何连接到输出。
输入源有自己的硬件参数可以设置流控，输出源作为一个被动接受对象，它并没有太多流控设置，所以苹果巧妙的引入AVCaptureConnections。每个Output与Session建立连接后，都会分配一个默认的AVCpatureConnection。
AVCaptureConnections就是Session和Output中间的控制节点。很多实时数据，也都是从connection得到的。
输入设备的配置
输出的配置
接收输出资源
1)、视频
2）、照片输出
注册 AVAudioSession.interruptionNotification 的通知，可以收到播放打断通知。 系统将此通知发布到主线程。
其中userinfo有如下字段：
分began与end，用来表示打断开始与打断结束。
只在打断结束时返回。选项用 shouldResume 来指示：另一个音频会话的中断已结束，应用程序可以恢复其音频会话。
该属性只在打断开始时返回。存在于版本iOS 10.3-14.5。
用于确定这次中断是否由于系统挂起App所致。
获取到的是一个NSNumber表示的Bool。为true表示中断是由于系统挂起，false是被另一音频打断。
该属性只在打断开始时返回。存在于版本iOS 14.5以后，用来代替 AVAudioSessionInterruptionWasSuspendedKey 。
default ：因为另一个音频会话被激活,音频中断。（例如后台播着音频，此时播放微信语音）
appWasSuspended ：由于APP被系统挂起，音频中断
builtInMicMuted ：音频因内置麦克风静音而中断(例如iPad智能关闭套【iPad's Smart Folio】合上)
一、简单介绍
简单来说，音频可以分为2种
（1）音效
又称“短音频”，通常在程序中的播放时长为1~2秒
在应用程序中起到点缀效果，提升整体用户体验
（2）音乐
比如游戏中的“背景音乐”，一般播放时间较长
框架：播放音频需要用到AVFoundation.framework框架
二、音效的播放
1.获得音效文件的路径
复制代码 代码如下:
NSURL *url = [[NSBundle mainBundle] URLForResource:@"m_03.wav" withExtension:nil];
2.加载音效文件，得到对应的音效ID
复制代码 代码如下:
SystemSoundID soundID = 0;
AudioServicesCreateSystemSoundID((__bridge CFURLRef)(url), soundID);
3.播放音效
复制代码 代码如下:
AudioServicesPlaySystemSound(soundID);
注意：音效文件只需要加载1次
4.音效播放常见函数总结
加载音效文件
复制代码 代码如下:
AudioServicesCreateSystemSoundID(CFURLRef inFileURL, SystemSoundID *outSystemSoundID)
释放音效资源
复制代码 代码如下:
AudioServicesDisposeSystemSoundID(SystemSoundID inSystemSoundID)
播放音效
复制代码 代码如下:
AudioServicesPlaySystemSound(SystemSoundID inSystemSoundID)
播放音效带点震动
复制代码 代码如下:
AudioServicesPlayAlertSound(SystemSoundID inSystemSoundID)
三、程序示例
先导入需要依赖的框架
导入需要播放的音效文件素材
说明：AVFoundation.framework框架中的东西转换为CF需要使用桥接。
代码示例：
复制代码 代码如下:
YYViewController.m文件
//
// YYViewController.m
// 14-音效播放
//
// Created by apple on 14-8-8.
// Copyright (c) 2014年 yangyong. All rights reserved.
//
#import "YYViewController.h"
#import
@interface YYViewController ()
@end
复制代码 代码如下:
@implementation YYViewController
- (void)viewDidLoad
{
[super viewDidLoad];
}
-(void)touchesBegan:(NSSet *)touches withEvent:(UIEvent *)event
{
//1.获得音效文件的全路径
NSURL *url=[[NSBundle mainBundle]URLForResource:@"buyao.wav" withExtension:nil];
//2.加载音效文件，创建音效ID（SoundID,一个ID对应一个音效文件）
SystemSoundID soundID=0;
AudioServicesCreateSystemSoundID((__bridge CFURLRef)url, soundID);
//把需要销毁的音效文件的ID传递给它既可销毁
//AudioServicesDisposeSystemSoundID(soundID);
//3.播放音效文件
//下面的两个函数都可以用来播放音效文件，第一个函数伴随有震动效果
AudioServicesPlayAlertSound(soundID);
//AudioServicesPlaySystemSound(#systemsoundid)
}
@end
说明：点击屏幕可以播放音效文件。
音乐的播放
一、简单说明
音乐播放用到一个叫做AVAudioPlayer的`类，这个类可以用于播放手机本地的音乐文件。
注意：
（1）该类（AVAudioPlayer）只能用于播放本地音频。
（2）时间比较短的（称之为音效）使用AudioServicesCreateSystemSoundID来创建，而本地时间较长（称之为音乐）使用AVAudioPlayer类。
二、代码示例
AVAudioPlayer类依赖于AVFoundation框架，因此使用该类必须先导入AVFoundation框架，并包含其头文件（包含主头文件即可）。
导入必要的，需要播放的音频文件到项目中。
代码示例：
复制代码 代码如下:
//
// YYViewController.m
// 15-播放音乐
//
#import "YYViewController.h"
#import
@interface YYViewController ()
@end
复制代码 代码如下:
@implementation YYViewController
- (void)viewDidLoad
{
[super viewDidLoad];
}
-(void)touchesBegan:(NSSet *)touches withEvent:(UIEvent *)event
{
//1.音频文件的url路径
NSURL *url=[[NSBundle mainBundle]URLForResource:@"235319.mp3" withExtension:Nil];
//2.创建播放器（注意：一个AVAudioPlayer只能播放一个url）
AVAudioPlayer *audioPlayer=[[AVAudioPlayer alloc]initWithContentsOfURL:url error:Nil];
//3.缓冲
[audioPlayer prepareToPlay];
//4.播放
[audioPlayer play];
}
@end
代码说明：运行程序，点击模拟器界面，却并没有能够播放音频文件，原因是代码中创建的AVAudioPlayer播放器是一个局部变量，应该调整为全局属性。
可将代码调整如下，即可播放音频：
复制代码 代码如下:
#import "YYViewController.h"
#import
@interface YYViewController ()
@property(nonatomic,strong)AVAudioPlayer *audioplayer;
@end
复制代码 代码如下:
@implementation YYViewController
- (void)viewDidLoad
{
[super viewDidLoad];
}
-(void)touchesBegan:(NSSet *)touches withEvent:(UIEvent *)event
{
//1.音频文件的url路径
NSURL *url=[[NSBundle mainBundle]URLForResource:@"235319.mp3" withExtension:Nil];
//2.创建播放器（注意：一个AVAudioPlayer只能播放一个url）
self.audioplayer=[[AVAudioPlayer alloc]initWithContentsOfURL:url error:Nil];
//3.缓冲
[self.audioplayer prepareToPlay];
//4.播放
[self.audioplayer play];
}
@end
注意：一个AVAudioPlayer只能播放一个url，如果想要播放多个文件，那么就得创建多个播放器。
三、相关说明
新建一个项目，在storyboard中放三个按钮，分别用来控制音乐的播放、暂停和停止。
程序代码如下：
复制代码 代码如下:
#import "YYViewController.h"
#import
@interface YYViewController ()
@property(nonatomic,strong)AVAudioPlayer *player;
- (IBAction)play;
- (IBAction)pause;
- (IBAction)stop;
@end
@implementation YYViewController
- (void)viewDidLoad
{
[super viewDidLoad];
//1.音频文件的url路径
NSURL *url=[[NSBundle mainBundle]URLForResource:@"235319.mp3" withExtension:Nil];
//2.创建播放器（注意：一个AVAudioPlayer只能播放一个url）
self.player=[[AVAudioPlayer alloc]initWithContentsOfURL:url error:Nil];
//3.缓冲
[self.player prepareToPlay];
}
- (IBAction)play {
//开始播放/继续播放
[self.player play];
}
- (IBAction)pause {
//暂停
[self.player pause];
}
- (IBAction)stop {
//停止
//注意：如果点击了stop,那么一定要让播放器重新创建，否则会出现一些莫名其面的问题
[self.player stop];
}
@end
注意：如果点了“停止”，那么一定要播放器重新创建，不然的话会出现莫名其妙的问题。
点击了stop之后，播放器实际上就不能再继续使用了，如果还继续使用，那么后续的一些东西会无法控制。
推荐代码：
复制代码 代码如下:
#import "YYViewController.h"
#import
@interface YYViewController ()
@property(nonatomic,strong)AVAudioPlayer *player;
- (IBAction)play;
- (IBAction)pause;
- (IBAction)stop;
@end
复制代码 代码如下:
@implementation YYViewController
#pragma mark-懒加载
-(AVAudioPlayer *)player
{
if (_player==Nil) {
//1.音频文件的url路径
NSURL *url=[[NSBundle mainBundle]URLForResource:@"235319.mp3" withExtension:Nil];
//2.创建播放器（注意：一个AVAudioPlayer只能播放一个url）
self.player=[[AVAudioPlayer alloc]initWithContentsOfURL:url error:Nil];
//3.缓冲
[self.player prepareToPlay];
}
return _player;
}
- (void)viewDidLoad
{
[super viewDidLoad];
}
- (IBAction)play {
//开始播放/继续播放
[self.player play];
}
- (IBAction)pause {
//暂停
[self.player pause];
}
- (IBAction)stop {
//停止
//注意：如果点击了stop,那么一定要让播放器重新创建，否则会出现一些莫名其面的问题
[self.player stop];
self.player=Nil;
}
@end
四、播放多个文件
点击，url，按住common建查看。
可以发现，这个url是只读的，因此只能通过initWithContentsOfUrl的方式进行设置，也就意味着一个播放器对象只能播放一个音频文件。
那么如何实现播放多个音频文件呢？
可以考虑封装一个播放音乐的工具类，下一篇文章将会介绍具体怎么实现。
iOS音视频开发涉及的方面比较广泛，一般分为采集、音视频的封装、编码、推流、拉流、解封装、解码、播放等阶段。其中音视频的编码和解码阶段是非常重要的步骤。其中编码分为硬编码和软编码，对应解码分为硬解码和软解码。
硬编码是指使用非CPU进行编码，如显卡GPU、专用的DSP、FPGA、ASIC芯片等。
硬编码一般性能高，对CPU没有压力，但是对其他硬件要求较高（如GPU等）。
软编码是指使用CPU进行编码，软编码通常使用：ffmpeg+x264。
软编码实现直接、简单，参数调整方便，升级易，但CPU负载重，性能较硬编码低。
常见的直播服务普遍采用了RTMP作为流媒体协议，FLV作为封装格式，H.264作为视频编码格式，AAC作为音频编码格式。
iOS中编码方式：
在iOS8之前，苹果并没有开放硬编码的接口，所以只能采用ffmpeg+x624进行软编码
在iOS8之后，苹果开放了接口，并且封装了VideoToolBoxAudioToolbox两个框架，分别用于对视频音频进行硬编码
